robots.txt की एक पंक्ति से रुकेगा AI प्रशिक्षण, Google और OpenAI राज़ी

जो लोग अपनी वेबसाइट को AI की ट्रेनिंग में इस्तेमाल होने से रोकना चाहते थे, उन्हें हर कंपनी के लिए अलग नियम लिखना पड़ता था और GPTBot, ClaudeBot तथा Google-Extended जैसे नाम एक-एक करके सीखने पड़ते थे। अब Google, OpenAI, Anthropic और Microsoft का कहना है कि वे इसकी जगह एक ही पंक्ति पढ़ेंगे: robots.txt में साझा “नीति टोकन”—वह छोटी-सी टेक्स्ट फ़ाइल, जो शुरुआती वेब के दौर से सर्च इंजनों को बताती आई है कि उन्हें कहाँ नहीं जाना चाहिए। इस प्रविष्टि को एक बार लिखने पर चार बड़े AI डेवलपरों को एक ही जवाब मिलेगा।

यह विचार Anthropic में मानकों के तकनीकी प्रमुख केविन केली का है। उन्होंने इसे इंटरनेट के तकनीकी नियम बनाने वाली संस्था Internet Engineering Task Force के सामने रखा। इसकी खास बात यह है कि इसमें कोई नया व्याकरण नहीं गढ़ा गया है। वेबसाइट का मालिक सामान्य नियम-समूह लिखता है, लेकिन User-Agent वाली पंक्ति में किसी क्रॉलर के बजाय इस्तेमाल का उद्देश्य दर्ज होता है: __usage_ai-training। इसके नीचे “Disallow: /” का मतलब है कि यहाँ मौजूद किसी भी सामग्री पर ट्रेनिंग न की जाए। वहीं, “Allow” वाली पंक्ति से अपवाद तय किए जा सकते हैं—जैसे कोई प्रेस किट, जिससे कंपनी को खुशी होगी कि मॉडल सीखें।

किसी ब्लॉग, दुकान या न्यूज़रूम के लिए सबसे उपयोगी बात यह है कि यह पंक्ति किन चीज़ों को प्रभावित नहीं करती। यह सामग्री के इस्तेमाल के बारे में प्राथमिकता बताती है, इस बारे में नहीं कि कौन वेबसाइट पर आ सकता है; इसलिए सर्च पहले की तरह काम करता रहेगा। Google का कहना है कि अगर कोई वेबसाइट साझा टोकन के ज़रिये बाहर रहने का विकल्प चुनती है और Google-Extended का अलग से उल्लेख नहीं करती, तो इसे Google-Extended को रोकने के तौर पर पढ़ा जाएगा। इससे Gemini की ट्रेनिंग रुकती है, लेकिन पेज Google Search में बना रहता है। Microsoft भी Bing के लिए यही आश्वासन देता है: इस सेटिंग से यह नहीं बदलेगा कि कोई पेज उसके नतीजों में दिखाई दे सकता है या नहीं।

Microsoft बाकी कंपनियों से एक कदम आगे जा रहा है। ट्रेनिंग के साथ-साथ वह अलग से ग्राउंडिंग की प्राथमिकता भी जोड़ रहा है। इसे हर पेज के लिए meta tag या HTTP header के ज़रिये सेट किया जा सकेगा और इससे तय होगा कि Bing, Copilot तथा Microsoft 365 जो जवाब तुरंत तैयार करते हैं, उनमें वह पेज स्रोत के रूप में इस्तेमाल हो सकता है या नहीं। कोई वेबसाइट ट्रेनिंग से इनकार करते हुए भी ग्राउंडिंग की अनुमति दे सकती है, ताकि AI जवाबों में उसके संदर्भ और लिंक बने रहें। Microsoft चेतावनी देता है कि ग्राउंडिंग से इनकार करने पर ऐसे अनुभवों में वेबसाइट की दृश्यता “काफ़ी घट” जाएगी। साथ ही, दोनों में से कोई भी विकल्प शामिल किए जाने, ट्रैफ़िक मिलने या भुगतान की गारंटी नहीं देता।

इस फ़ाइल में एक पेच छिपा है, जो ज़्यादातर वेबसाइटों के पास पहले से मौजूद है। केली के मसौदे में जान-बूझकर परिचित वाइल्डकार्ड नियम “User-agent: *” को नए टोकन से अनजान रखा गया है। इसका मतलब है कि आज robots.txt के ज़रिये हर बॉट को रोकने वाली वेबसाइट ने AI ट्रेनिंग के बारे में कोई प्राथमिकता जताई ही नहीं है। बाहर रहने के इच्छुक मालिकों को नाम लेकर नया नियम-समूह जोड़ना होगा। यह संकेत आगे के लिए ही काम करता है: पंक्ति आने से पहले कंपनियों ने जो कुछ क्रॉल कर लिया है, वह पहले से ही उनके ट्रेनिंग डेटा में है। और मसौदे में ऐसा कुछ नहीं है जो किसी कंपनी को इसे मानने के लिए बाध्य करे। यह चार कंपनियों का सम्मान करने का वादा किया हुआ अनुरोध है, कोई ताला नहीं।

सबसे साफ़ तौर पर जिसकी गैरमौजूदगी दिखती है, वह Meta है। उसके संचार प्रमुख एंडी स्टोन ने The Verge से कहा कि कई सेवा प्रदाताओं तक एक साथ पहुँचने वाला साझा संकेत “एक अहम कदम” है, लेकिन यह नहीं बताया कि Meta इसे मानेगा या नहीं। समय भी असहज है। जिस दिन चार कंपनियों ने अपना समर्थन घोषित किया, उसी दिन Meta की कारोबारी शर्तों का नया संस्करण लागू हुआ। इससे उसे Facebook, Instagram और WhatsApp के व्यावसायिक खातों से जुड़ी वेबसाइटों पर क्रॉलर भेजने और उनसे जुटाई गई सामग्री का इस्तेमाल अपने उत्पादों को ट्रेन करने में करने की अनुमति मिल गई।

इसे लागू करने की रफ़्तार सबकी अलग-अलग है। Anthropic ने टोकन लागू करना शुरू कर दिया है, हालांकि केली ने लिखा कि उसकी सभी सेवाओं में इसे लागू होने में समय लगेगा। Microsoft 1 फ़रवरी, 2027 से क्रॉल करते समय इसका सम्मान करेगा और 1 मार्च के बाद अपने पुराने NoArchive और NoCache टैग को ट्रेनिंग या ग्राउंडिंग के संकेत के तौर पर पढ़ना बंद कर देगा। Google 2027 में टोकन का समर्थन शुरू करने का लक्ष्य रखता है और प्रगति की जानकारी देने का वादा करता है, जबकि OpenAI ने केवल आने वाले महीनों में ऐसा करने की प्रतिबद्धता जताई है। औपचारिक मानक बनने से पहले इस प्रस्ताव को IETF के AI Preferences कार्यसमूह से मंज़ूरी मिलनी बाकी है। Google का कहना है कि यह सामान्य-उद्देश्य वाले AI मॉडलों के लिए यूरोपीय संघ की आचार संहिता के अनुरूप है, जिसमें प्रकाशकों की मशीन-पठनीय प्राथमिकताएँ बताने का मुख्य तरीका पहले से ही robots.txt को माना गया है।

इस पल को उल्लेखनीय बनाने वाली बात यह है कि समाधान कितना छोटा है। खुले वेब का मालिक कौन है, इस पर सालों तक मुक़दमे और लाइसेंस को लेकर लड़ाइयाँ चलती रहीं; अब पहला साझा जवाब एक साधारण टेक्स्ट फ़ाइल में लिखे कुछ अक्षर हैं, जिन्हें कोई भी एक मिनट में बदल सकता है। इससे कितनी सुरक्षा मिलेगी, यह इस पर निर्भर करेगा कि आगे कौन-कौन इसे अपनाता है। और जिस कंपनी के प्लेटफ़ॉर्म पर सबसे ज़्यादा व्यावसायिक पेज हैं, उसने अभी तक हामी नहीं भरी है।

टैग: OpenAI, Google, Anthropic, meta, microsoft, आर्टिफिशियल इंटेलिजेंस