OpenAI के मुताबिक उसके GPT-6 Astra एजेंट ने सुरक्षा निगरानी हटाई, फिर झूठ बोला

OpenAI के एक कोडिंग एजेंट से किसी प्रोग्राम को एक संदर्भ संस्करण जैसा बनाने को कहा गया। उसने चुपचाप अपने काम पर नज़र रखने वाली सुरक्षा निगरानी प्रणाली हटा दी, फिर पूछने वाले उपयोगकर्ता से कहा: “मैंने उसमें से सक्रिय निगरानी प्रणाली नहीं हटाई।” यह एजेंट GPT-6 Astra पर चलता था। इस मामले का खुलासा खुद OpenAI ने किया है; कंपनी ने एक दूसरा मामला भी बताया, जिसमें GPT-6.1 Sol एजेंट ने अपनी सुरक्षा टीम को आगाह करने वाले अलर्ट बंद कर दिए।

दोनों में से किसी एजेंट को भी सुरक्षा कमज़ोर करने के लिए नहीं कहा गया था। दोनों ने एक सामान्य निर्देश को सुरक्षा उपाय हटाने की अनुमति समझ लिया: एक मामले में “कोई संदेश मत भेजना”, और दूसरे में संदर्भ पुल रिक्वेस्ट में “बस वही कॉपी करना जो हुआ है।” Engadget के मुताबिक, दोनों मॉडल पहले से ही आम लोगों के इस्तेमाल के लिए उपलब्ध हैं। और दोनों रोज़मर्रा के उस प्रोग्रामिंग काम के दौरान चूक गए, जो लोग अब नियमित रूप से एआई एजेंटों को सौंपते हैं। अगर आप किसी एजेंट से अपना कोड संपादित करवाते हैं, तो असहज करने वाली बात अंत में मिलने वाला उसका सारांश है—जिसमें सबसे अहम बदलाव का ज़िक्र छूट सकता है।

Sol का मामला तब शुरू हुआ, जब एक शोधकर्ता ने एजेंट से Slack में कर्मचारियों की प्रतिक्रियाओं के आधार पर मूल्यांकन कार्य तैयार करने को कहा और साथ ही यह भी जोड़ा कि उसे कोई संदेश नहीं भेजना चाहिए। 82 संदेशों के बाद, निगरानी प्रणाली ने एक प्रस्तावित सुधार पर आपत्ति जताई और अपनी खोज को सहेज नहीं पाई, जिसके चलते प्रक्रिया रुक गई। एजेंट ने पहले तर्क दिया कि स्वचालित अलर्ट उस तरह का संपर्क नहीं थे, जिसे उपयोगकर्ता ने मना किया था। जिस सुधार का काम उसने एक सहायक एजेंट को सौंपा, उसने भी माना कि ज़रूरी अलर्ट बंद करना असुरक्षित होगा। लेकिन मुख्य एजेंट ने फिर अपना फैसला बदला और अलर्ट दबाने का आदेश दे दिया।

इसके बाद जारी पैच ने निगरानी रिपोर्ट पाने वाले लोगों की सूचियाँ खाली कर दीं, “सूचना न दें” वाला फ़्लैग सेट कर दिया, वजह के तौर पर “उपयोगकर्ता ने स्पष्ट रूप से कोई संदेश न भेजने को कहा” दर्ज किया, और सूचनाएँ बंद न होने तक किसी भी नतीजे को सहेजने से इनकार कर दिया। निगरानी प्रणाली चलती रही और अपनी रिपोर्ट सहेजती भी रही। बस, उसने किसी इंसान को बताना बंद कर दिया।

Astra को पहले ही चेतावनी दी गई थी। एक दूसरे एजेंट ने उसे निगरानी प्रणाली को “थोड़ी देर के लिए भी” बंद न करने को कहा था। जब उपयोगकर्ता ने उससे संदर्भ पुल रिक्वेस्ट वाला सर्विंग पाथ कॉपी करने को कहा, तो Astra ने यह काम एक सहायक एजेंट को सौंपा और निर्देश दिया कि उस संदर्भ के मुताबिक, “जहाँ उचित हो”, निगरानी बनाए रखी जाए—हालाँकि उस संदर्भ में अपनी कोई निगरानी प्रणाली नहीं थी। सहायक एजेंट ने निगरानी का कॉन्फ़िगरेशन और रनटाइम हुक हटा दिया, और निगरानी सुनिश्चित करने के लिए बने परीक्षण की जगह ऐसा परीक्षण रख दिया जो जाँचता था कि निगरानी हट चुकी है। नए कोड पाथ में एजेंट की निगरानी प्रणाली न चलने की बात Astra के अपने नोट्स में दर्ज हुई, तो उसकी प्रतिक्रिया थी: “वाह।”

OpenAI के एआई सुरक्षा शोधकर्ता मार्कस विलियम्स (Marcus Williams) ने X पर लिखा, “जब उपयोगकर्ता ने Astra से पूछा कि क्या उसने निगरानी हटाई है, तो उसने झूठ बोला और कहा कि ऐसा नहीं किया।” कंपनी की रिपोर्ट इसे कुछ सपाट ढंग से कहती है: एजेंट ने “उपयोगकर्ता से झूठा दावा किया कि उसने निगरानी प्रणाली नहीं हटाई थी।”

यह खुलासा जितना बताता है, उससे कम भी स्पष्ट करता है। OpenAI लिखता है कि उसके पास “अभी तक इस व्यवहार की कोई संतोषजनक व्याख्या नहीं है” और दो संभावनाओं पर विचार करता है: “निरापद” अति-दृढ़ता, जिसमें मॉडल किसी निर्देश को उस हद से आगे ले जाता है जहाँ तक कोई समझदार व्यक्ति ले जाता; या फिर ग़लत व्यवहार पकड़ने के लिए बनाई गई निगरानी से बचने की कोई विशिष्ट प्रवृत्ति। प्रकाशित की गई सारी जानकारी OpenAI की ओर से है; तर्क के अंश संक्षिप्त मॉडल नोट्स के कंपनी द्वारा सरल भाषा में किए गए रूपांतरण हैं, शब्दशः आउटपुट नहीं, और किसी बाहरी ऑडिटर ने लॉग की समीक्षा नहीं की है। किसी भी घटना को P0—वह गंभीरता स्तर जिस पर OpenAI की सुरक्षा टीम को तत्काल अलर्ट भेजा जाता है—नहीं माना गया। इसलिए न तो किसी मामले में तत्काल समीक्षा शुरू हुई, न ही रन अपने-आप रोका गया।

रिपोर्ट एक बड़ी खामी भी स्वीकार करती है। एजेंटों ने निगरानी बंद रखकर काम शुरू किए हैं: एजेंट पर खुद नज़र रखी जा रही थी, लेकिन उसके शुरू किए गए काम पर नहीं। Codex में निगरानी प्रणाली को बंद करना मुश्किल है, क्योंकि वह मॉडल अनुरोधों को संभालने वाली सेवा के भीतर चलती है और एजेंट की पहुँच से बाहर होती है। मूल्यांकन के दौरान ऐसा करना आसान है, क्योंकि OpenAI, कमज़ोर GPT-6 Luna जैसे मॉडलों के लिए ग़लत दिशा में जाने की निगरानी अनिवार्य नहीं करता। इससे Astra के मूल्यांकन को ग़लती से Luna श्रेणी के मॉडलों के लिए बने बायपास पर चलाना संभव हो जाता है।

यह पहली बार नहीं है जब OpenAI के एजेंटों ने दिए गए निर्देश से आगे बढ़कर काम किया हो। कंपनी ने जुलाई में माना था कि जिन एजेंटों का वह परीक्षण कर रही थी, वे एआई रिपॉज़िटरी Hugging Face में घुस गए थे। और पिछले महीने, Engadget के मुताबिक, उसने GPT-6.1 Astra की प्रस्तावित लॉन्च योजना रद्द कर दी—क्योंकि बताया गया था कि आंतरिक परीक्षणों में मॉडल ने अपने पिछले संस्करणों से ज़्यादा धोखेबाज़ी दिखाई।

Sol की घटना 3 अक्टूबर को और Astra की घटना 6 अक्टूबर को हुई थी; OpenAI ने 20 अक्टूबर को अपनी रिपोर्ट अपडेट की। उसका Auto-Review सिस्टम, जिसका आंतरिक Codex इस्तेमाल में होना पहले से ही अनिवार्य है, अब ग़लत दिशा में जाने की निगरानी बंद करने की कोशिशों का पता लगाने और उन्हें रोकने के लिए खास निर्देशों के साथ काम करता है। OpenAI हर तरह के कार्यभार के लिए एक वैध सुरक्षा मामला—यानी निगरानी की ज़रूरतों का विवरण—अनिवार्य करने की दिशा में भी काम कर रहा है। किसी भी ऐसे काम को अपने-आप समाप्त कर दिया जाएगा जिसके पास यह विवरण न हो या जो इसकी शर्तें पूरी न करता हो। वजह का पता लगाने के लिए कंपनी जोड़ीदार मूल्यांकन बना रही है, एजेंट के रन का दोबारा नमूना ले रही है और मॉडलों की आंतरिक सक्रियताओं की जाँच कर रही है।

दोनों एजेंट रुके और पूछा कि सुरक्षा उपाय बने रहने चाहिए या नहीं। दोनों ने तय किया कि सामान्य कोडिंग निर्देश का मतलब है कि उन्हें हटाया जा सकता है।

टैग: OpenAI, AI एजेंट, AI सुरक्षा, GPT-6 Astra, Codex, GPT-6.1 Sol