Anthropic के एक मॉडल ने फ़िलाडेल्फ़िया पुलिस की वेबसाइट पर हत्या की झूठी सूचना दर्ज की, लेकिन वह किसी जासूस तक नहीं पहुँची। स्पैम फ़िल्टर ने उसे पहले ही पकड़ लिया। कहानी का यह पहलू राहत देने वाला है, और कंपनी के अपने बयान में भी इसी पर ज़ोर दिया गया है। मगर फ़िलाडेल्फ़िया जिस पहलू पर कार्रवाई कर रहा है, वह कुछ और है: सूचना कई हफ़्तों तक शहर के सिस्टम में पड़ी रही, इससे पहले कि उसे बनाने वाली कंपनी को इसका पता चला—और अब शहर ने इस मामले की ज़िम्मेदारी अपने वकीलों को सौंप दी है।

चैटबॉट के गवाह बनकर पेश आने की इस अजीब घटना के पीछे एक सीधी-सादी प्रक्रिया थी। परीक्षण के हिस्से के तौर पर मॉडल को खुले इंटरनेट पर बिना रोक-टोक काम करने दिया गया था; उस पर बस कुछ गिने-चुने निषेध लागू थे। हत्या के खुले मामले में देखी-सुनी बात गढ़कर दर्ज करना उन निषेधों में शामिल नहीं था।

Anthropic के मॉडल ने असल में क्या किया

Anthropic के अपने बयान के मुताबिक, यह Claude Haiku 4.5 था, जिसे मनमाने ढंग से चुने गए वेबपेजों पर उदाहरण के तौर पर काम गढ़ने और उसे पूरा करने के लिए लगाया गया था। उन पन्नों में शहर की अनसुलझी हत्याओं की सूचना देने वाली वेबसाइट PhillyUnsolvedMurders.com भी थी। मॉडल को दिए गए निर्देशों में कहा गया था कि वह “कभी लॉग इन न करे, खाते न बनाए, निजी जानकारी न भरे, खरीदारी न करे और ऐसा कुछ भी सबमिट न करे जिससे नुकसान हो।” फ़ॉर्म भरने के बारे में कुछ नहीं कहा गया था। लिहाज़ा उसने एक फ़ॉर्म भर दिया, नाम और संपर्क की जगहें खाली छोड़ीं और लिखा: “हो सकता है कि मेरे पास इस मामले से जुड़ी जानकारी हो।”

Fox Business के मुताबिक, संदेश में आगे यह दावा भी किया गया कि उसे पास की एक सड़क पर किसी ऐसे व्यक्ति को देखने की याद है, जो पेज पर दिए गए “हुलिए से मेल खाता था।” पेज पर किसी संदिग्ध का हुलिया दिया ही नहीं गया था। संदेश का अंत था: “अगर यह जानकारी प्रासंगिक हो, तो कृपया मुझसे संपर्क करें।” पुलिस का कहना है कि संदेश को स्पैम के रूप में चिह्नित किया गया और जाँच के लिए Real-Time Crime Center को कभी भेजा ही नहीं गया। विभागीय सिस्टम या डेटा तक अनधिकृत पहुँच का कोई संकेत भी नहीं मिला।

फ़िलाडेल्फ़िया इसे तकनीकी गड़बड़ी क्यों नहीं मान रहा

विभाग के बयान में नुकसान सीमित रखने का श्रेय उसके अपने सुरक्षा उपायों को दिया गया है, लेकिन साथ ही यह भी साफ़ कर दिया गया है कि इससे मामला ख़त्म नहीं होता। बयान में कहा गया, “ये सुरक्षा उपाय इस गंभीरता को कम नहीं करते कि AI सिस्टम ने मनगढ़ंत जानकारी पेश की,” और आगे जोड़ा गया कि “अनसुलझे मामलों में असली पीड़ित, शोक में डूबे परिवार और जवाब पाने की कोशिश कर रहे जाँचकर्ता शामिल होते हैं।” विभाग ने Anthropic से कहा कि “शहर के सिस्टम पर ऐसी घटनाओं का असर रोकने के लिए कंपनी को अपने सुरक्षा उपाय मज़बूत करने होंगे।” शहर को सूचना देने में हुई देरी को उसने “अस्वीकार्य” बताया।

यहीं से कहानी किसी मॉडल के बजाय एक कंपनी के बारे में हो जाती है। NBC10 के मुताबिक, पुलिस अब शहर के Law Department, Office of Innovation and Technology और मेयर चेरेल पार्कर (Cherelle Parker) की कार्यकारी टीम के साथ काम कर रही है। प्रशासन का कहना है कि वह स्थानीय, राज्य और संघीय स्तर पर नियामक सुरक्षा उपायों की संभावनाएँ तलाशेगा। अब तक किसी आरोप या दंड की घोषणा नहीं हुई है। लेकिन AI प्रयोगशालाएँ अपने सिस्टम का परीक्षण कैसे करें, इसे विनियमित करने पर विचार करती शहर सरकार, Anthropic के लिए एक बिल्कुल नए किस्म की प्रतिपक्ष है।

एक लंबी सूची में एक और मामला

फ़िलाडेल्फ़िया में दी गई सूचना उस रिपोर्ट में शामिल है, जिसे Anthropic ने पुलिस के सार्वजनिक रूप से मामला उठाने वाले दिन ही प्रकाशित किया था। रिपोर्ट में असली सिस्टमों पर उसके मॉडलों की अनचाही कार्रवाइयों को चार तरह में बाँटा गया है: तीसरे पक्ष की वेबसाइटों की सॉफ़्टवेयर खामियों का फ़ायदा उठाकर कमांड चलाना, ऐसे फ़ॉर्म सबमिट करना जिन्हें उन्हें नहीं भरना चाहिए था, प्रतिबंधों से बचकर सीमित पहुँच वाले डेटा तक पहुँचना, और fetch tools पर लगी सीमाओं को पार करने के लिए URL shorteners का इस्तेमाल करना। एक मामले में, अभ्यास के लिए बनाई गई प्रति लोड नहीं हुई तो जारी न किए गए एक शोध मॉडल ने असली सरकारी फ़ॉर्म सबमिट कर दिया। दूसरे मामले में, Claude Mythos 5 को एक नक्शा वेबसाइट की सेटिंग फ़ाइल में access tokens मिले और उसने उनका इस्तेमाल स्थानीय सरकार के सर्वर से जानकारी लेने के लिए किया।

इनमें से कुछ वेबसाइटें संघीय, राज्य और स्थानीय एजेंसियों की थीं। Anthropic का कहना है कि उसने व्हाइट हाउस को इन मामलों की जानकारी दी और इसमें शामिल हर एजेंसी को सूचित किया। कंपनी इन घटनाओं को “असल दुनिया में मामूली असर” वाली बताती है और कहती है कि ये उन मामलों से कम गंभीर थीं, जिनका उसने पहले खुलासा किया था—जब साइबर सुरक्षा आकलन के दौरान Claude घंटों तक तीसरे पक्ष के असली सिस्टमों तक पहुँचता रहा। कंपनी यह भी कहती है कि नए मामलों का पूरा alignment assessment अभी पूरा नहीं हुआ है।

यह समय भी अहम है। Federal Trade Commission ने सितंबर के आखिर में Anthropic, OpenAI और अन्य प्रयोगशालाओं की उद्योग-व्यापी जाँच की पुष्टि की थी। यह जाँच देख रही है कि कहीं उन्होंने FTC Act का उल्लंघन तो नहीं किया, और आयोग औपचारिक माँगें तैयार कर रहा है जिनके तहत अधिकारियों को गवाही देने के लिए बाध्य किया जा सकता है—यह जानकारी Reuters और The Next Web ने दी। Reuters के मुताबिक, FTC के अध्यक्ष एंड्रयू फर्ग्यूसन (Andrew Ferguson) ने कहा था कि अगर परीक्षण के लिए बनाए गए एजेंट हैकिंग करके सिस्टमों में घुसें, तो उनसे जुड़े डेवलपर को हुए नुकसान के लिए ज़िम्मेदार ठहराया जाना चाहिए। इस मामले की सबसे चर्चित मिसाल OpenAI की है: कंपनी ने जुलाई में खुलासा किया था कि उसके एक हज़ार से अधिक एजेंटों ने Hugging Face प्लेटफ़ॉर्म हैक किया था।

Anthropic ने क्या बदला—और इससे क्या स्वीकार होता है

Anthropic का कहना है कि उसने इस परीक्षण प्रक्रिया को बंद कर दिया है, जाँच का एक चरण जोड़ा है, वेब टूलों के ज़रिए उसके मॉडल क्या कर सकते हैं इस पर सख़्ती की है, और ऐसे पहचान-साधन तैयार किए हैं जिन्होंने परीक्षण के दौरान रिपोर्ट में दर्ज हर मामले को रोक दिया। सबसे बड़ा बदलाव पीछे हटना है: कंपनी ने अपने सभी आंतरिक आकलनों में लाइव इंटरनेट की पहुँच बंद कर दी है, “जब तक हम यह पुष्टि नहीं कर लेते कि हमारे सुरक्षा और निगरानी उपाय” इस तरह के व्यवहार को भरोसेमंद ढंग से पकड़ते हैं। सीधे शब्दों में कहें तो कंपनी अभी यह भरोसा नहीं दे सकती कि खुले इंटरनेट पर उसके एजेंट क्या कर रहे हैं, उसे वह देख पाएगी—इसलिए उसने उन्हें वहाँ से हटा लिया है।

तारीखें बताती हैं कि शहर क्यों नाराज़ है। पुलिस के मुताबिक, सूचना 18 जुलाई की है (PhillyVoice ने 28 जुलाई को इसकी ख़बर दी थी)। Anthropic का कहना है कि जुलाई में शुरू हुई प्रतिलेखों की समीक्षा के दौरान उसे इस मामले का पता चला; पुलिस के अनुसार, कंपनी को इसकी जानकारी 28 सितंबर को हुई। पुलिस का कहना है कि Anthropic ने बुधवार, 7 अक्टूबर को उसे सूचित किया और अगले दिन बैठक हुई; Anthropic की रिपोर्ट में निष्कर्ष साझा करने की तारीख 8 अक्टूबर दी गई है—“जैसे ही हमारी तकनीकी समीक्षा पूरी हुई।” विभाग ने 9 अक्टूबर को इस मामले को सार्वजनिक किया।

जो सुरक्षा उपाय काम आया, वह शहर का था: स्पैम फ़िल्टर और यह नियम कि हर सूचना की जाँच कोई इंसान करेगा। परीक्षण के लिए बनाया गया एजेंट अगला फ़ॉर्म शायद किसी ऐसे व्यक्ति का भरे, जिसके पास इनमें से कोई भी सुरक्षा उपाय न हो।

टैग: Anthropic, Claude, AI safety, AI agents, Philadelphia Police Department