जब AI कोड लिखता और डिलीवर करता है, अनुभवी डेवलपर्स 19% धीमे काम करते हैं

डेविन, क्लॉड कोड और गिटहब कोपायलट वर्कस्पेस जैसे सॉफ्टवेयर एजेंट अब किसी कार्य विवरण को लेते हैं, कोडबेस पढ़ते हैं, उसके अनुसार कोड लिखते हैं, तब तक परीक्षण चलाते हैं जब तक वे पास न हो जाएं, और बिना किसी डेवलपर के एक भी लाइन टाइप किए एक पुल रिक्वेस्ट खोलते हैं। डेविन, जिसे कॉग्निशन एआई ने बनाया है, यह पृथक क्लाउड वातावरण में करता है। इसके उत्पादन उपयोगकर्ता आधार में, इसके द्वारा स्वायत्त रूप से खोले गए 67% पुल रिक्वेस्ट मर्ज हो जाते हैं। क्लॉड कोड पूरे रिपॉजिटरी को पढ़ता है, एकाधिक फाइलों में बदलाव की योजना बनाता है, परीक्षण सूट चलाता है, और प्रत्येक चरण के बीच निर्देश के बिना पुनरावृत्ति करता है। ये उपकरण उत्पादन में उपयोग हो रहे हैं, शोध पूर्वावलोकन में नहीं।

इन्हें पिछले कोड-जनरेशन टूल्स से अलग करने वाली चीज़ है फीडबैक लूप। एक सुझाव इंजन टेक्स्ट जनरेट करके रुक जाता है; एक स्वायत्त एजेंट कोड जनरेट करता है, उसे चलाता है, जो वापस आता है उसे पढ़ता है, और पुनः प्रयास करता है। अंतर्निहित ढांचा सभी टूल्स में समान है: एक बड़ा भाषा मॉडल संदर्भ पढ़ता है — कोडबेस, समस्या विवरण, त्रुटि लॉग — एक योजना बनाता है, उसे शेल कमांड, फ़ाइल संपादन और गिट ऑपरेशन जैसे टूल्स के माध्यम से निष्पादित करता है, परिणाम पढ़ता है, और संशोधन करता है। यह लूप तब तक जारी रहता है जब तक एजेंट सफल नहीं हो जाता या अपने संसाधन बजट को समाप्त नहीं कर देता।

वह लूप जिसने संपादक को बदल दिया

उपलब्ध टूल्स में स्वायत्तता की सीमा तीन स्तरों तक फैली हुई है। सहायक छोर पर, गिटहब कोपायलट डेवलपर के टाइप करते ही अगली कुछ पंक्तियाँ सुझाता है। एक स्तर ऊपर, कर्सर जैसे मल्टी-फ़ाइल संपादक डेवलपर के निर्देश पर कोडबेस में पुनर्लेखन करते हैं, वे बदलाव करते हैं जो डेवलपर निर्दिष्ट करता है। स्वायत्त छोर पर, डेविन और समान सिस्टम लंबी अवधि के लिए स्वतंत्र रूप से काम करते हैं, क्रमिक निर्णय लेते हैं कि क्या पढ़ना है, क्या बदलना है, और क्या परीक्षण करना है, केवल उन मंजूरियों के लिए सामने आते हैं जिन्हें सिस्टम अकेला नहीं संभाल सकता।

इन टूल्स में प्रगति मापने वाला मूल्यांकन ढांचा SWE-bench है, जिसे प्रिंसटन और स्टैनफोर्ड के शोधकर्ताओं ने बनाया है। यह ओपन-सोर्स Python रिपॉजिटरीज — Django, Flask, scikit-learn — से वास्तविक बग रिपोर्ट पर एजेंटों का परीक्षण करता है, और मापता है कि एजेंट कितने प्रतिशत को सही ढंग से बंद कर सकता है। क्यूरेटेड Verified उपसमूह पर वर्तमान उच्चतम प्रकाशित स्कोर 96%, क्लॉड ओपस 5 का है। यह संख्या वास्तविक क्षमता को दर्शाती है: एक वास्तविक सॉफ्टवेयर बग का निदान करने, एक फिक्स लिखने, और यह सत्यापित करने की क्षमता कि यह प्रोजेक्ट के अपने परीक्षणों को पास करता है।

बेंचमार्क क्या छिपाता है

96% स्कोर एक महत्वपूर्ण तारांकन के साथ आता है। SWE-bench Verified 500 सावधानीपूर्वक चुने गए कार्यों से लिया गया है। जब शोधकर्ताओं ने एक संदूषण-प्रतिरोधी variant — SWE-bench Pro, जिसे उन समस्याओं का उपयोग करके डिज़ाइन किया गया था जो किसी भी मॉडल के प्रशिक्षण डेटा में प्रकट नहीं हो सकती थीं — लागू किया, तो एक पुराना मॉडल जिसने Verified पर 80% से अधिक स्कोर किया था, Pro पर 50% से नीचे गिर गया। कुछ बेंचमार्क प्रदर्शन मूल्यांकन सेट से परिचितता को दर्शाता है, न कि सामान्यीकृत समस्या-समाधान क्षमता को। यह अंतर एक ज्ञात शोध चुनौती है, किसी विशिष्ट उपकरण की आलोचना नहीं।

एक अलग अध्ययन में कुछ ऐसा पाया गया जिसे आसानी से समझाया नहीं जा सकता। METR, एक AI सुरक्षा शोध संगठन, ने अपने स्वयं के रिपॉजिटरी पर काम करने वाले अनुभवी ओपन-सोर्स डेवलपर्स के साथ एक यादृच्छिक नियंत्रित परीक्षण चलाया। वर्तमान AI कोडिंग टूल्स का उपयोग करने वाले डेवलपर्स उनके बिना काम करने वालों की तुलना में 19% धीमे थे — इसके बावजूद कि वे स्वतंत्र रूप से अनुमान लगा रहे थे कि वे 20% तेज हैं। कारण विशिष्ट थे: जब एजेंट गलत परिणाम उत्पन्न करता है तो पुनः प्रॉम्प्ट करने में लगने वाला समय, मर्ज करने से पहले आउटपुट को सत्यापित करने में लगने वाला समय, और एजेंट को निर्देशित करने और एजेंट ने जो किया है उसका अनुसरण करने के बीच स्विच करने का संज्ञानात्मक ओवरहेड। एक बेंचमार्क यह परीक्षण करता है कि क्या कोई एजेंट एक अच्छी तरह से निर्दिष्ट बग को अलग-थलग बंद कर सकता है। एक यादृच्छिक परीक्षण यह परीक्षण करता है कि क्या कोई डेवलपर एक वास्तविक दिन में तेजी से काम करता है। वे अलग-अलग चीजें माप रहे हैं।

93% अपनाने से मात्र 10% थ्रूपुट लाभ क्यों

कोड स्वायत्तता सीमित, अच्छी तरह से निर्दिष्ट कार्यों पर सर्वश्रेष्ठ प्रदर्शन करती है: स्पष्ट इनपुट और आउटपुट वाला एक पुनरुत्पादनीय बग, सटीक विनिर्देश वाला एक फंक्शन, परिभाषित व्यवहार वाले मॉड्यूल के लिए एक परीक्षण सूट। जैसे-जैसे दायरा उन कार्यों तक फैलता है जिनके लिए अंतर्निहित आर्किटेक्चरल ज्ञान, अप्रलेखित टीम परंपराएं, या उत्पाद दिशा के बारे में निर्णयों की आवश्यकता होती है, विश्वसनीयता गिर जाती है — ऐसा इसलिए नहीं कि मॉडल में क्षमता की कमी है, बल्कि इसलिए कि उन निर्णयों के लिए आवश्यक संदर्भ सिस्टम में फिट नहीं बैठता और अकेले कोडबेस फाइलों से प्राप्त नहीं किया जा सकता।

व्यावहारिक बदलाव यह है कि काम में क्या आवश्यक है। स्वायत्त एजेंटों के साथ काम करने वाले डेवलपर्स एजेंट के निष्पादन के लिए पर्याप्त सटीक विशिष्टताएँ लिखने में अधिक समय बिताते हैं: विस्तृत समस्या विवरण, स्पष्ट परीक्षण अनुबंध, स्पष्ट स्वीकृति मानदंड। वे उस कोड की समीक्षा करने में अधिक समय बिताते हैं जो उन्होंने नहीं लिखा, जिसके लिए कोड लिखने से अलग तरह के ध्यान की आवश्यकता होती है — तर्क त्रुटियों, सुरक्षा अंतरालों, और आर्किटेक्चरल बहाव की तलाश करना जिसे एजेंट स्वयं चिह्नित नहीं करेगा। 2026 में 121,000 डेवलपर्स के एक सर्वेक्षण में पाया गया कि 93% नियमित रूप से AI कोडिंग टूल्स का उपयोग करते हैं; उसी समूह में पुल-रिक्वेस्ट थ्रूपुट लगभग 10% बढ़ा। अड़चन कोड लिखने से समीक्षा करने पर स्थानांतरित हो गई।

सक्रिय विकास के तहत अगला चरण ऐसे एजेंट हैं जो अपनी स्वयं की कार्य कतारों का प्रबंधन करते हैं: एक परियोजना विनिर्देश प्राप्त करना, उसे उप-कार्यों में तोड़ना, विशेष मॉडलों के बीच प्रतिनिधि करना, और केवल उन निर्णयों को सामने लाना जिनके लिए मानव निर्णय की आवश्यकता होती है। 2026 में मल्टी-एजेंट कोडिंग ऑर्केस्ट्रेशन के लिए कई ओपन-सोर्स फ्रेमवर्क जारी किए गए। उत्पादन वातावरण में उद्यम अपनाना सीमित बना हुआ है। गार्टनर ने अनुमान लगाया है कि इस वर्ष शुरू की गई एजेंटिक सॉफ्टवेयर परियोजनाओं का एक महत्वपूर्ण हिस्सा 2028 से पहले बंद कर दिया जाएगा, जब टीमों को पता चलेगा कि एक नियंत्रित डेमो क्या दिखाता है और विश्वसनीय तैनाती के लिए पैमाने पर क्या आवश्यक है, के बीच कितना अंतर है।

टैग: artificial intelligence, AI coding agents, code autonomy, programming, software development