तीन साल से AI की बहस इसी पर टिकी रही है कि सबसे बड़ा मॉडल कौन बनाता है। कम चमकदार सवाल — उस मॉडल को रोज़ लाखों बार, बिना गिरे, जवाब देते रहने में कितना खर्च आता है — असल में वही जगह है जहां से अब पैसा रिस रहा है। Red Hat, IBM, Google Cloud, CoreWeave और Nvidia द्वारा शुरू किया गया ओपन-सोर्स इन्फ़रेंस प्रोजेक्ट llm-d अब संस्करण 1.0 पर पहुंच गया है, और उसका निशाना ठीक यही रिसाव है।

इसकी कार्यप्रणाली सीधे शब्दों में समझनी चाहिए। AI एजेंट एक सवाल पूछकर चला नहीं जाता। वह लंबे सत्र खुले रखता है, वही दस्तावेज़ बार-बार पढ़ता है और समानांतर सहायक एजेंट चलाता है जो हार्डवेयर पर अचानक, अनिश्चित झटकों में बोझ डालते हैं। इस पैटर्न में संदर्भ संभालने की लागत जवाब तैयार करने से ज़्यादा हो सकती है। CoreWeave में AI/ML इंजीनियरिंग के उपाध्यक्ष शादी सबा कहते हैं कि बड़े पैमाने पर मॉडल चलाने वाली हर टीम ऐसे “संदर्भ से टकराती है जिसे संभालना अक्सर आउटपुट से भी महंगा पड़ता है”। llm-d का जवाब है राउटिंग: हर अनुरोध को उसी सर्वर पर भेजना जिसके कैश में उसका संदर्भ पहले से मौजूद है, ताकि उसे शुरू से दोबारा गणना न करनी पड़े।

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

संस्करण 1.0 नई तरकीबों से ज़्यादा इस भरोसे के बारे में है कि मौजूदा क्षमताएं महीनों तक सुरक्षित चल सकें। प्रोजेक्ट पहले से vLLM और SGLang जैसे मॉडल सर्वरों के ऊपर कैश-आधारित राउटिंग, KV कैश ऑफ़लोडिंग और prefill व decode चरणों को अलग-अलग मशीनों पर बांटने की सुविधा देता था। नए संस्करण में प्राथमिकता और निष्पक्षता नियंत्रण जोड़े गए हैं ताकि देरी के प्रति संवेदनशील अनुरोध और झटकों में काम करने वाले एजेंट एक ही GPU बेड़ा बिना एक-दूसरे का हिस्सा छीने साझा कर सकें; साथ ही बिना रुकावट अपडेट के लिए उच्च उपलब्धता वाला राउटर, स्थिर v1 कॉन्फ़िगरेशन API और सत्र-आधारित राउटिंग, जो कई चरणों वाली बातचीत को उसकी कैश की गई स्थिति के पास रखती है।

घोषणा में दिए गए प्रदर्शन के आंकड़े योगदानकर्ताओं के अपने प्रदर्शनों से आए हैं, इसलिए उन्हें स्वतंत्र जांच नहीं, दावे के रूप में पढ़ना चाहिए। एक प्रदर्शन में शोधकर्ताओं ने लगभग 753 अरब पैरामीटर वाले ओपन-वेट मॉडल GLM 5.2 को आम तौर पर इस्तेमाल होने वाले Nvidia GPU पर चलाया और चरम पर प्रति मिनट 66 लाख से अधिक आउटपुट टोकन तथा एक साथ 3,000 तक कोडिंग एजेंट संभाले; उनके अनुसार मौजूदा क्लाउड किराया दरों पर प्रति टोकन लागत समकक्ष व्यावसायिक API कीमतों से पांच से दस गुना कम रही। IBM Research ने क्वांटम त्रुटि सुधार के लिए चिप डिज़ाइन की एक परियोजना में पूरी तरह स्वामित्व वाले सेटअप की तुलना में 11.5 गुना कम इन्फ़रेंस लागत और करीब 98% कैश हिट दर दर्ज की।

ज़्यादा अहम यह है कि इस पर पहले से कौन निर्भर है। JetBrains का कहना है कि उसके कोडिंग एजेंट के मुफ़्त प्लान Junie Lite के ट्रैफ़िक का बड़ा हिस्सा llm-d संभालता है; DigitalOcean अपना सर्वरलेस इन्फ़रेंस इसी पर चलाती है, और Mistral तथा Roblox बताते हैं कि वे अपनी सर्विंग परत इसी प्रोजेक्ट पर बना रहे हैं। Google Cloud अपने पूरे TPU और Nvidia GPU पोर्टफ़ोलियो में 1.0 को Google Kubernetes Engine से जोड़ रहा है, जबकि AMD इसे अपने Instinct एक्सेलेरेटरों पर ला रही है।

2025 में स्थापित और अब Cloud Native Computing Foundation के अधीन llm-d में 25 से अधिक संगठनों के 500 से ज़्यादा योगदानकर्ता हैं। संस्करण 1.0 की घोषणा 20 अक्टूबर 2026 को सैन होज़े में हुई और यह ओपन-सोर्स सॉफ़्टवेयर के रूप में अभी उपलब्ध है।

इसका नतीजा ताक़त का खिसकना है। अगर AI का महंगा हिस्सा ट्रेनिंग नहीं बल्कि सर्विंग है, तो सर्विंग परत पर जिसका नियंत्रण है, बिल पर भी उसी का नियंत्रण है। llm-d कोशिश है कि यह परत किसी एक कंपनी के API में बंद होने के बजाय साझा और खुली बनी रहे।

टैग: Nvidia, AI एजेंट, IBM, CoreWeave, लार्ज लैंग्वेज मॉडल, Cloud Native Computing Foundation