OpenAI का Jalapeño चिप प्रति वाट Nvidia Blackwell की 1.9 गुना दक्षता से इन्फरेंस चलाता है

ओपनएआई ने अपनी खुद की चिप बनाई है। कंपनी ने 25 अगस्त को हॉट चिप्स कॉन्फ्रेंस में जलापेनो पेश किया, जो ब्रॉडकॉम के साथ साझेदारी में विकसित एक सिलिकॉन डिज़ाइन है, जो 85,448 टोकन प्रति सेकंड प्रति किलोवाट की दर से इन्फ़रेंस अनुरोधों को प्रोसेस करता है। नवीडिया का ब्लैकवेल आर्किटेक्चर, जो वर्तमान बाजार मानक है, उसी मीट्रिक पर 44,960 तक पहुँचता है। अनुपात 1.9 गुना है।

यह मीट्रिक इसलिए महत्वपूर्ण है क्योंकि इन्फ़रेंस ही वह तरीका है जिससे AI सिस्टम प्रोडक्शन में काम करते हैं। ट्रेनिंग एक बार होती है; इन्फ़रेंस हर बार होता है जब कोई ChatGPT को क्वेरी भेजता है, किसी API का उपयोग करता है, या किसी ऐसे एप्लिकेशन से इंटरैक्ट करता है जो लैंग्वेज मॉडल चलाता है। बड़े पैमाने पर इन्फ़रेंस की लागत AI सेवा अर्थव्यवस्था का प्रमुख चालक है। एक चिप जो इन्फ़रेंस ऊर्जा खपत को लगभग आधा कर देती है, यदि व्यापक रूप से तैनात की जाए, तो मॉडल चलाने की प्रति-क्वेरी लागत को बदल देती है।

इंटरैक्टिव वर्कलोड पर, जहाँ रिस्पॉन्स लेटेंसी सीमित कारक है, जलापेनो का लाभ और बढ़ जाता है। हॉट चिप्स प्रेजेंटेशन पर SemiAnalysis रिपोर्ट ने उन बेंचमार्क पर ब्लैकवेल से 2.1 से 4.1 गुना बेहतर होने का दायरा बताया। यह फैलाव विशिष्ट कार्य प्रकारों में भिन्नता को दर्शाता है; निचली सीमा अधिक रूढ़िवादी तुलना है।

यह चिप केवल इन्फ़रेंस को संभालती है। यह उन ट्रेनिंग वर्कलोड को नहीं चलाती जिन्होंने उन मॉडलों को तैयार किया जिन्हें जलापेनो चलाने के लिए डिज़ाइन किया गया है। उनके लिए अभी भी नवीडिया हार्डवेयर की आवश्यकता है। ब्रॉडकॉम ने इस चिप को एक कस्टम डिज़ाइन समझौते के तहत ओपनएआई के लिए निर्मित किया, न कि इसे एक वाणिज्यिक उत्पाद के रूप में बेचा। यह व्यवस्था ओपनएआई को एक उद्देश्य-निर्मित इन्फ़रेंस लेयर प्रदान करती है, बिना उसे मर्चेंट चिप बाजार में प्रतिस्पर्धा करने की आवश्यकता के।

ओपनएआई की तैनाती की समयसीमा सीमित है। छोटे पैमाने पर रोलआउट 2026 के अंत से पहले योजनाबद्ध है; व्यापक तैनाती 2027 का लक्ष्य है। चिप अभी भी इंजीनियरिंग सैंपल चरण में है, जिसका अर्थ है कि प्रोडक्शन संस्करण अभी तक बड़े पैमाने पर नहीं भेजा गया है। हॉट चिप्स पर बेंचमार्क डिज़ाइन किए गए लक्ष्य का प्रतिनिधित्व करते हैं, न कि सत्यापित प्रोडक्शन रन का। कस्टम सिलिकॉन के लिए कॉन्फ्रेंस घोषणा और परिचालन तैनाती के बीच का अंतर आमतौर पर वर्षों में मापा जाता है।

यह घोषणा बड़ी AI कंपनियों के बीच कस्टम सिलिकॉन की ओर एक व्यापक बदलाव में फिट बैठती है। गूगल ने एक दशक से प्रोडक्शन में अपनी खुद की टेंसर प्रोसेसिंग यूनिट्स संचालित की हैं। अमेज़न AWS में ट्रेनियम और इन्फ़ेरेंशिया चलाता है। मेटा आंतरिक रूप से अपनी खुद की इन्फ़रेंस चिप्स संचालित करता है। ओपनएआई का प्रवेश इस बात की पुष्टि करता है कि सैकड़ों मिलियन सक्रिय उपयोगकर्ताओं के पैमाने पर, पूरी तरह से बाहरी GPU विक्रेताओं पर निर्भर रहने की अर्थव्यवस्था इतनी कठिन हो जाती है कि एक कस्टम डिज़ाइन कार्यक्रम की लागत को उचित ठहराया जा सके।

टैग: OpenAI, Nvidia, AI चिप, Broadcom, Jalapeño, इन्फरेंस