AMD ने Taalas खरीदा — सिलिकॉन में AI भार उकेरने वाला चिप Nvidia से 48 गुना तेज़

AMD, टोरंटो स्थित स्टार्टअप Taalas का अधिग्रहण कर रही है, जो AI मॉडल के वज़न को मेमोरी से लोड करने के बजाय सीधे सिलिकॉन में स्थायी रूप से एम्बेड करने वाली चिप्स बनाता है। कंपनी का HC1 चिप, Meta के Llama 3.1 8B मॉडल पर प्रति सेकंड 16,960 टोकन उत्पन्न करता है — AMD का दावा है कि यह Nvidia के GPU से 48 गुना और इन्फ़रेंस चिप विशेषज्ञ Cerebras से 8.5 गुना तेज़ है।

Taalas की तकनीक, वर्तमान AI इन्फ़रेंस की एक संरचनात्मक अक्षमता का फ़ायदा उठाती है। मानक GPU लचीले होते हैं: वे किसी भी मॉडल को चला सकते हैं, माँग पर कार्यों के बीच स्विच कर सकते हैं, और मॉडल अपडेट होने पर पुनः प्रोग्राम किए जा सकते हैं। लेकिन यही लचीलापन एक बाधा भी है। हर इन्फ़रेंस अनुरोध पर अरबों वज़न को हाई-बैंडविड्थ मेमोरी से कंप्यूट यूनिट्स में लोड करने से विलंबता पैदा होती है, जिसे और GPU जोड़कर ख़त्म नहीं किया जा सकता।

Taalas उन वज़न को निर्माण के समय सीधे चिप के सिलिकॉन में एम्बेड कर देता है। मॉडल हार्डवेयर में रहता है, न कि मेमोरी में जिसे हर अनुरोध पर लाया जाए। AMD जिन थ्रूपुट आंकड़ों का विज्ञापन कर रही है, वे इसी आर्किटेक्चरल चुनाव को दर्शाते हैं — लेकिन कंपनी इस कीमत को कम नहीं आँकती: एक बार जब चिप किसी विशिष्ट मॉडल के साथ निर्मित हो जाती है, तो उसे अपडेट करने के लिए नए सिलिकॉन टेप-आउट की ज़रूरत होती है। Taalas का कहना है कि मॉडल रिफ़्रेश के लिए केवल दो मेटल लेयर बदलने की ज़रूरत होती है, जो चक्र को छोटा करता है, लेकिन ये चिप्स नए मॉडल संस्करण के लिए तुरंत अनुकूलित नहीं हो सकते।

AMD की एकीकरण योजना के तहत, Taalas चिप्स टोकन जनरेशन संभालेंगे — इन्फ़रेंस का सबसे समय लेने वाला चरण — जबकि AMD के Instinct GPU हर अनुरोध की शुरुआत में प्रीफ़िल और अटेंशन कम्प्यूटेशन संभालेंगे। यह संयुक्त सिस्टम AMD के Helios रैक-स्केल प्लेटफ़ॉर्म पर चलेगा। फिक्स्ड-मॉडल वर्कलोड चलाने वाले क्लाउड ऑपरेटरों के लिए — जैसे कस्टमर सर्विस बॉट, दस्तावेज़ प्रोसेसिंग पाइपलाइन, रीयल-टाइम अनुवाद — यह प्रति रैक वॉट थ्रूपुट का वादा करता है, जो लचीले GPU क्लस्टर समान लागत पर नहीं दे सकते।

लेकिन सवाल यह है कि क्या यह गणित उद्योग की मॉडल रिफ़्रेश गति के साथ टिकेगा। प्रमुख लैब अब हर छह महीने में अपने प्रोडक्शन मॉडल अपडेट करती हैं। आज का चिप Llama 3.1 8B के लिए बना है, कल उसे रिटायर होना पड़ सकता है जब कोई नया मॉडल मानक बन जाए। Taalas की दो-मेटल-लेयर रिफ़्रेश तकनीक मदद करती है, लेकिन सिलिकॉन टेप-आउट में अब भी महीने लगते हैं — एक महत्वपूर्ण अंतराल जब मॉडल हार्डवेयर चक्रों से तेज़ी से बदलते हैं।

यह अधिग्रहण, Nvidia द्वारा Groq को रिपोर्टेड $20 बिलियन में खरीदने के सात महीने बाद हुआ है — उसी इन्फ़रेंस स्पीड समस्या का एक अलग समाधान। Groq के टेंसर स्ट्रीमिंग प्रोसेसर भी थ्रूपुट के लिए ऑप्टिमाइज़ हैं, लेकिन वे विभिन्न मॉडल लोड करने की क्षमता बनाए रखते हैं। AMD एक अज्ञात लेकिन संभवतः छोटी राशि का भुगतान कर रही है एक ऐसे स्टार्टअप के लिए जिसने विपरीत दांव लगाया है।

खरीदारों के लिए, Taalas का अधिग्रहण कैटलॉग में नहीं, बल्कि रोडमैप में शामिल है। HC2 चिप, जो 20 बिलियन पैरामीटर तक के मॉडल को लक्षित करता है, अभी विकास में है। 48x बेंचमार्क विशिष्ट परिस्थितियों में HC1 पर लागू होता है — वास्तविक दुनिया की तैनाती में मिश्रित ट्रैफ़िक और अलग-अलग बैच आकार अलग-अलग परिणाम देंगे। डील 2026 की चौथी तिमाही में बंद होने की उम्मीद है, नियामकीय समीक्षा के अधीन। HC1 फरवरी में 6nm पर शिप हुआ; HC2 की शिप डेट और टार्गेट प्रोसेस नोड अभी पुष्ट नहीं हैं।

टैग: Nvidia, AMD, AI चिप, AI अनुमान, Taalas