Nvidia PAIR आपके घर के GPU को इकट्ठा करके AI एजेंट्स को दोगुना तेज़ बनाता है

Nvidia का एक नया मुफ्त टूल — PAIR (Personal AI Router) — आपके होम नेटवर्क पर कई कंप्यूटरों के बीच AI एजेंट टास्क को रूट करता है, आपके गेमिंग PC, वर्कस्टेशन और यहां तक कि Mac को एक यूनिफाइड इन्फ्रेंस क्लस्टर में बदल देता है। इसके पीछे का आइडिया बेहद सरल है: ज़्यादातर AI-हेवी कंप्यूटर ज़्यादातर समय बेकार पड़े रहते हैं, और लोकल AI वर्कलोड तेज़ी से एजेंट-आधारित होते जा रहे हैं जो एक साथ दर्जनों स्वतंत्र उप-कार्यों को जन्म देते हैं। PAIR उन स्पेयर साइकिल को जोड़ता है।

यह सॉफ्टवेयर Ollama और LM Studio — दो सबसे लोकप्रिय लोकल इन्फ्रेंस टूल्स — के ऊपर एक ट्रांसपेरेंट प्रॉक्सी की तरह काम करता है, जिससे मौजूदा सेटअप में कोई कोड बदलाव नहीं करना पड़ता। एक बार प्रत्येक मशीन पर इंस्टॉल होने के बाद, PAIR mDNS का उपयोग करता है — वही प्रोटोकॉल जो आपका प्रिंटर नेटवर्क पर दिखने के लिए उपयोग करता है — स्वचालित रूप से संगत डिवाइसों को खोजने के लिए। एक लीड एजेंट हमेशा की तरह अपना काम सबमिट करता है, और PAIR तय करता है कि कौन सी मशीन किस उप-कार्य को संभालेगी, इस आधार पर कि प्रत्येक मशीन पर कौन से मॉडल उपलब्ध हैं। सभी मशीनों पर एक जैसा सेटअप ज़रूरी नहीं: Llama 3.3 चला रहा गेमिंग PC और Mistral वाला लैपटॉप एक ही काम में सहयोग कर सकते हैं।

Nvidia ने जो बेंचमार्क प्रकाशित किया है, वह अंतर को ठोस बनाता है: एक सिंगल RTX Spark लैपटॉप पर एक पाँच-सबएजेंट टास्क को 18 मिनट लगे, जबकि तीन-डिवाइस क्लस्टर पर यह 8 मिनट 48 सेकंड में पूरा हुआ। यह कोड की एक लाइन छुए बिना या क्लाउड कंप्यूट के लिए भुगतान किए बिना लगभग 2× स्पीडअप है। यह लाभ मशीनों की संख्या और वर्कलोड की प्रकृति के साथ बढ़ता है — जो कार्य कई समानांतर टुकड़ों में टूटते हैं, उन्हें सबसे अधिक लाभ मिलता है।

प्राइवेसी दूसरा सेलिंग पॉइंट है, और यह अधिक टिकाऊ है। हर प्रॉम्प्ट, फ़ाइल और एजेंट कॉन्टेक्स्ट का टुकड़ा आपके होम नेटवर्क पर ही रहता है। कुछ भी क्लाउड इन्फ्रेंस सर्विस पर रूट नहीं किया जाता; कोई API की, कोई उपयोग मीटरिंग नहीं है, और कोई कंपनी आपकी क्वेरी प्राप्त नहीं करती। संवेदनशील दस्तावेज़ों — कानूनी ड्राफ्ट, मेडिकल नोट्स, व्यक्तिगत पत्राचार — पर एजेंट चलाने वाले किसी भी व्यक्ति के लिए, यह अंतर बेंचमार्क नंबरों से अधिक मायने रखता है।

सीमाएँ असली हैं। PAIR सेवा की कोई गारंटीड गुणवत्ता (QoS) प्रदान नहीं करता: यदि वह मशीन जिस पर आप भरोसा कर रहे थे, अपना GPU किसी गेम या वीडियो एक्सपोर्ट के लिए जगाती है, तो PAIR उस वर्कलोड को जो कुछ भी उपलब्ध है, उसे पुनर्वितरित कर देता है। यह टूल खुले तौर पर लंबे समय तक चलने वाले कार्यों के लिए डिज़ाइन किया गया है जहाँ डेडलाइन लचीली हो, न कि उन अनुप्रयोगों के लिए जहाँ लेटेंसी पूर्वानुमेय होनी चाहिए। यह बीटा सॉफ्टवेयर भी है। Nvidia इसे उत्साही लोगों के लिए पेश कर रहा है जिनके पास कम से कम एक संगत मशीन है — GeForce RTX 20-सीरीज़ कार्ड या उससे नया, या Apple M4-सीरीज़ सिलिकॉन — और यह उम्मीद कि वे पहले से ही Ollama से परिचित हैं।

PAIR मुफ्त, ओपन-सोर्स है और अभी बीटा में Windows, macOS और Linux पर उपलब्ध है। Nvidia ने QoS गारंटी या स्थिर रिलीज़ तिथि के लिए कोई रोडमैप घोषित नहीं किया है। इसका लाभ उठाने के लिए व्यावहारिक न्यूनतम दो मशीनें सक्षम हार्डवेयर के साथ हैं, जो अधिकांश सिंगल-कंप्यूटर सेटअप को खारिज कर देता है। उन उपयोगकर्ताओं के लिए जो पहले से ही घर पर एक से अधिक डिवाइस पर Ollama चलाते हैं, प्रवेश की बाधा इतनी कम है कि प्रयोग करना उचित है।

टैग: Nvidia, लोकल AI, AI एजेंट्स, Ollama, PAIR, ओपेन सोर्स