एलएलएम-डी, एक नया ओपन सोर्स प्रोजेक्ट है जिसे CoreWeave, Google Cloud, IBM Research और NVIDIA जैसी कंपनियों के समर्थन के साथ लॉन्च किया गया है। इस पहल का ध्यान जेन AI के भविष्य के लिए सबसे महत्वपूर्ण आवश्यकता को तेज करने पर है: पैमाने पर अनुमान।कुबेरनेट्स की मूल वास्तुकला पर आधारित, यह प्रोग्राम vLLM के साथ वितरित अनुमान और बुद्धिमान और AI-संवेदनशील नेटवर्क रूटिंग का उपयोग करता है, जो बड़े पैमाने पर भाषा मॉडल (LLM) के लिए मजबूत अनुमान क्लाउड बनाने की अनुमति देता है जो उत्पादन में सबसे अधिक मांग वाले सेवा स्तर लक्ष्यों (SLOs) को पूरा करते हैं।
हालांकि प्रशिक्षण अभी भी महत्वपूर्ण है, जेन AI का असली प्रभाव अधिक कुशल और स्केलेबल अनुमान पर निर्भर करता है — वह तंत्र जो AI मॉडल को व्यावहारिक अंतर्दृष्टि और उपयोगकर्ता के लिए अनुभव में बदलता है। गार्टनर के अनुसार, 2028 तक, जैसे ही बाजार परिपक्व होगा, डेटा केंद्रों में लोडिंग त्वरकों का 80% से अधिक विशेष रूप से इनफेरेंस के लिए तैनात किया जाएगा, न कि प्रशिक्षण के लिए। इसका मतलब है कि जेन AI का भविष्य निष्पादन की क्षमता में है। अधिक विकसित और जटिल तर्क मॉडल के संसाधनों की बढ़ती मांगें केंद्रीकृत अनुमान की व्यवहार्यता को सीमित करती हैं और आईए में नवाचार में बाधाएं पैदा करने का खतरा हैं, क्योंकि इनकी लागतें अत्यधिक हैं और विलंबकारी हैं।
स्केलेबल अनुमान की आवश्यकता को पूरा करते हुए
रेड हैट और उसके उद्योग भागीदार सीधे इस चुनौती का सामना कर रहे हैं, llm-d के साथ, एक दूरदर्शी परियोजना जो vLLM की शक्ति को बढ़ाती है ताकि एकल सर्वर की सीमाओं को पार किया जा सके और AI इनफ़ेरेंस के लिए बड़े पैमाने पर उत्पादन को मुक्त किया जा सके। कुबेरनेट्स के प्रमाणित ऑर्केस्ट्रेशन शक्ति का उपयोग करते हुए, llm-d मौजूदा कॉर्पोरेट आईटी अवसंरचनाओं में उन्नत अनुमान क्षमताओं को एकीकृत करता है। यह एकीकृत मंच आईटी टीमों को व्यवसाय के लिए महत्वपूर्ण कार्यभार की विभिन्न सेवा आवश्यकताओं को पूरा करने में सक्षम बनाता है, साथ ही नवीन तकनीकों को लागू करता है ताकि दक्षता को अधिकतम किया जा सके और उच्च प्रदर्शन वाले एआई एक्सेलेरेटर से संबंधित कुल स्वामित्व लागत (TCO) को गंभीरता से कम किया जा सके।
एलएलएम-डी में नवीनताओं का एक शक्तिशाली सेट है, जिसमें प्रमुख हैं:
- vLLM, जो तेजी से खुला स्रोत इनफ़ेरेंस सर्वर बन गया है,सीमांत मॉडल के लिए शून्य से समर्थन प्रदान कर रहा है और व्यापक सूची में Google Cloud के Tensor Processing Units (TPUs) सहित कई त्वरक का समर्थन कर रहा है।
- पूर्व-भरण और पृथक डिकोडिंगइनपुट संदर्भ और AI टोकन जेनरेशन को अलग-अलग संचालन में विभाजित करने के लिए, जिन्हें कई सर्वरों के बीच वितरित किया जा सकता है।
- के-मान (की-वैल्यू) कैश का डाउनलोडLMCache पर आधारित, यह फ़ंक्शन GPU मेमोरी के KV कैश से मेमोरी लोड को स्थानांतरित करता है, जैसे CPU मेमोरी या नेटवर्क स्टोरेज जैसी अधिक किफायती और प्रचुर मात्रा में मानक संग्रहण।
- कुबेरनेट्स पर आधारित क्लस्टर और नियंत्रककामकाजी लोड की मांग के अनुसार कंप्यूटिंग और संग्रहण संसाधनों के अधिक प्रभावी नियोजन के लिए, सर्वोत्तम प्रदर्शन और न्यूनतम विलंबता सुनिश्चित करना।
- आईए के लिए नेटवर्किंग पर केंद्रित राउटिंगपूर्वनिर्धारित सर्वर और एक्सेलेरेटर के लिए इनपुट अनुरोधों को शेड्यूल करने के लिए, जिनके पास संभवतः पूर्व गणनाओं के ताजा कैश हैं।
- उच्च प्रदर्शन संचार एपीआईसर्वरों के बीच तेज़ और अधिक कुशल डेटा ट्रांसफ़र के लिए, NVIDIA Inference Xfer Library (NIXL) का समर्थन के साथ।
llm-d: उद्योग के नेताओं के बीच सर्वसम्मति
यह नई ओपन सोर्स परियोजना पहले से ही प्रमुख जेन AI मॉडल प्रदाताओं, AI त्वरकों और AI-केंद्रित क्लाउड प्लेटफार्मों के एक मजबूत गठबंधन का समर्थन प्राप्त कर चुकी है। कोरवीव, गूगल क्लाउड, आईबीएम रिसर्च और एनवीडिया संस्थापक सहयोगी हैं, जबकि एएमडी, सिस्को, हगिंग फेस, इंटेल, लैम्ब्डा और मिस्ट्रल एआई साझेदार हैं, जो बड़े पैमाने पर एलएलएम के निष्पादन के भविष्य को आकार देने के लिए उद्योग के मजबूत सहयोग को उजागर करते हैं। समुदाय llm-d को कैलिफोर्निया विश्वविद्यालय के Sky Computing Lab जैसे अकादमिक संस्थानों का भी समर्थन प्राप्त है, जो vLLM के निर्माता हैं, और शिकागो विश्वविद्यालय के LMCache Lab, जो निर्माता हैंएलएमकैश.
अपनी अडिग प्रतिबद्धता के प्रति वफादार, रेड हैट तेजी से विकसित हो रहे जेन AI अनुमान के परिदृश्य में जीवंत और सुलभ समुदायों के महत्वपूर्ण महत्व को पहचानता है। रेड हैट सक्रिय रूप से llm-d समुदाय के विकास का समर्थन करेगा, नए सदस्यों के लिए एक समावेशी वातावरण को बढ़ावा देगा और उनके निरंतर विकास को प्रेरित करेगा।
रेड हैट का दृष्टिकोण: कोई भी मॉडल, कोई भी एक्सेलेरेटर, कोई भी क्लाउड
एआई का भविष्य असीम अवसरों द्वारा निर्धारित किया जाना चाहिए और अवसंरचना के सिलों द्वारा सीमित नहीं होना चाहिए। रेड हैट एक ऐसे क्षितिज को देख रहा है जहां संगठन किसी भी मॉडल को, किसी भी त्वरक पर, किसी भी क्लाउड में लागू कर सकते हैं, एक असाधारण और अधिक सुसंगत उपयोगकर्ता अनुभव प्रदान करते हुए, बिना अत्यधिक लागत के। जेन AI में निवेश की वास्तविक क्षमता को अनलॉक करने के लिए, कंपनियों को एक सार्वभौमिक अनुमान प्लेटफ़ॉर्म की आवश्यकता है — निरंतर और उच्च प्रदर्शन वाली AI नवाचारों के लिए एक नया मानक, वर्तमान में और आने वाले वर्षों में।
जैसे रेड हैट आधुनिक आईटी का आधार बनाने में लिनक्स के परिवर्तन में अग्रणी थी, वैसे ही अब कंपनी आईए की भविष्यवाणी के वास्तुकला के लिए तैयार है। vLLM का संभावित है कि यह सामान्य AI में मानकीकृत अनुमान के लिए एक मुख्य भूमिका निभाएगा, और Red Hat एक समृद्ध पारिस्थितिकी तंत्र बनाने के लिए प्रतिबद्ध है, न केवल vLLM समुदाय के चारों ओर बल्कि llm-d के भी, जो बड़े पैमाने पर वितरित अनुमान के लिए है। दृष्टि स्पष्ट है: आईए मॉडल, आधारभूत त्वरक या तैनाती के वातावरण के बावजूद, रेड हैट का इरादा है कि vLLM को नई हाइब्रिड क्लाउड में इनफेरेंस के लिए अंतिम खुला मानक बनाना।
रेड हैट सम्मेलन
रेड हैट समिट के मुख्य भाषणों में भाग लें ताकि रेड हैट के कार्यकारी अधिकारियों, ग्राहकों और भागीदारों की नवीनतम घोषणाओं को सुन सकें।
- आधुनिक अवसंरचना जो व्यवसायिक एआई के साथ संरेखित है—मंगलवार, 20 मई, 8 बजे से 10 बजे तक EDTयूट्यूब)
- मिश्रित क्लाउड व्यवसायिक नवाचार को बढ़ावा देने के लिए विकसित हो रहा हैबुधवार, 21 मई, 8:00-9:30 बजे EDTयूट्यूब)
