تم إطلاق مشروع جديد مفتوح المصدر يُدعى llm-d بدعم من شركات مثل CoreWeave و Google Cloud و IBM Research و NVIDIA. تتركز المبادرة على تسريع الحاجة الأكثر حيوية لمستقبل الذكاء الاصطناعي التوليدي (الذكاء الاصطناعي التوليدي): الاستنتاج على نطاق واسع.استنادًا إلى بنية أصلية من Kubernetes، يستخدم البرنامج استنتاجًا موزعًا مع vLLM وتوجيه شبكي ذكي وحساس للذكاء الاصطناعي، مما يسمح بإنشاء سحابات استنتاج قوية لنماذج اللغة الكبيرة (LLM) تلبي أكثر الأهداف تطلبًا لمستوى الخدمة (SLOs) في الإنتاج.
على الرغم من أن التدريب لا يزال حيويًا، إلا أن التأثير الحقيقي للذكاء الاصطناعي العام يعتمد على استنتاج أكثر كفاءة وقابلية للتوسع — الآلية التي تحول نماذج الذكاء الاصطناعي إلى رؤى عملية وتجارب للمستخدم. وفقًا لـ Gartner، بحلول عام 2028، مع نضوج السوق، سيتم نشر أكثر من 80٪ من مسرعات عبء العمل في مراكز البيانات خصيصًا للاستدلال، بدلاً من التدريب. هذا يعني أن مستقبل الذكاء الاصطناعي العام يكمن في القدرة على التنفيذ. تحديات الطلبات المتزايدة على موارد نماذج التفكير الأكثر تطورًا وتعقيدًا تحد من جدوى الاستنتاج المركزي وتهدد بخلق اختناقات في الابتكار في الذكاء الاصطناعي، بسبب التكاليف المفرطة والكمون المشل.
استجابة لاحتياج الاستنتاج القابل للتوسع
تواجه شركة ريد هات وشركاؤها في الصناعة هذا التحدي مباشرة مع مشروع llm-d، وهو مشروع رؤيوي يعزز قوة vLLM لتجاوز قيود الخادم الواحد وإطلاق الإنتاج على نطاق واسع لاستنتاج الذكاء الاصطناعي. باستخدام القوة المثبتة لتنظيم Kubernetes، يدمج llm-d قدرات استنتاج متقدمة في البنى التحتية لتكنولوجيا المعلومات المؤسسية القائمة. تُمكّن هذه المنصة الموحدة فرق تكنولوجيا المعلومات من تلبية الطلبات المتنوعة لخدمات الأحمال الحرجة للأعمال، مع تطبيق تقنيات مبتكرة لتعزيز الكفاءة وتقليل بشكل كبير التكلفة الإجمالية للملكية (TCO) المرتبطة بمسرعات الذكاء الاصطناعي عالية الأداء.
يقدم llm-d مجموعة قوية من الابتكارات، مع التركيز على:
- vLLM، الذي أصبح بسرعة الخادم الافتراضي الافتراضي المفتوح المصدرتقديم دعم للنموذج منذ اليوم الأول للنماذج الناشئة على الحدود ودعم لقائمة واسعة من المسرعات، بما في ذلك وحدات معالجة Tensor (TPUs) من Google Cloud.
- الملء المسبق وفك التشفير غير المجزألفصل سياق الإدخال وتوليد رموز الذكاء الاصطناعي في عمليات منفصلة، والتي يمكن توزيعها بين خوادم متعددة.
- تحميل ذاكرة التخزين المؤقت لقيم المفاتيح (key-value)استنادًا إلى LMCache، تقوم هذه الوظيفة بنقل عبء الذاكرة من ذاكرة التخزين المؤقت KV على بطاقة الرسومات إلى تخزين قياسي أكثر اقتصادًا وتوفرًا، مثل ذاكرة المعالج أو التخزين الشبكي.
- عنقودات والمتحكمات المستندة إلى كوبرنيتسلجدولة أكثر كفاءة لموارد الحوسبة والتخزين، مع تغير طلبات عبء العمل، لضمان أفضل أداء وأقل زمن استجابة.
- توجيه يركز على الذكاء الاصطناعي للشبكاتمن أجل جدولة طلبات الإدخال للخوادم والمعجلات التي من المحتمل أن تحتوي على ذاكرات مؤقتة حديثة لحسابات سابقة على الاستنتاج.
- واجهات برمجة التطبيقات عالية الأداء للتواصلللنقل أسرع وأكثر كفاءة للبيانات بين الخوادم، مع دعم لمكتبة نقل الاستنتاج من NVIDIA (NIXL).
llm-d: إجماع بين قادة الصناعة
هذا المشروع الجديد مفتوح المصدر بالفعل يحظى بدعم تحالف قوي من مزودي نماذج الذكاء الاصطناعي الرائدين، الرائدين في مسرعات الذكاء الاصطناعي ومنصات السحابة الرائدة الموجهة للذكاء الاصطناعي. CoreWeave و Google Cloud و IBM Research و NVIDIA هم الشركاء المؤسسون، مع AMD و Cisco و Hugging Face و Intel و Lambda و Mistral AI كشركاء، مما يبرز التعاون القوي للصناعة في تصميم مستقبل تنفيذ نماذج اللغة الكبيرة على نطاق واسع. مجتمع llm-d يضم أيضًا دعم المؤسسات الأكاديمية مثل مختبر الحوسبة السحابية بجامعة كاليفورنيا، مطوري vLLM، ومختبر LMCache بجامعة شيكاغو، مطوري الذاكرة التخزين المؤقت LM.
مخلص لالتزامه الثابت بالتعاون المفتوح، تعترف ريد هات بأهمية المجتمعات الحيوية والمتاحة في المشهد السريع التطور لاستنتاج الذكاء الاصطناعي العام. ستدعم Red Hat بنشاط نمو مجتمع llm-d، مع تعزيز بيئة شاملة للأعضاء الجدد ودفع تطورها المستمر.
رؤية ريد هات: أي نموذج، أي معجل، أي سحابة
يجب أن يُحدد مستقبل الذكاء الاصطناعي بفرص غير محدودة وليس مقيدًا بحواجز البنية التحتية. تتطلع شركة ريد هات إلى أفق يمكن للمنظمات من خلاله نشر أي نموذج، في أي مسرع، في أي سحابة، وتقديم تجربة مستخدم استثنائية وأكثر اتساقًا، دون تكاليف باهظة. لتحرير الإمكانات الحقيقية للاستثمارات في الذكاء الاصطناعي العام، تحتاج الشركات إلى منصة استنتاج عالمية — معيار جديد للابتكارات المستمرة وعالية الأداء في مجال الذكاء الاصطناعي، سواء في الحاضر أو في السنوات القادمة.
Assim como a Red Hat foi pioneira na transformação do Linux em base fundamental da TI moderna, a empresa está agora preparada para arquitetar o futuro da inferência de IA. O vLLM tem o potencial de se tornar peça-chave para uma inferência padronizada em gen AI, e a Red Hat está comprometida em construir um ecossistema próspero não apenas em torno da comunidade vLLM, mas também do llm-d, voltado para inferência distribuída em larga escala. A visão é clara: independentemente do modelo de IA, do acelerador subjacente ou do ambiente de implantação, a Red Hat pretende tornar o vLLM o padrão aberto definitivo para inferência na nova nuvem híbrida.
قمة ريد هات
شارك في الكلمات الرئيسية لقمة Red Hat للاستماع إلى أحدث الأخبار من التنفيذيين والعملاء والشركاء في Red Hat:
- البنية التحتية الحديثة المتوافقة مع الذكاء الاصطناعي المؤسسي-الثلاثاء، 20 مايو، من الساعة 8 صباحًا إلى 10 صباحًا بتوقيت شرق الولايات المتحدةيوتيوب)
- السحابة المختلطة تتطور لدفع الابتكار المؤسسيالأربعاء، 21 مايو، من الساعة 8:00 إلى 9:30 صباحًا بتوقيت شرق الولايات المتحدةيوتيوب)
