CoreWeave, Google Cloud, IBM Research ve NVIDIA gibi şirketlerin desteğiyle yeni bir açık kaynaklı proje olan llm-d, yeni başlatıldı. Girişim, üretken yapay zekanın (generative AI) geleceği için en önemli ihtiyaç olan ölçeklenebilir çıkarımı hızlandırmaya odaklanıyor. Kubernetes tabanlı bir mimariye dayanan program, dağıtılmış çıkarımı vLLM ve akıllı, yapay zekaya duyarlı ağ yönlendirmesiyle kullanarak, üretimdeki en zorlu hizmet düzeyi hedeflerini (SLO'lar) karşılayan büyük ölçekli dil modelleri (LLM) için sağlam çıkarım bulutlarının oluşturulmasını sağlıyor.
Eğitim hayati önemini korurken, Yapay Zeka Kuşağı'nın gerçek etkisi, daha verimli ve ölçeklenebilir çıkarımlara, yani yapay zeka modellerini eyleme geçirilebilir içgörülere ve kullanıcı deneyimlerine dönüştüren motora bağlıdır. Gartner'a göre, 2028 yılına kadar, pazar olgunlaştıkça, veri merkezlerindeki iş yükü hızlandırıcılarının %80'inden fazlası eğitim yerine özel olarak çıkarım için kullanılacaktır. Bu, Yapay Zeka Kuşağı'nın geleceğinin uygulama kapasitesinde yattığı anlamına gelir. Giderek daha karmaşık ve sofistike hale gelen akıl yürütme modellerinin artan kaynak talepleri, merkezi çıkarımın uygulanabilirliğini sınırlamakta ve yüksek maliyetler ve felç edici gecikmeler nedeniyle yapay zeka inovasyonunda darboğazlar yaratma tehdidinde bulunmaktadır.
Ölçeklenebilir çıkarım ihtiyacına yanıt vermek
Red Hat ve sektör ortakları, vLLM'nin gücünü tek bir sunucunun sınırlamalarını aşacak ve üretim ölçeğinde yapay zeka çıkarımının kilidini açacak şekilde genişleten vizyoner bir proje olan llm-d ile bu zorluğun doğrudan üstesinden geliyor. Kubernetes'in kanıtlanmış orkestrasyon gücünü kullanan llm-d, gelişmiş çıkarım yeteneklerini mevcut kurumsal BT altyapılarına entegre ediyor. Bu birleşik platform, BT ekiplerinin iş açısından kritik iş yüklerinin çeşitli hizmet taleplerini karşılamasını sağlarken, verimliliği en üst düzeye çıkarmak ve yüksek performanslı yapay zeka hızlandırıcılarıyla ilişkili toplam sahip olma maliyetini (TCO) önemli ölçüde azaltmak için yenilikçi teknikler uyguluyor.
llm-d, aşağıdakileri içeren güçlü bir yenilik seti sunar:
- Hızla standart açık kaynak çıkarım sunucusu haline gelen vLLM, ortaya çıkan öncü modeller için sıfırıncı gün model desteği ve artık Google Cloud Tensor İşlem Birimleri (TPU'lar) de dahil olmak üzere geniş bir hızlandırıcı listesi için destek sunuyor.
- Giriş bağlamını ve yapay zeka belirteçlemesini birden fazla sunucuya dağıtılabilen farklı işlemlere ayırmak için önceden doldurma ve parçalanmış kod çözme
- KV (anahtar-değer) Önbellek Boşaltma , LMCache'e dayanan bu işlev, KV önbellek belleği yükünü GPU belleğinden CPU belleği veya ağ depolaması gibi daha ekonomik ve bol miktarda bulunan standart depolama alanına kaydırır.
- İş yükü talepleri dalgalandıkça hesaplama ve depolama kaynaklarının daha verimli planlanması için Kubernetes tabanlı kümeler ve denetleyiciler
- çıkarımdan önce muhtemelen yakın zamanda hesaplama önbellekleri bulunan sunuculara ve hızlandırıcılara gelen istekleri planlamasını sağlayan yapay zeka odaklı yönlendirme
- NVIDIA Inference Xfer Kütüphanesi (NIXL) desteğiyle sunucular arasında daha hızlı ve daha verimli veri aktarımı için yüksek performanslı iletişim API'leri
llm-d: sektör liderleri arasında oybirliğiyle
LMCache'in yaratıcıları olan Chicago Üniversitesi'ndeki LMCache Lab gibi akademik kurumların da desteğine sahip .
Red Hat, açık iş birliğine olan sarsılmaz bağlılığına sadık kalarak, hızla gelişen yapay zeka çıkarımı dünyasında canlı ve erişilebilir toplulukların kritik öneminin farkındadır. Red Hat, llm-d topluluğunun büyümesini aktif olarak destekleyecek, yeni üyeler için kapsayıcı bir ortam yaratacak ve sürekli gelişimini destekleyecektir.
Red Hat'in vizyonu: Herhangi bir model, herhangi bir hızlandırıcı, herhangi bir bulut
Yapay zekanın geleceği, altyapı silolarıyla değil, sınırsız fırsatlarla tanımlanmalıdır. Red Hat, kuruluşların herhangi bir modeli, herhangi bir hızlandırıcıda, herhangi bir bulutta dağıtabileceği ve fahiş maliyetler olmadan olağanüstü ve daha tutarlı bir kullanıcı deneyimi sunabileceği bir gelecek öngörüyor. Yapay zeka jenerasyonu yatırımlarının gerçek potansiyelini ortaya çıkarmak için şirketlerin, hem şimdi hem de gelecek yıllarda sürekli ve yüksek performanslı yapay zeka inovasyonu için yeni bir standart olan evrensel bir çıkarım platformuna ihtiyaçları var.
Red Hat, Linux'un modern BT'nin temeli haline gelmesine öncülük ettiği gibi, şimdi de yapay zeka çıkarımının geleceğini tasarlamaya hazır. vLLM, Yapay Zeka Nesillerinde standartlaştırılmış çıkarımın önemli bir bileşeni olma potansiyeline sahip ve Red Hat, yalnızca vLLM topluluğu etrafında değil, aynı zamanda büyük ölçekli dağıtık çıkarıma odaklanan llm-d etrafında da gelişen bir ekosistem oluşturmaya kararlı. Vizyon açık: Yapay zeka modeli, temel hızlandırıcı veya dağıtım ortamı ne olursa olsun, Red Hat vLLM'yi yeni hibrit bulutta çıkarım için kesin açık standart haline getirmeyi amaçlıyor.
Red Hat Zirvesi
Red Hat yöneticilerinin, müşterilerinin ve iş ortaklarının son gelişmelerini duymak için Red Hat Zirvesi'nin açılış konuşmalarına katılın:
- Kurumsal Yapay Zeka ile Uyumlu Modern Altyapı — Salı, 20 Mayıs, 08:00 - 10:00 EDT ( YouTube )
- Hibrit Bulut, İşletme Yeniliğini Teşvik Etmek İçin Gelişiyor — Çarşamba, 21 Mayıs, 08:00-09:30 EDT ( YouTube )
