Çarşamba günü (13), Red Hat, Üretken Yapay Zeka (GenAI) yazılımı ve algoritmalarında öncü olan ABD merkezli Neural Magic şirketini satın alma sürecini tamamladı. Neural Magic'in performans mühendisliğindeki uzmanlığı ve açık kaynak kodlu yazılıma olan bağlılığı, Red Hat'in hibrit bulutta farklı müşteri senaryolarına ve kullanım durumlarına uygun yüksek performanslı yapay zeka sunma vizyonuyla örtüşüyor.
GenAI'nin vaadi mevcut teknolojik ortamın büyük bir bölümüne hakim olsa da, bu sistemlerin temelini oluşturan büyük dil modelleri (LLM'ler) büyümeye devam ediyor. Sonuç olarak, güvenilir ve uygun maliyetli LLM hizmetleri oluşturmak önemli miktarda işlem gücü, enerji kaynakları ve özel operasyonel beceriler gerektiriyor. Şu anda bu engeller, çoğu kuruluşun daha güvenli, kullanıma hazır ve kişiselleştirilmiş bir yapay zekanın faydalarını gerçekleştirmesini engelliyor.
Neural Magic'in satın alınmasıyla Red Hat, vLLM'nin açık inovasyonu aracılığıyla GenAI'yi daha fazla kuruluşa daha erişilebilir hale getirerek bu zorlukların üstesinden gelmeyi hedefliyor. UC Berkeley tarafından geliştirilen vLLM, tüm önemli model ailelerini, gelişmiş çıkarım hızlandırma araştırmalarını ve AMD GPU'lar, AWS Neuron, Google TPU'lar, Intel Gaudi, NVIDIA GPU'lar ve x86 CPU'lar dahil olmak üzere çeşitli donanım arka uçlarını destekleyen, açık model hizmeti (GenAI modellerinin nasıl çıkarım yaptığı ve sorunları çözdüğü) için topluluk tarafından sürdürülen açık kaynaklı bir projedir. Neural Magic'in vLLM projesindeki liderliği, Red Hat'in güçlü hibrit bulut yapay zeka teknolojileri portföyüyle birleşerek, kuruluşlara verilerinin nerede bulunduğuna bakılmaksızın, benzersiz ihtiyaçlarını karşılayan yapay zeka stratejileri oluşturmak için açık bir yol sunacaktır.
Şirketin Başkanı ve CEO'su Matt Hicks için, Neural Magic'in satın alınması ve vLLM girişiminin geliştirilmesi, şirketi yapay zekada bir referans noktası olarak konumlandırmanın ilk adımıdır. Hicks, "Hibrit bulut odaklı yapay zeka portföyümüzü Neural Magic'in çığır açan yapay zeka inovasyonuyla tamamlamaktan heyecan duyuyoruz ve bu, sadece 'açık kaynak yazılımın Red Hat'i' değil, aynı zamanda 'yapay zekanın Red Hat'i' olma hedefimizi daha da ileriye taşıyor" dedi.
Red Hat + Neural Magic: Hibrit bulut uyumlu yapay zeka ile geleceği mümkün kılmak.
Neural Magic, derin öğrenme için yüksek performanslı çıkarım yazılımı geliştirmek amacıyla 2018 yılında MIT'den ayrılarak kuruldu. Red Hat, Neural Magic'in teknolojisi ve performans mühendisliği uzmanlığıyla, Red Hat'in yapay zeka teknoloji portföyü tarafından yönlendirilen yapay zekanın geleceğine yönelik vizyonunu hızlandırmayı hedefliyor. Büyük ölçekli kurumsal yapay zekanın zorluklarının üstesinden gelmek için tasarlanan şirket, açık kaynaklı inovasyonu kullanarak yapay zekanın dönüştürücü gücüne erişimi daha da demokratikleştiriyor:
- 1 milyardan 405 milyara kadar parametreye sahip, lisanslı açık kaynak kodlu modeller, hibrit bulutta her yerde çalışabilir; kurumsal veri merkezlerinde, birden fazla bulutta ve uç noktalarda.
- Kuruluşların LLM'leri kendi özel verilerine ve kullanım durumlarına daha kolay uyarlamalarına olanak tanıyan ve daha sağlam bir güvenlik çerçevesi sunan özelleştirme özellikleri.
- Çıkarım performansı mühendisliği alanındaki deneyimimiz sayesinde operasyonel ve altyapı verimliliğinde artış sağladık.
- Açık kaynaklı bir ekosistem ve iş ortakları ile destek yapılarından oluşan bir ağ, müşterilere LLM'lerden ve araçlardan sertifikalı sunucu donanımına ve çip mimarilerine kadar daha fazla seçenek sunar.
vLLM Liderliği Red Hat Yapay Zekasını Geliştirecek
Neural Magic, vLLM alanındaki uzmanlığını ve bilgisini kullanarak, müşterilerin hibrit bulut ortamlarında LLM iş yüklerini optimize etmelerini, dağıtmalarını ve ölçeklendirmelerini sağlayan, altyapı seçimi, güvenlik politikaları ve model yaşam döngüsü üzerinde tam kontrol sahibi olmalarını sağlayan kurumsal düzeyde bir teknoloji altyapısı oluşturacaktır. Neural Magic ayrıca model optimizasyonu araştırmaları yürütmekte, LLM Compressor'ı (en gelişmiş seyrekleştirme ve niceleme algoritmalarıyla LLM'leri optimize etmek için birleşik bir kütüphane) geliştirmekte ve vLLM ile dağıtıma hazır önceden optimize edilmiş modellerin bir deposunu muhafaza etmektedir.
Red Hat AI, aşağıdaki gibi güçlü teknolojilerle müşterilerin yapay zeka maliyetlerini ve beceri engellerini azaltmalarına yardımcı olmayı amaçlamaktadır:
- Red Hat Enterprise Linux AI (RHEL AI) , Linux sunucu ortamlarında kurumsal uygulamalar için IBM Granite açık kaynaklı LLM ailesinin sorunsuz bir şekilde geliştirilmesi, test edilmesi ve işletilmesi için modeller oluşturmaya yönelik bir platformdur;
- Red Hat OpenShift AI, yerel ağda, genel bulutta veya uç cihazlarda dağıtılmış Kubernetes ortamlarında makine öğrenimi modellerini hızlı bir şekilde geliştirmek, eğitmek, sunmak ve izlemek için araçlar sağlayan bir yapay zeka platformudur.
- InstructLab, Red Hat ve IBM tarafından oluşturulan açık kaynaklı bir topluluk projesidir ve herkesin, açık kaynak olarak lisanslanan Granite LLM'lerin InstructLab'ın ince ayar teknolojisi kullanılarak ortaklaşa geliştirilmesi yoluyla GenAI'nin geleceğini şekillendirmesine olanak tanır.
Neural Magic'in vLLM alanındaki teknolojik liderliği, Red Hat AI'nin hibrit bulutta herhangi bir ortamda ve herhangi bir yerde LLM dağıtımlarını destekleme yeteneğini, hazır, yüksek düzeyde optimize edilmiş ve açık bir çıkarım yığınıyla geliştirecektir.
İşlem, ABD düzenleyici kurumlarının onayına ve diğer olağan kapanış koşullarına tabidir.
