Bu çarşamba (13), Red Hat, Neural Magic'i satın alma sürecini tamamladı, Amerikan şirketi, yapay zeka üretken yazılım ve algoritmalarında öncü. Neural Magic'in performans mühendisliği konusundaki uzmanlığı, açık kaynak koduna olan bağlılığı ile birlikte, Red Hat'ın farklı senaryolar ve müşteri kullanım durumlarına uyan yüksek performanslı yapay zeka sağlama vizyonuyla uyumludur, hibrit bulutun her yerinde.
GenAI vaadinin mevcut teknolojik manzarada büyük bir kısmı kapsamasına rağmen, bu sistemleri destekleyen büyük dil modelleri (LLM'ler) büyümeye devam ediyor. Sonuç olarak, güvenilir ve maliyet etkin LLM hizmetlerinin inşası önemli bir hesaplama kapasitesi gerektirir, enerji kaynakları ve uzmanlaşmış operasyonel beceriler. Şu anda, bu engeller kişiselleştirilmiş bir yapay zekanın faydalarını imkansız hale getiriyor, uygulamaya hazır ve çoğu kuruluş için daha güvenli
Neural Magic'in satın alınmasıyla, Red Hat, vLLM'nin açık inovasyonu aracılığıyla GenAI'yi daha fazla organizasyona daha erişilebilir hale getirerek bu zorlukları ele almayı hedefliyor. UC Berkeley tarafından geliştirilmiştir, vLLM, açık kaynak bir proje olup, topluluk tarafından açık model hizmeti için sürdürülmektedir (örneğin, gen AI modelleri çıkarım yapar ve sorunları çözer), tüm ana model aileleri için destek ile, gelişmiş çıkarım hızlandırma araştırması ve çeşitli donanım arka uçları, AMD GPU'ları dahil, AWS Nöron, Google TPU'ları, Intel Gaudi, NVIDIA GPU'ları ve x86 CPU'ları. Neural Magic'in vLLM projesindeki liderliği ile Red Hat'ın güçlü hibrit bulut AI teknolojileri portföyü, organizasyonlara benzersiz ihtiyaçlarını karşılayan AI stratejileri oluşturmak için açık bir yol sunacak, verdiğiniz veriler nerede olursa olsun
Matt Hicks için, Şirketin Başkanı ve CEO'su, Neural Magic'in satın alınması, vLLM girişiminin geliştirilmesiyle birlikte, şirketi yapay zeka alanında bir referans haline getirmek için ilk adımdır.Hibrit bulut odaklı yapay zeka portföyümüzü Neural Magic'in devrim niteliğindeki yapay zeka yeniliği ile tamamlamaktan heyecan duyuyoruz, açık kaynakta sadece 'Red Hat' olmama arzumuzu artırıyor, ama da 'Yapay Zeka'nın Red Hat'i, dedi.
Red Hat + Neural Magic: hibrit bulut için hazır gen AI ile bir geleceği mümkün kılmak
Neural Magic, MIT'den 2018'de bir spin-off yaptı yüksek performanslı çıkarım yazılımı inşa etmek amacıyla Derin Öğrenme (Deep Learning). Neural Magic'ın performans mühendisliği konusundaki teknoloji ve uzmanlığı ile, Red Hat arıyor hızlandır AI'nın geleceği için vizyonunu, Red Hat'ın AI teknoloji portföyü tarafından güçlendirilmiş. Büyük ölçekli kurumsal yapay zeka zorluklarını aşmak için inşa edildi, şirket, AI'nın dönüştürücü gücüne erişimi daha da demokratikleştirmek için açık kaynak inovasyon kullanır yoluyla:
- 1 milyar ile 405 milyar parametre ölçeğinde, her yerde hibrit bulutta çalışabilen açık kaynaklı lisanslı modeller — kurumsal veri merkezlerinde, çeşitli bulutlarda ve edge'de.
- Düzenleme özellikleri ki kuruluşların LLM'leri daha kolay özel verileriyle ve kullanım durumlarıyla daha sağlam bir güvenlik yapısı ile özelleştirmesini sağlar
- Sonuçlandırma performansı mühendisliğinde deneyim, sonuç olarak daha fazla operasyonel ve altyapı verimliliği
- Bir açık kaynak ve ortakların ekosistem ve destek yapıları ki müşterilerin daha fazla seçim seçeneğine sahip olmasını mümkün kılar, LLMs ve araçlardan itibaren sertifikalı sunucu donanımı ve çip mimarileri
Red Hat AI'yi geliştirmek için vLLM liderliği
Neural Magic, vLLM'de uzmanlığını ve bilgisini kullanarak bir teknoloji temeli inşa edecek, işletme düzeyinde, ki müşterilerin optimize etmesini sağlar, yerleştirmek ve boyutlandır LLM iş yükleri hibrit bulut ortamlarında altyapı seçimi üzerinde tam kontrol ile, güvenlik politikaları ve modelin yaşam döngüsü. Neural Magic ayrıca geliştirir model optimizasyonu araştırması, inşa eder LLM Compressor (bir birleşik kütüphane LLM'leri optimize etmek için darlık ve kuantizasyon algoritmaları son nesil) ve tutar bir deposu önceden optimize edilmiş modeller vLLM ile dağıtılmaya hazır
Red Hat AI, müşterilerin AI maliyetlerini ve yetenek engellerini güçlü teknolojilerle azaltmaya yardımcı olmayı amaçlıyor, nasıl
- Red Hat Enterprise Linux AI (RHEL AI), bir platform temel modeller için geliştirmek, test etmek ve işletmeyi mükemmel bir şekilde IBM Granite ailesi LLMs açık kaynak işletme uygulamaları için Linux sunucu konuşlandırmalarında;
- Red Hat OpenShift AI, geliştirmek için araç sağlayan bir AI platformu, eğitmek, on-site dağıtılan Kubernetes ortamlarında machine learning modellerini hızlı hizmet ve izlemek, kamu bulutunda veya edge'de;
- InstructLab, Red Hat ve IBM tarafından oluşturulan bir açık kaynak topluluk projesi ki herkesin GenAI'nın geleceğini şekillendirmesine izin verir Granite LLMs'in işbirlikçi geliştirmesi yoluyla, lisanslı olarak açık kaynak InstructLab'ın fine-tuning teknolojisini kullanarak.
Neural Magic'in vLLM'deki teknolojik liderliği Red Hat AI'nın herhangi bir ortamda ve herhangi bir yerde hibrit buluttaki LLM dağıtımlarına destek verme yeteneğini artıracak hazır bir çıkarım yığınıyla, son derece optimize edilmiş ve açık
İşlem hala bir Kuzey Amerika düzenleyici onayından ve diğer normal sözleşme kapatma koşullarından geçmelidir
