U srijedu (13), Red Hat je završio proces kupovine kompanije Neural Magic, američke kompanije, pionira u softveru i algoritmima generativne umjetne inteligencije (GenAI). Neural Magic-ova stručnost u inženjerstvu performansi, zajedno s njihovom posvećenošću otvorenom kodu, usklađena je s vizijom Red Hata za pružanje visokoučinkovite umjetne inteligencije koja odgovara različitim scenarijima i slučajevima upotrebe kupaca, bilo gdje u hibridnom oblaku.
Iako obećanje GenAI dominira velikim dijelom trenutnog tehnološkog pejzaža, modeli velikih jezika (LLM) koji podupiru ove sisteme nastavljaju da rastu. Kao rezultat toga, izgradnja pouzdanih i isplativih LLM usluga zahtijeva značajnu računarsku snagu, energetske resurse i specijalizirane operativne vještine. Trenutno, ove prepreke sprečavaju većinu organizacija da ostvare prednosti sigurnije, za implementaciju spremne i personalizirane umjetne inteligencije.
Akvizicijom Neural Magica, Red Hat ima za cilj da se pozabavi ovim izazovima tako što će GenAI učiniti dostupnijim većem broju organizacija putem otvorene inovacije vLLM-a. Razvijen od strane UC Berkeleyja, vLLM je projekat otvorenog koda koji održava zajednica za otvorenu uslugu modela (kako GenAI modeli zaključuju i rješavaju probleme), podržavajući sve glavne porodice modela, napredna istraživanja ubrzanja inferencije i raznolike hardverske backendove, uključujući AMD GPU-ove, AWS Neuron, Google TPU-ove, Intel Gaudi, NVIDIA GPU-ove i x86 CPU-ove. Vodeća uloga Neural Magica u projektu vLLM, u kombinaciji sa snažnim portfoliom hibridnih cloud AI tehnologija Red Hata, ponudit će organizacijama otvoren put ka izgradnji AI strategija koje zadovoljavaju njihove jedinstvene potrebe, gdje god se njihovi podaci nalaze.
Za Matta Hicksa, predsjednika i izvršnog direktora kompanije, akvizicija Neural Magica, zajedno s razvojem vLLM inicijative, prvi je korak u pozicioniranju kompanije kao referentne tačke u području umjetne inteligencije. "Uzbuđeni smo što upotpunjujemo naš hibridni AI portfolio usmjeren na oblak revolucionarnom AI inovacijom Neural Magica, čime ćemo dodatno osnažiti našu ambiciju da budemo ne samo 'crveni šešir otvorenog koda', već i 'crveni šešir umjetne inteligencije'", rekao je.
Red Hat + Neuronska magija: Omogućavanje budućnosti hibridnom umjetnom inteligencijom spremnom za oblak.
Neural Magic se izdvojio iz MIT-a 2018. godine s ciljem izgradnje visokoučinkovitog softvera za zaključivanje za duboko učenje. S Neural Magic-ovom stručnošću u tehnologiji i inženjerstvu performansi, Red Hat nastoji ubrzati svoju viziju budućnosti umjetne inteligencije, vođena Red Hat-ovim portfoliom umjetne inteligencije. Izgrađena da savlada izazove umjetne inteligencije velikih preduzeća, kompanija koristi inovacije otvorenog koda kako bi dodatno demokratizirala pristup transformativnoj moći umjetne inteligencije putem:
- Licencirani modeli otvorenog koda koji obuhvataju od milijardu do 405 milijardi parametara i mogu funkcionisati bilo gdje u hibridnom oblaku – u centrima podataka preduzeća, na više oblaka i na rubu mreže.
- Funkcije prilagođavanja koje omogućavaju organizacijama da lakše prilagode LLM-ove svojim privatnim podacima i slučajevima upotrebe uz robusniji sigurnosni okvir.
- Iskustvo u inženjerstvu performansi inferencije, što rezultira većom operativnom i infrastrukturnom efikasnošću.
- Ekosistem otvorenog koda i mreža partnera i struktura podrške koje kupcima daju veći izbor, od LLM-ova i alata do certificiranog serverskog hardvera i arhitektura čipova.
vLLM liderstvo za unapređenje Red Hat AI-a
Neural Magic će iskoristiti svoju stručnost i znanje u vLLM-u kako bi izgradio tehnološku osnovu na nivou preduzeća koja omogućava korisnicima da optimizuju, implementiraju i skaliraju LLM opterećenja u hibridnim cloud okruženjima sa potpunom kontrolom nad izborom infrastrukture, sigurnosnim politikama i životnim ciklusom modela. Neural Magic također provodi istraživanja optimizacije modela, gradi LLM Compressor (ujedinjenu biblioteku za optimizaciju LLM-ova sa najsavremenijim algoritmima za rijetkost i kvantizaciju) i održava repozitorij prethodno optimizovanih modela spremnih za implementaciju sa vLLM-om.
Red Hat AI ima za cilj da pomogne korisnicima da smanje troškove AI-a i barijere u vještinama pomoću moćnih tehnologija kao što su:
- Red Hat Enterprise Linux AI (RHEL AI) , platforma za izgradnju modela za besprijekoran razvoj, testiranje i rad IBM Granite porodice LLM-ova otvorenog koda za poslovne aplikacije u Linux serverskim implementacijama;
- Red Hat OpenShift AI je AI platforma koja pruža alate za brzi razvoj, obuku, servisiranje i praćenje modela mašinskog učenja u distribuiranim Kubernetes okruženjima na licu mjesta, u javnom oblaku ili na rubu mreže.
- InstructLab je projekt otvorenog koda zajednice koji su kreirali Red Hat i IBM, a koji omogućava svima da oblikuju budućnost GenAI-a kroz zajedničko unapređenje Granite LLM-ova, licenciranih kao otvoreni kod, koristeći InstructLab-ovu tehnologiju finog podešavanja.
Tehnološko liderstvo Neural Magica u vLLM-u će poboljšati sposobnost Red Hat AI-a da podrži implementacije LLM-a u bilo kojem okruženju i bilo gdje u hibridnom oblaku sa spremnim, visoko optimizovanim i otvorenim inferencijalnim stekom.
Transakcija je i dalje podložna odobrenju američkih regulatornih organa i drugim uobičajenim uslovima za zatvaranje.
