Ove srijede (13), Red Hat je završio proces kupnje za stjecanje Neural Magic, američka kompanija, pionir u softveru i algoritmima generativne umjetničke inteligencije (GenAI). Stručnost Neural Magic u inženjeringu performansi, zajedno s vašom posvećenošću otvorenom kodu, se usklađuje s vizijom Red Hata za pružanje visokoučinkovite AI koja se uklapa u različite scenarije i slučajeve upotrebe kupaca, na bilo kojem dijelu hibridne oblaka.
Iako obećanje GenAI dominira velikim dijelom trenutnog tehnološkog pejzaža, veliki modeli jezika (LLM) koji podržavaju te sustave nastavljaju rasti. Kao rezultat, izgradnja pouzdanih LLM usluga s dobrom cijenom i kvalitetom zahtijeva značajnu računalnu moć, energetski resursi i specijalizirane operativne vještine. Trenutno, ove prepreke onemogućuju koristi personalizirane AI, spremna za implementaciju i sigurnija za većinu organizacija
S akvizicijom Neural Magic, Red Hat namjerava se suočiti s tim izazovima učinivši GenAI pristupačnijim za više organizacija putem otvorene inovacije vLLM. Razvijen na UC Berkeley, vLLM je open source projekt koji održava zajednica za uslugu otvorenog modela (kao što modeli gen AI inferiraju i rješavaju probleme), s podrškom za sve glavne obitelji modela, napredna istraživanja ubrzanja inferencije i razni hardverski backendovi, uključujući AMD GPU-ove, AWS Neuron, Google TPU-ovi, Intel Gaudi, NVIDIA GPU-i i x86 CPU-i. Vodstvo Neural Magic-a u projektu vLLM u kombinaciji s jakim portfeljem tehnologija hibridne AI u oblaku Red Hata pružit će organizacijama otvoren put za izgradnju strategija AI koje zadovoljavaju njihove jedinstvene potrebe, gdje god da su vaši podaci
Za Matta Hicksa, Predsjednik i izvršni direktor kompanije, kupnja Neural Magic, zajedno s razvojem inicijative vLLM, su su prvi korak za postavljanje tvrtke kao referencu u umjetnoj inteligenciji."Uzbuđeni smo što možemo dopuniti naš portfelj AI-a usmjerenog na hibridne oblake s revolucionarnom AI inovacijom Neural Magic", povećavajući našu želju da ne budemo samo 'Red Hat open source-a', ali i ‘Red Hat umjetne inteligencije’, rekao.
Red Hat + Neural Magic: omogućavanje budućnosti s gen AI spremnom za hibridnu oblak
Neural Magic napravila je spin-off od MIT u 2018. s ciljem da gradi softver inferencije visokog performansa za duboko učenje (Deep Learning). S tehnologijom i stručnošću u inženjeringu performansi Neural Magic, red Hat traži ubrzati svoju viziju za budućnost AI-a, pogonjena od portfolija tehnologije AI-a Red Hat-a. Izgrađena za prevladavanje izazova poslovne AI na velikoj skali, tvrtka koristi inovaciju open source da još više demokratizira pristup transformacijskoj moći AI-a putem:
- Licencirani open source modeli u rasponu od 1 milijarde do 405 milijardi parametara koji mogu raditi bilo gdje u hibridnoj oblaku — u korporativnim podatkovnim centrima, u različitim oblacima i na edge.
- Funkcije prilagođavanja koje omogućuju da organizacije personaliziraju LLMs lakše sa svojim privatnim podacima i slučajevima korištenja s robusnijom sigurnosnom strukturom
- Iskustvo u inženjeringu performansi inferencije, rezultirajući većim operativnim efikasnostima i od infrastrukture
- Ekosistem open source i od partnera i struktura podrške koji omogućuju da kupci imaju više izbora izbora, od LLMs i alata do hardvera servera certifik i arhitekture čipa
Liderstvo vLLM za unapređenje Red Hat AI
Neural Magic upotrijebit će svoju stručnost i znanje u vLLM kako bi izgradio bazu tehnologije, na nivou tvrtke, koje omogućuje klijentima optimizirati, implementirati i dimensionirati radna opterećenja LLM u okruženjima hibridnih oblaka s potpunom kontrolom nad izborom infrastrukture, politike sigurnosti i životnog ciklusa modela. Neural Magic također razvija istraživanje optimizacije modela, gradi LLM Compressor (unifikovana knjižnica za optimizaciju LLMs s algoritmima sparsnosti i kvantizacije najnovije generacije) i održava repozitorij pre-optimiziranih modela spremnih za implementaciju s vLLM
Red Hat AI traži pomoći klijentima smanjiti troškove AI-a i barijere vještina sa moćnim tehnologijama, kako
- Red Hat Enterprise Linux AI (RHEL AI), platformu za modele osnove za razviti, testirati i upravljati savršeno IBM Granite obitelj od LLMs open source za poslovne primjene u implementacijama Linux servera;
- Red Hat OpenShift AI, platformu AI-a koja pruža alate za razvij, trenir, služiti i monitorirati brzo modele strojnog učenja u okruženjima Kubernetes distribuiranih on-site, na javnom oblaku ili na edge;
- InstructLab, otvoreni projekt zajednice stvoren od strane Red Hat i od strane IBM koji omogućuje da bilo tko oblikuje budućnost GenAI-a putem kolaborativnog unapređenja LLMs Granite, licencirani kao open source koristeći tehnologiju fine-tuning od InstructLab.
Tehnološko vodstvo Neural Magic-a u vLLM povećat će sposobnost Red Hat AI-a da pruži podršku implementacijama LLM-a u bilo kojem okruženju i na bilo kojem mjestu hibride oblaka s spremnom pilom inferencije, visoko optimizirana i otvorena
Transakcija još mora proći kroz sjevernoameričko regulatorno odobrenje i druge uobičajene uvjete zatvaranja ugovora
