Trešdien (13) Red Hat pabeidza pirkuma procesu, lai iegādātos Neural Magic, ASV uzņēmumu, kas ir ģeneratīvā mākslīgā intelekta (GenAI) programmatūras un algoritmu pionieris. Neural Magic pieredze veiktspējas inženierijā, kā arī apņemšanās nodrošināt atvērtā pirmkoda programmatūru atbilst Red Hat vīzijai par augstas veiktspējas mākslīgā intelekta nodrošināšanu, kas atbilst dažādiem klientu scenārijiem un lietošanas gadījumiem jebkur hibrīdajā mākonī.
Lai gan GenAI solījums dominē lielākajā daļā pašreizējās tehnoloģiskās vides, lielie valodu modeļi (LLM), kas ir šo sistēmu pamatā, turpina augt. Tā rezultātā uzticamu un rentablu LLM pakalpojumu izveidei ir nepieciešama ievērojama skaitļošanas jauda, enerģijas resursi un specializētas darbības prasmes. Pašlaik šie šķēršļi neļauj lielākajai daļai organizāciju realizēt drošāka, ieviešanai gatavāka un personalizētāka mākslīgā intelekta sniegtās priekšrocības.
Iegādājoties Neural Magic, Red Hat mērķis ir risināt šīs problēmas, padarot GenAI pieejamāku lielākam skaitam organizāciju, izmantojot vLLM atvērto inovāciju. Kalifornijas Bērklija universitātes izstrādātais vLLM ir kopienas uzturēts atvērtā pirmkoda projekts atvērtā modeļa pakalpojumam (kā GenAI modeļi secina un risina problēmas), kas atbalsta visas galvenās modeļu saimes, progresīvus secinājumu paātrināšanas pētījumus un dažādas aparatūras aizmugures sistēmas, tostarp AMD GPU, AWS Neuron, Google TPU, Intel Gaudi, NVIDIA GPU un x86 CPU. Neural Magic vadība vLLM projektā apvienojumā ar Red Hat spēcīgo hibrīdmākoņa mākslīgā intelekta tehnoloģiju portfeli piedāvās organizācijām atvērtu ceļu uz mākslīgā intelekta stratēģiju veidošanu, kas atbilst to unikālajām vajadzībām neatkarīgi no tā, kur atrodas to dati.
Uzņēmuma prezidentam un izpilddirektoram Matam Hiksam Neural Magic iegāde, kā arī vLLM iniciatīvas attīstība ir pirmais solis, lai pozicionētu uzņēmumu kā mākslīgā intelekta etalonu. "Mēs esam sajūsmā papildināt savu uz hibrīdajiem mākoņpakalpojumiem orientēto mākslīgā intelekta portfeli ar Neural Magic revolucionāro mākslīgā intelekta inovāciju, tādējādi tiecoties pēc mūsu ambīcijām būt ne tikai "atvērtā pirmkoda sarkanā cepure", bet arī "mākslīgā intelekta sarkanā cepure"," viņš teica.
Red Hat + Neiron Magic: Nākotnes nodrošināšana ar hibrīda, mākonim gatavu mākslīgo intelektu.
Neural Magic tika atdalīts no MIT 2018. gadā ar mērķi izveidot augstas veiktspējas secinājumu programmatūru dziļajai mācīšanai. Izmantojot Neural Magic tehnoloģiju un veiktspējas inženierijas pieredzi, Red Hat cenšas paātrināt savu vīziju par mākslīgā intelekta nākotni, kuras pamatā ir Red Hat mākslīgā intelekta tehnoloģiju portfelis. Uzņēmums, kas izveidots, lai pārvarētu liela mēroga uzņēmumu mākslīgā intelekta izaicinājumus, izmanto atvērtā pirmkoda inovācijas, lai vēl vairāk demokratizētu piekļuvi mākslīgā intelekta pārveidojošajam spēkam, izmantojot:
- Licencēti atvērtā pirmkoda modeļi ar parametru diapazonu no 1 miljarda līdz 405 miljardiem, kas var darboties jebkur hibrīdajā mākonī — uzņēmumu datu centros, vairākos mākoņos un perifērijā.
- Pielāgošanas funkcijas, kas ļauj organizācijām vieglāk pielāgot LLM saviem privātajiem datiem un lietošanas gadījumiem ar spēcīgāku drošības sistēmu.
- Pieredze secinājumu veiktspējas inženierijā, kas nodrošina lielāku darbības un infrastruktūras efektivitāti.
- Atvērtā pirmkoda ekosistēma un partneru un atbalsta struktūru tīkls, kas klientiem sniedz plašāku izvēli, sākot no LLM un rīkiem līdz sertificētai serveru aparatūrai un mikroshēmu arhitektūrām.
vLLM vadība Red Hat mākslīgā intelekta uzlabošanai
Neural Magic izmantos savu pieredzi un zināšanas vLLM jomā, lai izveidotu uzņēmuma līmeņa tehnoloģiju pamatu, kas ļauj klientiem optimizēt, izvietot un mērogot LLM darba slodzes hibrīdmākoņa vidēs ar pilnīgu kontroli pār infrastruktūras izvēli, drošības politikām un modeļa dzīves ciklu. Neural Magic veic arī modeļu optimizācijas pētījumus, veido LLM kompresoru (vienotu bibliotēku LLM optimizēšanai ar modernākajiem retuma un kvantizācijas algoritmiem) un uztur iepriekš optimizētu modeļu krātuvi, kas ir gatavi izvietošanai ar vLLM.
Red Hat AI mērķis ir palīdzēt klientiem samazināt mākslīgā intelekta izmaksas un prasmju barjeras, izmantojot tādas jaudīgas tehnoloģijas kā:
- Red Hat Enterprise Linux AI (RHEL AI) — platforma modeļu veidošanai, lai nemanāmi izstrādātu, testētu un darbinātu IBM Granite atvērtā pirmkoda LLM saimi uzņēmumu lietojumprogrammām Linux serveru izvietojumos;
- Red Hat OpenShift AI ir mākslīgā intelekta platforma, kas nodrošina rīkus mašīnmācīšanās modeļu ātrai izstrādei, apmācībai, apkalpošanai un uzraudzībai izkliedētās Kubernetes vidēs uz vietas, publiskajā mākonī vai perifērijā.
- InstructLab ir Red Hat un IBM izveidots atvērtā pirmkoda kopienas projekts, kas ļauj ikvienam veidot GenAI nākotni, kopīgi uzlabojot Granite LLM, kas licencēti kā atvērtā pirmkoda projekti, izmantojot InstructLab precizēšanas tehnoloģiju.
Neural Magic tehnoloģiskā līderība vLLM jomā uzlabos Red Hat AI spēju atbalstīt LLM izvietošanu jebkurā vidē un jebkur hibrīdajā mākonī ar gatavu, augsti optimizētu un atvērtu secinājumu steku.
Darījums joprojām ir atkarīgs no ASV regulējošo iestāžu apstiprinājuma un citiem ierastajiem noslēguma nosacījumiem.
