Red Hat achiziționează Neural Magic, un pionier al software-ului și algoritmului în GenA

Miercuri (13), Red Hat a finalizat procesul de cumpărare pentru a achiziționa Neural Magic, o companie americană care a fost pionier în software-ul și algoritmii Generative Artificial Intelligence (GenAI). Expertiza Neural Magic în ingineria performanței, împreună cu angajamentul său față de open source, se aliniază cu Red. Viziunea Hat pentru furnizarea de AI de înaltă performanță care se potrivește diferitelor scenarii și cazuri de utilizare a clienților, oriunde în cloud hibrid.  

În timp ce promisiunea GenAI domină o mare parte din peisajul tehnologic actual, modelele de limbaj mari (LLM) care stau la baza acestor sisteme continuă să crească. ca urmare, construirea de servicii LLM fiabile și rentabile necesită o putere de calcul semnificativă, resurse energetice și abilități operaționale specializate.

Odată cu achiziția Neural Magic, Red Hat intenționează să abordeze aceste provocări făcând GenAI mai accesibil pentru mai multe organizații prin inovația deschisă a vLLM. Dezvoltat de UC Berkeley, vLLM este un proiect open source întreținut de comunitate pentru serviciul de model deschis (cum deduc modelele de inteligență artificială și rezolvă probleme), cu suport pentru toate familiile majore de modele, cercetare avansată de accelerare a inferenței și diverse backend-uri hardware, inclusiv GPU-uri AMD, AWS Neuron, Google Hat, Intel Gaudi, GPU-uri NVIDIA și procesoare x86.

Pentru Matt Hicks, președinte și CEO al companiei, achiziționarea Neural Magic, împreună cu dezvoltarea inițiativei vLLM, este primul pas pentru a pune compania ca punct de referință în inteligența artificială. „Suntem încântați să completăm portofoliul nostru de inteligență artificială hibrid axat pe cloud cu inovația revoluționară AI a Neural Magic, sporind dorința noastră de a fi nu numai Hat open source“, ci și „HAT of AI“. 

Red Hat + Neural Magic: permiterea unui viitor cu AI hibrid gata de cloud 

Neural Magic s-a desprins de MIT în 2018 cu scopul de a construi software de inferență de înaltă performanță pentru învățarea profundă (Deep Learning).Cu tehnologia Neural Magic și expertiza în ingineria performanței, Red Hat încearcă să-și accelereze viziunea pentru viitorul AI, alimentat de portofoliul de tehnologie AI al Red Hat.Construită pentru a depăși provocările IA la scară largă a întreprinderilor, compania folosește inovația open source pentru a democratiza în continuare accesul la puterea de transformare a AI prin:

• Modele cu licență open source la scară de la 1 bi la 405 bi parametri care pot funcționa oriunde de la cloud hibrid la centre de date enterprise, multi-cloud și la margine. 
• Tweak caracteristici care permit organizațiilor să personalizeze LLM-uri mai ușor cu datele lor private și de a folosi cazuri cu un cadru de securitate mai robust.
• Experiență în ingineria performanței inferenței, care are ca rezultat creșterea eficienței operaționale și a infrastructurii 
• Un ecosistem open source și partener și cadre de asistență care permit clienților să aibă mai multe opțiuni, de la LLM-uri și instrumente până la hardware certificat de server și arhitecturi de cipuri.

Conducerea VLLM pentru a îmbunătăți Red Hat AI

Neural Magic își va folosi expertiza și cunoștințele vLLM pentru a construi o fundație tehnologică la nivel de întreprindere care să permită clienților să optimizeze, să implementeze și să scaleze sarcinile de lucru LLM în medii cloud hibride, cu control deplin asupra alegerii infrastructurii, politicilor de securitate și ciclului de viață al modelului. Neural Magic dezvoltă, de asemenea, cercetări de optimizare a modelelor, construiește compresorul LLM (o bibliotecă unificată pentru optimizarea LLM-urilor cu algoritmi de ultimă generație de sparsity și cuantizare) și menține un depozit de modele pre-optimizate gata de implementare cu vLLM.

Red Hat AI încearcă să ajute clienții să reducă costurile AI și barierele de calificare cu tehnologii puternice, cum ar fi 

• Red Hat Enterprise Linux AI (RHEL AI), o platformă pentru modelele de bază pentru a dezvolta, testa și opera fără probleme familia IBM Granite de LLM-uri open source pentru aplicații de întreprindere în implementările de servere Linux; 
• Red Hat OpenShift AI, o platformă AI care oferă instrumente pentru a dezvolta, instrui, servi și monitoriza rapid modele de învățare automată în medii Kubernetes distribuite la fața locului, în cloud public sau la margine; 
• InstructLab, un proiect comunitar open source creat de Red Hat și IBM, care permite oricui să modeleze viitorul GenAI prin îmbunătățirea colaborativă a LLM-urilor Granite, licențiate ca sursă deschisă folosind tehnologia de reglare fină de la InstructLab. 

Conducerea tehnologiei Neural Magic în vLLM va spori capacitatea Red Hat AI de a sprijini implementările LLM în orice mediu și oriunde în cloud hibrid cu o stivă de inferențe gata, foarte optimizată și deschisă.

Tranzacția este încă de așteptat să fie supusă aprobării de reglementare și altor condiții obișnuite de închidere.