În această miercuri (13), Red Hat a finalizat procesul de achiziție pentru a cumpăra Neural Magic, companie americană, pionier în software și algoritmi de Inteligență Artificială Generativă (GenAI). Expertiza Neural Magic în ingineria performanței, împreună cu angajamentul său față de codul deschis, se aliniază cu viziunea Red Hat pentru furnizarea de IA de înaltă performanță care se încadrează în diferite scenarii și cazuri de utilizare ale clienților, în orice loc al norului hibrid.
Deși promisiunea GenAI domină o mare parte din peisajul tehnologic actual, modelele mari de limbaj (LLM) care susțin aceste sisteme continuă să crească. Ca rezultat, construirea de servicii LLM de încredere și cu un bun raport cost-beneficiu necesită o capacitate computațională semnificativă, resurse energetice și abilități operaționale specializate. În prezent, aceste obstacole fac imposibilă valorificarea beneficiilor unei IA personalizate, gata pentru implementare și mai sigură pentru majoritatea organizațiilor
Cu achiziția Neural Magic, Red Hat intenționează să abordeze aceste provocări făcând GenAI mai accesibilă pentru mai multe organizații prin inovația deschisă a vLLM. Dezvoltat de UC Berkeley, vLLM este un proiect open source întreținut de comunitate pentru servicii de model deschis (cum ar fi modelele de AI generativ care inferă și rezolvă probleme), cu suport pentru toate principalele familii de modele, cercetare avansată a accelerării inferenței și diverse backend-uri de hardware, inclusiv GPU-uri AMD, AWS Neuron, TPU-uri Google, Intel Gaudi, GPU-uri NVIDIA și CPU-uri x86. Liderarea Neural Magic în proiectul vLLM combinată cu portofoliul puternic de tehnologii de IA de cloud hibrid al Red Hat va oferi organizațiilor o cale deschisă pentru construirea de strategii de IA care să răspundă nevoilor lor unice, oriunde ar fi datele tale
Pentru Matt Hicks, Președinte și CEO al companiei, achiziția Neural Magic, împreună cu dezvoltarea inițiativei vLLM, sunt primul pas pentru a face compania o referință în inteligența artificială.Suntem entuziasmați să completăm portofoliul nostru de IA axat pe cloud hibrid cu inovația revoluționară în IA de la Neural Magic, îmbunătățindu-ne dorința de a nu fi doar 'Red Hat-ul surselor deschise', dar și „Red Hat-ul IA”, a spus.
Red Hat + Neural Magic: posibilitând un viitor cu AI generativ pregătit pentru cloudul hibrid
Neural Magic a făcut un spin-off de MIT în 2018 cu scopul de a construi software de inferență de înaltă performanță pentru învățare profundă (Deep Learning). Cu tehnologia și expertiza în ingineria performanței de la Neural Magic, Red Hat caută să accelereze viziunea sa pentru viitorul AI, impulsionată de portofoliul de tehnologie de IA al Red Hat. Construită pentru a depăși provocările IA-ului de afaceri la scară largă, compania folosește inovație open source pentru a democratiza și mai mult accesul la puterea transformatoare a AI prin intermediul de:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, în mai multe nori și în edge.
- Funcții de ajustare care permit ca organizațiile să personalizeze LLMs mai ușor cu datele lor private și cazuri de utilizare cu o structură de securitate mai robustă
- Experiență în inginerie de performanță de inferință, rezultând în mai mari eficiențe operaționale și de infrastructură
- Un ecosistem open source și de parteneri și structuri de sprijin care permit ca clienții să aibă mai multă opțiune de alegere, de la LLMs și instrumente până hardware de server certificat și arhitecturi de chip
Lideranța vLLM pentru a îmbunătăți Red Hat AI
Neural Magic va utiliza experiența și cunoștințele sale în vLLM pentru a construi o bază de tehnologie, la nivel întreprindere, care permite clienților să optimizeze, implementa și dimensiona sarcini de muncă LLM în medii de cloud hibridă cu control total asupra alegerii infrastructurii, politici de securitate și ciclu de viață al modelului. Neural Magic, de asemenea, dezvoltă cercetare de optimizare de model, construiește LLM Compressor (o bibliotecă unificată pentru a optimiza LLMs cu algoritmi de sparsitate și cuantizare de ultimă generație) și menține o repositorie de modele pre-optimizate gata pentru a fi implementate cu vLLM
Red Hat AI urmărește să ajute clienții să reducă costurile AI și bariere de abilități cu tehnologii puternice, cum:
- Red Hat Enterprise Linux AI (RHEL AI), o platform pentru modele de bază pentru a dezvolta, testați și operați perfect familia IBM Granite de LLMs open source pentru aplicații enterprise în implementări de server Linux;
- Red Hat OpenShift AI, o platformă de AI care oferă instrumente pentru a dezvolta, a antrena, serve și monitoriza rapid modelele de machine learning în medii de Kubernetes distribuite on-site, în norul public sau în edge;
- InstructLab, un proiect comunitar open source creat de Red Hat și de către IBM care permite ca oricine să modeleze viitorul GenAI-ului prin intermediul îmbunătățirii colaborative de LLMs Granite, licențiate ca open source folosind tehnologie de fine-tuning a InstructLab.
Leadership-ul tehnologic al Neural Magic în vLLM va crește capacitatea lui Red Hat AI de a oferi suport pentru implementări de LLM în orice mediu și în orice loc din cloudul hibrid cu o stație de inferență pregătită, extrem de optimizată și deschis
Tranzacția trebuie încă să treacă printr o aprobare reglementară nord-americană și alte condiții obișnuite de încheiere de contracte
