Dimecres (13), Red Hat va completar el procés de compra per adquirir Neural Magic, una empresa nord-americana pionera en programari i algoritmes d'Intel·ligència Artificial Generativa (GenAI). L'experiència de Neural Magic en enginyeria de rendiment, juntament amb el seu compromís amb el codi obert, s'alinea amb la visió de Red Hat d'oferir una IA d'alt rendiment que s'adapti a diferents escenaris i casos d'ús dels clients, a qualsevol lloc del núvol híbrid.
Tot i que la promesa de la GenAI domina gran part del panorama tecnològic actual, els grans models de llenguatge (LLM) que sustenten aquests sistemes continuen creixent. Com a resultat, la construcció de serveis LLM fiables i rendibles requereix una potència de càlcul significativa, recursos energètics i habilitats operatives especialitzades. Actualment, aquests obstacles impedeixen que la majoria de les organitzacions s'aprofitin dels beneficis d'una IA més segura, preparada per al desplegament i personalitzada.
Amb l'adquisició de Neural Magic, Red Hat pretén abordar aquests reptes fent que GenAI sigui més accessible a més organitzacions a través de la innovació oberta de vLLM. Desenvolupat per la UC Berkeley, vLLM és un projecte de codi obert mantingut per la comunitat per al servei de models oberts (com els models GenAI infereixen i resolen problemes), que dóna suport a totes les principals famílies de models, investigació avançada d'acceleració d'inferència i diversos backends de maquinari, incloent GPU AMD, AWS Neuron, Google TPU, Intel Gaudi, GPU NVIDIA i CPU x86. El lideratge de Neural Magic en el projecte vLLM, combinat amb la sòlida cartera de tecnologies d'IA al núvol híbrid de Red Hat, oferirà a les organitzacions un camí obert per construir estratègies d'IA que satisfacin les seves necessitats úniques, allà on resideixin les seves dades.
Per a Matt Hicks, president i CEO de l'empresa, l'adquisició de Neural Magic, juntament amb el desenvolupament de la iniciativa vLLM, és el primer pas per posicionar l'empresa com a referent en intel·ligència artificial. "Estem encantats de complementar la nostra cartera d'IA centrada en el núvol híbrid amb la innovació en IA innovadora de Neural Magic, impulsant la nostra ambició de ser no només el 'Red Hat del codi obert', sinó també el 'Red Hat de la IA'", va dir.
Red Hat + Neural Magic: Habilitant un futur amb IA híbrida preparada per al núvol.
Neural Magic es va separar del MIT el 2018 amb l'objectiu de crear programari d'inferència d'alt rendiment per a l'aprenentatge profund. Amb l'experiència tecnològica i d'enginyeria de rendiment de Neural Magic, Red Hat vol accelerar la seva visió per al futur de la IA, impulsada per la cartera de tecnologia d'IA de Red Hat. Construïda per superar els reptes de la IA empresarial a gran escala, l'empresa utilitza la innovació de codi obert per democratitzar encara més l'accés al poder transformador de la IA a través de:
- Models de codi obert amb llicència que van des de 1.000 milions fins a 405.000 milions de paràmetres que poden funcionar a qualsevol lloc del núvol híbrid: en centres de dades empresarials, en diversos núvols i a la vora.
- Funcions de personalització que permeten a les organitzacions adaptar més fàcilment els LLM a les seves dades privades i casos d'ús amb un marc de seguretat més robust.
- Experiència en enginyeria de rendiment d'inferència, que resulta en una major eficiència operativa i d'infraestructura.
- Un ecosistema de codi obert i una xarxa de socis i estructures de suport que ofereixen als clients més opcions, des de LLM i eines fins a maquinari de servidor certificat i arquitectures de xips.
Lideratge de vLLM per millorar la IA de Red Hat
Neural Magic aprofitarà la seva experiència i coneixements en vLLM per construir una base tecnològica a nivell empresarial que permeti als clients optimitzar, implementar i escalar càrregues de treball LLM en entorns de núvol híbrid amb un control complet sobre l'elecció d'infraestructura, les polítiques de seguretat i el cicle de vida del model. Neural Magic també duu a terme investigacions d'optimització de models, crea LLM Compressor (una biblioteca unificada per optimitzar LLM amb algoritmes de dispersió i quantificació d'última generació) i manté un repositori de models preoptimitzats a punt per a la implementació amb vLLM.
Red Hat AI té com a objectiu ajudar els clients a reduir els costos i les barreres d'habilitats de la IA amb tecnologies potents com ara:
- Red Hat Enterprise Linux AI (RHEL AI) , una plataforma per construir models per desenvolupar, provar i operar sense problemes la família IBM Granite de LLM de codi obert per a aplicacions empresarials en implementacions de servidors Linux;
- Red Hat OpenShift AI és una plataforma d'IA que proporciona eines per desenvolupar, entrenar, servir i monitoritzar ràpidament models d'aprenentatge automàtic en entorns distribuïts de Kubernetes in situ, al núvol públic o a la perifèria.
- InstructLab és un projecte comunitari de codi obert creat per Red Hat i IBM que permet a qualsevol persona donar forma al futur de GenAI mitjançant la millora col·laborativa de Granite LLM, amb llicència de codi obert, utilitzant la tecnologia d'ajustament d'InstructLab.
El lideratge tecnològic de Neural Magic en vLLM millorarà la capacitat de Red Hat AI per donar suport a implementacions de LLM en qualsevol entorn i en qualsevol lloc del núvol híbrid amb una pila d'inferència llesta, altament optimitzada i oberta.
La transacció encara està subjecta a l'aprovació reguladora dels Estats Units i altres condicions de tancament habituals.
