Mercredi 13, Red Hat a finalisé l'acquisition de Neural Magic, une entreprise américaine pionnière dans le domaine des logiciels et algorithmes d'intelligence artificielle générative (GenAI). L'expertise de Neural Magic en ingénierie des performances, ainsi que son engagement envers l'open source, correspondent à la vision de Red Hat : fournir une IA haute performance adaptée aux différents scénarios et cas d'usage des clients, partout dans le cloud hybride.
Bien que la promesse de l'IA générale domine une grande partie du paysage technologique actuel, les grands modèles de langage (GML) qui sous-tendent ces systèmes continuent de croître. Par conséquent, la mise en place de services GML fiables et rentables exige une puissance de calcul et des ressources énergétiques considérables, ainsi que des compétences opérationnelles spécialisées. Actuellement, ces obstacles empêchent la plupart des organisations de tirer pleinement parti d'une IA plus sécurisée, prête à être déployée et personnalisée.
Avec l'acquisition de Neural Magic, Red Hat entend relever ces défis en rendant l'IA de génération (GenAI) plus accessible à un plus grand nombre d'organisations grâce à l'innovation ouverte de vLLM. Développé par l'Université de Californie à Berkeley, vLLM est un projet open source maintenu par la communauté, dédié aux services de modèles ouverts (fonctionnement des modèles GenAI pour l'inférence et la résolution de problèmes). Il prend en charge toutes les principales familles de modèles, la recherche avancée sur l'accélération de l'inférence et diverses plateformes matérielles, notamment les GPU AMD, AWS Neuron, Google TPU, Intel Gaudi, les GPU NVIDIA et les processeurs x86. Le leadership de Neural Magic dans le projet vLLM, combiné au solide portefeuille de technologies d'IA cloud hybride de Red Hat, offrira aux organisations une voie ouverte pour élaborer des stratégies d'IA répondant à leurs besoins spécifiques, quel que soit l'emplacement de leurs données.
Pour Matt Hicks, président et directeur général de l'entreprise, l'acquisition de Neural Magic, ainsi que le développement de l'initiative vLLM, constituent une première étape essentielle pour positionner l'entreprise comme une référence en intelligence artificielle. « Nous sommes ravis d'enrichir notre portefeuille d'IA axé sur le cloud hybride avec l'innovation révolutionnaire de Neural Magic, renforçant ainsi notre ambition d'être non seulement le "Red Hat de l'open source", mais aussi le "Red Hat de l'IA" », a-t-il déclaré.
Red Hat + Neural Magic : Préparer un avenir avec une IA hybride prête pour le cloud.
Neural Magic, issue du MIT en 2018, a pour objectif de développer des logiciels d'inférence haute performance pour l'apprentissage profond. Grâce à l'expertise technologique et en ingénierie de la performance de Neural Magic, Red Hat entend accélérer sa vision de l'avenir de l'IA, portée par son portefeuille de technologies d'IA. Conçue pour relever les défis de l'IA en entreprise à grande échelle, la société s'appuie sur l'innovation open source pour démocratiser davantage l'accès au pouvoir transformateur de l'IA, notamment grâce à :
- Des modèles open source sous licence, allant de 1 milliard à 405 milliards de paramètres, pouvant fonctionner partout dans le cloud hybride : dans les centres de données d’entreprise, sur plusieurs clouds et en périphérie.
- Des fonctionnalités de personnalisation qui permettent aux organisations d'adapter plus facilement les LLM à leurs données privées et à leurs cas d'utilisation, grâce à un cadre de sécurité plus robuste.
- Expérience en ingénierie des performances d'inférence, permettant d'améliorer l'efficacité opérationnelle et infrastructurelle.
- Un écosystème open source et un réseau de partenaires et de structures de support qui offrent aux clients un plus grand choix, allant des logiciels et outils aux architectures de serveurs et de puces certifiées.
Le leadership de vLLM pour améliorer l'IA de Red Hat
Neural Magic s'appuiera sur son expertise et ses connaissances en matière de vLLM pour bâtir une plateforme technologique d'entreprise permettant aux clients d'optimiser, de déployer et de faire évoluer leurs charges de travail LLM dans des environnements de cloud hybride, tout en conservant une maîtrise totale du choix de l'infrastructure, des politiques de sécurité et du cycle de vie des modèles. Neural Magic mène également des recherches sur l'optimisation des modèles, développe LLM Compressor (une bibliothèque unifiée pour l'optimisation des LLM grâce à des algorithmes de parcimonie et de quantification de pointe) et maintient un référentiel de modèles pré-optimisés, prêts à être déployés avec vLLM.
Red Hat AI vise à aider ses clients à réduire les coûts et les obstacles liés à l'IA grâce à des technologies puissantes telles que :
- Red Hat Enterprise Linux AI (RHEL AI) , une plateforme permettant de créer des modèles pour développer, tester et exploiter de manière transparente la famille IBM Granite de LLM open-source pour les applications d'entreprise dans les déploiements de serveurs Linux ;
- Red Hat OpenShift AI est une plateforme d'IA qui fournit des outils permettant de développer, d'entraîner, de déployer et de surveiller rapidement des modèles d'apprentissage automatique dans des environnements Kubernetes distribués, sur site, dans le cloud public ou en périphérie.
- InstructLab est un projet communautaire open source créé par Red Hat et IBM qui permet à chacun de façonner l'avenir de l'IA de génération grâce à l'amélioration collaborative des LLM Granite, distribués sous licence open source, en utilisant la technologie de réglage fin d'InstructLab.
Le leadership technologique de Neural Magic en matière de vLLM renforcera la capacité de Red Hat AI à prendre en charge les déploiements LLM dans n'importe quel environnement et n'importe où dans le cloud hybride grâce à une pile d'inférence prête à l'emploi, hautement optimisée et ouverte.
La transaction reste soumise à l'approbation des autorités réglementaires américaines et à d'autres conditions de clôture habituelles.
