Ce mercredi (13), Red Hat a finalisé le processus d'achat pour acquérir Neural Magic, entreprise américaine, pionnière en logiciels et algorithmes d'Intelligence Artificielle Générative (GenAI). L'expertise de Neural Magic en ingénierie de performance, ensemble avec son engagement envers le code ouvert, s'aligne avec la vision de Red Hat pour la fourniture d'IA haute performance qui s'adapte à différents scénarios et cas d'utilisation des clients, dans n'importe quel endroit du cloud hybride.
Bien que la promesse de l'IA générative domine une grande partie du paysage technologique actuel, les grands modèles de langage (LLMs) qui soutiennent ces systèmes continuent de croître. En conséquence, la construction de services de LLM fiables et rentables nécessite une capacité de calcul significative, ressources énergétiques et compétences opérationnelles spécialisées. Actuellement, ces obstacles rendent impossibles les avantages d'une IA personnalisée, prête à être déployée et plus sécurisée pour la plupart des organisations
Avec l'acquisition de Neural Magic, Red Hat vise relever ces défis en rendant la GenAI plus accessible à un plus grand nombre d'organisations grâce à l'innovation ouverte du vLLM. Développé par l'UC Berkeley, vLLM est un projet open source maintenu par la communauté pour le service de modèles ouverts (comme les modèles d'IA générative infèrent et résolvent des problèmes), avec support pour toutes les principales familles de modèles, recherche avancée sur l'accélération de l'inférence et divers backends matériels, y compris les GPU AMD, AWS Neuron, TPUs de Google, Intel Gaudi, GPUs NVIDIA et CPUs x86. Le leadership de Neural Magic dans le projet vLLM, combiné au solide portefeuille de technologies d'IA de cloud hybride de Red Hat, offrira aux organisations un chemin ouvert pour construire des stratégies d'IA qui répondent à leurs besoins uniques, où que vos données soient
Pour Matt Hicks, Président et PDG de la société, l'achat de Neural Magic, ensemble avec le développement de l'initiative vLLM, sont le premier pas pour positionner l'entreprise comme une référence en intelligence artificielle.Nous sommes ravis de compléter notre portefeuille d'IA axé sur le cloud hybride avec l'innovation d'IA révolutionnaire de Neural Magic, augmentant notre désir de ne pas être seulement le 'Red Hat de l'open source', mais aussi le 'Red Hat de l'IA', dit.
Red Hat + Neural Magic : un avenir de l'IA hybride et compatible avec le cloud
Neural Magic a réalisé un spin-off du MIT en 2018 dans le but de construire un logiciel d'inférence haute performance pour l'apprentissage profond. Avec la technologie et l'expertise en ingénierie de performance de Neural Magic, Red Hat cherche à accélérer sa vision pour l'avenir de l'IA, propulsée par le portefeuille de technologies d'IA de Red Hat. Construite pour surmonter les défis de l'IA d'entreprise à grande échelle, l'entreprise utilise l'innovation open source pour démocratiser encore plus l'accès au pouvoir transformateur de l'IA par le biais de
- Modèles open source licenciés allant de 1 milliard à 405 milliards de paramètres pouvant fonctionner n'importe où dans le cloud hybride — dans des centres de données d'entreprise, dans plusieurs nuages et à la périphérie.
- Fonctionnalités d'ajustement qui permettent aux organisations de personnaliser plus facilement les LLM avec leurs données privées et cas d'utilisation, avec une structure de sécurité plus robuste
- Expérience en ingénierie de performance d'inférence, aboutissant à de plus grandes efficacités opérationnelles et d'infrastructure
- Un écosystème open source et de partenaires et de structures de soutien qui permettent aux clients d'avoir plus d'options de choix, depuis les LLM et les outils jusqu'au matériel de serveur certifié et aux architectures de puce
Leadership vLLM pour faire progresser l'IA Red Hat
Neural Magic utilisera son expertise et ses connaissances en vLLM pour construire une base technologique, au niveau de l'entreprise, qui permet aux clients d'optimiser, implanter et dimensionner des charges de travail LLM dans des environnements de cloud hybride avec un contrôle total sur le choix de l'infrastructure, politiques de sécurité et cycle de vie du modèle. Neural Magic développe également des recherches sur l'optimisation de modèle, construit le LLM Compressor (une bibliothèque unifiée pour optimiser les LLMs avec des algorithmes de sparsité et de quantification de pointe) et maintient un dépôt de modèles pré-optimisés prêts à être déployés avec vLLM
Red Hat AI cherche à aider les clients à réduire les coûts de l'IA et les barrières de compétences avec des technologies puissantes, comme
- IA Red Hat Enterprise Linux (RHEL AI), une plateforme pour des modèles de base à développer, tester et faire fonctionner parfaitement la famille IBM Granite de LLMs open source pour des applications d'entreprise dans des déploiements de serveurs Linux;
- Red Hat OpenShift AI, une plateforme d'IA qui fournit des outils pour développer, entraîner, servir et surveiller rapidement les modèles d'apprentissage automatique dans des environnements Kubernetes distribués sur site, dans le cloud public ou à la périphérie;
- InstructLab, un projet communautaire open source créé par Red Hat et IBM qui permet à quiconque de façonner l'avenir de la GenAI grâce à l'amélioration collaborative des LLMs Granite, licenciés comme open source en utilisant la technologie de fine-tuning d'InstructLab.
Le leadership technologique de Neural Magic en vLLM augmentera la capacité de Red Hat AI à prendre en charge les déploiements de LLM dans n'importe quel environnement et partout dans le cloud hybride avec une pile d'inférence prête, hautement optimisée et ouverte
La transaction doit encore passer par une approbation réglementaire américaine et d'autres conditions habituelles de clôture de contrats
