Este miércoles (13), Red Hat completó el proceso de compra para adquirir Neural Magic, empresa estadounidense, pionera en software y algoritmos de Inteligencia Artificial Generativa (GenAI). La experiencia de Neural Magic en ingeniería de rendimiento, junto con su compromiso con el código abierto, se alinea con la visión de Red Hat para el suministro de IA de alto rendimiento que se adapta a diferentes escenarios y casos de uso del cliente, en cualquier lugar de la nube híbrida.
Aunque la promesa de la GenAI domina gran parte del panorama tecnológico actual, los grandes modelos de lenguaje (LLMs) que sustentan estos sistemas continúan creciendo. Como resultado, la construcción de servicios de LLM confiables y con buena relación costo-beneficio requiere una capacidad computacional significativa, recursos energéticos y habilidades operativas especializadas. Actualmente, esos obstáculos inviabilizan los beneficios de una IA personalizada, lista para la implementación y más segura para la mayoría de las organizaciones
Con la adquisición de Neural Magic, Red Hat pretende abordar estos desafíos haciendo que GenAI sea más accesible para más organizaciones a través de la innovación abierta de vLLM. Desarrollado por UC Berkeley, vLLM es un proyecto de código abierto mantenido por la comunidad para servicio de modelo abierto (como los modelos de IA generativa inferen y resuelven problemas), con soporte para todas las principales familias de modelos, búsqueda avanzada de aceleración de inferencia y diversos backends de hardware, incluyendo GPUs AMD, AWS Neurona, Google TPUs, Intel Gaudi, GPUs NVIDIA y CPUs x86. El liderazgo de Neural Magic en el proyecto vLLM combinado con el fuerte portafolio de tecnologías de IA de nube híbrida de Red Hat ofrecerá a las organizaciones un camino abierto para la construcción de estrategias de IA que satisfagan sus necesidades únicas, donde quiera que estén tus datos
Para Matt Hicks, Presidente y CEO de la compañía, la compra de Neural Magic, junto con el desarrollo de la iniciativa vLLM, son el primer paso para posicionar a la empresa como referencia en inteligencia artificial.Estamos emocionados de complementar nuestro portafolio de IA centrado en la nube híbrida con la innovación de IA revolucionaria de Neural Magic, aumentando nuestro deseo de no ser solo la 'Red Hat del open source', pero también la 'Red Hat de la IA', dijo.
Red Hat + Neural Magic: Habilitando un futuro de IA de generación híbrida listo para la nube
La Neural Magic hizo una spin-off del MIT en 2018 con el objetivo de construir software de inferencia de alto rendimiento para aprendizaje profundo (Deep Learning). Con la tecnología y la experiencia en ingeniería de rendimiento de Neural Magic, la Red Hat busca acelerar su visión para el futuro de la IA, impulsada por la cartera de tecnología de IA de Red Hat. Construida para superar los desafíos de la IA empresarial a gran escala, la empresa usa innovación open source para democratizar aún más el acceso al poder transformador de la IA a través de:
- Modelos licenciados de código abierto en una escala de 1 mil millones a 405 mil millones de parámetros que pueden operar en cualquier lugar de la nube híbrida — en centros de datos corporativos, en varias nubes y en edge.
- Funcionalidades de ajuste que permiten que las organizaciones personalizen LLMs más fácilmente con sus datos privados y casos de uso con una estructura de seguridad más robusta
- Experiencia en ingeniería de rendimiento de inferencia, resultando en mayores eficiencias operativas y de infraestructura
- Un ecosistema open source y de socios y estructuras de apoyo que posibilitan que los clientes tengan más opción de elección, desde LLMs y herramientas hasta hardware de servidor certificado y arquitecturas de chip
Liderazgo de vLLM para impulsar la IA de Red Hat
La Neural Magic utilizará su experiencia y conocimiento en vLLM para construir una base de tecnología, a nivel empresarial, que permite a los clientes optimizar, implementar y dimensionar cargas de trabajo LLM en entornos de nube híbrida con control total sobre la elección de la infraestructura, políticas de seguridad y ciclo de vida del modelo. La Neural Magic también desarrolla investigación de optimización de modelo, construye el LLM Compressor (una biblioteca unificada para optimizar LLMs con algoritmos de esparsidad y cuantización de última generación) y mantiene un repositorio de modelos pre-optimizados listos para ser implementados con vLLM
Red Hat AI busca ayudar a los clientes a reducir los costos de la IA y barreras de habilidades con tecnologías poderosas, como
- Red Hat Enterprise Linux AI (RHEL AI), una plataforma para modelos de base para desarrollar, probar y operar perfectamente la familia IBM Granite de LLMs open source para aplicaciones empresariales en implementaciones de servidor Linux;
- Red Hat OpenShift AI, una plataforma de IA que proporciona herramientas para desarrollar, entrenar, servir y monitorizar rápidamente los modelos de machine learning en entornos de Kubernetes distribuidos on-site, en la nube pública o en el edge;
- InstructLab, un proyecto comunitario open source creado por Red Hat y por IBM que permite que cualquier persona molde el futuro de GenAI a través de la mejora colaborativa de LLMs Granite, licenciados como open source usando tecnología de fine-tuning del InstructLab.
El liderazgo tecnológico de Neural Magic en vLLM aumentará la capacidad de Red Hat AI de ofrecer soporte a implementaciones de LLM en cualquier entorno y en cualquier lugar de la nube híbrida con una pila de inferencia lista, altamente optimizada y abierta
La transacción aún debe pasar por una aprobación regulatoria norteamericana y otras condiciones habituales de cierre de contratos
