Mercoledì 13, Red Hat ha completato il processo di acquisto per acquisire Neural Magic, azienda americana, pioniera nel software e negli algoritmi di Intelligenza Artificiale Generativa (GenAI). L'esperienza di Neural Magic nell'ingegneria delle prestazioni, insieme al suo impegno per il codice aperto, si allinea con la visione di Red Hat per la fornitura di IA ad alte prestazioni che si adatta a diversi scenari e casi d'uso del cliente, in qualsiasi luogo del cloud ibrido.
Sebbene la promessa della GenAI domini gran parte dello scenario tecnologico attuale, i grandi modelli di linguaggio (LLM) che sostengono questi sistemi continuano a crescere. Come risultato, la costruzione di servizi LLM affidabili e convenienti richiede una significativa capacità computazionale, risorse energetiche e abilità operative specializzate. Attualmente, questi ostacoli rendono impossibili i benefici di un'IA personalizzata, pronta per l'implementazione e più sicura per la maggior parte delle organizzazioni
Con l'acquisizione di Neural Magic, Red Hat intende affrontare queste sfide rendendo la GenAI più accessibile a più organizzazioni attraverso l'innovazione aperta del vLLM. Sviluppato dalla UC Berkeley, vLLM è un progetto open source mantenuto dalla comunità per il servizio di modelli aperti (come i modelli di intelligenza artificiale generativa inferiscono e risolvono problemi), con supporto per tutte le principali famiglie di modelli, ricerca avanzata sull'accelerazione dell'inferenza e diversi backend hardware, includendo GPU AMD, AWS Neuron, Google TPU, Intel Gaudi, GPU NVIDIA e CPU x86. La leadership di Neural Magic nel progetto vLLM combinata con il forte portafoglio di tecnologie di IA di cloud ibrido di Red Hat offrirà alle organizzazioni un percorso aperto per costruire strategie di IA che soddisfino le loro esigenze uniche, ovunque siano i tuoi dati
Per Matt Hicks, Presidente e CEO dell'azienda, l'acquisto di Neural Magic, insieme allo sviluppo dell'iniziativa vLLM, sono il primo passo per posizionare l'azienda come riferimento nell'intelligenza artificiale.Siamo entusiasti di completare il nostro portafoglio di IA focalizzato sul cloud ibrido con l'innovazione di IA rivoluzionaria di Neural Magic, aumentando il nostro desiderio di non essere solo la 'Red Hat dell'open source', ma anche la 'Red Hat dell'IA', disse.
Red Hat + Neural Magic: abilitare un futuro di intelligenza artificiale di generazione pronto per il cloud ibrido
Neural Magic ha creato uno spin-off del MIT nel 2018 con l'obiettivo di costruire software di inferenza ad alte prestazioni per l'apprendimento profondo (Deep Learning). Con la tecnologia e l'expertise in ingegneria delle prestazioni di Neural Magic, Red Hat cerca di accelerare la sua visione per il futuro dell'IA, spinta dal portafoglio di tecnologia IA di Red Hat. Costruita per superare le sfide dell'IA aziendale su larga scala, l'azienda utilizza innovazione open source per democratizzare ulteriormente l'accesso al potere trasformativo dell'IA attraverso:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, in diverse nuvole e nell'edge.
- Funzionalità di regolazione che consentono alle organizzazioni di personalizzare più facilmente i LLM con i propri dati privati e casi d'uso con una struttura di sicurezza più robusta
- Esperienza in ingegneria delle prestazioni di inferenza, risultando in maggiori efficienze operative e infrastrutturali
- Un ecosistema open source e di partner e strutture di supporto che consentono ai clienti di avere più opzioni di scelta, da LLM e strumenti fino all'hardware di server certificato e architetture di chip
Leadership vLLM per promuovere l'intelligenza artificiale di Red Hat
Neural Magic utilizzerà la sua esperienza e conoscenza in vLLM per costruire una base tecnologica, a livello aziendale, che consente ai clienti di ottimizzare, implementare e dimensionare carichi di lavoro LLM in ambienti di cloud ibrido con pieno controllo sulla scelta dell'infrastruttura, politiche di sicurezza e ciclo di vita del modello. Neural Magic sviluppa anche ricerca sull'ottimizzazione dei modelli, costruisce il LLM Compressor (una libreria unificata per ottimizzare LLM con algoritmi di sparsità e quantizzazione all'avanguardia) e mantiene un repository di modelli pre-ottimizzati pronti per essere implementati con vLLM
Red Hat AI cerca di aiutare i clienti a ridurre i costi dell'IA e le barriere alle competenze con tecnologie potenti, come:
- Red Hat Enterprise Linux AI (RHEL AI), una piattaforma per modelli di base da sviluppare, testare e operare perfettamente la famiglia IBM Granite di LLM open source per applicazioni aziendali in implementazioni di server Linux;
- Red Hat OpenShift AI, una piattaforma di IA che fornisce strumenti per sviluppare, allenare, servire e monitorare rapidamente i modelli di machine learning in ambienti Kubernetes distribuiti on-site, nel cloud pubblico o nell'edge;
- IstruisciLab, un progetto comunitario open source creato da Red Hat e IBM che consente a chiunque di plasmare il futuro della GenAI attraverso il miglioramento collaborativo dei LLM Granite, licenziati come open source utilizzando la tecnologia di fine-tuning di InstructLab.
La leadership tecnologica di Neural Magic in vLLM aumenterà la capacità di Red Hat AI di supportare le implementazioni di LLM in qualsiasi ambiente e ovunque nel cloud ibrido con una stack di inferenza pronta, altamente ottimizzata e aperta
La transazione deve ancora passare per un'approvazione regolamentare statunitense e altre condizioni abituali di chiusura dei contratti
