Dëst Mënschdeg (13), a Red Hat huet de Kafprozess fir d'Neural Magic ze kafen ofgeschloss, amerikaanesch Firma, pionéier an Software an Algorithmen vun Generativer Kënschtlecher Intelligenz (GenAI). D'Neural Magic Expertise an der Performance-Engineering, zusammen mat ärem Engagement fir de Quellcode, et assosie avec la vision de Red Hat pour la fourniture d'IA haute performance qui s'adapte à différents scénarios et cas d'utilisation des clients, an eppescht an der hybrider Wollek.
Obwohl d'Versprechnung vun der GenAI e groussen Deel vum aktuellen technologesche Sënario dominéiert, d'grande Modeller vun Sprooch (LLMs) déi dës Systemer ënnerstëtzen, weider wuesse. Wéi eng Resultat, d'Konstruktioun vun zouverlässeg LLM-Déngschter mat gudder Käschte-Leistung Verhältnis erfuerdert eng signifikant computatiounskapazitéit, energetesch Ressourcen an spezialiséiert operativ Fäegkeeten. Aktuell, dës Hindernisser maachen d'Virdeeler vun enger personaliséierter KI onméiglech, bereet fir d'Implantatioun an méi sécher fir déi meescht Organisatiounen
Mat der Akaf vun Neural Magic, Red Hat wëll dës Erausfuerderungen ugoen andeems se GenAI méi zougänglech fir méi Organisatiounen mécht duerch d'äermlech Innovatioun vum vLLM. Entwéckelt vun der UC Berkeley, vLLM ass e Projet Open Source gehalde vun der Gemeinschaft fir e Service vun engem oppene Modell (wéi d'AI Modeller inferéieren an Problemer léisen), mat stëpp fir all déi wichteg Modellfamiljen, fortgeschrattene Fuerschung zur Beschleunigung vun Inferenz an verschiddene Hardware-Backends, inklusiv GPUs AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPUs NVIDIA an CPUs x86. D'Führung vun Neural Magic am vLLM Projet kombinéiert mat dem staarken Portefeuille vun hybride Cloud KI Technologien vun Red Hat wäert Organisatiounen e fräie Wee bidden fir KI Strategien ze bauen, déi hir eenzegaarteg Bedierfnesser erfëllen, wou dir och d'Ännerung vun äre Daten sinn
Fir Matt Hicks, President an CEO vun der Firma, d'achèta de Neural Magic, gemeinsam mit der Entwicklung der Initiative vLLM, sind d'erscht Schrëtt fir d'Firma als Referenz an der Kënschtlecher Intelligenz ze placéieren.“Mir sin opgeregt fir eis Hybrid Cloud AI Portfolio mat der revolutionärer AI Innovatioun vun Neural Magic ze ergänzen, aumentando eisou desejo de não ser apenas a ‘Red Hat do open source’, mais também a 'Red Hat da IA', sot.
Red Hat + Neural Magic: erméngen en zukunft mat der gen AI bereet fir d'hybrid Cloud
A Neural Magic huet eng Spin-off vum MIT am 2018 gegrënnt mat dem Zil fir héich performant Inferenzsoftware fir déif Léieren ze bauen. Mat der Technologie an der Expertise an der Performance-Engineering vun Neural Magic, Red Hat sicht eng fir d'Zukunft vun der KI ze beschleunegen, impulséiert vum Red Hat seng AI Technologie Portfolio. Bau fir iwwerwannen d'Herausfuerderungen vun der grousser IA am Geschäft, d'Firma benotzt Open Source Innovatioun fir den Zougang zum transforméierende Kraaft vun der KI nach méi ze demokratiséieren duerch:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, an verschiddene Wolleken an an der Edge.
- Funktionalitéiten vun der Astellung déi et de Organisatiounen erlaabt LLMs méi einfach mat hiren privaten Donnéeën an Uwendungsfäll ze personaliséieren mat enger méi robuster Sécherheetsstruktur
- Erfarung an der Ingenieurwiesen vun der Inferenzleistung, resultant an gréisser operatiouns- an Infrastrukturseffizienz
- Ecosystem open source an partner an support structures dat enable clients to have more choice options, vun LLMs an Tools bis zertifizéiert Serverhardware an Chiparchitekturen
Lidderchaft vLLM fir d'Verbesserung vun der Red Hat AI
A Neural Magic wäert seng Expertise an Wëssen an vLLM benotzen fir eng Technologiebasis ze bauen, op niveau vun der Entreprise, dat er de klanten toelaat om te optimaliseren, implante e dimensione cargas de trabalho LLM em ambientes de nuvem híbrida com controle total sobre a escolha da infraestrutura, sëcherëspolitiken an d'Liewenszyklus vum Modell. A Neural Magic och entwéckelt och Fuerschung iwwer Modelloptimiséierung, baut LLM Compressor (eng een eenheet Bibliothéik fir d'Optimiséierung vun LLMs mat modern Sparse- an Quantiséierungsalgorithmen) an hält e Repository vun pré-optimiséierten Modeller bereet fir mat vLLM implementéiert ze ginn
A Red Hat AI sicht fir d'Kunden ze hëllefen d'Käschte vun der IA ze reduzéieren an d'Fäegkeetsbarrièren mat mächtege Technologien, wéi:
- Red Hat Enterprise Linux AI (RHEL AI), eng Plattform fir Basismodeller ze entwéckelen, testen an operéieren perfekt d'IBM Granite Famill vun LLMs open source fir Geschäftsapplikatiounen an Linux Server Implementatiounen;
- Red Hat OpenShift AI, eng plattform fir KI déi Wierkzeuge fir ze entwéckelen, trainéieren, servir a monitorar rapida os modelos de machine learning em ambientes de Kubernetes distribuídos on-site, an der öffentlechen Wolk oder an der Edge;
- InstructLab, e Projet communautaire open source créé par Red Hat et IBM qui permet à quiconque de façonner l'avenir de la GenAI grâce à l'amélioration collaborative des LLMs Granite, licenciés comme open source utilisant la technologie de fine-tuning d'InstructLab.
D'Féierungstechnologie vun Neural Magic an vLLM wäert d'Fäegkeet vun Red Hat AI erhéijen fir LLM-Implantatiounen an all Ëmfeld an iwwerall an der hybrider Cloud mat enger bereet Inferenzstack ze ënnerstëtzen, héich optimiséiert an opgemaach
D'Transaktioun muss nach wéi och duerch eng amerikanesch regulatoresch Genehmegung an aner gewéinlech Konditiounen fir d'Ofschloss vun Kontrakter goen
