Onsdag (13) afsluttede Red Hat opkøbsprocessen for at overtage Neural Magic, en amerikansk virksomhed, en pioner inden for software og algoritmer til generativ kunstig intelligens (GenAI). Neural Magics ekspertise inden for performance engineering, sammen med deres engagement i open source, stemmer overens med Red Hats vision om at levere højtydende AI, der passer til forskellige kundescenarier og use cases, hvor som helst i den hybride cloud.
Selvom løftet om GenAI dominerer en stor del af det nuværende teknologiske landskab, fortsætter de store sprogmodeller (LLM'er), der understøtter disse systemer, med at vokse. Som følge heraf kræver opbygningen af pålidelige og omkostningseffektive LLM-tjenester betydelig computerkraft, energiressourcer og specialiserede operationelle færdigheder. I øjeblikket forhindrer disse hindringer de fleste organisationer i at realisere fordelene ved en mere sikker, implementeringsklar og personlig AI.
Med opkøbet af Neural Magic sigter Red Hat mod at imødegå disse udfordringer ved at gøre GenAI mere tilgængelig for flere organisationer gennem den åbne innovation i vLLM. vLLM, der er udviklet af UC Berkeley, er et community-vedligeholdt open source-projekt til åben modeltjeneste (hvordan GenAI-modeller udleder og løser problemer), der understøtter alle større modelfamilier, avanceret inferensaccelerationsforskning og forskellige hardware-backends, herunder AMD GPU'er, AWS Neuron, Google TPU'er, Intel Gaudi, NVIDIA GPU'er og x86 CPU'er. Neural Magics lederskab i vLLM-projektet kombineret med Red Hats stærke portefølje af hybrid cloud AI-teknologier vil give organisationer en åben vej til at bygge AI-strategier, der opfylder deres unikke behov, uanset hvor deres data befinder sig.
For Matt Hicks, virksomhedens administrerende direktør, er opkøbet af Neural Magic, sammen med udviklingen af vLLM-initiativet, det første skridt i retning af at positionere virksomheden som en benchmark inden for kunstig intelligens. "Vi er begejstrede for at supplere vores hybride cloud-fokuserede AI-portefølje med Neural Magics banebrydende AI-innovation og dermed fremme vores ambition om ikke kun at være 'Red Hat inden for open source', men også 'Red Hat inden for AI'," sagde han.
Red Hat + Neural Magic: Muliggør en fremtid med hybrid cloud-klar AI.
Neural Magic blev udskilt fra MIT i 2018 med det mål at bygge højtydende inferenssoftware til deep learning. Med Neural Magics teknologi- og performance engineering-ekspertise søger Red Hat at accelerere sin vision for fremtidens AI, drevet af Red Hats AI-teknologiportefølje. Virksomheden er bygget til at overvinde udfordringerne ved storstilet AI i virksomheder og bruger open source-innovation til yderligere at demokratisere adgangen til AI's transformative kraft gennem:
- Licenserede open source-modeller, der spænder fra 1 milliard til 405 milliarder parametre, og som kan fungere hvor som helst i hybridclouden – i virksomhedsdatacentre, på tværs af flere clouds og i kanten af cloudmiljøet.
- Tilpasningsfunktioner, der gør det muligt for organisationer lettere at skræddersy LLM'er til deres private data og use cases med en mere robust sikkerhedsramme.
- Erfaring med inferens performance engineering, hvilket resulterer i større drifts- og infrastruktureffektivitet.
- Et open source-økosystem og et netværk af partnere og supportstrukturer, der giver kunderne flere valgmuligheder, lige fra LLM'er og værktøjer til certificeret serverhardware og chiparkitekturer.
vLLM-ledelse skal forbedre Red Hat AI
Neural Magic vil udnytte sin ekspertise og viden inden for vLLM til at opbygge et teknologisk fundament på virksomhedsniveau, der gør det muligt for kunder at optimere, implementere og skalere LLM-arbejdsbelastninger i hybride cloud-miljøer med fuld kontrol over infrastrukturvalg, sikkerhedspolitikker og modellivscyklus. Neural Magic udfører også modeloptimeringsforskning, bygger LLM Compressor (et samlet bibliotek til optimering af LLM'er med avancerede sparsity- og kvantiseringsalgoritmer) og vedligeholder et arkiv af præoptimerede modeller, der er klar til implementering med vLLM.
Red Hat AI sigter mod at hjælpe kunder med at reducere AI-omkostninger og færdighedsbarrierer med kraftfulde teknologier såsom:
- Red Hat Enterprise Linux AI (RHEL AI) , en platform til at bygge modeller til problemfri udvikling, test og drift af IBM Granite-familien af open source LLM'er til virksomhedsapplikationer i Linux-serverimplementeringer;
- Red Hat OpenShift AI er en AI-platform, der leverer værktøjer til hurtigt at udvikle, træne, betjene og overvåge maskinlæringsmodeller i distribuerede Kubernetes-miljøer on-site, i den offentlige sky eller ved kanten.
- InstructLab er et open source-fællesskabsprojekt skabt af Red Hat og IBM, der giver alle mulighed for at forme fremtiden for GenAI gennem den fælles forbedring af Granite LLM'er, licenseret som open source, ved hjælp af InstructLabs finjusteringsteknologi.
Neural Magics teknologiske lederskab inden for vLLM vil forbedre Red Hat AI's evne til at understøtte LLM-implementeringer i ethvert miljø og hvor som helst i hybridclouden med en færdig, yderst optimeret og åben inferensstak.
Transaktionen er stadig betinget af godkendelse fra amerikanske myndigheder og andre sædvanlige betingelser for afslutning.
