Denne onsdag (13), Red Hat har afsluttet købsprocessen for at erhverve Neural Magic, amerikansk virksomhed, pioner inden for software og algoritmer til Generativ Kunstig Intelligens (GenAI). Neural Magics ekspertise inden for ydeevneingeniørkunst, sammen med dit engagement for open source, stemmer overens med Red Hats vision for levering af højtydende AI, der passer ind i forskellige scenarier og kundecases, overalt i den hybride sky.
Selvom løftet om GenAI dominerer en stor del af det nuværende teknologiske landskab, de store sprogmodeller (LLMs), der understøtter disse systemer, fortsætter med at vokse. Som resultat, opbygningen af pålidelige LLM-tjenester med god omkostningseffektivitet kræver en betydelig computerkapacitet, energiressourcer og specialiserede driftsfærdigheder. I øjeblikket, disse forhindringer gør fordelene ved en personlig AI umulige, klar til implementering og mere sikker for de fleste organisationer
Med opkøbet af Neural Magic, Red Hat har til hensigt at tackle disse udfordringer ved at gøre GenAI mere tilgængelig for flere organisationer gennem åben innovation af vLLM. Udviklet af UC Berkeley, vLLM er et open source projekt vedligeholdt af fællesskabet til tjeneste for åbne modeller (som de generative AI-modeller infererer og løser problemer), med støtte til alle de vigtigste modelfamilier, avanceret forskning i inferensaccelerering og forskellige hardware-backends, inklusive AMD GPU'er, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA GPU'er og x86 CPU'er. Ledelsen af Neural Magic i vLLM-projektet kombineret med Red Hats stærke portefølje af hybrid cloud AI-teknologier vil give organisationer en åben vej til at opbygge AI-strategier, der imødekommer deres unikke behov, hvor som helst dine data er
Til Matt Hicks, Præsident og administrerende direktør for selskabet, købet af Neural Magic, sammen med udviklingen af initiativet vLLM, er det første skridt til at gøre virksomheden til en reference inden for kunstig intelligens.Vi er begejstrede for at supplere vores portefølje af AI med fokus på hybrid cloud med den revolutionerende AI-innovation fra Neural Magic, øger vores ønske om ikke kun at være 'Red Hat for open source', men også 'Red Hat for AI', sagde.
Red Hat + Neural Magic: Enabling a Hybrid Cloud-Ready Gen AI Future
Neural Magic lavede et spin-off fra MIT i 2018 med det formål at bygge højtydende inferenssoftware til dyb læring. Med teknologien og ekspertisen inden for ydeevneingeniør fra Neural Magic, Red Hat søger at fremskynde sin vision for fremtiden for AI, drevet af Red Hats AI-teknologiportefølje. Bygget til at overvinde udfordringerne ved storskala erhvervs-IU, virksomheden bruger open source innovation til at demokratisere adgangen til den transformerende kraft af AI endnu mere gennem
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, i flere skyer og på kanten.
- Justeringsfunktioner, der gør det muligt for organisationer at tilpasse LLM'er lettere med deres private data og anvendelsessager med en mere robust sikkerhedsstruktur
- Erfaring inden for inferensydelsesingeniørkunst, resulterende i større drifts- og infrastruktur-effektivitet
- Et økosystem af open source og partnere samt støtte strukturer, der muliggør, at kunderne har flere valgmuligheder, fra LLM'er og værktøjer til certificeret serverhardware og chiparkitekturer
vLLM Lederskab til at fremme Red Hat AI
Neural Magic vil bruge sin ekspertise og viden inden for vLLM til at opbygge en teknologibase, på virksomhedsniveau, der giver kunderne mulighed for at optimere, implementere og dimensionere LLM arbejdsbyrder i hybride cloudmiljøer med fuld kontrol over valget af infrastruktur, sikkerhedspolitikker og livscyklus for modellen. Neural Magic udvikler også forskning i modeloptimering, bygger LLM Compressor (et samlet bibliotek til at optimere LLM'er med state-of-the-art sparsitet og kvantisering algoritmer) og vedligeholder et repository af foroptimerede modeller klar til at blive implementeret med vLLM
Red Hat AI søger at hjælpe kunderne med at reducere omkostningerne ved AI og færdighedsbarrierer med kraftfulde teknologier, som:
- Red Hat Enterprise Linux AI (RHEL AI), en platform til basismodeller til udvikling, teste og drift perfekt af IBM Granite-familien af open source LLM'er til erhvervsapplikationer i Linux-serverimplementeringer;
- Red Hat OpenShift AI, en platform for AI, der leverer værktøjer til at udvikle, træne, betjene og overvåge hurtigt maskinlæringsmodeller i distribuerede Kubernetes-miljøer on-site, i den offentlige sky eller ved kanten;
- InstructLab, et open source fællesskabsprojekt skabt af Red Hat og IBM, der gør det muligt for alle at forme fremtiden for GenAI gennem samarbejdsmæssig forbedring af LLM'er Granite, licenseret som open source ved hjælp af fine-tuning teknologi fra InstructLab.
Neural Magics teknologiske lederskab inden for vLLM vil øge Red Hat AIs evne til at understøtte implementeringer af LLM i ethvert miljø og hvor som helst i den hybride sky med en klar inferensstak, højt optimeret og åben
Transaktionen skal stadig godkendes af amerikanske reguleringsmyndigheder og andre sædvanlige betingelser for kontraktlukkede
