Të mërkurën (13), Red Hat përfundoi procesin e blerjes për të blerë Neural Magic, një kompani amerikane, një pioniere në softuerët dhe algoritmet e Inteligjencës Artificiale Gjenerative (GenAI). Ekspertiza e Neural Magic në inxhinierinë e performancës, së bashku me angazhimin e saj ndaj burimit të hapur, përputhet me vizionin e Red Hat për të ofruar IA me performancë të lartë që i përshtatet skenarëve dhe rasteve të përdorimit të ndryshme të klientëve, kudo në cloud-in hibrid.
Edhe pse premtimi i GenAI dominon pjesën më të madhe të peizazhit aktual teknologjik, modelet e mëdha gjuhësore (LLM) që mbështesin këto sisteme vazhdojnë të rriten. Si rezultat, ndërtimi i shërbimeve LLM të besueshme dhe me kosto efektive kërkon fuqi të konsiderueshme llogaritëse, burime energjie dhe aftësi të specializuara operative. Aktualisht, këto pengesa i pengojnë shumicën e organizatave të realizojnë përfitimet e një IA më të sigurt, të gatshme për vendosje dhe të personalizuar.
Me blerjen e Neural Magic, Red Hat synon t'i adresojë këto sfida duke e bërë GenAI më të arritshme për më shumë organizata përmes inovacionit të hapur të vLLM. I zhvilluar nga UC Berkeley, vLLM është një projekt me burim të hapur i mirëmbajtur nga komuniteti për shërbimin e modelit të hapur (si modelet GenAI nxjerrin përfundime dhe zgjidhin problemet), duke mbështetur të gjitha familjet kryesore të modeleve, kërkimin e përparuar të përshpejtimit të inferencës dhe backend-e të ndryshme harduerike, duke përfshirë GPU-të AMD, AWS Neuron, TPU-të Google, Intel Gaudi, GPU-të NVIDIA dhe CPU-të x86. Lidershipi i Neural Magic në projektin vLLM i kombinuar me portofolin e fortë të teknologjive hibride të AI-së në cloud të Red Hat do t'u ofrojë organizatave një rrugë të hapur për ndërtimin e strategjive të IA-së që plotësojnë nevojat e tyre unike, kudo që ndodhen të dhënat e tyre.
Për Matt Hicks, President dhe Drejtor Ekzekutiv të kompanisë, blerja e Neural Magic, së bashku me zhvillimin e iniciativës vLLM, është hapi i parë në pozicionimin e kompanisë si një pikë referimi në inteligjencën artificiale. "Jemi të emocionuar që po plotësojmë portofolin tonë të inteligjencës artificiale hibride të fokusuar në cloud me inovacionin revolucionar të inteligjencës artificiale të Neural Magic, duke çuar më tej ambicien tonë për të qenë jo vetëm 'Red Hat i burimit të hapur', por edhe 'Red Hat i inteligjencës artificiale'", tha ai.
Red Hat + Magji Neuronale: Mundësimi i një të ardhmeje me inteligjencë artificiale hibride të gatshme për cloud.
Neural Magic u nda nga MIT në vitin 2018 me qëllimin e ndërtimit të softuerëve të nxjerrjes së përfundimeve me performancë të lartë për të mësuarit e thellë. Me teknologjinë dhe ekspertizën e inxhinierisë së performancës së Neural Magic, Red Hat kërkon të përshpejtojë vizionin e saj për të ardhmen e IA-së, të nxitur nga portofoli i teknologjisë së IA-së i Red Hat. E ndërtuar për të kapërcyer sfidat e IA-së në shkallë të gjerë të ndërmarrjeve, kompania përdor inovacionin me burim të hapur për të demokratizuar më tej aksesin në fuqinë transformuese të IA-së përmes:
- Modele të licencuara me burim të hapur që variojnë nga 1 miliard deri në 405 miliardë parametra që mund të funksionojnë kudo në cloud-in hibrid - në qendrat e të dhënave të ndërmarrjeve, nëpër cloud të shumëfishta dhe në skaje.
- Karakteristikat e personalizimit që u lejojnë organizatave t'i përshtatin më lehtë LLM-të sipas të dhënave të tyre private dhe rastet e përdorimit me një kornizë sigurie më të fuqishme.
- Përvojë në inxhinierinë e performancës së inferencës, duke rezultuar në efikasitet më të madh operativ dhe të infrastrukturës.
- Një ekosistem me burim të hapur dhe një rrjet partnerësh dhe strukturash mbështetëse që u japin klientëve më shumë zgjedhje, nga LLM-të dhe mjetet deri te harduerët e serverëve të çertifikuar dhe arkitekturat e çipave.
Lidershipi vLLM për të përmirësuar inteligjencën artificiale Red Hat
Neural Magic do të shfrytëzojë ekspertizën dhe njohuritë e saj në vLLM për të ndërtuar një themel teknologjik në nivel ndërmarrjeje që u mundëson klientëve të optimizojnë, vendosin dhe shkallëzojnë ngarkesat e punës LLM në mjedise hibride cloud me kontroll të plotë mbi zgjedhjen e infrastrukturës, politikat e sigurisë dhe ciklin jetësor të modelit. Neural Magic gjithashtu kryen kërkime mbi optimizimin e modelit, ndërton LLM Compressor (një bibliotekë e unifikuar për optimizimin e LLM-ve me algoritme të rrallësisë dhe kuantizimit të teknologjisë së fundit) dhe mirëmban një depo të modeleve të para-optimizuara, gati për vendosje me vLLM.
Red Hat AI synon të ndihmojë klientët të zvogëlojnë kostot e IA-së dhe barrierat e aftësive me teknologji të fuqishme si:
- Red Hat Enterprise Linux AI (RHEL AI) , një platformë për ndërtimin e modeleve për të zhvilluar, testuar dhe operuar pa probleme familjen IBM Granite të LLM-ve me burim të hapur për aplikacionet e ndërmarrjeve në vendosjet e serverëve Linux;
- Red Hat OpenShift AI është një platformë IA që ofron mjete për të zhvilluar, trajnuar, shërbyer dhe monitoruar me shpejtësi modelet e të mësuarit automatik në mjedise të shpërndara Kubernetes në vend, në cloud publik ose në skaj.
- InstructLab është një projekt komunitar me burim të hapur i krijuar nga Red Hat dhe IBM që i lejon kujtdo të formësojë të ardhmen e GenAI përmes përmirësimit bashkëpunues të Granite LLM, të licencuara si me burim të hapur, duke përdorur teknologjinë e rregullimit të hollësishëm të InstructLab.
Lidershipi teknologjik i Neural Magic në vLLM do të rrisë aftësinë e Red Hat AI për të mbështetur vendosjet e LLM në çdo mjedis dhe kudo në cloud-in hibrid me një pirg inferencash të gatshëm, shumë të optimizuar dhe të hapur.
Transaksioni është ende subjekt i miratimit rregullator të SHBA-së dhe kushteve të tjera të zakonshme të mbylljes.
