V torek (13), Red Hat je zaključil postopek nakupa podjetja Neural Magic, ameriška podjetja, pionirska v programski opremi in algoritmih generativne umetne inteligence (GenAI). Strokovna znanja Neural Magic na področju optimizacije zmogljivosti, skupaj z vašo zavezanostjo k odprti kodi, se uskladi z vizijo Red Hata za zagotavljanje visoko zmogljive umetne inteligence, ki se prilega različnim scenarijem in primerom uporabe strank, na katerem koli mestu hibridnega oblaka.
Čeprav obljuba GenAI prevladuje v velikem delu trenutne tehnološke pokrajine, veliki jezikovni modeli (LLM) koji podržavaju te sustave nastavljaju rasti. Kot rezultat, izgradnja zanesljivih in stroškovno učinkovitih storitev LLM zahteva pomembno računalniško moč, energetski viri in specializirane operativne sposobnosti. Trenutno, ti oviri onemogočajo koristi prilagojene umetne inteligence, pripravljena za uvedbo in bolj varna za večino organizacij
S pridobitvijo Neural Magic, Red Hat namerava obravnati te izzive tako, da bo GenAI bolj dostopna več organizacijam preko odprte inovacije v vLLM. Razvito na UC Berkeley, vLLM je odprtokodni projekt, ki ga vzdržuje skupnost za storitev odprtih modelov (kot modeli gen AI sklepajo in rešujejo probleme), s podporo za vse glavne družine modelov, napredna raziskava pospeševanja sklepanja in različnih strojnih backendov, vključno z AMD GPU-ji, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA GPU in x86 CPU. Vodenje Neural Magic v projektu vLLM v kombinaciji z močnim portfeljem tehnologij hibridne IA Red Hata bo organizacijam ponudilo odprto pot za gradnjo strategij IA, ki ustrezajo njihovim edinstvenim potrebam, kjerkoli so vaši podatki
Za Matta Hicksa, Predsednik in izvršni direktor podjetja, nakup Neural Magic, skupaj z razvojem pobude vLLM, so prvi korak za postavljanje podjetja kot referenco na področju umetne inteligence."Veselimo se, da bomo dopolnili naš portfelj umetne inteligence, osredotočene na hibridno oblačnost, z revolucionarno inovacijo umetne inteligence podjetja Neural Magic", povečanje naše želje, da ne bi bili le 'Red Hat odprte kode', ampak tudi 'Red Hat umetne inteligence', rekel.
Red Hat + Neural Magic: omogočanje prihodnosti z gen AI, pripravljeno za hibridno oblačnost
Neural Magic je naredila spin-off iz MIT v letu 2018 z namenom zgraditi programsko sklepanje visokih zmogljivosti za učenje globoko (Deep Learning). S tehnologijo in strokovnostjo na področju zmogljivosti podjetja Neural Magic, red Hat želi pospešiti svoje vizijo za prihodnost AI, pogonjena z portfeljem tehnologije AI podjetja Red Hat. Zgrajena za premagovanje izzivov umetne inteligence v velikem obsegu, podjetje uporablja inovacijo open source za še bolj demokratiziranje dostopa do transformativne moči AI s pomočjo:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, v več oblakih in na edge.
- Funkcije prilagajanja ki omogočajo, da organizacije personalizirajo LLMs lažje s svojimi zasebnimi podatki in uporabnimi primeri z bolj robustno varnostno strukturo
- Izkušnja v inženirstvu uspešnosti inferencije, rezultirajoče v večjih operativnih in infrastrukturnih učinkovitostih
- Ekosistem open source in partnerjev in struktur podpore ki omogočajo da imajo stranke več možnosti izbire, od LLMs in orodij do strojne opreme strežnika certifikat in arhitekture čipa
Vodenje vLLM za izboljšanje Red Hat AI
Neural Magic bo uporabil svojo strokovnost in znanje v vLLM za izgradnjo tehnološke baze, na ravni podjetja, ki omogoča strankam optimizirati, uvajati in dimenzionirati delovne obremenitve LLM v okoljih hibridnih oblakov s popolnim nadzorom nad izbiro infrastrukture, politike varnosti in življenjskega cikla modela. Neural Magic tudi razvija raziskavo optimizacije modela, gradi LLM Compressor (unificirana knjižnica za optimizacijo LLMs z algoritmi sparsnosti in kvantizacije zadnje generacije) in vzdržuje repozitorij predoptimiziranih modelov pripravljenih za uporabo z vLLM
Red Hat AI želi pomagati strankam zmanjšati stroške AI in ovire spretnosti z zmogljivimi tehnologij, kako
- Red Hat Enterprise Linux AI (RHEL AI), platformo za modele osnove za razvij, testirati in upravljati brezhibno družino IBM Granite iz LLMs open source za podjetniške aplikacije v implementacijah strežnika Linux;
- Red Hat OpenShift AI, platforma AI-ja ki zagotavlja orodja za razvij, trenir, služiti in spremljati hitro modele strojnega učenja v okoljih Kubernetesov distribuiranih on-site, na javnem oblaku ali na edge;
- InstructLab, odprtokodni skupnostni projekt ustvarjen s Red Hat in IBM, ki omogoča, da vsakdo oblikuje prihodnost GenAI-ja prek sodelovalnega izboljševanja LLMs Granite, licencirani kot open source uporabljajo tehnologijo fine-tuning iz InstructLab.
Tehnološko vodstvo Neural Magic v vLLM bo povečalo zmožnost Red Hat AI, da ponudi podporo implementacijam LLM v katerem koli okolju in na katerem koli mestu hibridnega oblaka z pripravljenim kupcem inference, visoko optimizirana in odprta
Transakcija še mora iti po ameriški regulativni odobritvi in drugih običajnih pogojih sklenitve pogodb
