Op hierdie Woensdag (13), Red Hat het die aankoopproses voltooi om Neural Magic te verkry, Amerikaanse maatskappy, pionier in sagteware en algoritmes van Generatiewe Kunsmatige Intelligensie (GenAI). Die kundigheid van Neural Magic in prestasie-ingenieurswese, saam met jou verbintenis tot oopbron, stem in lyn met die visie van Red Hat vir die verskaffing van hoë-prestasie KI wat in verskillende scenario's en kliëntgevalle pas, in enige plek in die hibriede wolk.
Alhoewel die belofte van GenAI 'n groot deel van die huidige tegnologiese landskap oorheers, die groot taalmodelle (LLMs) wat hierdie stelsels ondersteun, hou aan om te groei. As gevolg, die bou van betroubare LLM-dienste met 'n goeie koste-baatverhouding vereis 'n beduidende rekenaarvermoë, energiebronne en gespesialiseerde operasionele vaardighede. Tanshiedend, hierdie hindernisse maak die voordele van 'n persoonlike KI onmoontlik, gereed vir implementering en veiliger vir die meeste organisasies
Met die verkryging van Neural Magic, Red Hat beplan om hierdie uitdagings aan te spreek deur GenAI meer toeganklik te maak vir meer organisasies deur middel van die oop innovasie van vLLM. Ontwikkel deur UC Berkeley, die vLLM is 'n open source projek wat deur die gemeenskap onderhou word vir 'n oop model diens (soos die modelle van gen AI aflei en probleme oplos), met ondersteuning vir al die belangrikste modelfamilies, gevorderde navorsing oor inferensieversnelling en verskeie hardeware-achtergronde, insluitend AMD GPU's, AWS Neuron, Google TPU's, Intel Gaudi, NVIDIA GPU's en x86 CPU's. Die leierskap van Neural Magic in die vLLM-projek, saam met die sterk portefeulje van Red Hat se hibriede wolk KI-tegnologieë, sal organisasies 'n oop pad bied om KI-strategieë te bou wat aan hul unieke behoeftes voldoen, waar jou data ook mag wees
Vir Matt Hicks, President en CEO van die maatskappy, die aankoop van Neural Magic, saam met die ontwikkeling van die vLLM-inisiatief, is die eerste stap om die maatskappy as 'n verwysing in kunsmatige intelligensie te plaas.Ons is opgewonde om ons portefeulje van KI wat op 'n hibriede wolk gefokus is, aan te vul met die revolusionêre KI-innovasie van Neural Magic, ons verhoog ons begeerte om nie net die 'Red Hat van oopbron' te wees nie, maar ook die 'Red Hat van KI', gesê.
Red Hat + Neurale Magic: Maak 'n Hibriede Wolkgereed Gen AI-toekoms moontlik
Neural Magic het in 2018 'n spin-off van die MIT gestig met die doel om hoë-prestasie inferensiesoftware vir diep leer (Deep Learning) te bou. Met die tegnologie en die kundigheid in prestasiebou van Neural Magic, Red Hat streef daarna om sy visie vir die toekoms van KI te versnel, aangedryf deur die KI-tegnologieportefeulje van Red Hat. Gebou om die uitdagings van grootmaat sake-KI te oorkom, die maatskappy gebruik open source innovasie om die toegang tot die transformerende krag van KI verder te demokratiseer deur middel van
- Gelisensde open source modelle met 'n skaal van 1 biljoen tot 405 biljoen parameters wat oral in 'n hibriede wolk kan werk — in korporatiewe datacenters, in verske wolke en op die rand.
- Ajusteringsfunksies wat organisasies toelaat om LLM's makliker met hul privaat data en gebruiksgevalle te pasmaak met 'n robuustere sekuriteitsraamwerk
- Ervaring in inferensieprestasie-ingenieurswese, wat lei tot groter operasionele en infrastruktuur doeltreffendheid
- 'n Open source ekosisteem en vennootskappe en ondersteuningsstrukture wat kliënte meer keuse moontlik maak, van LLM's en gereedskap tot gesertifiseerde bedienerhardeware en skyfargitektuur
vLLM Leierskap om Red Hat AI te bevorder
Neural Magic sal gebruik sy kundigheid en kennis in vLLM om 'n tegnologiebasis te bou, op vlak van besigheid, wat kliënte toelaat om te optimaliseer, implante en skaal werklaste LLM in hibriede wolkomgewings met volle beheer oor die keuse van infrastruktuur, veiligheidsbeleide en lewensiklus van die model. Neural Magic ontwikkel ook navorsing oor modeloptimalisering, bou die LLM Compressor (n 'n gesentraliseerde biblioteek om LLM's te optimaliseer met die nuutste sparsiteit en kwantisering algoritmes) en hou 'n repository van vooraf-geoptimaliseerde modelle wat gereed is om met vLLM ontplooi te word
Die Red Hat KI streef daarna om kliënte te help om die koste van KI en vaardigheidshindernisse met kragtige tegnologieë te verminder, soos
- Red Hat Enterprise Linux AI (RHEL AI), 'n platform vir basismodelle om te ontwikkel, toets en bedryf die IBM Granite-familie van oopbron LLMs perfek vir besigheidsaansoeke in Linux-bedienerontplooiings;
- Red Hat OpenShift AI, 'n KI-platform wat gereedskap bied om te ontwikkel, opleiding, dien en monitor vinnig masjienleer modelle in verspreide Kubernetes omgewings op die terrein, in die openbare wolk of op die rand;
- InstructLab, 'n gemeenskapsprojek open source geskep deur Red Hat en IBM wat enige persoon in staat stel om die toekoms van GenAI te vorm deur middel van die samewerkende verbetering van LLMs Granite, geoktroo as open source met behulp van die InstructLab se fine-tuning tegnologie.
Die tegnologiese leierskap van Neural Magic in vLLM sal die vermoë van Red Hat AI verhoog om ondersteuning te bied vir die implementering van LLM in enige omgewing en oral in die hibriede wolk met 'n gereed inferensie-stapel, hooglik geoptimaliseer en oop
Die transaksie moet nog deur 'n Amerikaanse regulatoriese goedkeuring en ander gewone kontraksluitingsvoorwaardes gaan
