Tänä keskiviikkona (13), Red Hat on saattanut päätökseen Neural Magicin ostoprosessin, amerikkalainen yritys, pioneeri generatiivisen tekoälyn (GenAI) ohjelmistoissa ja algoritmeissa. Neural Magicin asiantuntijuus suorituskyvyn insinöörityössä, yhdessä sitoutumisesi kanssa avoimeen lähdekoodiin, sijoittuu Red Hatin visioon korkealaatuisen tekoälyn tarjoamisesta, joka sopii erilaisiin asiakastilanteisiin ja käyttötapauksiin, missä tahansa hybridipilvessä.
Vaikka GenAI:n lupaus hallitsee suurta osaa nykyisestä teknologisesta maisemasta, suuret kielimallit (LLM:t), jotka tukevat näitä järjestelmiä, jatkavat kasvuaan. Tuloksena, luotettavien ja kustannustehokkaiden LLM-palveluiden rakentaminen vaatii merkittävää laskentatehoa, energiavarat ja erikoisosaamiset. Tällä hetkellä, nämä esteet tekevät henkilökohtaisen tekoälyn hyötyjen saavuttamisen mahdottomaksi, valmis käyttöönotettavaksi ja turvallisempi useimmille organisaatioille
Neural Magicin hankinnan myötä, Red Hat aikoo kohdata nämä haasteet tekemällä GenAI:sta saavutettavampaa useammille organisaatioille vLLM:n avoimen innovaation kautta. Kehitetty UC Berkeleyn toimesta, vLLM on yhteisön ylläpitämä avoimen lähdekoodin projekti avoimen mallin palvelulle (kuten gen AI -mallit johtavat ja ratkaisevat ongelmia), tukemalla kaikille tärkeimmille malliperheille, edistyksellinen inferenssin kiihtyvyyden tutkimus ja erilaiset laitteistotaustat, mukaan lukien AMD GPU:t, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA GPU:t ja x86 CPU:t. Neural Magicin johtajuus vLLM-projektissa yhdistettynä Red Hatin vahvaan hybridipilven tekoälyteknologiaportfolioon tarjoaa organisaatioille avoimen polun rakentaa tekoälystrategioita, jotka vastaavat niiden ainutlaatuisia tarpeita, missä tahansa tietosi ovatkin
Matt Hicksille, Yhtiön puheenjohtaja ja toimitusjohtaja, Neural Magicin osto, yhdessä vLLM-aloitteen kehittämisen kanssa, ovat ensimmäinen askel yrityksen asettamiseksi viittaukseksi tekoälyssä.Olemme innoissamme voidessamme täydentää hybridipilveen keskittyvää tekoälyportfoliotamme Neural Magicin vallankumouksellisella tekoälyinnovaatiolla, lisäämällä haluamme olla vain 'Red Hat avoimen lähdekoodin', mutta myös "tekoälyn Red Hat", sanoi.
Red Hat + Neural Magic: mahdollistamassa tulevaisuutta, jossa gen AI on valmis hybridipilveen
Neural Magic teki spin-offin MIT:stä vuonna 2018 tavoitteena rakentaa inferenssiohjelmistoa korkean suorituskyvyn syvälliseen oppimiseen (Deep Learning). Neural Magicin teknologian ja suorituskykyinsinöörityön asiantuntemuksen avulla, Red Hat pyrkii nopeuttamaan näkemystään AI:n tulevaisuuteen, vauhditettu Red Hatin AI-teknologian portfolion kautta. Rakennettu voittamaan suurten yritysten tekoälyhaasteet, yritys käyttää open source innovaatiota demokratisoimaan entisestään pääsyä AI:n transformatiiviseen voimaan tekemällä:
- Lisensoidut avoimen lähdekoodin mallit 1 miljardista 405 miljardiin parametriin, jotka voivat toimia missä tahansa hybridipilvessä — yrityskeskuksissa, useissa pilvissä ja edge.
- Sääntöominaisuudet jotka sallivat organisaatioiden räätälöidä LLMs helpommin yksityisten tietojen ja käyttötapausten kanssa vahvempi turvallisuusrakenne
- Kokemus inferenssin suoritustekniikassa, johtaen suurempiin operatiivisiin ja infrastruktuurin tehokkauksiin
- A ekosysteemi open source ja kumppaneista ja tukirakenteista jotka mahdollistavat että asiakkailla on enemmän vaihtoehtoa valinnan, alkaen LLMs ja työkalut aina sertifioidun serverin hardware ja chip arkkitehtuurit
vLLM-johtajuus Red Hat AI:n parantamiseksi
Neural Magic käyttää asiantuntemustaan ja tietämystä vLLM:ssä rakentamaan teknologiapohjan, yritystasolla, joka mahdollistaa asiakkaille optimoida, toteuttaa ja skaalata LLM työmääriä hybridi-pilvi ympäristöissä täydellä valvonnalla infrastruktuurin valinnasta, turvallisuuspolitiikat ja mallin elinkaari. Neural Magic kehittää myös mallin optimoinnin tutkimusta, rakentaa LLM Compressor (yhtenäistetty kirjasto optimoimaan LLMs viimeisen sukupolven harvinaisuuden ja kvantisoinnin algoritmeilla) ja ylläpitää varastoa ennalta optimoitujen mallien valmiina toteutettavaksi vLLM kanssa
Red Hat AI pyrkii auttamaan asiakkaita vähentämään AI:n kustannuksia ja taitojen esteitä voimakkailla teknologioilla, kuin
- Red Hat Enterprise Linux AI (RHEL AI), foorumi perusmalleille kehittämään, testata ja käyttää täydellisesti IBM Granite perhe LLMs avoin lähde yrityssovelluksia Linux palvelin käyttöönottoissa;
- Red Hat OpenShift AI, AI-foorumi joka tarjoaa työkaluja kehittää, kouluttaa, palvella ja seurata nopeasti kone oppimisen malleja Kubernetesin ympäristöissä jaettuja on-site, julkisessa pilvessä tai edgeessä;
- InstructLab, avoimen lähdekoodin yhteisöprojekti luotu Red Hat ja IBM:n joka antaa mahdollisuuden kenelle tahansa muokata GenAI:n tulevaisuutta Granite LLMs -kollaboratiivisen parannuksen kautta, lisensoitu kuin open source käyttäen fine-tuning teknologiaa InstructLabista.
Neural Magic:n teknologinen johtajuus vLLM:ssä lisää Red Hat AI:n kykyä tarjota tukea LLM:n käyttöönottoihin missä tahansa ympäristössä ja missä tahansa hybridi pilven kanssa valmiina inferenssipilvi, erittäin optimoitu ja avoin
Transaktion on vielä saatava pohjoisamerikkalaisesta sääntelyhyväksynnästä ja muista tavanomaisista sopimusten päättämisedellytyksistä
