Ezen a szerdán (13), A Red Hat befejezte a Neural Magic megvásárlásának folyamatát, amerikai vállalat, pionír a generatív mesterséges intelligencia szoftverekben és algoritmusokban. A Neural Magic teljesítményoptimalizálási szakértelme, a nyílt forráskód iránti elkötelezettségével együtt, összhangban van a Red Hat víziójával a különböző ügyfélszcenáriókhoz és felhasználási esetekhez illeszkedő, nagy teljesítményű AI biztosításáról, bármely helyen a hibrid felhőben.
Bár a GenAI ígérete a jelenlegi technológiai táj képének nagy részét uralja, a nagy nyelvi modellek (LLM-ek), amelyek ezeket a rendszereket támogatják, továbbra is növekednek. Eredményeként, megbízható és költséghatékony LLM szolgáltatások kiépítése jelentős számítási kapacitást igényel, energiagazdálkodási források és szakosodott működési képességek. Jelenleg, ezek az akadályok lehetetlenné teszik a személyre szabott MI előnyeit, készen áll a bevezetésre és biztonságosabb a legtöbb szervezet számára
A Neural Magic megszerzésével, A Red Hat célja, hogy ezeket a kihívásokat úgy kezelje, hogy a GenAI-t hozzáférhetőbbé tegye több szervezet számára a vLLM nyílt innovációján keresztül. Az UC Berkeley által kifejlesztve, a vLLM egy közösség által fenntartott nyílt forráskódú projekt, amely nyílt modell szolgáltatására szolgál (mint ahogy a generatív AI modellek következtetnek és megoldanak problémákat), támogatással az összes főbb modellcsalád számára, fejlett inferencia gyorsítási kutatás és különböző hardver háttér, beleértve az AMD GPU-kat, AWS Neuron, Google TPU-k, Intel Gaudi, NVIDIA GPU-k és x86 CPU-k. A Neural Magic vezetése a vLLM projektben, kombinálva a Red Hat erős hibrid felhő-IA technológiai portfóliójával, nyitott utat kínál a szervezetek számára az egyedi igényeiknek megfelelő IA stratégiák kidolgozásához, bárhol is vannak az adatai
Matt Hicks számára, A cég elnöke és vezérigazgatója, a Neural Magic megvásárlása, a vLLM kezdeményezés fejlesztésével együtt, az első lépést jelentik ahhoz, hogy a vállalatot a mesterséges intelligencia terén referenciaként állítsák be.Izgatottan várjuk, hogy kiegészítsük hibrid felhőre összpontosító AI portfóliónkat a Neural Magic forradalmi AI innovációjával, növelve vágyunk arra, hogy ne csak az 'open source Red Hat' legyünk, de a 'Red Hat az AI'-nak, mondta.
Red Hat + Neural Magic: lehetővé téve a jövőt a felhőalapú hibrid gen AI számára
A Neural Magic csinált egy spin-off a MIT 2018-ban azzal a céllal, hogy építs következtetés szoftver magas teljesítményű mély tanulás (Deep Learning). A Neural Magic technológiájával és teljesítménymérnöki szakértelmével, a Red Hat törekszik gyorsítani látását az AI jövőjére, hajtotta a Red Hat AI technológia portfóliója. A nagy léptékű vállalati MI kihívásainak leküzdésére épült, a vállalat nyitott forrás innovációt használ, hogy tovább demokratizálja a hozzáférést az AI átalakító hatalmához azáltal, hogy:
- Licencált open source modellek 1 milliárdtól 405 milliárd paraméterig, amelyek bármilyen hibrid felhőben működhetnek — vállalati adatközpontokban, több felhőben és az edge-ben.
- Beállítási funkciók, amelyek lehetővé teszik, hogy a szervezetek testreszabják LLMs könnyebben a saját adatok és használati esetek egy robusztusabb biztonsági szerkezet
- Tapasztalat inferenciális teljesítménymérnöki, eredményezve nagyobb operatív és infrastruktúrás hatékonyságokat
- Egy open source és partnerek ökoszisztéma és támogató struktúrák amelyek lehetővé teszik, hogy az ügyfelek több választási lehetőségük legyen, az LLM-ek és eszközök egészen tanúsított szerver hardware és chip architektúrák
vLLM vezetés a Red Hat AI fejlesztéséhez
A Neural Magic felhasználja szakértelmét és tudását vLLM-ben, hogy építs egy technológiai alapot, vállalati szinten, amely lehetővé teszi az ügyfeleknek optimalizálni, telepíteni és méretezni LLM munkaterheléseket hibrides felhő környezetekben teljes ellenőrzéssel az infrastruktúra választása felett, biztonsági politikák és életciklus a modell. A Neural Magic szintén fejleszti modell optimalizációs kutatást, építi az LLM Compressor (egy egységes könyvtár az LLM-ek optimalizálására szűkség és kvantálás algoritmusokkal) és tartja egy repozítor pre-optimizált modellek készen állnak a telepítéshez vLLM
A Red Hat AI arra törekszik segíteni az ügyfeleknek csökkenteni az AI költségeit és készség akadályokat erős technológiákkal, mint
- Red Hat Vállalati Linux AI (RHEL AI), egy platform alapmodellek számára fejleszten, tesztelni és működtetni tökéletesen az IBM Granite család LLMs open source vállalati alkalmazásokhoz Linux szerver telepítésekben;
- Red Hat OpenShift AI, egy AI platform, amely eszközöket biztosít fejlesztésre, edzeni, szolgálja és monitorozza gyorsan a machine learning modelleket Kubernetes környezetekben elosztott on-site, a nyilvános felhőben vagy az edge-ben;
- InstructLab, egy Red Hat és az IBM által létrehozott open source közösségi projekt amely lehetővé teszi, hogy bárki formálja a GenAI jövőjét a LLMs Granite együttműködő javítása útján, licencált mint open source használva fine-tuning technológia az InstructLab.
A Neural Magic technológiai vezetése vLLM-ben növelni fogja a Red Hat AI képességét, hogy támogatást nyújtson LLM telepítéseknek bármely környezetben és bárhol a hibrid felhőből egy készen álló inferenciális halommal, erősen optimalizált és nyitott
Az ügylet még kell át egy észak-amerikai szabályozó jóváhagyásra és egyéb szokásos szerződések megkötés feltételeire
