W tę środę (13), Red Hat zakończył proces zakupu Neural Magic, amerykańska firma, pionier w oprogramowaniu i algorytmach sztucznej inteligencji generatywnej (GenAI). Ekspertyza Neural Magic w inżynierii wydajności, wraz z jego zaangażowaniem w otwarty kod, zgadza się z wizją Red Hat dotyczącą dostarczania wydajnej sztucznej inteligencji, która pasuje do różnych scenariuszy i przypadków użycia klientów, w dowolnym miejscu w chmurze hybrydowej.
Chociaż obietnica GenAI dominuje dużą część obecnego krajobrazu technologicznego, wielkie modele językowe (LLM), które wspierają te systemy, nadal rosną. W wyniku, budowa niezawodnych i opłacalnych usług LLM wymaga znacznej mocy obliczeniowej, zasoby energetyczne i specjalistyczne umiejętności operacyjne. Obecnie, te przeszkody uniemożliwiają korzystanie z zalet spersonalizowanej AI, gotowa do wdrożenia i bezpieczniejsza dla większości organizacji
Z zakupem Neural Magic, Red Hat ma na celu sprostać tym wyzwaniom, czyniąc GenAI bardziej dostępnym dla większej liczby organizacji dzięki otwartej innowacji vLLM. Opracowane przez UC Berkeley, vLLM to projekt open source utrzymywany przez społeczność dla usługi modelu otwartego (jak modele AI generatywnej wnioskować i rozwiązywać problemy), z wsparciem dla wszystkich głównych rodzin modeli, zaawansowane badania nad przyspieszeniem wnioskowania i różnymi backendami sprzętowymi, w tym GPU AMD, AWS Neuron, Google TPU, Intel Gaudi, GPU NVIDIA i CPU x86. Przywództwo Neural Magic w projekcie vLLM w połączeniu z silnym portfelem technologii AI w chmurze hybrydowej Red Hat zaoferuje organizacjom otwartą drogę do budowy strategii AI, które odpowiadają ich unikalnym potrzebom, gdziekolwiek są twoje dane
Dla Matta Hicksa, Prezydent i dyrektor generalny firmy, zakup Neural Magic, wraz z rozwojem inicjatywy vLLM, są pierwszym krokiem do uczynienia firmy wzorem w dziedzinie sztucznej inteligencji.Jesteśmy podekscytowani, aby uzupełnić nasze portfolio AI skoncentrowane na chmurze hybrydowej o rewolucyjną innowację AI od Neural Magic, zwiększając nasze pragnienie, aby nie być tylko 'Red Hatem open source', ale także „Red Hat AI”, powiedział.
Red Hat + Neural Magic: umożliwiając przyszłość z gen AI gotową na chmurę hybrydową
Neural Magic zrobiła spin-off od MIT w 2018 z celem budowania oprogramowania inferencyjnego wysokiej wydajności dla uczenia głębokiego (Deep Learning). Dzięki technologii i wiedzy inżynieryjnej w zakresie wydajności firmy Neural Magic, Red Hat szuka przyspieszyć swoją wizję do przyszłości AI, napędzana przez portfolio technologii AI firmy Red Hat. Zbudowana, aby sprostać wyzwaniom sztucznej inteligencji w dużej skali, firma używa innowacji open source aby jeszcze bardziej demokratyzować dostęp do transformującej mocy AI poprzez:
- Licencjonowane modele open source w skali od 1 miliarda do 405 miliardów parametrów, które mogą działać w dowolnym miejscu w chmurze hybrydowej — w centrach danych korporacyjnych, w wielu chmurach i na edge.
- Funkcje dostosowania, które pozwalają organizacjom dostosować LLMs łatwiej ze swoimi prywatnymi danymi i przypadkami użycia z bardziej solidną strukturą bezpieczeństwa
- Doświadczenie w inżynierii wydajności inferencji, prowadząc do większych efektywności operacyjnych i z infrastruktury
- Ekosystem open source i partnerów i struktur wsparcia, które umożliwiają, że klienci mają więcej możliwości wyboru, od LLMs i narzędzi aż hardware serwera certyfikowanego i architektury chipów
Przywództwo vLLM w celu ulepszenia Red Hat AI
Neural Magic wykorzysta swoje doświadczenie i wiedzę w vLLM do zbudowania bazy technologicznej, na poziomie przedsiębiorstwa, które pozwala klientom zoptymalizować, wdrożyć i rozmiarować obciążenia pracy LLM w środowiskach chmury hybrydowej z pełną kontrolą nad wyborem infrastruktury, polityki bezpieczeństwa i cyklu życia modelu. Neural Magic również rozwija badania optymalizacji modelu, buduje LLM Compressor (zjednoczoną bibliotekę do optymalizacji LLMs z algorytmami sparszości i kwantyzacji najnowszej generacji) i utrzymuje repozytorium modeli pre-optymalizowanych gotowych do rozmieszczenia z vLLM
Red Hat AI szuka pomóc klientom zmniejszyć koszty AI i bariery umiejętności z potężnymi technologiami, jak
- Red Hat Enterprise Linux AI (RHEL AI), platformę dla modeli podstawowych do rozwija, testować i działać idealnie rodzinę IBM Granite z LLMs open source dla aplikacji biznesowych w implementacjach serwera Linux;
- Red Hat OpenShift AI, platformę AI, która zapewnia narzędzia do rozwija, trenować, służyć i monitorować szybko modele machine learning w środowiskach Kubernetes rozproszonych on-site, w chmurze publicznej lub na edge;
- InstructLab, projekt społeczny open source stworzony przez Red Hat i przez IBM który pozwala, aby ktokolwiek kształtował przyszłość GenAI za pośrednictwem współpracującego ulepszania LLMs Granite, licencjonowane jako open source używając technologii fine-tuning od InstructLab.
Przywództwo technologiczne Neural Magic w vLLM zwiększy zdolność Red Hat AI do zaoferowania wsparcia wdrożeniom LLM w dowolnym środowisku i w dowolnym miejscu chmury hybrydowej z gotową stosem inferencji, wysoce zoptymalizowana i otwarta
Transakcja jeszcze musi przejść przez zatwierdzenie regulacyjne północnoamerykańskie i inne warunki zwykłe zamknięcia kontraktów
