Ove srede (13), Red Hat je završio proces kupovine kako bi stekao Neural Magic, američka kompanija, pionir u softveru i algoritmima generativne veštačke inteligencije (GenAI). Stručnost Neural Magic u inženjeringu performansi, zajedno sa vašom posvećenošću otvorenom kodu, se usklađuje sa vizijom Red Hata za pružanje visokoperformantne veštačke inteligencije koja se uklapa u različite scenarije i slučajeve upotrebe klijenata, na bilo kojem mestu hibridne oblake.
Иако обећање GenAI доминира великим делом тренутне технолошке сцене, veliki modeli jezika (LLM) koji podržavaju ove sisteme nastavljaju da rastu. Kao rezultat, izgradnja pouzdanih LLM usluga sa dobrom odnosom cene i kvaliteta zahteva značajnu računarsku moć, energetski resursi i specijalizovane operativne veštine. Trenutno, ove prepreke onemogućavaju koristi personalizovane veštačke inteligencije, spremna za implementaciju i sigurnija za većinu organizacija
Sa kupovinom Neural Magic, Red Hat ima nameru da se suoči sa tim izazovima čineći GenAI pristupačnijim za više organizacija putem otvorene inovacije vLLM. Razvijen od strane UC Berkeley, vLLM je open source projekat koji održava zajednica za uslugu otvorenog modela (kao što modeli gen AI inferiraju i rešavaju probleme), sa podršku za sve glavne porodice modela, napredna istraživanja ubrzanja inferencije i razni hardverski backendovi, uključujući AMD GPU-e, AWS Neuron, Google TPU-ovi, Intel Gaudi, NVIDIA GPU-i i x86 CPU-i. Liderstvo Neural Magic u projektu vLLM u kombinaciji sa snažnim portfoliom tehnologija hibridne AI u oblaku kompanije Red Hat pružiće organizacijama otvoren put za izgradnju strategija AI koje zadovoljavaju njihove jedinstvene potrebe, gde god da su vaši podaci
За Мета Хикса, Predsednik i izvršni direktor kompanije, kupovina Neural Magic, zajedno sa razvojem inicijative vLLM, su su prvi korak da se kompanija postavi kao referenca u veštačkoj inteligenciji."Uzbuđeni smo što ćemo dopuniti naš portfelj veštačke inteligencije fokusirane na hibridne oblake sa revolucionarnom inovacijom veštačke inteligencije kompanije Neural Magic", povećavajući našu želju da ne budemo samo 'Red Hat open source-a', ali ‘Red Hat za veštačku inteligenciju’, рекао.
Red Hat + Neural Magic: omogućavanje budućnosti sa gen AI spremnom za hibridnu oblačnost
Неурална Магика направила је спин-оф од MIT у 2018. са циљем да изгради софтвер инференције високог перформанса за дубоко учење (Deep Learning). Sa tehnologijom i stručnostima u inženjeringu performansi Neural Magic, Red Hat тражи убрзати своју визију за будућност АИ, покренута од портфолија технологије АИ компаније Red Hat. Izgrađena da prevaziđe izazove poslovne veštačke inteligencije na velikoj skali, компанија користи иновацију open source да још више демократизује приступ трансформационој моћи AI-а кроз:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, у неколико облака и на edge.
- Функционалности подешавања које омогућавају да организације персонализују LLMs лакше са својим приватним подацима и случајевима употребе са робуснијом безбедносном структуром
- Искуство у инжењерству перформанси инференције, резултујући у већим оперативним и инфраструктурним ефикасностима
- Екосистем отвореног извора и партнера и структура подршке који омогућавају да купци имају више опција избора, од LLMs и алата до сертификованог серверског хардвера и архитектуре чипа
Liderstvo vLLM za unapređenje Red Hat AI
Неурал Магиц ће користити своју експертизу и знање у vLLM да изгради базу технологије, на нивоу предузећа, које омогућава клијентима оптимизовати, распоредити и мерити радне оптерећења LLM у окружењима хибридног облака са потпуном контролом над избором инфраструктуре, политике безбедности и животног циклуса модела. Неурална Магија такође развија истраживање оптимизације модела, изграђује LLM Compressor (унификована библиотека за оптимизацију LLMs са алгоритмима осетљивости и квантизације последње генерације) и одржава репозиторијум пре-оптимизованих модела спремних да буду распоређени са vLLM
Ред Хат АИ тражи помоћи купцима да смање трошкове АИ и баријере вештина са моћним технологијама, kako
- Red Hat Enterprise Linux AI (RHEL AI), платформа за моделе базе за развијање, тестирати и управљати беспрекорно IBM Granite породицу од LLMs open source за пословне апликације на распоредама Linux сервера;
- Red Hat OpenShift AI, платформа АИ која пружа алате за развијање, тренинг, служи и брзо мониторише моделе машинског учења у окружењима Кубернета дистрибуираних на сајту, у јавном облаку или на ивици;
- InstructLab, један заједнички пројекат open source креиран од стране Red Hat и од стране IBM који омогућава да било ко обликује будућност GenAI-а кроз колаборативно побољшање LLMs Granite, лиценцирани као open source користећи технологију fine-tuning од InstructLab.
Технолошко лидерство Neural Magic-а у vLLM повећаће способност Red Hat AI-а да пружи подршку имплементацијама LLM-а у било ком окружењу и на било ком месту хибридне облака са спремном стеком инференције, високо оптимизована и отворена
Трансакција још треба да прође кроз северноамеричко регулаторно одобрење и друге уобичајене услове закључивања уговора
