Сәрсенбіде (13) Red Hat Generative Artificial Intelligence (GenAI) бағдарламалық жасақтамасы мен алгоритмдерінің пионері американдық Neural Magic компаниясын сатып алу процесін аяқтады. Neural Magic компаниясының өнімділік инженериясындағы тәжірибесі және оның ашық бастапқы кодқа деген ұмтылысы гибридті бұлттың кез келген жерінде әртүрлі тұтынушы сценарийлері мен пайдалану жағдайларына сәйкес келетін жоғары өнімді AI жеткізуге арналған Red Hat көзқарасымен сәйкес келеді.
GenAI уәдесі қазіргі технологиялық ландшафттың көп бөлігінде басым болса да, осы жүйелерді негізге алатын үлкен тілдік модельдер (LLM) өсуде. Нәтижесінде сенімді және үнемді LLM қызметтерін құру айтарлықтай есептеу қуатын, энергия ресурстарын және арнайы операциялық дағдыларды қажет етеді. Қазіргі уақытта бұл кедергілер көптеген ұйымдарға қауіпсіз, орналастыруға дайын және жекелендірілген AI артықшылықтарын жүзеге асыруға кедергі жасайды.
Neural Magic сатып алу арқылы Red Hat vLLM ашық инновациялары арқылы GenAI-ді көбірек ұйымдар үшін қол жетімді ету арқылы осы қиындықтарды шешуге бағытталған. UC Berkeley әзірлеген vLLM – ашық модельдік қызметке (GenAI үлгілері проблемаларды қалай шығарады және шешеді) арналған қоғамдастық қолдайтын ашық бастапқы жоба, барлық негізгі үлгі топтамаларын, қорытындыны жеделдету бойынша зерттеулерді және әртүрлі аппараттық серверлерді, соның ішінде AMD GPU, AWS Neuron, Google TPU, Intel Gaudi, NVIDIA GPU және CPU. Neural Magic компаниясының vLLM жобасындағы көшбасшылығы Red Hat гибридті бұлтты AI технологияларының күшті портфолиосымен біріктірілген ұйымдарға деректер қай жерде болса да, бірегей қажеттіліктерін қанағаттандыратын AI стратегияларын құрудың ашық жолын ұсынады.
Компанияның президенті және бас директоры Мэтт Хикс үшін Neural Magic сатып алу vLLM бастамасын дамытумен қатар компанияны жасанды интеллектте эталон ретінде орналастырудағы алғашқы қадам болып табылады. «Біз гибридті бұлтқа бағытталған AI портфолиосын Neural Magic компаниясының жаңашыл AI инновациясымен толықтыруға қуаныштымыз, бұл біздің «ашық көздің қызыл қалпағы» ғана емес, сонымен қатар «AI-ның қызыл қалпағы» болу амбициямызды одан әрі арттырады», - деді ол.
Red Hat + Neural Magic: гибридті бұлтқа дайын AI көмегімен болашақты қосу.
Neural Magic 2018 жылы MIT-тен терең білім алу үшін өнімділігі жоғары қорытынды бағдарламалық қамтамасыз етуді құру мақсатымен шықты. Neural Magic технологиясы мен өнімділік инженериясының тәжірибесімен Red Hat Red Hat компаниясының AI технологиялар портфолиосының негізінде жасанды интеллекттің болашағына деген көзқарасын жеделдетуге тырысады. Ірі кәсіпорынның AI қиындықтарын жеңу үшін құрылған компания AI-ның трансформациялық күшіне қол жеткізуді одан әрі демократияландыру үшін ашық бастапқы инновацияларды пайдаланады:
- Гибридті бұлттың кез келген жерінде — кәсіпорынның деректер орталықтарында, бірнеше бұлттарда және шетінде жұмыс істей алатын 1 миллиардтан 405 миллиард параметрге дейінгі лицензияланған ашық бастапқы модельдер.
- Ұйымдарға LLM-ді жеке деректеріне оңай бейімдеуге және сенімдірек қауіпсіздік жүйесі бар істерді пайдалануға мүмкіндік беретін теңшеу мүмкіндіктері.
- Операциялық және инфрақұрылымдық тиімділікті жоғарылататын нәтижелік инженерия тәжірибесі.
- Ашық бастапқы коды бар экожүйе және серіктестер мен қолдау құрылымдарының желісі, ол тұтынушыларға LLM және құралдардан сертификатталған серверлік жабдық пен чип архитектурасына дейін көбірек таңдау береді.
Red Hat AI жақсартуға арналған vLLM көшбасшылығы
Neural Magic тұтынушыларға инфрақұрылымды таңдауды, қауіпсіздік саясаттарын және модельдің өмірлік циклін толық бақылау арқылы гибридті бұлттық орталарда LLM жұмыс жүктемелерін оңтайландыруға, орналастыруға және масштабтауға мүмкіндік беретін кәсіпорын деңгейіндегі технология негізін құру үшін vLLM-дегі тәжірибесі мен білімін пайдаланады. Neural Magic сонымен қатар модельді оңтайландыруды зерттеуді жүргізеді, LLM компрессорын (заңғы үлгідегі сиректеу және кванттау алгоритмдерімен LLM-ді оңтайландыруға арналған бірыңғай кітапхана) құрастырады және vLLM-мен қолдануға дайын алдын ала оңтайландырылған үлгілердің репозиторийін сақтайды.
Red Hat AI тұтынушыларға AI шығындары мен дағдылардың кедергілерін қуатты технологиялармен азайтуға көмектесуге бағытталған, мысалы:
- Red Hat Enterprise Linux AI (RHEL AI) , Linux серверлерін орналастыруда кәсіпорын қолданбаларына арналған ашық бастапқы LLMs IBM Granite тобын біркелкі әзірлеуге, сынауға және басқаруға арналған үлгілерді құруға арналған платформа;
- Red Hat OpenShift AI – бұл жерде, жалпыға ортақ бұлтта немесе шетте таратылған Kubernetes орталарында машиналық оқыту үлгілерін жылдам әзірлеуге, үйретуге, қызмет көрсетуге және бақылауға арналған құралдарды ұсынатын AI платформасы.
- InstructLab - Red Hat және IBM жасаған ашық бастапқы коды бар қауымдастық жобасы, ол InstructLab нақты баптау технологиясын пайдалана отырып, ашық бастапқы ретінде лицензияланған Granite LLMs бірлескен жетілдіру арқылы кез келген адамға GenAI болашағын қалыптастыруға мүмкіндік береді.
Neural Magic-тің vLLM-дегі технологиялық көшбасшылығы Red Hat AI-ның дайын, жоғары оңтайландырылған және ашық қорытынды стекімен гибридті бұлттың кез келген ортасында және кез келген жерінде LLM орналастыруларына қолдау көрсету қабілетін арттырады.
Мәміле әлі де АҚШ-тың реттеуші мақұлдауына және басқа әдеттегі жабу шарттарына бағынады.
