I le Aso Lulu (13), na fa'amae'aina ai e Red Hat le fa'agasologa o le fa'atauina e fa'atau ai Neural Magic, o se kamupani Amerika, o se paionia i polokalama faakomepiuta ma algorithms a le Generative Artificial Intelligence (GenAI). O le tomai o Neural Magic i le fa'ainisinia o le fa'atinoga, fa'atasi ai ma lana tautinoga i le open source, e ogatasi ma le va'aiga a Red Hat mo le tu'uina atu o le AI maualuga le fa'atinoga e fetaui ma tulaga eseese o tagata fa'atau ma fa'aoga, i so'o se mea i le ao fa'afefiloi.
E ui o le folafolaga a le GenAI e pulea ai le tele o le lalolagi faatekinolosi o loʻo iai nei, ae o faʻataʻitaʻiga gagana tetele (LLM) o loʻo lagolagoina nei faiga o loʻo faʻaauau pea ona tuputupu aʻe. O se taunuuga, o le fausiaina o auaunaga LLM faʻatuatuaina ma taugofie e manaʻomia ai le malosi tele o le komepiuta, punaoa o le malosi, ma tomai faʻapitoa i le faʻagaioiga. I le taimi nei, o nei faʻalavelave e taofia ai le tele o faʻalapotopotoga mai le iloaina o faʻamanuiaga o se AI e sili atu le saogalemu, sauni mo le faʻatinoina, ma le faʻapitoa.
Faatasi ai ma le mauaina o le Neural Magic, o loo taumafai Red Hat e foia nei luitau e ala i le faigofie ona maua e le tele o faalapotopotoga le GenAI e ala i le fouga fou o le vLLM. Na atiaeina e le UC Berkeley, o le vLLM o se poloketi tatala-punaoa e tausia e le nuu mo le auaunaga faʻataʻitaʻiga tatala (pe faapefea ona faʻaalia ma foia e faʻataʻitaʻiga a GenAI faʻafitauli), lagolagoina aiga tetele uma o faʻataʻitaʻiga, suʻesuʻega faʻavavevave faʻamatalaga, ma le tele o masini komepiuta i tua, e aofia ai AMD GPUs, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA GPUs, ma x86 CPUs. O le taitaiga a Neural Magic i le poloketi vLLM faʻatasi ai ma le faila malosi a Red Hat o tekinolosi hybrid cloud AI o le a ofoina atu ai i faalapotopotoga se auala tatala i le fausiaina o fuafuaga AI e fetaui ma o latou manaoga tulaga ese, po o fea lava o iai a latou faʻamatalaga.
Mo Matt Hicks, o le Peresetene ma le Pule Sili o le kamupani, o le mauaina o Neural Magic, faatasi ai ma le atinaeina o le fuafuaga a le vLLM, o le laasaga muamua lea i le tuuina atu o le kamupani o se faailoga i le atamai faapitoa. "Matou te fiafia e faaopoopo atu i la matou faila o le AI e taulaʻi i le ao faatasi ai ma le fouga fou a le Neural Magic i le AI, ma faalauteleina ai la matou naunautaiga ia le gata ina avea ma 'Red Hat o le open source,' ae faapea foi ma le 'Red Hat o le AI,'" o lana tala lea.
Red Hat + Neural Magic: Fa'agaoioia se lumana'i fa'atasi ai ma le AI fa'afefiloi mo le ao.
Na vavae ese le Neural Magic mai le MIT i le 2018 ma le sini o le fausiaina o se polokalama faakomepiuta e maualuga le faatinoga mo le aoaoina loloto. Faatasi ai ma le tomai faapitoa i tekinolosi ma le inisinia faatinoga a le Neural Magic, o loo sailia e Red Hat le faatelevaveina o lana vaaiga mo le lumanai o le AI, e uunaia e le faila o tekinolosi AI a Red Hat. Fausia e foia ai luitau o le AI tetele, e faaaoga e le kamupani le fouga tatala-punaoa e faafaigofie atili ai le avanoa i le malosiaga suia o le AI e ala i:
- O faʻataʻitaʻiga tatala-punaoa ua laiseneina e amata mai i le 1 piliona i le 405 piliona parakalafa e mafai ona faʻagaoioia i soo se mea i le ao faʻafefiloi—i totonu o nofoaga autu o faʻamaumauga a pisinisi, i luga o le tele o ao, ma i le pito.
- O foliga fa'apitoa e mafai ai e fa'alapotopotoga ona faigofie ona fa'atulaga LLM e tusa ai ma a latou fa'amatalaga patino ma fa'aoga fa'atasi ai ma se fa'avae sili atu ona malosi mo le puipuiga.
- O le poto masani i le inisinia o le faatinoga o galuega, ma iu ai ina sili atu le lelei o galuega faatino ma atinae.
- O se faiga fa'avae tatala ma se feso'ota'iga o pa'aga ma fausaga lagolago e maua ai e tagata fa'atau le tele o filifiliga, mai LLM ma meafaigaluega i masini fa'amaonia o 'au'aunaga ma fausaga o chip.
Taitaiga vLLM e Fa'aleleia le Red Hat AI
O le a fa'aaogaina e le Neural Magic lona tomai ma le malamalama i le vLLM e fausia ai se fa'avae fa'atekonolosi fa'apisinisi e mafai ai e tagata fa'atau ona fa'aleleia, fa'atulaga, ma fa'ateleina galuega a le LLM i siosiomaga fa'afefiloi o ao ma le pulea atoatoa o filifiliga o atina'e, faiga fa'avae saogalemu, ma le olaga atoa o fa'ata'ita'iga. E fa'atino fo'i e le Neural Magic su'esu'ega fa'aleleia o fa'ata'ita'iga, fausia le LLM Compressor (o se faletusi tu'ufa'atasi mo le fa'aleleia atili o LLM ma algorithm fa'aonaponei o le sparsity ma le quantization), ma tausia se fale teu oloa o fa'ata'ita'iga ua uma ona fa'aleleia ua sauni mo le fa'atulagaina ma le vLLM.
O le sini a le Red Hat AI o le fesoasoani lea i tagata faʻatau e faʻaitiitia tau o le AI ma faʻafitauli o tomai faʻapitoa i tekinolosi malolosi e pei o:
- Red Hat Enterprise Linux AI (RHEL AI) , o se fa'avae mo le fausiaina o fa'ata'ita'iga e atiina ae ai, fa'ata'ita'i, ma fa'agaoioia ai le aiga o IBM Granite o LLM tatala-puna mo talosaga fa'apisinisi i le fa'atinoina o 'au'aunaga Linux;
- le Red Hat OpenShift AI o se faʻavae AI e tuʻuina atu ai meafaigaluega e vave ai ona atiaʻe, toleni, tautua, ma mataʻituina faʻataʻitaʻiga o le aʻoaʻoina o masini i siosiomaga Kubernetes tufatufaina i luga ole saite, i le ao lautele, poʻo le pito i tua.
- le InstructLab o se poloketi fa'ale-nu'u e tatala-punaoa na fatuina e Red Hat ma IBM e mafai ai e so'o se tasi ona fa'atulaga le lumana'i o GenAI e ala i le fa'aleleia atili fa'atasi o Granite LLMs, ua laiseneina o se punaoa tatala, e fa'aaoga ai le tekinolosi fa'aleleia atili a le InstructLab.
O le taʻitaʻiga faʻatekonolosi a Neural Magic i le vLLM o le a faʻaleleia atili ai le mafai o le Red Hat AI e lagolago ai le faʻatinoina o LLM i soʻo se siosiomaga ma soʻo se mea i le ao faʻafefiloi faʻatasi ai ma se faʻaputuga o faʻamatalaga ua saunia, ua sili ona faʻaleleia, ma ua tatala.
O loʻo faʻalagolago pea le fefaʻatauaʻiga i le faʻatagaga a le pulega a Amerika ma isi tuutuuga masani o le tapunia.
