An LLM-D, tionscadal nua de chód oscailte, nuacht a cuireadh i láthair le tacaíocht ó chuideachtaí mar CoreWeave, Google Cloud, IBM Research agus NVIDIA. Tá an tionscadal dírithe ar luasghéarú a dhéanamh ar an ngá is tábhachtaí don todhchaí na hintleachta saorga ghiniúnach (gen AI): tuiscint ar scála.Bunaithe ar ailtireacht dhúchasach Kubernetes, úsáideann an clár tuiscint dáileacháin le vLLM agus rianú líonra cliste agus íogair don intleacht shaorga, ag ligean do chruthú scamallta tuiscint láidir do mhúnlaí teanga móra (LLM) a chomhlíonann na spriocanna seirbhíse is airde (SLOanna) san fhorbairt.
Cé go bhfuil an traenáil fós tábhachtach, braitheann tionchar fíor na gGéine AI ar chumas tuisceana níos éifeachtaí agus níos inbhuanaithe — an meicníocht a thiontú samhlacha AI ina léargais chothrom agus ina dtaithí d'úsáideoirí. De réir Gartner, suas 2028, de réir mar a mhéadóidh an margadh, beidh os cionn 80% de na hiompróirí ualach oibre i lárionaid sonraí curtha i bhfeidhm go sonrach le haghaidh tuiscint, seachas oiliúint. Tá sé seo ag rá go bhfuil todhchaí na gGéine AI sa chumas feidhmiúcháin. Naíonna ag iarraidh ar na hacmhainní a mhéadú do mhúnlaí réasúnaíochta níos sofaisticiúla agus níos casta, tá teorainneacha ar chumas na n-innéacsúnaithe lárnacha agus tá bagairt ar chosc ar nuálaíocht i réimse na hintleachta saorga, de bharr costais coscánacha agus moill paralyzála.
Ag freagairt ar an ngá le haghaidh tuiscint shreangaithe
Tá Red Hat agus a gcomhpháirtithe tionscail atá ag tabhairt aghaidh go díreach ar an dúshlán seo le llm-d, tionscadal féidearthachta a leathnaíonn cumhacht an vLLM chun srianí aonair freastalaí a shárú agus táirgeadh ar scála a shaoradh do chinneadh AI. Ag úsáid ar chumhacht chruthaitheach orchestration Kubernetes, cuireann an llm-d cumais fhorbartha i dtaighde ar fáil ar na bonneagair TF na cuideachta atá ann cheana. Táirge comhuaineach a chur ar chumas na bhfoireann TF chun freastal ar na hiarratais éagsúla ar sheirbhísí ar luchtú oibre criticiúil do ghnó, agus ag cur i bhfeidhm teicnící nuálacha chun éifeachtúlacht a mhéadú agus an costas iomlán úinéireachta (TCO) a laghdú go suntasach a bhaineann le hiompróirí AI ardchumais.
Táirgeann an llm-d tacar cumhachtach nuálaíochtaí, le béim ar:
- vLLM, a bhfuil tapaidh ina fhreastalaí réamh-mheastacháin réamhshocraithe ar chód oscailte,ag tabhairt tacaíochta samhail ó lá go lá do mhúnlaí teorainneacha atá ag teacht chun cinn agus tacaíocht do liosta leathan de thiománaithe, anois lena n-áirítear Aonad Próiseála Tensors (TPUs) Google Cloud.
- Réamhull agus códáil neamhghlacthapara separar contexto de entrada e geração de tokens de IA em operações distintas, que podem ser distribuídas entre múltiplos servidores.
- Íoslódáil Cache KV (eochair-luach), bunaithe ar LMCache, feidhm seo aistríonn ualach cuimhne an cache KV ó chuimhne an GPU go stóráil chaighdeánach níos saoire agus níos ilchomhaireamh, mar chuimhne an CPU nó stóráil ar líonra.
- Clústeres e controladores baseados en Kuberneteschun dángú dá ngéadaí níos éifeachtaí de acmhainní ríomhaireachta agus stórála, de réir mar a athraíonn na hiarratais ualaigh, ag cinntiú feidhmíocht is fearr agus íoslaghdán na latencia.
- Roteamento leán le haghaidh líonraí dírithe ar AIchun chunntas a chur in áirithe iarratais isteach do na freastalaithe agus na luasaitheoirí a bhfuil córais chache nua-aimseartha acu de chuntas roimhe sin a bheith ag déanamh meastacháin.
- API cumarsáide ardéifeachtachtachun transfeir sonraí níos tapúla agus níos éifeachtaí idir freastalaithe, le tacaíocht do Leabharlann Inference Xfer NVIDIA (NIXL).
llm-d: unánime entre ceannairí na tionscail
Táirge nua oscailte den scoth seo tá tacaíocht aige cheana féin ó chomhghuaillíocht chumhachtach de phríomhsholáthraithe samhail AI giniúna, piontaí i gcumhachtaí AI agus ardáin scamall ceannródaíocha dírithe ar AI. CoreWeave, Google Cloud, IBM Research agus NVIDIA na gcomhpháirtithe bunaithe, le AMD, Cisco, Hugging Face, Intel, Lambda agus Mistral AI mar chomhpháirtithe, ag léiriú an chomhoibriú láidir idir tionscal chun todhchaí riaracháin LLMs ar scála a ailtireacht. Tá an pobal llm-d freisin ag brath ar thacaíocht ó institiúidí acadúla cosúil le Sky Computing Lab ó Ollscoil California, cruthaitheoirí vLLM, agus LMCache Lab ó Ollscoil Chicago, cruthaitheoirí anLMCache.
Dílis dá chuid tiomántais doimhne don chomhoibriú oscailte, aithníonn Red Hat tábhacht chriticiúil pobail shaibhir agus inrochtana i gcás an chothromaíocht tapa ag dul i bhfeidhm ar chinneadh gen AI. Beidh Red Hat ag tacú go gníomhach le fás an phobail llm-d, ag cur timpeallacht chuimsitheach ar fáil do bhaill nua agus ag spreagadh a fhorbairt leanúnach.
Radharc Red Hat: aon mhúnla, aon chabhair, aon bhunachar.
Tá an todhchaí na hintleachta saorga leagtha amach le deiseanna gan teorainn agus ní le srianta ar shilíní bonneagair. Is feiceann Red Hat réimse ina bhféidearthachtaí ina bhféadfadh eagraíochtaí aon mhúnla a chur i bhfeidhm, in aon luasghéaróir, in aon scamall, ag soláthar taithí úsáideora eisceachtúil agus níos comhsheasmhaí, gan chostais an-ard. Chun rochtain ar fhéidearthachtaí fíor na n-infheistíochtaí i n-Gen AI, ní mór do chuideachtaí ardán uilíoch d'fhoréigean a bheith acu — caighdeán nua le haghaidh nuálaíochtaí i n-IA leanúnach agus ísealchumhachta, sa lá atá inniu ann agus sna blianta atá romhainn.
Chun mar a Red Hat foi pionneira sa gurbháil Linux mar bhonn bhunúsach den TF nua-aimseartha, tá an chuideachta anois réidh chun todhchaí na hintleachta saorga a ailtireacht. Tá vLLM tene anama de se tornar pís chave para unha inferencia estándar en xen AI, e Red Hat está comprometida en construír un ecosistema próspero non só ao redor da comunidade vLLM, senón tamén do llm-d, enfocado na inferencia distribuída a gran escala. Tá sé soiléir: is cuma cén samhail AI, an t-aisghabhóir bunúsach nó an timpeallacht chur chun feidhme, tá sé i gceist ag Red Hat an vLLM a dhéanamh ina chaighdeán oscailte deiridh le haghaidh tuiscint sa bhriosc nua.
Cuméada Red Hat
Bí cúis le príomhoidí Red Hat Summit chun na nuacht is déanaí a chloisteáil ó fheidhmeannach, cliaint agus comhpháirtithe Red Hat:
- Infraestrutura nua-aiméin comutada a IA comérciol—Dé Máirt, 20 Bealtaine, 8-10am EDTYouTube)
- An nuvem híbrida evoluciona para impulsar a innovación empresarial— Céadaoin, 21 Bealtaine, 8f-9f30 EDTYouTube)
