llm-d, nýtt opinn hugbúnaðarverkefni, hefur nýlega hleypt af stokkunum með stuðningi frá fyrirtækjum eins og CoreWeave, Google Cloud, IBM Research og NVIDIA. Frumkvæðið leggur áherslu á að flýta fyrir brýnustu þörfinni fyrir framtíð kynslóðar gervigreindar (kynslóðar gervigreindar): ályktunartækni í stórum stíl. Forritið, sem byggir á Kubernetes-innbyggðri arkitektúr, notar dreifða ályktun með vLLM og snjalla, gervigreindar-meðvitaða netleiðsögn, sem gerir kleift að búa til öflug ályktunarský fyrir stórfelld tungumálamódel (LLM) sem uppfylla kröftugustu þjónustustigsmarkmið (SLO) í framleiðslu.
Þótt þjálfun sé enn mikilvæg, þá veltur raunveruleg áhrif kynslóðar gervigreindar á skilvirkari og stigstærðari ályktunum - vélinni sem umbreytir gervigreindarlíkönum í nothæfar innsýnir og notendaupplifanir. Samkvæmt Gartner, árið 2028, þegar markaðurinn þroskast, verða meira en 80% af vinnuálagshraðalum í gagnaverum sérstaklega notaðir fyrir ályktanir, frekar en þjálfun. Þetta þýðir að framtíð kynslóðar gervigreindar liggur í framkvæmdagetu. Vaxandi kröfur um auðlindir vegna sífellt fullkomnari og flóknari rökfræðilíkana takmarka hagkvæmni miðstýrðrar ályktunar og ógna því að skapa flöskuhálsa í nýsköpun gervigreindar vegna óhóflegs kostnaðar og lamandi seinkunar.
Að bregðast við þörfinni fyrir stigstærðar ályktanir
Red Hat og samstarfsaðilar þess í greininni takast beint á við þessa áskorun með llm-d, framsýnu verkefni sem eykur kraft vLLM til að yfirstíga takmarkanir eins netþjóns og opna fyrir gervigreindarályktanir á framleiðsluskala. Með því að nota sannaðan skipulagskraft Kubernetes samþættir llm-d háþróaða ályktunargetu í núverandi upplýsingatækniinnviði fyrirtækja. Þessi sameinaði vettvangur gerir upplýsingatækniteymum kleift að mæta fjölbreyttum þjónustuþörfum viðskiptamikils vinnuálags og innleiða nýstárlegar aðferðir til að hámarka skilvirkni og draga verulega úr heildarkostnaði við eignarhald (TCO) sem tengist afkastamiklum gervigreindarhröðlum.
llm-d býður upp á öflugt úrval nýjunga, þar á meðal:
- vLLM, sem hefur fljótt orðið staðlaður opinn hugbúnaður fyrir ályktanir, býður upp á stuðning við dagsnúning líkana fyrir nýjar, framúrstefnulegar líkön og stuðning við fjölbreyttan lista af hröðlum, þar á meðal nú Google Cloud Tensor Processing Units (TPU).
- Forfyllt og sundurliðuð afkóðun til að aðgreina innsláttarsamhengi og gervigreindartáknmyndun í aðskildar aðgerðir sem hægt er að dreifa á marga netþjóna.
- KV (lykilgildi) skyndiminnilosun , byggð á LMCache, færir þessi aðgerð álagið á KV skyndiminni úr GPU-minni yfir í hagkvæmari og ríflegri staðlaða geymslu, svo sem örgjörvaminni eða netgeymslu.
- Kubernetes-byggðir klasar og stýringar fyrir skilvirkari áætlanagerð reikniafls- og geymsluauðlinda eftir því sem álagskröfur sveiflast, sem tryggir bestu afköst og lægsta seinkun.
- Gervigreindarmiðuð leiðsögn fyrir net til að skipuleggja innkomandi beiðnir til netþjóna og hröðla sem líklega hafa nýleg skyndiminniminn af útreikningum áður en ályktanir eru gerðar.
- Háþróuð samskipta-API fyrir hraðari og skilvirkari gagnaflutning milli netþjóna, með stuðningi við NVIDIA Inference Xfer Library (NIXL).
llm-d: samhljóða meðal leiðtoga í greininni
Þetta nýja opna hugbúnaðarverkefni nýtur þegar stuðnings öflugs bandalags leiðandi framleiðenda gervigreindarlíkana, brautryðjenda í gervigreindarhröðlum og leiðandi skýjapöllum sem einbeita sér að gervigreind. CoreWeave, Google Cloud, IBM Research og NVIDIA eru stofnendur, ásamt AMD, Cisco, Hugging Face, Intel, Lambda og Mistral AI sem samstarfsaðilum, sem undirstrikar sterkt samstarf atvinnugreinarinnar við að móta framtíð framkvæmdar LLM í stórum stíl. Llm-d samfélagið nýtur einnig stuðnings fræðastofnana eins og Sky Computing Lab við Háskólann í Kaliforníu, höfunda vLLM, og LMCache Lab við Háskólann í Chicago, höfunda LMCache .
Trú óhagganlegri skuldbindingu sinni við opið samstarf viðurkennir Red Hat mikilvægi líflegra og aðgengilegra samfélaga í ört vaxandi landslagi ályktana um gervigreind. Red Hat mun virkan styðja við vöxt samfélagsins fyrir menntun og þjálfun, skapa aðgengilegt umhverfi fyrir nýja meðlimi og knýja áfram áframhaldandi þróun þess.
Sýn Red Hat: Hvaða líkan sem er, hvaða hröðull sem er, hvaða ský sem er
Framtíð gervigreindar ætti að vera skilgreind með ótakmörkuðum tækifærum, ekki takmörkuð af einangruðum innviðum. Red Hat sér fyrir sér framtíð þar sem fyrirtæki geta sett upp hvaða líkan sem er, á hvaða hröðlun sem er, á hvaða skýi sem er, og skilað einstakri og samræmdari notendaupplifun án óhóflegs kostnaðar. Til að opna fyrir raunverulegan möguleika fjárfestinga í gervigreind af kynslóðinni þurfa fyrirtæki alhliða ályktunarvettvang - nýjan staðal fyrir stöðuga, afkastamikla nýsköpun í gervigreind, bæði nú og á komandi árum.
Rétt eins og Red Hat var brautryðjandi í umbreytingu Linux í grunn nútíma upplýsingatækni, er fyrirtækið nú í stakk búið til að móta framtíð ályktunar með gervigreind. vLLM hefur möguleika á að verða lykilþáttur í stöðluðum ályktunum í kynslóð gervigreindar, og Red Hat er staðráðið í að byggja upp blómlegt vistkerfi ekki aðeins í kringum vLLM samfélagið heldur einnig í kringum llm-d, sem einbeitir sér að stórfelldum dreifðum ályktunum. Sýnin er skýr: óháð gervigreindarlíkaninu, undirliggjandi hröðlinum eða dreifingarumhverfinu, hyggst Red Hat gera vLLM að endanlegum opnum staðli fyrir ályktanir í nýja blendingskýinu.
Red Hat ráðstefnan
Taktu þátt í aðalræðum Red Hat ráðstefnunnar til að heyra nýjustu fréttir frá stjórnendum, viðskiptavinum og samstarfsaðilum Red Hat:
- Nútímaleg innviði í samræmi við gervigreind fyrirtækja — þriðjudaginn 20. maí, kl. 8:00 - 10:00 EDT ( YouTube )
- Blendingský þróast til að knýja áfram nýsköpun í viðskiptum — miðvikudaginn 21. maí, kl. 8:00-9:30 EDT ( YouTube )
