llm-d, nový open source projekt, bol práve spustený s podporou spoločností ako CoreWeave, Google Cloud, IBM Research a NVIDIA. Iniciatíva sa zameriava na urýchlenie najdôležitejšej potreby pre budúcnosť generatívnej umelej inteligencie (gen AI): inferencie vo veľkom meradle. Program, založený na natívnej architektúre Kubernetes, využíva distribuovanú inferenciu s vLLM a inteligentné smerovanie siete s ohľadom na umelú inteligenciu, čo umožňuje vytvárať robustné inferenčné cloudy pre rozsiahle jazykové modely (LLM), ktoré spĺňajú najnáročnejšie ciele úrovne služieb (SLO) v produkčnom prostredí.
Hoci školenia zostávajú kľúčové, skutočný vplyv generácie umelej inteligencie závisí od efektívnejšej a škálovateľnejšej inferencie – nástroja, ktorý transformuje modely umelej inteligencie na užitočné poznatky a používateľské skúsenosti. Podľa spoločnosti Gartner bude do roku 2028, s dozrievaním trhu, viac ako 80 % akcelerátorov pracovnej záťaže v dátových centrách nasadených špeciálne na inferenciu, a nie na školenie. To znamená, že budúcnosť generácie umelej inteligencie spočíva v kapacite vykonávania. Rastúce nároky na zdroje čoraz sofistikovanejších a komplexnejších modelov uvažovania obmedzujú životaschopnosť centralizovanej inferencie a hrozia vytvorením úzkych miest v inováciách umelej inteligencie v dôsledku neúnosných nákladov a ochromujúcej latencie.
Reakcia na potrebu škálovateľnej inferencie
Spoločnosť Red Hat a jej priemyselní partneri priamo riešia túto výzvu prostredníctvom projektu llm-d, vizionárskeho projektu, ktorý rozširuje možnosti vLLM s cieľom prekonať obmedzenia jedného servera a odomknúť inferenciu umelej inteligencie v produkčnom meradle. Vďaka overenej orchestračnej sile Kubernetes integruje llm-d pokročilé možnosti inferencie do existujúcich podnikových IT infraštruktúr. Táto jednotná platforma umožňuje IT tímom spĺňať rozmanité požiadavky na služby kritických pracovných úloh a zároveň implementovať inovatívne techniky na maximalizáciu efektívnosti a dramatické zníženie celkových nákladov na vlastníctvo (TCO) spojených s vysoko výkonnými akcelerátormi umelej inteligencie.
llm-d ponúka silný súbor inovácií vrátane:
- vLLM, ktorý sa rýchlo stal štandardným open source inferenčným serverom a ponúka podporu modelov day-zero pre vznikajúce hraničné modely a podporu pre široký zoznam akcelerátorov, teraz vrátane jednotiek Google Cloud Tensor Processing Unit (TPU).
- Predvyplňovanie a rozdelené dekódovanie na oddelenie vstupného kontextu a tokenizácie AI do samostatných operácií, ktoré je možné distribuovať medzi viacero serverov.
- KV (key-value) Cache Offload , založená na LMCache, táto funkcia presúva zaťaženie vyrovnávacej pamäte KV z pamäte GPU na úspornejšie a rozsiahlejšie štandardné úložisko, ako je pamäť CPU alebo sieťové úložisko.
- Klastre a ovládače založené na Kubernetes pre efektívnejšie plánovanie výpočtových a úložných zdrojov podľa kolísania požiadaviek na pracovnú záťaž, čím sa zabezpečí najlepší výkon a najnižšia latencia.
- Smerovanie zamerané na umelú inteligenciu pre siete na plánovanie prichádzajúcich požiadaviek na servery a akcelerátory, ktoré pravdepodobne majú nedávne vyrovnávacie pamäte výpočtov pred inferenciou.
- Vysokovýkonné komunikačné API pre rýchlejší a efektívnejší prenos dát medzi servermi s podporou knižnice NVIDIA Inference Xfer Library (NIXL).
llm-d: jednomyseľné medzi lídrami v odvetví
Tento nový open-source projekt už má podporu silnej koalície popredných poskytovateľov modelovania umelej inteligencie, priekopníkov v oblasti akcelerátorov umelej inteligencie a popredných cloudových platforiem zameraných na umelú inteligenciu. Zakladajúcimi prispievateľmi sú CoreWeave, Google Cloud, IBM Research a NVIDIA, pričom partnermi sú AMD, Cisco, Hugging Face, Intel, Lambda a Mistral AI, čo zdôrazňuje silnú spoluprácu odvetvia pri navrhovaní budúcnosti realizácie LLM vo veľkom meradle. Komunita llm-d má tiež podporu akademických inštitúcií, ako sú Sky Computing Lab na Kalifornskej univerzite, tvorcovia vLLM, a LMCache Lab na Chicagskej univerzite, tvorcovia LMCache .
V súlade so svojím neochvejným záväzkom k otvorenej spolupráci si spoločnosť Red Hat uvedomuje kľúčový význam dynamických a prístupných komunít v rýchlo sa rozvíjajúcom prostredí generovania umelej inteligencie. Red Hat bude aktívne podporovať rast komunity llm-d, vytvárať inkluzívne prostredie pre nových členov a poháňať jej neustály vývoj.
Vízia spoločnosti Red Hat: Akýkoľvek model, akýkoľvek akcelerátor, akýkoľvek cloud
Budúcnosť umelej inteligencie by mala byť definovaná neobmedzenými možnosťami, nie obmedzená infraštruktúrnymi silami. Red Hat si predstavuje budúcnosť, v ktorej môžu organizácie nasadiť akýkoľvek model, na akomkoľvek akcelerátore, na akomkoľvek cloude, a poskytnúť tak výnimočný a konzistentnejší používateľský zážitok bez premrštených nákladov. Na uvoľnenie skutočného potenciálu investícií do umelej inteligencie generácie potrebujú spoločnosti univerzálnu inferenčnú platformu – nový štandard pre kontinuálne, vysoko výkonné inovácie v oblasti umelej inteligencie, a to teraz aj v nasledujúcich rokoch.
Rovnako ako Red Hat bol priekopníkom v transformácii Linuxu na základ moderného IT, spoločnosť je teraz pripravená navrhnúť budúcnosť inferencie pomocou umelej inteligencie (AI). vLLM má potenciál stať sa kľúčovou súčasťou štandardizovanej inferencie v generácii AI a Red Hat sa zaviazal budovať prosperujúci ekosystém nielen okolo komunity vLLM, ale aj okolo llm-d, ktorá sa zameriava na rozsiahlu distribuovanú inferenciu. Vízia je jasná: bez ohľadu na model AI, podkladový akcelerátor alebo prostredie nasadenia má Red Hat v úmysle urobiť z vLLM definitívny otvorený štandard pre inferenciu v novom hybridnom cloude.
Summit Red Hat
Pripojte sa k hlavným prejavom na summite Red Hat a vypočujte si najnovšie informácie od vedúcich pracovníkov, zákazníkov a partnerov spoločnosti Red Hat:
- Moderná infraštruktúra v súlade s podnikovou umelou inteligenciou — utorok 20. mája, 8:00 – 10:00 EDT ( YouTube )
- Hybridný cloud sa vyvíja s cieľom podnietiť obchodné inovácie — streda 21. mája, 8:00 – 9:30 EDT ( YouTube )
