Die llm-d, 'n nuwe oopbronprojek, is pas vrygestel met die ondersteuning van maatskappye soos CoreWeave, Google Cloud, IBM Research en NVIDIA. Die inisiatief fokus op die versnel van die mees kritieke behoefte vir die toekoms van generatiewe KI (gen KI): skaal-inferensie.Gebaseer op 'n inheemse Kubernetes-argitektuur, gebruik die program verspreide inferensie met vLLM en intelligente, AI-sensitiewe netwerkroete, wat die skepping van robuuste inferensienetwerke vir grootskaalse taalmodelle (LLM) moontlik maak wat aan die strengste diensvlakdoelwitte (SLO's) in produksie voldoen.
Alhoewel opleiding steeds van belang bly, hang die werklike impak van gen AI af van meer doeltreffende en skaalbare inferensie — die meganisme wat AI-modelle in praktiese insigte en ervarings vir die gebruiker omskep. Volgens Gartner sal tot 2028, namate die mark volwasse, meer as 80% van die werklasversnellers in datacenters spesifiek vir inferensie geïmplementeer sal word, eerder as vir opleiding. Dit beteken dat die toekoms van gen AI in die vermoë van uitvoering lê. Die toenemende vraag na hulpbronne van meer gesofistikeerde en komplekse redeneer- en modelle vereis, beperk die lewensvatbaarheid van gesentraliseerde afleiding en bedreig die skepping van knelpunte in KI-innovasie as gevolg van onbillike koste en verlammende latensie.
Antwoord op die behoefte aan skaalbare inferensie
Red Hat en sy industrievennote is direk die uitdaging van die llm-d aan die orde, 'n visionêre projek wat die krag van vLLM uitbrei om die beperkings van 'n enkele bediener te oorkom en produksie op skaal vir KI-inferensie vry te stel. Met behulp van die bewese orkestrasiemag van Kubernetes integreer die llm-d gevorderde inferensievermoëns in bestaande korporatiewe IT-infrastruktuur. Hierdie gesamentlike platform stel IT-spanne in staat om aan die verskeie diensbehoeftes van kritieke werklaste vir die besigheid te voldoen, terwyl dit innoverende tegnieke implementeer om doeltreffendheid te maksimeer en die totale eienaarskapskoste (TCO) wat verband hou met hoëprestasie KI-versnellers, drasties te verminder.
Die LLM-D bied 'n kragtige stel innovasies aan, met die klem op:
- vLLM, wat vinnig die standaard oopbron-inferensieserver geword hetbied ondersteuning vanaf dag een vir opkomende grensmodelle en ondersteuning vir 'n breë lys van versnellingsaandrywers, insluitend Google Cloud se Tensor Processing Units (TPUs).
- Voorafvul en ontkoding uitgespreiom te skei konteks van invoer en IA-tokengenerering in aparte operasies, wat tussen meerdere bedieners versprei kan word.
- Klaskas van KV (sleutel-waarde), gebaseer op die LMCache, o funksie oordra die geheugelading van die KV-kas van die GPU-geheue na 'n meer ekonomiese en volop standaardberging, soos die CPU-geheue of netwerkberging.
- Klasters en beheerders gebaseer op Kubernetesvir om 'n meer doeltreffende beplanning van reken- en stoorhulpbronne, namate die werklasvraag skommel, om die beste prestasie en die laagste latensie te verseker.
- Routering met fokus op KI vir netwerkeom doel om invoerdingsaanvragen vir bedieners en versnellingsaandrywers te beplan wat waarskynlik onlangse kas van vorige berekenings het.
- API's van hoëprestasie kommunikasievir vir meer vinnige en doeltreffende data-oordrag tussen bedieners, met ondersteuning vir NVIDIA Inference Xfer Library (NIXL).
llm-d: unaniem onder leiers in die bedryf
Hierdie nuwe oopbronprojek het reeds die ondersteuning van 'n formidabele koalisie van vooraanstaande modelle van generatiewe KI, pioniers in KI-versnellers en toonaangewende wolkplatforms vir KI. CoreWeave, Google Cloud, IBM Research en NVIDIA is die stigtersvennote, met AMD, Cisco, Hugging Face, Intel, Lambda en Mistral AI as vennote, wat die sterk samewerking van die bedryf beklemtoon om die toekoms van die uitvoering van LLMs op skaal te ontwerp. Die gemeenskap llm-d het ook die ondersteuning van akademiese instellings soos die Sky Computing Lab van die Universiteit van Kalifornië, die skeppers van vLLM, en die LMCache Lab van die Universiteit van Chicago, die skeppers van dieLMCache.
Getrou aan sy onwrikbare verbintenis tot oop samewerking, erken Red Hat die kritieke belang van lewendige en toeganklike gemeenskappe in die vinnig ontwikkelende veld van AI-gen inferensie. Red Hat sal actively ondersteun die groei van die llm-d gemeenskap, deur 'n inklusiewe omgewing vir nuwe lede te bevorder en hul voortdurende ontwikkeling aan te dryf.
Die visie van Red Hat: enige model, enige versneller, enige wolk
Die toekoms van KI moet bepaal word deur onbeperkte geleenthede en nie beperk word deur infrastruktuur-silo's nie. Red Hat sien 'n toekoms waarin organisasies enige model kan uitrol, op enige versnellingsinstrument, in enige wolk, en 'n uitsonderlike en meer konsekwente gebruikerservaring kan bied, sonder buitensporige koste. Om die ware potensiaal van belegging in generatiewe KI te ontsluit, benodig maatskappye 'n universele inferensiesplatform — 'n nuwe standaard vir voortdurende en hoëprestasie KI-innovasies, both tans en in die komende jare.
Net soos Red Hat die pionier was in die transformasie van Linux in die fundamentele basis van moderne IT, is die maatskappy nou gereed om die toekoms van KI-inferensie te ontwerp. Die vLLM het die potensiaal om 'n sleutelfiguur te word vir gestandaardiseerde inferensie in generatiewe KI, en Red Hat is daartoe verbind om 'n welvarende ekosisteem te bou nie net rondom die vLLM-gemeenskap nie, maar ook die llm-d, wat fokus op gesofistikeerde verspreide inferensie op groot skaal. Die visie is duidelik: ongeag die IA-model, die onderliggende versneller of die implementeringsomgewing, beoog Red Hat om vLLM die definitiewe oop standaard vir inferensie in die nuwe hibriede wolk te maak.
Red Hat Topwerk
Neem deel aan die Red Hat Summit-sleutopnames om die nuutste inligting van Red Hat-bestuurders, kliënte en vennote te hoor:
- Infrastruktuur modern in lyn met bedryfs-KIDinsdag, 20 Mei, 8h -10h EDTYouTube)
- Die hybride wolk ontwikkel om sake-innovasie aan te dryfWoensdag, 21 Mei, 8:00-9:30 EDTYouTube)
