O llm-d, een nieuw open-source project, is net gelanceerd met de steun van bedrijven zoals CoreWeave, Google Cloud, IBM Research en NVIDIA. Het initiatief richt zich op het versnellen van de meest cruciale behoefte voor de toekomst van generatieve AI (gen AI): schaalbare inferentie.Gebaseerd op een native Kubernetes-architectuur, maakt het programma gebruik van gedistribueerde inferentie met vLLM en intelligente, AI-gevoelige netwerkroutering, waardoor het mogelijk is robuuste inferentienetwerken te creëren voor grootschalige taalmodellen (LLM) die voldoen aan de meest veeleisende service level objectives (SLO's) in productie.
Hoewel de training nog steeds essentieel is, hangt de ware impact van generatieve AI af van efficiëntere en schaalbare inferentie — het mechanisme dat AI-modellen omzet in praktische inzichten en gebruikerservaringen. Volgens Gartner zal tegen 2028, naarmate de markt volwassen wordt, meer dan 80% van de workload accelerators in datacenters specifiek worden ingezet voor inferentie in plaats van training. Dit betekent dat de toekomst van generatieve AI ligt in het vermogen tot uitvoering. De toenemende vraag naar middelen voor steeds meer geavanceerde en complexe redeneer- modellen beperkt de haalbaarheid van gecentraliseerde inferentie en bedreigt het de innovatie in AI te vertragen door onbetaalbare kosten en verlammende latentie
Reageren op de behoefte aan schaalbare inferentie
Red Hat en haar industriële partners staan rechtstreeks voor deze uitdaging met het llm-d, een visionair project dat de kracht van vLLM uitbreidt om de beperkingen van een enkele server te overwinnen en grootschalige productie voor AI-inferentie mogelijk te maken. Met behulp van de bewezen orkestratiekracht van Kubernetes integreert het llm-d geavanceerde inferentiecapaciteiten in de bestaande bedrijfs-IT-infrastructuren. Dit geïntegreerde platform stelt IT-teams in staat om te voldoen aan de diverse servicebehoeften van kritieke bedrijfsworkloads, terwijl het innovatieve technieken implementeert om de efficiëntie te maximaliseren en de totale eigendomskosten (TCO) drastisch te verlagen die gepaard gaan met high-performance AI-accelerators.
O llm-d biedt een krachtig pakket innovaties, met de nadruk op:
- vLLM, dat snel de standaard open-source inferentieserver werdhet bieden van modelondersteuning vanaf dag één voor opkomende frontier-modellen en ondersteuning voor een breed scala aan versnellingsapparaten, inclusief de Tensor Processing Units (TPU's) van Google Cloud.
- Vooraf invullen en gedecodeerde ontledingom het invoercontext en de generatie van AI-tokens in aparte operaties te scheiden, die over meerdere servers kunnen worden verdeeld.
- KV-cache laden, gebaseerd op LMCache, verplaatst deze functie de geheugenbelasting van de KV-cache van het GPU-geheugen naar een standaardopslag die goedkoper en overvloediger is, zoals CPU-geheugen of netwerkopslag.
- Clusters en controllers gebaseerd op Kubernetesvoor een efficiëntere planning van computering en opslagbronnen, naarmate de werklastvraag fluctueert, om de beste prestaties en de laagste latentie te garanderen.
- Routing met focus op AI voor netwerkenom een invoerdocumentatie voor servers en versnellingsapparaten te plannen die waarschijnlijk recente caches van eerdere berekeningen bevatten.
- High-performance communicatie-API'svoor een snellere en efficiëntere gegevensoverdracht tussen servers, met ondersteuning voor NVIDIA Inference Xfer Library (NIXL).
llm-d: unaniem onder industrieleiders
Dit nieuwe open-sourceproject krijgt al de steun van een formidabele coalitie van toonaangevende aanbieders van generatieve AI-modellen, pioniers in AI-versnellers en toonaangevende cloudplatforms gericht op AI. CoreWeave, Google Cloud, IBM Research en NVIDIA zijn de oprichtende samenwerkingspartners, met AMD, Cisco, Hugging Face, Intel, Lambda en Mistral AI als partners, wat de sterke samenwerking van de industrie benadrukt om de toekomst van grootschalige LLM-uitvoering te ontwerpen. De llm-d gemeenschap wordt ook ondersteund door academische instellingen zoals Sky Computing Lab van de Universiteit van Californië, makers van vLLM, en het LMCache Lab van de Universiteit van Chicago, makers van deLMCache.
trouw aan zijn onwankelbare toewijding aan open samenwerking, erkent Red Hat het cruciale belang van levendige en toegankelijke gemeenschappen in het snel evoluerende landschap van gen AI-inferentie. Red Hat zal actief de groei van de community llm-d ondersteunen door een inclusieve omgeving te bevorderen voor nieuwe leden en hun voortdurende evolutie te stimuleren.
De visie van Red Hat: elk model, elke versneller, elke cloud
De toekomst van AI moet worden bepaald door onbeperkte kansen en niet beperkt door infrastructuursilo's. Red Hat ziet een toekomst waarin organisaties elk model kunnen implementeren, in elke versneller, in elke cloud, met een uitzonderlijke en meer consistente gebruikerservaring, zonder exorbitante kosten. Om het ware potentieel van investeringen in generatieve AI te ontgrendelen, hebben bedrijven een universeel inferentieplatform nodig — een nieuwe standaard voor voortdurende en hoogrenderende AI-innovaties, zowel nu als in de komende jaren.
Net als Red Hat een pionier was in de transformatie van Linux tot de fundamentele basis van moderne IT, is het bedrijf nu klaar om de toekomst van AI-inferentie te ontwerpen. O vLLM tem o potencial de se tornar uma peça-chave para uma inferência padronizada em IA generativa, e a Red Hat está comprometida em construir um ecossistema próspero não apenas em torno da comunidade vLLM, mas também do llm-d, voltado para inferência distribuída em larga escala. De visie is duidelijk: ongeacht het AI-model, de onderliggende accelerator of de implementatieomgeving, streeft Red Hat ernaar om vLLM de definitieve open standaard voor inferentie in de nieuwe hybride cloud te maken.
Red Hat Summit
Neem deel aan de keynotes van de Red Hat Summit om de nieuwste updates van Red Hat executives, klanten en partners te horen:
- Moderne infrastructuur afgestemd op zakelijke AIDinsdag 20 mei, 8h-10h EDTYouTube)
- De hybride cloud evolueert om bedrijfsinnovatie te stimulerenWoensdag 21 mei, 8:00-9:30 EDTYouTube)
