llm-d، د خلاصې سرچینې یوه نوې پروژه، چې د CoreWeave، Google Cloud، IBM Research، او NVIDIA په څیر شرکتونو په ملاتړ سره پیل شوې ده. دا نوښت د تولیدي AI (gen AI) د راتلونکي لپاره خورا مهم اړتیا ګړندۍ کولو باندې تمرکز کوي: په پیمانه استنباط. د Kubernetes-native معمارۍ پراساس، دا پروګرام د vLLM او هوښیار، AI-پوه شبکې روټینګ سره ویشل شوي استنباط کاروي، چې د لوی پیمانه ژبې ماډلونو (LLM) لپاره د قوي استنباط بادلونو رامینځته کولو توان ورکوي چې په تولید کې د خدماتو کچې خورا غوښتونکي اهداف (SLOs) پوره کوي.
پداسې حال کې چې روزنه لاهم حیاتي ده، د Gen AI ریښتینې اغیزه په ډیر اغیزمن او د اندازې وړ استنباط پورې اړه لري - هغه انجن چې د AI ماډلونه د عمل وړ بصیرتونو او کاروونکو تجربو ته بدلوي. د ګارټینر په وینا، تر 2028 پورې، لکه څنګه چې بازار وده کوي، د معلوماتو مرکزونو کې د 80٪ څخه ډیر د کار بار سرعت کونکي به په ځانګړي ډول د روزنې پرځای د استنباط لپاره ځای په ځای شي. دا پدې مانا ده چې د Gen AI راتلونکی د اجرا کولو ظرفیت کې دی. د مخ په زیاتیدونکي پیچلي او پیچلي استدلال ماډلونو مخ په زیاتیدونکي سرچینو غوښتنې د مرکزي استنباط وړتیا محدودوي او د منع شوي لګښتونو او معلولونکي ځنډ له امله د AI نوښت کې د خنډونو رامینځته کولو ګواښ کوي.
د پراخېدونکي استنباط اړتیا ته ځواب ویل
ریډ هیټ او د هغې صنعتي شریکان په مستقیم ډول د llm-d سره دې ننګونې ته رسیدګي کوي، یوه لید لرونکې پروژه چې د vLLM ځواک پراخوي ترڅو د یو واحد سرور محدودیتونه لرې کړي او د تولید کچې AI استنباط خلاص کړي. د Kubernetes د ثابت شوي آرکیسټریشن ځواک په کارولو سره، llm-d د موجوده تصدۍ IT زیربناوو کې پرمختللي استنباط وړتیاوې مدغم کوي. دا متحد پلیټ فارم د IT ټیمونو ته ځواک ورکوي چې د سوداګرۍ مهم کاري بارونو متنوع خدماتو غوښتنې پوره کړي پداسې حال کې چې د موثریت اعظمي کولو لپاره نوښتګر تخنیکونه پلي کوي او د لوړ فعالیت AI سرعت کونکو سره تړلي د ملکیت ټول لګښت (TCO) په ډراماتیک ډول کموي.
llm-d د نوښتونو یوه پیاوړې ټولګه وړاندې کوي، په شمول د:
- vLLM، چې په چټکۍ سره د معیاري خلاصې سرچینې انفرنس سرور ګرځیدلی، د راڅرګندیدونکي فرنټیر ماډلونو لپاره د ورځې-صفر ماډل ملاتړ او د سرعت کونکو پراخه لیست لپاره ملاتړ وړاندې کوي، اوس د ګوګل کلاوډ ټینسر پروسس کولو واحدونو (TPUs) په شمول.
- مخکې له مخکې ډکول او جلا شوی کوډ کول په بیلابیلو عملیاتو کې چې په ډیری سرورونو کې ویشل کیدی شي.
- د KV (کیلي ارزښت) کیش افلوډ ، د LMCache پر بنسټ، دا فعالیت د KV کیش حافظې بار د GPU حافظې څخه ډیر اقتصادي او پراخه معیاري ذخیره کولو ته لیږدوي، لکه د CPU حافظه یا د شبکې ذخیره.
- د کوبرنیټس پر بنسټ کلسترونه او کنټرولرونه د کمپیوټر او ذخیره کولو سرچینو د ډیر اغیزمن مهالویش لپاره لکه څنګه چې د کار بار غوښتنې بدلون مومي، غوره فعالیت او ټیټ ځنډ ډاډمن کوي.
- د شبکو لپاره د مصنوعي ذهانت پر بنسټ روټینګ ترڅو سرورونو او سرعت ورکوونکو ته د راتلونکو غوښتنو مهالویش وکړي چې احتمال لري د اټکل دمخه د محاسبې وروستي زیرمې ولري.
- د لوړ فعالیت مخابراتي APIs د سرورونو ترمنځ د ګړندي او ډیر اغیزمن معلوماتو لیږد لپاره، د NVIDIA انفرنس ایکسفیر کتابتون (NIXL) ملاتړ سره.
llm-d: د صنعت مشرانو ترمنځ متفق
دا نوې پرانیستې سرچینه پروژه دمخه د مخکښو AI ماډلینګ چمتو کونکو، AI سرعت ورکوونکو مخکښانو، او مخکښ AI متمرکز کلاوډ پلیټ فارمونو د قوي ایتلاف ملاتړ لري. CoreWeave، Google Cloud، IBM Research، او NVIDIA بنسټ ایښودونکي مرسته کونکي دي، د AMD، Cisco، Hugging Face، Intel، Lambda، او Mistral AI سره د شریکانو په توګه، د LLM اجرا کولو راتلونکي په پیمانه د جوړولو لپاره د قوي صنعت همکارۍ روښانه کوي. د llm-d ټولنه د اکاډمیک ادارو لکه د کالیفورنیا پوهنتون کې د اسکای کمپیوټري لابراتوار، د vLLM جوړونکو، او د شیکاګو پوهنتون کې د LMCache لابراتوار، د LMCache .
د پرانیستې همکارۍ لپاره د خپلې نه ماتېدونکي ژمنې سره سم، ریډ هټ د جین AI انفرنس په چټکۍ سره مخ په ودې منظره کې د متحرک او لاسرسي وړ ټولنو مهم اهمیت پیژني. ریډ هټ به په فعاله توګه د llm-d ټولنې ودې ملاتړ وکړي، د نویو غړو لپاره یو جامع چاپیریال رامینځته کړي او د هغې دوامداره ارتقا به پرمخ بوځي.
د ریډ هیټ لید: هر ماډل، هر سرعت کوونکی، هر کلاوډ
د مصنوعي ذهانت راتلونکی باید د لامحدود فرصتونو له مخې تعریف شي، نه د زیربناوو د محدودیتونو له مخې. ریډ هټ داسې راتلونکې تصور کوي چې سازمانونه کولی شي هر ماډل، په هر سرعت کونکي، په هر کلاوډ کې ځای په ځای کړي، پرته له ډیر لګښت څخه استثنایی او ډیر دوامداره کارونکي تجربه وړاندې کړي. د جین مصنوعي ذهانت پانګوونې ریښتیني ظرفیت خلاصولو لپاره، شرکتونه یو نړیوال استنباط پلیټ فارم ته اړتیا لري - د دوامداره، لوړ فعالیت مصنوعي ذهانت نوښت لپاره یو نوی معیار، دواړه اوس او په راتلونکو کلونو کې.
لکه څنګه چې ریډ هټ د لینوکس د عصري معلوماتي ټکنالوژۍ بنسټ ته د بدلون مخکښ و، شرکت اوس د AI انفرنس راتلونکي جوړولو ته چمتو دی. vLLM د Gen AI کې د معیاري انفرنس کلیدي برخې کیدو وړتیا لري، او ریډ هټ ژمن دی چې نه یوازې د vLLM ټولنې شاوخوا بلکې د llm-d شاوخوا هم یو پرمختللی ایکوسیستم رامینځته کړي، کوم چې په لویه کچه توزیع شوي انفرنس تمرکز کوي. لید روښانه دی: د AI ماډل، اصلي سرعت کونکي، یا د ځای پرځای کولو چاپیریال ته په پام سره، ریډ هټ اراده لري چې vLLM په نوي هایبرډ کلاوډ کې د انفرنس لپاره حتمي خلاص معیار جوړ کړي.
د ریډ هیټ غونډه
د ریډ هیټ مشرانو، پیرودونکو او شریکانو څخه د وروستي معلوماتو اوریدو لپاره د ریډ هیټ غونډې کلیدي نوټونو سره یوځای شئ:
- عصري زیربنا د انټرپرایز مصنوعي ذهانت سره سمون لري — سه شنبه، د می ۲۰، سهار ۸:۰۰ - سهار ۱۰:۰۰ EDT ( یوټیوب )
- هایبرډ کلاوډ د سوداګرۍ نوښت ته وده ورکوي — چهارشنبه، د می ۲۱، د سهار ۸:۰۰-۹:۳۰ EDT ( یوټیوب )
