കോർ‌വീവ്, ഗൂഗിൾ ക്ലൗഡ്, ഐ‌ബി‌എം റിസർച്ച്, എൻ‌വിഡിയ തുടങ്ങിയ കമ്പനികളുടെ പിന്തുണയോടെ, ഒരു പുതിയ ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റ് llm-d ആരംഭിച്ചു. ജനറേറ്റീവ് AI (ജെൻ AI) യുടെ ഭാവിയിലെ ഏറ്റവും നിർണായകമായ ആവശ്യം ത്വരിതപ്പെടുത്തുന്നതിൽ ഈ സംരംഭം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു: സ്കെയിലിൽ അനുമാനം. കുബേർനെറ്റ്സ്-നേറ്റീവ് ആർക്കിടെക്ചറിനെ അടിസ്ഥാനമാക്കി, പ്രോഗ്രാം vLLM-ഉം ഇന്റലിജന്റ്, AI-അവബോധമുള്ള നെറ്റ്‌വർക്ക് റൂട്ടിംഗും ഉപയോഗിച്ച് വിതരണം ചെയ്ത അനുമാനം ഉപയോഗിക്കുന്നു, ഇത് ഉൽ‌പാദനത്തിൽ ഏറ്റവും ആവശ്യപ്പെടുന്ന സേവന-തല ലക്ഷ്യങ്ങൾ (SLO-കൾ) നിറവേറ്റുന്ന വലിയ തോതിലുള്ള ഭാഷാ മോഡലുകൾ (LLM) നായി ശക്തമായ അനുമാന മേഘങ്ങൾ സൃഷ്ടിക്കാൻ പ്രാപ്തമാക്കുന്നു.
പരിശീലനം ഇപ്പോഴും നിർണായകമാണെങ്കിലും, Gen AI യുടെ യഥാർത്ഥ സ്വാധീനം കൂടുതൽ കാര്യക്ഷമവും അളക്കാവുന്നതുമായ അനുമാനത്തെ ആശ്രയിച്ചിരിക്കുന്നു - AI മോഡലുകളെ പ്രവർത്തനക്ഷമമായ ഉൾക്കാഴ്ചകളിലേക്കും ഉപയോക്തൃ അനുഭവങ്ങളിലേക്കും പരിവർത്തനം ചെയ്യുന്ന എഞ്ചിൻ. ഗാർട്ട്നറുടെ അഭിപ്രായത്തിൽ, 2028 ആകുമ്പോഴേക്കും, വിപണി പക്വത പ്രാപിക്കുമ്പോൾ, ഡാറ്റാ സെന്ററുകളിലെ 80%-ത്തിലധികം വർക്ക്‌ലോഡ് ആക്സിലറേറ്ററുകളും പരിശീലനത്തിന് പകരം പ്രത്യേകമായി അനുമാനത്തിനായി വിന്യസിക്കപ്പെടും. ഇതിനർത്ഥം Gen AI യുടെ ഭാവി നിർവ്വഹണ ശേഷിയിലാണ് എന്നാണ്. വർദ്ധിച്ചുവരുന്ന സങ്കീർണ്ണവും സങ്കീർണ്ണവുമായ ന്യായവാദ മോഡലുകളുടെ വർദ്ധിച്ചുവരുന്ന വിഭവ ആവശ്യങ്ങൾ കേന്ദ്രീകൃത അനുമാനത്തിന്റെ പ്രവർത്തനക്ഷമതയെ പരിമിതപ്പെടുത്തുകയും വിലക്കപ്പെട്ട ചെലവുകളും തടസ്സപ്പെടുത്തുന്ന കാലതാമസവും കാരണം AI നവീകരണത്തിൽ തടസ്സങ്ങൾ സൃഷ്ടിക്കുമെന്ന് ഭീഷണിപ്പെടുത്തുകയും ചെയ്യുന്നു.
അളക്കാവുന്ന അനുമാനത്തിന്റെ ആവശ്യകതയോട് പ്രതികരിക്കുന്നു
ഒരൊറ്റ സെർവറിന്റെ പരിമിതികളെ മറികടക്കുന്നതിനും പ്രൊഡക്ഷൻ-സ്കെയിൽ AI അനുമാനം അൺലോക്ക് ചെയ്യുന്നതിനും vLLM-ന്റെ ശക്തി വിപുലീകരിക്കുന്ന ഒരു ദീർഘവീക്ഷണ പദ്ധതിയായ llm-d-യുമായി Red Hat-ഉം അതിന്റെ വ്യവസായ പങ്കാളികളും നേരിട്ട് ഈ വെല്ലുവിളിയെ അഭിസംബോധന ചെയ്യുന്നു. Kubernetes-ന്റെ തെളിയിക്കപ്പെട്ട ഓർക്കസ്ട്രേഷൻ പവർ ഉപയോഗിച്ച്, നിലവിലുള്ള എന്റർപ്രൈസ് ഐടി ഇൻഫ്രാസ്ട്രക്ചറുകളിലേക്ക് വിപുലമായ അനുമാന ശേഷികളെ llm-d സംയോജിപ്പിക്കുന്നു. കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നതിനും ഉയർന്ന പ്രകടനമുള്ള AI ആക്സിലറേറ്ററുകളുമായി ബന്ധപ്പെട്ട ഉടമസ്ഥാവകാശത്തിന്റെ മൊത്തം ചെലവ് (TCO) നാടകീയമായി കുറയ്ക്കുന്നതിനുമുള്ള നൂതന സാങ്കേതിക വിദ്യകൾ നടപ്പിലാക്കുന്നതിനൊപ്പം ബിസിനസ്സ്-നിർണ്ണായക വർക്ക്‌ലോഡുകളുടെ വൈവിധ്യമാർന്ന സേവന ആവശ്യങ്ങൾ നിറവേറ്റാൻ ഈ ഏകീകൃത പ്ലാറ്റ്‌ഫോം ഐടി ടീമുകളെ പ്രാപ്തരാക്കുന്നു.
എൽഎൽഎം-ഡി ശക്തമായ ഒരു കൂട്ടം നൂതനാശയങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു, അവയിൽ ചിലത് ഇവയാണ്:
- ഉയർന്നുവരുന്ന ഫ്രണ്ടിയർ മോഡലുകൾക്ക് ഡേ-സീറോ മോഡൽ പിന്തുണയും ഇപ്പോൾ ഗൂഗിൾ ക്ലൗഡ് ടെൻസർ പ്രോസസ്സിംഗ് യൂണിറ്റുകൾ (TPU-കൾ) ഉൾപ്പെടെയുള്ള ആക്സിലറേറ്ററുകളുടെ വിശാലമായ പട്ടികയ്ക്കുള്ള പിന്തുണയും വാഗ്ദാനം ചെയ്യുന്ന, വളരെ പെട്ടെന്ന് തന്നെ സ്റ്റാൻഡേർഡ് ഓപ്പൺ സോഴ്‌സ് ഇൻഫെരൻസ് സെർവറായി മാറിയ vLLM.
- ഇൻപുട്ട് സന്ദർഭത്തെ വേർതിരിക്കുന്നതിനും AI ടോക്കണൈസേഷനെ ഒന്നിലധികം സെർവറുകളിൽ വിതരണം ചെയ്യാൻ കഴിയുന്ന വ്യത്യസ്ത പ്രവർത്തനങ്ങളാക്കി മാറ്റുന്നതിനുമായി പ്രീഫിൽ ചെയ്ത് വേർതിരിച്ച ഡീകോഡിംഗ്
- LMCache അടിസ്ഥാനമാക്കിയുള്ള KV (കീ-മൂല്യം) കാഷെ ഓഫ്‌ലോഡ്
- ജോലിഭാരം കൂടുന്നതിനനുസരിച്ച് കമ്പ്യൂട്ട്, സ്റ്റോറേജ് റിസോഴ്‌സുകളുടെ കൂടുതൽ കാര്യക്ഷമമായ ഷെഡ്യൂളിംഗിനായി കുബർനെറ്റ്‌സ് അടിസ്ഥാനമാക്കിയുള്ള ക്ലസ്റ്ററുകളും കൺട്രോളറുകളും
- അനുമാനത്തിന് മുമ്പുള്ള കമ്പ്യൂട്ടേഷനുകളുടെ സമീപകാല കാഷെകൾ ഉള്ള സെർവറുകളിലേക്കും ആക്സിലറേറ്ററുകളിലേക്കും വരുന്ന അഭ്യർത്ഥനകൾ ഷെഡ്യൂൾ ചെയ്യുന്നതിനുള്ള നെറ്റ്‌വർക്കുകൾക്കായുള്ള AI-കേന്ദ്രീകൃത റൂട്ടിംഗ്
- ഉയർന്ന പ്രകടനമുള്ള ആശയവിനിമയ API-കൾ , NVIDIA ഇൻഫെറൻസ് എക്സ്ഫർ ലൈബ്രറി (NIXL)-നുള്ള പിന്തുണയോടെ.
llm-d: വ്യവസായ നേതാക്കൾക്കിടയിൽ ഏകകണ്ഠമായ അഭിപ്രായം
ഈ പുതിയ ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റിന് ഇതിനകം തന്നെ മുൻനിര AI മോഡലിംഗ് ദാതാക്കൾ, AI ആക്സിലറേറ്റർ പയനിയർമാർ, മുൻനിര AI-കേന്ദ്രീകൃത ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകൾ എന്നിവയുടെ ശക്തമായ സഖ്യത്തിന്റെ പിന്തുണയുണ്ട്. കോർ‌വീവ്, ഗൂഗിൾ ക്ലൗഡ്, ഐ‌ബി‌എം റിസർച്ച്, എൻ‌വിഡിയ എന്നിവ സ്ഥാപക സംഭാവകരാണ്, എ‌എം‌ഡി, സിസ്‌കോ, ഹഗ്ഗിംഗ് ഫേസ്, ഇന്റൽ, ലാംഡ, മിസ്ട്രൽ എഐ എന്നിവ പങ്കാളികളായി, എൽഎൽഎം എക്സിക്യൂഷന്റെ ഭാവി സ്കെയിലിൽ രൂപപ്പെടുത്തുന്നതിന് ശക്തമായ വ്യവസായ സഹകരണം എടുത്തുകാണിക്കുന്നു. കാലിഫോർണിയ സർവകലാശാലയിലെ സ്കൈ കമ്പ്യൂട്ടിംഗ് ലാബ്, vLLM ന്റെ സ്രഷ്ടാക്കൾ, LMCache .
തുറന്ന സഹകരണത്തോടുള്ള അചഞ്ചലമായ പ്രതിബദ്ധതയ്ക്ക് അനുസൃതമായി, ജെൻ AI അനുമാനത്തിന്റെ അതിവേഗം വികസിച്ചുകൊണ്ടിരിക്കുന്ന മേഖലയിൽ ഊർജ്ജസ്വലവും ആക്‌സസ് ചെയ്യാവുന്നതുമായ കമ്മ്യൂണിറ്റികളുടെ നിർണായക പ്രാധാന്യം Red Hat തിരിച്ചറിയുന്നു. പുതിയ അംഗങ്ങൾക്ക് ഉൾക്കൊള്ളുന്ന ഒരു അന്തരീക്ഷം വളർത്തിയെടുക്കുന്നതിലൂടെയും അതിന്റെ തുടർച്ചയായ പരിണാമത്തെ നയിക്കുന്നതിലൂടെയും, llm-d കമ്മ്യൂണിറ്റിയുടെ വളർച്ചയെ Red Hat സജീവമായി പിന്തുണയ്ക്കും.
റെഡ് ഹാറ്റിന്റെ ദർശനം: ഏത് മോഡലും, ഏത് ആക്സിലറേറ്ററും, ഏത് മേഘവും
ഇൻഫ്രാസ്ട്രക്ചർ സിലോകളാൽ പരിമിതപ്പെടുത്താതെ, പരിധിയില്ലാത്ത അവസരങ്ങളാൽ AI യുടെ ഭാവി നിർവചിക്കണം. ഏതൊരു മോഡലിനെയും, ഏത് ആക്സിലറേറ്ററിനെയും, ഏത് ക്ലൗഡിനെയും വിന്യസിക്കാൻ കഴിയുന്ന ഒരു ഭാവിയാണ് Red Hat വിഭാവനം ചെയ്യുന്നത്, അമിത ചെലവുകളില്ലാതെ അസാധാരണവും കൂടുതൽ സ്ഥിരതയുള്ളതുമായ ഉപയോക്തൃ അനുഭവം നൽകുന്നു. Gen AI നിക്ഷേപങ്ങളുടെ യഥാർത്ഥ സാധ്യതകൾ അൺലോക്ക് ചെയ്യുന്നതിന്, കമ്പനികൾക്ക് ഒരു സാർവത്രിക അനുമാന പ്ലാറ്റ്‌ഫോം ആവശ്യമാണ് - ഇപ്പോഴും വരും വർഷങ്ങളിലും തുടർച്ചയായ, ഉയർന്ന പ്രകടനമുള്ള AI നവീകരണത്തിനുള്ള ഒരു പുതിയ മാനദണ്ഡം.
ലിനക്സിനെ ആധുനിക ഐടിയുടെ അടിത്തറയാക്കി മാറ്റുന്നതിൽ റെഡ് ഹാറ്റ് മുൻപന്തിയിൽ നിന്നതുപോലെ, ഭാവിയിലെ എഐ അനുമാനങ്ങൾ രൂപപ്പെടുത്താൻ കമ്പനി ഇപ്പോൾ തയ്യാറാണ്. ജനറൽ എഐയിലെ സ്റ്റാൻഡേർഡ് അനുമാനത്തിന്റെ ഒരു പ്രധാന ഘടകമായി മാറാൻ വിഎൽഎൽഎമ്മിന് കഴിവുണ്ട്, വിഎൽഎൽഎം കമ്മ്യൂണിറ്റിയെ ചുറ്റിപ്പറ്റി മാത്രമല്ല, വലിയ തോതിലുള്ള വിതരണം ചെയ്ത അനുമാനത്തിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന എൽഎൽഎം-ഡിയെ ചുറ്റിപ്പറ്റിയും അഭിവൃദ്ധി പ്രാപിക്കുന്ന ഒരു ആവാസവ്യവസ്ഥ കെട്ടിപ്പടുക്കാൻ റെഡ് ഹാറ്റ് പ്രതിജ്ഞാബദ്ധമാണ്. ദർശനം വ്യക്തമാണ്: എഐ മോഡൽ, അടിസ്ഥാന ആക്സിലറേറ്റർ അല്ലെങ്കിൽ വിന്യാസ പരിസ്ഥിതി എന്നിവ പരിഗണിക്കാതെ, പുതിയ ഹൈബ്രിഡ് ക്ലൗഡിൽ അനുമാനത്തിനുള്ള നിർണായക ഓപ്പൺ സ്റ്റാൻഡേർഡ് വിഎൽഎൽഎമ്മാക്കി മാറ്റാൻ റെഡ് ഹാറ്റ് ഉദ്ദേശിക്കുന്നു.
റെഡ് ഹാറ്റ് സമ്മിറ്റ്
Red Hat എക്സിക്യൂട്ടീവുകൾ, ഉപഭോക്താക്കൾ, പങ്കാളികൾ എന്നിവരിൽ നിന്ന് ഏറ്റവും പുതിയ വിവരങ്ങൾ കേൾക്കാൻ Red Hat ഉച്ചകോടിയിലെ പ്രധാന പരിപാടികളിൽ ചേരൂ:
- എന്റർപ്രൈസ് AI-യുമായി യോജിപ്പിച്ച ആധുനിക ഇൻഫ്രാസ്ട്രക്ചർ — ചൊവ്വാഴ്ച, മെയ് 20, രാവിലെ 8:00 - രാവിലെ 10:00 EDT ( YouTube )
- ബിസിനസ് നവീകരണത്തിലേക്ക് ഹൈബ്രിഡ് ക്ലൗഡ് പരിണമിക്കുന്നു — ബുധനാഴ്ച, മെയ് 21, രാവിലെ 8:00 മുതൽ രാവിലെ 9:30 വരെ EDT ( YouTube )
