llm-d는 CoreWeave, Google Cloud, IBM Research 및 NVIDIA와 같은 기업의 지원을 받아 새로 출시된 오픈 소스 프로젝트입니다. 이니셔티브는 생성 AI(Gen AI)의 미래를 위한 가장 중요한 필요인 대규모 추론을 가속화하는 데 초점을 맞추고 있습니다.쿠버네티스의 네이티브 아키텍처를 기반으로 하는 이 프로그램은 vLLM을 활용한 분산 추론과 지능적이고 AI에 민감한 네트워크 라우팅을 사용하여, 대규모 언어 모델(LLM)에 대해 가장 까다로운 서비스 수준 목표(SLO)를 충족하는 강력한 추론 클라우드를 구축할 수 있도록 합니다.
비록 훈련이 계속해서 중요하지만, 진정한 인공지능의 영향력은 더 효율적이고 확장 가능한 추론에 달려 있습니다 — 이는 인공지능 모델을 실용적인 통찰력과 사용자 경험으로 전환하는 메커니즘입니다. 가트너에 따르면 2028년까지 시장이 성숙함에 따라 데이터 센터의 워크로드 가속기 중 80% 이상이 훈련이 아닌 추론을 위해 특별히 배치될 것입니다. 이것은 생성 AI의 미래가 실행 능력에 있다는 것을 의미합니다. 점점 더 정교하고 복잡한 추론 모델의 자원 수요 증가는 중앙 집중식 추론의 실현 가능성을 제한하며, 과도한 비용과 지체로 인해 AI 혁신에 병목 현상을 초래할 위험이 있습니다.
확장 가능한 추론의 필요성에 대응하여
레드햇과 산업 파트너들은 이 도전 과제에 대해 직접적으로 대응하고 있으며, 이는 단일 서버의 한계를 넘어 AI 추론을 위한 대규모 생산을 가능하게 하는 vLLM의 능력을 확장하는 비전적인 프로젝트인 llm-d입니다. 검증된 쿠버네티스 오케스트레이션 능력을 활용하여, llm-d는 기존 기업 IT 인프라에 고급 추론 기능을 통합합니다. 이 통합 플랫폼은 IT 팀이 비즈니스에 중요한 워크로드의 다양한 서비스 요구를 충족할 수 있도록 지원하며, 동시에 혁신적인 기술을 구현하여 효율성을 극대화하고 고성능 AI 가속기의 전체 소유 비용(TCO)을 대폭 낮춥니다.
llm-d는 강력한 혁신 세트를 제공하며, 특히 다음과 같습니다:
- vLLM, 빠르게 오픈 소스 기본 추론 서버가 되었습니다최전선 신흥 모델을 위한 제로부터의 모델 지원과 광범위한 가속기 지원을 제공하며, 이제 Google Cloud의 텐서 처리 유닛(TPU)을 포함합니다.
- 사전 채우기 및 세분화된 디코딩입력 컨텍스트와 AI 토큰 생성을 별도의 작업으로 분리하여 여러 서버에 분산할 수 있도록 합니다.
- KV(키-값) 캐시 해제LMCache를 기반으로 하는 이 기능은 GPU 메모리의 캐시 KV의 메모리 부담을 CPU 메모리 또는 네트워크 저장소와 같은 더 경제적이고 풍부한 표준 저장소로 이전합니다.
- 쿠버네티스 기반 클러스터 및 컨트롤러작업 부하의 변동에 따라 컴퓨팅 및 저장 자원의 보다 효율적인 예약을 위해 최적의 성능과 최소 지연을 보장합니다.
- 네트워크를 위한 인공지능 중심 라우팅추론 이전의 최근 계산 캐시를 가질 가능성이 높은 서버와 가속기용 입장 요청 일정을 잡기 위해서입니다.
- 고성능 통신 API서버 간 더 빠르고 효율적인 데이터 전송을 위해 NVIDIA Inference Xfer Library (NIXL)를 지원합니다.
llm-d: 산업 리더들 사이의 만장일치
이 새로운 오픈 소스 프로젝트는 이미 AI 가속기와 AI 중심 클라우드 플랫폼의 선도적인 모델 제공업체 연합의 강력한 지원을 받고 있습니다. CoreWeave, Google Cloud, IBM Research 및 NVIDIA는 설립 파트너이며, AMD, Cisco, Hugging Face, Intel, Lambda 및 Mistral AI는 파트너로서, 산업의 강력한 협력을 통해 대규모 LLM 실행의 미래를 설계하는 데 중점을 두고 있습니다. llm-d 커뮤니티는 또한 vLLM의 창립자인 캘리포니아 대학교 Sky Computing Lab와 LMCache Lab의 창립자인 시카고 대학교와 같은 학술 기관의 지원을 받고 있습니다.LMCache.
개방적인 협력에 대한 변함없는 약속에 충실한 Red Hat은 빠르게 진화하는 인공지능 추론 환경에서 활기차고 접근 가능한 커뮤니티의 중요성을 인식하고 있습니다. 레드햇은 llm-d 커뮤니티의 성장을 적극적으로 지원하며, 새로운 회원들을 위한 포용적인 환경을 조성하고 지속적인 발전을 추진할 것입니다.
레드햇의 비전: 어떤 모델이든, 어떤 가속기든, 어떤 클라우드든
인공지능의 미래는 무한한 기회에 의해 결정되어야 하며, 인프라의 사일로에 의해 제한되어서는 안 됩니다. 레드햇은 조직이 어떤 가속기든, 어떤 클라우드든, 어떤 모델이든 배포할 수 있는 미래를 내다보고 있으며, 뛰어난 사용자 경험과 더 일관된 서비스를 제공하면서도 과도한 비용 없이 실현할 수 있음을 보여줍니다. 진정한 AI 생성 투자 잠재력을 발휘하려면 기업들은 범용 추론 플랫폼이 필요합니다 — 현재와 앞으로의 지속적이고 고성능 AI 혁신을 위한 새로운 표준입니다.
레드햇이 리눅스를 현대 IT의 핵심 기반으로 혁신한 선구자였던 것처럼, 이 회사는 이제 인공지능 추론의 미래를 설계할 준비가 되어 있습니다. vLLM은 표준화된 생성 AI 추론의 핵심 역할을 할 잠재력을 가지고 있으며, Red Hat은 vLLM 커뮤니티뿐만 아니라 대규모 분산 추론을 위한 llm-d를 중심으로 번창하는 생태계를 구축하는 데 전념하고 있습니다. 시야는 명확하다: AI 모델, 기본 가속기 또는 배포 환경에 관계없이, Red Hat은 vLLM을 새로운 하이브리드 클라우드에서 추론을 위한 궁극적인 오픈 표준으로 만들고자 한다.
레드햇 서밋
Red Hat Summit의 기조 연설에 참여하여 Red Hat의 임원, 고객 및 파트너의 최신 소식을 들어보세요:
- 기업용 인공지능에 부합하는 현대적 인프라—화요일, 5월 20일, 오전 8시 - 오전 10시 EDT유튜브)
- 하이브리드 클라우드가 기업 혁신을 촉진하기 위해 진화하다— 수요일, 5월 21일, 8시-9시 30분 EDT유튜브)
