이번 수요일(13일), 레드햇이 뉴럴 매직 인수 절차를 완료했다, 미국 기업, 생성적 인공지능(GenAI) 소프트웨어 및 알고리즘의 선구자. Neural Magic의 성능 엔지니어링 전문성, 오픈 소스에 대한 당신의 헌신과 함께, 레드햇의 다양한 고객 시나리오와 사용 사례에 적합한 고성능 AI 제공에 대한 비전과 일치합니다, 하이브리드 클라우드의 어느 곳에서나.
GenAI의 약속이 현재 기술 환경의 대부분을 지배하고 있지만, 이 시스템을 지원하는 대규모 언어 모델(LLMs)은 계속해서 성장하고 있다. 결과적으로, 신뢰할 수 있고 비용 효율적인 LLM 서비스 구축은 상당한 컴퓨팅 능력을 요구한다, 에너지 자원 및 전문 운영 능력. 현재, 이러한 장애물은 개인화된 AI의 이점을 무효화합니다, 대부분의 조직에 더 안전하고 배포 준비가 완료됨
Neural Magic의 인수와 함께, 레드햇은 vLLM의 개방형 혁신을 통해 더 많은 조직이 GenAI에 더 쉽게 접근할 수 있도록 이러한 과제를 해결할 계획이다. UC 버클리에서 개발됨, vLLM은 커뮤니티에서 유지되는 오픈 소스 프로젝트로, 오픈 모델 서비스(예: 생성 AI 모델이 문제를 추론하고 해결하는 방식)를 제공합니다, 모든 주요 모델 패밀리에 대한 지원, 추론 가속화의 고급 연구 및 다양한 하드웨어 백엔드, AMD GPU 포함, AWS 너론, 구글 TPU, 인텔 가우디, NVIDIA GPU와 x86 CPU. Neural Magic의 vLLM 프로젝트 리더십과 Red Hat의 강력한 하이브리드 클라우드 AI 기술 포트폴리오가 결합되어 조직에 고유한 요구 사항을 충족하는 AI 전략을 구축할 수 있는 개방적인 경로를 제공할 것입니다, 당신의 데이터가 어디에 있든
맷 힉스에게, 회사의 회장 겸 CEO, Neural Magic의 인수, vLLM 이니셔티브의 개발과 함께, 회사를 인공지능 분야의 기준으로 세우기 위한 첫 번째 단계입니다.우리는 Neural Magic의 혁신적인 혁신으로 하이브리드 클라우드에 초점을 맞춘 AI 포트폴리오를 보완하게 되어 매우 기쁩니다, 우리가 단순히 '오픈 소스의 레드햇'이 되지 않으려는 욕망을 키우고 있다, 하지만 또한 'AI의 레드햇', 말했다.
레드햇 + 뉴럴 매직: 하이브리드 클라우드에 준비된 생성 AI와 함께하는 미래 가능성
뉴럴 매직은 MIT에서 2018년에 스핀 오프를 했고 목표는 깊은 학습 (Deep Learning) 을 위한 고성능 추론 소프트웨어를 구축하는 것이다.. Neural Magic의 기술과 성능 엔지니어링 전문성, Red Hat는 AI의 미래에 대한 자신의 비전을 가속하고자, 구동된 Red Hat의 AI 기술의 포트폴리오에 의해. 대규모 기업 AI의 도전을 극복하기 위해 구축됨, 회사는 오픈 소스 혁신을 사용하여 AI의 변혁적인 힘에 대한 접근을 더욱 민주화하기 위해 다음과 같이 합니다.
- 오픈 소스 라이선스 모델 10억에서 405억 매개변수 규모로 하이브리드 클라우드 어디서든 작동 가능 — 기업 데이터 센터에서, 여러 구름에 그리고 edge에.
- 조정 기능이 조직들이 LLMs를 더 쉽게 개인 데이터와 사용 사례와 더 강력한 보안 구조로 커스터마이즈 할 수 있도록합니다
- 추론 성능 엔지니어링에 대한 경험, 결과적으로 더 높은 운영 및 인프라 효율성
- 오픈 소스 및 파트너와 지원 구조의 생태계가 고객들이 더 많은 선택의 선택을 할 수 있도록 하는, LLMs와 도구부터 Certified 서버 하드웨어와 ⁇ 아키텍처까지
Red Hat AI를 향상시키기 위한 vLLM 리더십
뉴럴 매직은 vLLM에 대한 전문성과 지식을 활용하여 기술 기반을 구축할, 기업 수준으로, 고객들이 최적화할 수 있는, 배치하고 크기를 LLM 워크로드 하이브리드 클라우드 환경에서 인프라의 선택에 대한 완전 통제, 보안 정책 및 모델의 생명주기. 뉴럴 매직은 또한 개발하는 모델 최적화 연구, 빌드 LLM Compressor (연합된 라이브러리 LLMs를 최적화하기 위해 희석성 및 양화화 알고리즘의 최신 세대) 및 유지하는 미리 최적화된 모델의 리포지토리 vLLM과 함께 배포할 준비가
레드 해트 AI는 고객들이 AI의 비용과 능력 장벽을 강력한 기술로 줄이는 데 도움을 찾습니다, 어떻게:
- 레드햇 엔터프라이즈 리눅스 AI (RHEL AI), 기반 모델을 위한 플랫폼을 개발하기, 테스트하고 운영 완벽하게 IBM Granite 가족의 LLMs open source 엔터프라이즈 응용 프로그램에 Linux 서버 배치;
- 레드햇 오픈시프트 AI, 개발하기 위한 도구를 제공하는 AI의 플랫폼, 훈련하다, 서비스하고 빠르게 모니터 기계 학습 모델을 환경에서 Kubernetes의 배포 on-site, 공공 클라우드 또는 ⁇ 지에서;
- 인스트럭트랩, 레드 해트 (Red Hat) 와 IBM (IBM) 가 만든 오픈 소스 공동체 프로젝트로 누구든지 GenAI의 미래를 형성할 수 있게 하는 Granite LLMs의 협업적 개선을 통해, 라이선스된 open source로 InstructLab의 fine-tuning 기술을 사용하여.
vLLM에서 Neural Magic의 기술 리더십은 Red Hat AI의 능력을 증가시켜 어떤 환경에서나 어디에서나 하이브리드 클라우드의 LLM 배포를 지원할 수 있습니다. 준비된 추론 스택으로, 고도로 최적화하고 열린
거래는 아직 미국 규제 승인을 거쳐 다른 일반적인 계약 체결 조건을 거쳐야
