Red Hat förvärvar Neural Magic, pionjärföretag inom mjukvaror och algoritmer för GenA

Denna onsdag (13), Red Hat har slutfört köpprocessen för att förvärva Neural Magic, amerikansk företag, pionjär inom programvara och algoritmer för Generativ Artificiell Intelligens (GenAI). Neural Magics expertis inom prestandaingenjörskap, tillsammans med sitt engagemang för öppen källkod, följer Red Hats vision för att tillhandahålla högpresterande AI som passar olika scenarier och kundanvändningsfall, på vilken plats som helst i den hybrida molnet.  

Även om löftet från GenAI dominerar en stor del av den nuvarande teknologiska scenen, de stora språkmodellerna (LLMs) som stöder dessa system fortsätter att växa. Som resultat, byggandet av pålitliga och kostnadseffektiva LLM-tjänster kräver betydande datorkapacitet, energikällor och specialiserade operativa färdigheter. För närvarande, dessa hinder de möjligheterna för en personlig AI, redo för implementering och säkrare för de flesta organisationer

Med förvärvet av Neural Magic, Red Hat avser att ta itu med dessa utmaningar genom att göra GenAI mer tillgänglig för fler organisationer genom öppen innovation av vLLM. Utvecklad av UC Berkeley, vLLM är ett open source-projekt som underhålls av gemenskapen för tjänster med öppna modeller (som AI-modeller infererar och löser problem), med stöd för alla de viktigaste modellfamiljerna, avancerad forskning om inferensacceleration och olika hårdvarubackends, inklusive AMD GPU:er, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA GPU:er och x86 CPU:er. Ledarskapet för Neural Magic i vLLM-projektet, kombinerat med Red Hats starka portfölj av hybridmoln-AI-teknologier, kommer att erbjuda organisationer en öppen väg för att bygga AI-strategier som uppfyller deras unika behov, var du än dina data är

För Matt Hicks, Ordförande och VD för företaget, köpet av Neural Magic, tillsammans med utvecklingen av initiativet vLLM, är det första steget för att göra företaget till en referens inom artificiell intelligens.Vi är glada att komplettera vår portfölj av AI inriktad på hybridmoln med den revolutionerande AI-innovationen från Neural Magic, ökar vår önskan att inte bara vara 'Red Hat för öppen källkod', men också "Red Hat för AI", sa. 

Red Hat + Neural Magic: möjliggör en framtid med gen AI redo för hybridmolnet

Neural Magic gjorde ett spin-off från MIT i 2018 med målet att bygga inferensprogramvara med hög prestanda för djupt lärande (Deep Learning). Med teknologin och expertisen inom prestandaingenjörskap från Neural Magic, Red Hat söker accelerera sin vision för framtiden av AI, drivenad av Red Hats AI-teknikportfölj. Byggd för att övervinna utmaningarna med storskalig företags-AI, företaget använder innovation open source för att ytterligare demokratisera tillgången till den transformativa kraften av AI genom att:

• Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, i flera moln och på edge. 
• Justeringsfunktioner som gör det möjligt för organisationer att skräddarsy LLMs lättare med sina privata data och användningsfall med en robustare säkerhetsstruktur
• Erfarenhet i teknik för prestanda av inferens, resulterande i högre operativa och av infrastruktur effektiviteter
• Ett ekosystem open source och av partners och stödstrukturer som möjliggör att kunderna har mer valmöjlighet val, från LLMs och verktyg till certifierad serverhardware och chiparkitekturer

Ledarskap vLLM för att förbättra Red Hat AI

Neural Magic kommer använda sin expertis och kunskap i vLLM för att bygga en teknikbas, på företagsnivå, som gör det möjligt för kunder att optimera, implementera och dimensionera LLM arbetsbelastningar i hybrida molnmiljöer med full kontroll över valet av infrastruktur, säkerhetspolitik och livscykel av modellen. Neural Magic utvecklar också modelloptimeringsforskning, bygger LLM Compressor (ett unifierat bibliotek för att optimera LLMs med sparsitets- och kvantiseringsalgoritmer av senaste generationen) och upprätthåller ett repositorium av pre-optimerade modeller redo att deployeras med vLLM

Red Hat AI söker hjälpa kunderna att minska kostnaderna för AI och kompetensbarriärer med kraftfulla teknologier, som:

• Red Hat Enterprise Linux AI (RHEL AI), en plattform för grundmodeller för att utveckla, testa och operera perfekt IBM Granite familjen av LLMs open source för företagsapplikationer på Linux server implementeringar; 
• Red Hat OpenShift AI, en plattform av AI som tillhandahåller verktyg för att utveckla, träna, servera och övervaka snabbt maskinlearningmodellerna i miljöer av Kubernetes distribuerade on-site, i offentligt moln eller på edge; 
• InstructLab, ett gemenskapsprojekt open source skapat av Red Hat och av IBM som låter för vem som helst forma framtiden för GenAI genomt samarbetsförbättringen av LLMs Granite, licenserade som open source med hjälp av fine-tuning teknik från InstructLab. 

Neural Magic:s teknikledarskap i vLLM kommer öka förmågan hos Red Hat AI att erbjuda stöd till LLM-distributioner i vilken miljö som helst och var som helst i hybridmoln med en redo inferensstack, högt optimerad och öppen

Transaktionen måste ännu gå igenom ett nordamerikanskt regulatoriskt godkännande och andra vanliga villkor för avslutande av kontrakt