Deze woensdag (13), Red Hat heeft het aankoopproces voltooid om Neural Magic te verwerven, Amerikaans bedrijf, pionier in software en algoritmen voor Generatieve Kunstmatige Intelligentie (GenAI). De expertise van Neural Magic in prestatie-engineering, samen met uw toewijding aan open source, sluit aan bij de visie van Red Hat voor het leveren van hoogwaardige AI die past in verschillende scenario's en gebruiksgevallen van de klant, op elke plek in de hybride cloud.
Hoewel de belofte van GenAI een groot deel van het huidige technologische landschap domineert, de grote taalmodellen (LLM's) die deze systemen ondersteunen blijven groeien. Als resultaat, de bouw van betrouwbare en kosteneffectieve LLM-diensten vereist aanzienlijke rekenkracht, energiebronnen en gespecialiseerde operationele vaardigheden. Tegenwoordig, deze obstakels maken de voordelen van een gepersonaliseerde AI onhaalbaar, klaar voor implementatie en veiliger voor de meeste organisaties
Met de overname van Neural Magic, Red Hat is van plan deze uitdagingen aan te pakken door GenAI toegankelijker te maken voor meer organisaties via de open innovatie van vLLM. Ontwikkeld door UC Berkeley, vLLM is ein open source project dat door de gemeenschap wordt onderhouden voor open model service (zoals de modellen van gen AI infereren en problemen oplossen), met ondersteuning voor alle belangrijke modelfamilies, geavanceerd onderzoek naar inferentieversnelling en verschillende hardware-achtergronden, inclusief AMD GPU's, AWS Neuron, Google TPU's, Intel Gaudi, NVIDIA GPU's en x86 CPU's. De leiderschap van Neural Magic in het vLLM-project, gecombineerd met de sterke portefeuille van hybride cloud AI-technologieën van Red Hat, zal organisaties een open pad bieden voor het opbouwen van AI-strategieën die voldoen aan hun unieke behoeften, waar uw gegevens ook zijn
Voor Matt Hicks, President en CEO van het bedrijf, de aankoop van Neural Magic, samen met de ontwikkeling van het vLLM-initiatief, zijn de eerste stap om het bedrijf als referentie in kunstmatige intelligentie te positioneren.We zijn enthousiast om ons hybride cloud AI-portfolio aan te vullen met de revolutionaire AI-innovatie van Neural Magic, ons verlangen om niet alleen de 'Red Hat van open source' te zijn, maar ook de 'Red Hat van AI', zei.
Red Hat + Neural Magic: het mogelijk maken van een toekomst met gen AI klaar voor de hybride cloud
Neural Magic heeft in 2018 een spin-off van MIT opgericht met als doel software voor hoge prestaties inferentie voor diep leren (Deep Learning) te bouwen. Met de technologie en de expertise in prestatie-engineering van Neural Magic, Red Hat streeft ernaar zijn visie voor de toekomst van AI te versnellen, aangedreven door de AI-technologieportefeuille van Red Hat. Gebouwd om de uitdagingen van grootschalige zakelijke AI te overwinnen, het bedrijf gebruikt open source innovatie om de toegang tot de transformerende kracht van AI nog verder te democratiseren door middel van
- Open source gelicentieerde modellen met schaal van 1 miljard tot 405 miljard parameters die overal in de hybride cloud kunnen werken — in corporate datacenters, in verschillende clouds en aan de edge.
- Aanpassingsfunctionaliteiten die organisaties in staat stellen om LLM's gemakkelijker aan te passen met hun privégegevens en gebruiksgevallen met een robuustere beveiligingsstructuur
- Ervaring in inferentieprestatietechniek, resulterend in grotere operationele en infrastructurele efficiënties
- Een open source ecosysteem van partners en ondersteuningsstructuren die klanten meer keuzemogelijkheden bieden, van LLM's en tools tot gecertificeerde serverhardware en chiparchitecturen
Leiderschap vLLM om Red Hat AI te verbeteren
Neural Magic zal zijn expertise en kennis in vLLM gebruiken om een technologische basis te bouwen, op bedrijfsniveau, die klanten in staat stelt te optimaliseren, implementeren en schalen van LLM-werkload in hybride cloudomgevingen met volledige controle over de keuze van de infrastructuur, beveiligingsbeleid en levenscyclus van het model. Neural Magic ontwikkelt ook onderzoek naar modeloptimalisatie, bouwt de LLM Compressor (een uniforme bibliotheek om LLM's te optimaliseren met state-of-the-art sparsiteits- en quantisatie-algoritmen) en onderhoudt een repository van vooraf geoptimaliseerde modellen die klaar zijn om te worden geïmplementeerd met vLLM
Red Hat AI streeft ernaar klanten te helpen de kosten van AI en vaardigheidsbarrières te verlagen met krachtige technologieën, hoe
- Red Hat Enterprise Linux AI (RHEL AI), een platform voor basismodellen om te ontwikkelen, testen en perfect opereren van de IBM Granite-familie van open source LLM's voor zakelijke toepassingen in Linux-serverimplementaties;
- Red Hat OpenShift AI, een AI-platform dat tools biedt om te ontwikkelen, trainen, snel machine learning-modellen implementeren en monitoren in gedistribueerde on-premise Kubernetes-omgevingen, in de publieke cloud of aan de edge;
- InstructLab, een open source gemeenschapsproject opgericht door Red Hat en IBM dat iedereen in staat stelt de toekomst van GenAI te vormen door middel van gezamenlijke verbetering van LLMs Granite, gelicenseerd als open source met behulp van fine-tuning technologie van InstructLab.
De technologische leiderschap van Neural Magic in vLLM zal de capaciteit van Red Hat AI vergroten om ondersteuning te bieden voor LLM-implementaties in elke omgeving en overal in de hybride cloud met een kant-en-klare inferentiestack, hoogst geoptimaliseerd en open
De transactie moet nog goedkeuring van de Amerikaanse regelgevende autoriteiten en andere gebruikelijke voorwaarden voor het sluiten van contracten ondergaan
