An diesem Mittwoch (13), Red Hat hat den Kaufprozess zur Übernahme von Neural Magic abgeschlossen, amerikanisches Unternehmen, pionier in Software und Algorithmen für Generative Künstliche Intelligenz (GenAI). Die Expertise von Neural Magic in der Leistungsoptimierung, gemeinsam mit Ihrem Engagement für Open Source, es steht im Einklang mit der Vision von Red Hat für die Bereitstellung von leistungsstarker KI, die in verschiedene Szenarien und Anwendungsfälle der Kunden passt, an jedem Ort in der hybriden Cloud.
Obwohl das Versprechen der GenAI einen großen Teil des aktuellen Technologiebereichs dominiert, Die großen Sprachmodelle (LLMs), die diese Systeme unterstützen, wachsen weiterhin. Als Ergebnis, Der Aufbau von zuverlässigen und kosteneffizienten LLM-Diensten erfordert eine erhebliche Rechenleistung, Energiequellen und spezialisierte Betriebsfähigkeiten. Aktuell, diese Hindernisse machen die Vorteile einer personalisierten KI unmöglich, bereit für die Implementierung und sicherer für die meisten Organisationen
Mit der Übernahme von Neural Magic, Red Hat beabsichtigt, diese Herausforderungen anzugehen, indem GenAI für mehr Organisationen durch die offene Innovation von vLLM zugänglicher gemacht wird. Entwickelt von der UC Berkeley, vLLM ist ein Open-Source-Projekt, das von der Community für den Dienst von offenen Modellen (wie die Modelle der generativen KI inferieren und Probleme lösen) gepflegt wird, mit Unterstützung für alle wichtigen Modellfamilien, fortgeschrittene Forschung zur Beschleunigung der Inferenz und verschiedenen Hardware-Backends, einschließlich AMD-GPUs, AWS Neuron, Google TPUs, Intel Gaudi, NVIDIA-GPUs und x86-CPUs. Die Führung von Neural Magic im vLLM-Projekt kombiniert mit dem starken Portfolio an Hybrid-Cloud-KI-Technologien von Red Hat wird Organisationen einen offenen Weg bieten, um KI-Strategien zu entwickeln, die ihren einzigartigen Bedürfnissen entsprechen, wo auch immer Ihre Daten sind
Für Matt Hicks, Präsident und CEO des Unternehmens, der Kauf von Neural Magic, gemeinsam mit der Entwicklung der Initiative vLLM, sind der erste Schritt, um das Unternehmen als Referenz in der künstlichen Intelligenz zu positionieren.Wir sind begeistert, unser auf hybride Cloud ausgerichtetes KI-Portfolio mit der revolutionären KI-Innovation von Neural Magic zu ergänzen, unser Verlangen steigernd, nicht nur die 'Red Hat des Open Source' zu sein, aber auch die „Red Hat der KI“, sagte.
Red Hat + Neural Magic: Ermöglichung einer Hybrid Cloud-fähigen Gen-AI-Zukunft
Neural Magic gründete 2018 ein Spin-off des MIT mit dem Ziel, leistungsstarke Inferenzsoftware für Deep Learning zu entwickeln. Mit der Technologie und dem Fachwissen in der Leistungsoptimierung von Neural Magic, Red Hat strebt danach, seine Vision für die Zukunft der KI zu beschleunigen, angetrieben durch das KI-Technologieportfolio von Red Hat. Entwickelt, um die Herausforderungen der großangelegten Unternehmens-KI zu meistern, das Unternehmen nutzt Open-Source-Innovation, um den Zugang zur transformierenden Kraft der KI weiter zu demokratisieren durch:
- Lizenzierte Open-Source-Modelle im Maßstab von 1 Billion bis 405 Billionen Parametern, die überall in der hybriden Cloud betrieben werden können — in Unternehmens-Rechenzentren, in mehreren Clouds und am Edge.
- Anpassungsfunktionen, die es Organisationen ermöglichen, LLMs einfacher mit ihren privaten Daten und Anwendungsfällen anzupassen, mit einer robustereren Sicherheitsstruktur
- Erfahrung in der Leistungsingenieurwissenschaft für Inferenz, was zu höheren betrieblichen und infrastrukturellen Effizienzen führt
- Ein Open-Source-Ökosystem und Partner- sowie Unterstützungsstrukturen, die es den Kunden ermöglichen, mehr Wahlmöglichkeiten zu haben, von LLMs und Werkzeugen bis hin zu zertifizierter Serverhardware und Chiparchitekturen
vLLM-Führung zur Weiterentwicklung von Red Hat AI
Neural Magic wird ihr Fachwissen und ihre Kenntnisse in vLLM nutzen, um eine Technologiebasis zu schaffen, auf Unternehmensebene, die es den Kunden ermöglicht, zu optimieren, Arbeiten mit LLM-Workloads in hybriden Cloud-Umgebungen implementieren und dimensionieren, mit vollständiger Kontrolle über die Wahl der Infrastruktur, Sicherheitsrichtlinien und Lebenszyklus des Modells. Neural Magic entwickelt auch Forschung zur Modelloptimierung, baut LLM Compressor (eine einheitliche Bibliothek zur Optimierung von LLMs mit modernsten Sparsamkeits- und Quantisierungsalgorithmen) und pflegt ein Repository von voroptimierten Modellen, die bereit sind, mit vLLM implementiert zu werden
Red Hat AI zielt darauf ab, den Kunden zu helfen, die Kosten für KI und Fähigkeitsbarrieren mit leistungsstarken Technologien zu senken, wie
- Red Hat Enterprise Linux AI (RHEL AI), eine Plattform für Basis-Modelle zur Entwicklung, testen und perfekt die IBM Granite Familie von Open-Source-LLMs für Unternehmensanwendungen in Linux-Serverbereitstellungen betreiben;
- Red Hat OpenShift AI, eine KI-Plattform, die Werkzeuge zur Entwicklung bereitstellt, trainieren, schnell Modelle des maschinellen Lernens in verteilten Kubernetes-Umgebungen vor Ort bereitstellen und überwachen, in der öffentlichen Cloud oder am Edge;
- InstructLab, ein Open-Source-Community-Projekt, das von Red Hat und IBM ins Leben gerufen wurde und es jedem ermöglicht, die Zukunft der GenAI durch die kollaborative Verbesserung von LLMs Granite zu gestalten, lizenziert als Open Source unter Verwendung der Fine-Tuning-Technologie von InstructLab.
Die technologische Führung von Neural Magic in vLLM wird die Fähigkeit von Red Hat AI erhöhen, LLM-Implementierungen in jeder Umgebung und überall in der hybriden Cloud mit einer einsatzbereiten Inferenz-Stack zu unterstützen, hochgradig optimiert und offen
Die Transaktion muss noch eine US-regulatorische Genehmigung und andere übliche Abschlussbedingungen durchlaufen
