Pada hari Rabu (13), Red Hat telah menyelesaikan proses akuisisi untuk membeli Neural Magic, perusahaan Amerika Utara, perintis dalam perangkat lunak dan algoritma Kecerdasan Buatan Generatif (GenAI). Keahlian Neural Magic dalam rekayasa kinerja, bersama dengan komitmennya terhadap kode sumber terbuka, se selaras dengan visi Red Hat untuk penyediaan AI berkinerja tinggi yang sesuai dengan berbagai skenario dan kasus penggunaan pelanggan, di mana saja di awan hibrida.
Meskipun janji GenAI mendominasi sebagian besar lanskap teknologi saat ini, model bahasa besar (LLM) yang mendukung sistem ini terus berkembang. Sebagai hasil, pembangunan layanan LLM yang dapat diandalkan dan memiliki rasio biaya-manfaat yang baik memerlukan kapasitas komputasi yang signifikan, sumber energi dan keterampilan operasional khusus. Saat ini, hambatan-hambatan ini menghalangi manfaat dari AI yang dipersonalisasi, siap untuk diterapkan dan lebih aman bagi sebagian besar organisasi
Dengan akuisisi Neural Magic, Red Hat bertujuan untuk mengatasi tantangan ini dengan membuat GenAI lebih mudah diakses oleh lebih banyak organisasi melalui inovasi terbuka vLLM. Dikembangkan oleh UC Berkeley, vLLM adalah proyek open source yang dikelola oleh komunitas untuk layanan model terbuka (seperti model AI generatif yang menyimpulkan dan menyelesaikan masalah), dengan dukungan untuk semua keluarga model utama, penelitian lanjutan tentang percepatan inferensi dan berbagai backend perangkat keras, termasuk GPU AMD, AWS Neuron, Google TPU, Intel Gaudi, GPU NVIDIA dan CPU x86. Kepemimpinan Neural Magic dalam proyek vLLM yang dipadukan dengan portofolio kuat teknologi AI cloud hybrid dari Red Hat akan memberikan organisasi jalur terbuka untuk membangun strategi AI yang memenuhi kebutuhan unik mereka, di mana pun data Anda berada
Untuk Matt Hicks, Presiden dan CEO perusahaan, pembelian Neural Magic, bersama dengan pengembangan inisiatif vLLM, merupakan langkah pertama untuk menjadikan perusahaan sebagai referensi dalam kecerdasan buatan.Kami sangat bersemangat untuk melengkapi portofolio IA kami yang berfokus pada cloud hybrid dengan inovasi IA revolusioner dari Neural Magic, meningkatkan keinginan kita untuk tidak hanya menjadi 'Red Hat dari open source', tetapi juga 'Red Hat dari IA', katakan.
Red Hat + Neural Magic: Memungkinkan Masa Depan AI Generasi Cloud-Ready Hybrid
Neural Magic membuat sebuah spin-off dari MIT pada 2018 dengan tujuan untuk membangun perangkat lunak inferensi berkinerja tinggi untuk pembelajaran mendalam (Deep Learning). Dengan teknologi dan keahlian dalam rekayasa kinerja dari Neural Magic, Red Hat mencari mempercepat visinya untuk masa depan AI, didorong oleh portofolio teknologi AI dari Red Hat. Dibangun untuk mengatasi tantangan AI perusahaan skala besar, perusahaan menggunakan inovasi open source untuk lebih jauh mendemokratisasi akses ke kekuatan transformatif AI melalui:
- Model-model open source berlisensi dengan skala 1 miliar hingga 405 miliar parameter yang dapat beroperasi di mana saja di cloud hibrida — di pusat data korporat, di berbagai awan dan di edge.
- Fungsi penyesuaian yang memungkinkan organisasi untuk menyesuaikan LLMs lebih mudah dengan data pribadi dan penggunaan kasus dengan struktur keamanan yang lebih robust
- Pengalaman dalam rekayasa kinerja inferensi, menghasilkan dalam efisiensi operasional dan infrastruktur yang lebih tinggi
- Sebuah ekosistem open source dan dari mitra dan struktur dukungan yang memungkinkan agar pelanggan memiliki lebih pilihan pilihan, dari LLMs dan alat hingga hardware server bersertifikat dan arsitektur chip
Kepemimpinan vLLM untuk Memajukan Red Hat AI
Neural Magic akan menggunakan keahlian dan pengetahuan dalam vLLM untuk membangun sebuah dasar teknologi, di tingkat perusahaan, yang memungkinkan para pelanggan mengoptimalkan, mengimplementasikan dan mengukur beban kerja LLM dalam lingkungan awan hibrida dengan kontrol penuh atas pilihan infrastruktur, kebijakan keamanan dan siklus hidup model. Neural Magic juga mengembangkan penelitian pengoptimalan model, membangun LLM Compressor (sebuah perpustakaan terpadu untuk mengoptimalkan LLMs dengan algoritma keparahan dan kuantisasi generasi terbaru) dan mempertahankan sebuah repositori model pra-dioptimalkan siap untuk diterapkan dengan vLLM
Red Hat AI mencari membantu pelanggan mengurangi biaya AI dan hambatan keterampilan dengan teknologi kuat, sebagai
- Kecerdasan Buatan Red Hat Enterprise Linux (RHEL AI), sebuah platform untuk model dasar untuk mengembangkan, menguji dan mengoperasikan dengan sempurna keluarga IBM Granite dari LLMs open source untuk aplikasi perusahaan pada implementasi server Linux;
- Red Hat OpenShift AI, sebuah platform AI yang menyediakan alat untuk mengembangkan, melatih, melayani dan memantau dengan cepat model pembelajaran mesin di lingkungan Kubernetes yang didistribusikan on-site, di awan publik atau di edge;
- InstrukturLab, sebuah proyek komunitas open source dibuat oleh Red Hat dan oleh IBM yang memungkinkan bagi siapa saja untuk membentuk masa depan dari GenAI melalui perbaikan kolaboratif dari LLMs Granite, dilisensi sebagai open source menggunakan teknologi fine-tuning dari InstructLab.
Kepemimpinan teknologi Neural Magic di vLLM akan meningkatkan kemampuan Red Hat AI untuk menawarkan dukungan kepada implementasi LLM di setiap lingkungan dan di mana saja dari awan hibrida dengan satu tumpukan inferensi siap-siap, sangat dioptimalkan dan terbuka
Transaksi ini masih harus melewati sebuah persetujuan regulator Amerika Serikat dan kondisi lain biasa penutupan kontrak
