Red Hat mengakuisisi Neural Magic, pionir perangkat lunak dan algoritma di GenA

Pada Rabu (13), Red Hat menyelesaikan proses pembelian untuk mengakuisisi Neural Magic, sebuah perusahaan Amerika yang memelopori perangkat lunak dan keahlian algorithms.Neural Magic Generative Artificial Intelligence (GenAI) dalam rekayasa kinerja, bersama dengan komitmennya terhadap open source, selaras dengan visi Red Hat untuk menghadirkan AI berkinerja tinggi yang sesuai dengan skenario dan kasus penggunaan pelanggan yang berbeda, di mana saja di cloud hybrid.  

Sementara janji GenAI mendominasi sebagian besar lanskap teknologi saat ini, model bahasa besar (LLM) yang mendukung sistem ini terus berkembang. Akibatnya, membangun layanan LLM yang andal dan hemat biaya membutuhkan kapasitas komputasi, sumber daya energi, dan keterampilan operasional khusus yang signifikan.

Dengan akuisisi Neural Magic, Red Hat bertujuan untuk mengatasi tantangan ini dengan membuat GenAI lebih mudah diakses oleh lebih banyak organisasi melalui inovasi terbuka vLLM. Dikembangkan oleh UC Berkeley, vLLM adalah proyek open source yang dikelola komunitas untuk layanan model terbuka (bagaimana model AI gen menyimpulkan dan memecahkan masalah), dengan dukungan untuk semua keluarga model utama, penelitian akselerasi inferensi tingkat lanjut, dan beragam backend perangkat keras termasuk GPU AMD, AWS Neuron, Google Hat, Intel Gaudi, GPU NVIDIA, dan CPU x86.

Bagi Matt Hicks, Presiden dan CEO perusahaan, pembelian Neural Magic, bersama dengan pengembangan inisiatif vLLM, adalah langkah pertama untuk menempatkan perusahaan sebagai tolok ukur dalam kecerdasan buatan. “Kami sangat antusias untuk melengkapi portofolio AI kami yang berfokus pada cloud hybrid dengan inovasi AI revolusioner Neural Magic, meningkatkan keinginan kami untuk tidak hanya menjadi Hat open source open source, tetapi juga ‘HAT AI’ yang dikatakan. 

Red Hat + Neural Magic: memungkinkan masa depan dengan AI gen hybrid cloud-ready 

Neural Magic memisahkan diri dari MIT pada tahun 2018 dengan tujuan membangun perangkat lunak inferensi berkinerja tinggi untuk pembelajaran mendalam (Deep Learning). Dengan keahlian teknologi dan rekayasa kinerja Neural Magic, Red Hat berupaya mempercepat visinya untuk masa depan AI, yang didukung oleh portofolio teknologi AI Red Hat.Dibangun untuk mengatasi tantangan AI perusahaan berskala besar, perusahaan ini menggunakan inovasi open source untuk lebih mendemokratisasi akses ke kekuatan transformatif AI melalui:

• Model berlisensi open source pada skala dari 1 bi hingga 405 bi parameter yang dapat beroperasi di mana saja dari hybrid cloud ke pusat data perusahaan, multi-cloud dan di tepi. 
• Tweak fitur yang memungkinkan organisasi untuk menyesuaikan LLM lebih mudah dengan data pribadi mereka dan menggunakan kasus dengan kerangka keamanan yang lebih kuat.
• Pengalaman dalam rekayasa kinerja inferensi menghasilkan peningkatan efisiensi operasional dan infrastruktur 
• Ekosistem open source dan mitra serta kerangka kerja pendukung yang memungkinkan pelanggan memiliki lebih banyak pilihan, mulai dari LLM dan alat hingga arsitektur perangkat keras dan chip server bersertifikat.

Kepemimpinan VLLM untuk meningkatkan Red Hat AI

Neural Magic akan menggunakan keahlian dan pengetahuan vLLM-nya untuk membangun fondasi teknologi tingkat perusahaan yang memungkinkan pelanggan mengoptimalkan, menerapkan, dan menskalakan beban kerja LLM di lingkungan cloud hybrid dengan kontrol penuh atas pilihan infrastruktur, kebijakan keamanan, dan siklus hidup model. Neural Magic juga mengembangkan riset optimasi model, membangun LLM Compressor (perpustakaan terpadu untuk mengoptimalkan LLM dengan algoritma sparity dan kuantisasi yang canggih), dan memelihara gudang model yang telah dioptimalkan sebelumnya yang siap untuk diterapkan dengan vLLM.

Red Hat AI berupaya membantu pelanggan mengurangi biaya AI dan hambatan keterampilan dengan teknologi canggih seperti: 

• Red Hat Enterprise Linux AI (RHEL AI), platform untuk model dasar untuk mengembangkan, menguji, dan mengoperasikan keluarga IBM Granite dari LLM open source untuk aplikasi perusahaan dalam penerapan server Linux dengan lancar; 
• Red Hat OpenShift AI, platform AI yang menyediakan alat untuk mengembangkan, melatih, melayani, dan memantau model pembelajaran mesin dengan cepat di lingkungan Kubernetes terdistribusi di tempat, di cloud publik, atau di tepi; 
• Instruksi Lab, sebuah proyek komunitas open source yang dibuat oleh Red Hat dan IBM yang memungkinkan siapa saja untuk membentuk masa depan GenAI melalui peningkatan kolaboratif Granite LLM, dilisensikan sebagai open source menggunakan teknologi fine-tuning dari InstructLab. 

Kepemimpinan teknologi Neural Magic di vLLM akan meningkatkan kemampuan Red Hat AI untuk mendukung penerapan LLM di lingkungan apa pun dan di mana pun di cloud hybrid dengan tumpukan inferensi yang siap, sangat optimal, dan terbuka.

Transaksi tersebut masih diharapkan untuk menjalani persetujuan peraturan dan kondisi penutupan adat lainnya.