在本周三(13日), 红帽公司完成了收购神经魔法的过程, 美国公司, 在生成性人工智能(GenAI)软件和算法方面的先驱. Neural Magic在性能工程方面的专业知识, 与您对开源的承诺一起, 与红帽的愿景一致,提供适用于不同场景和客户用例的高性能人工智能, 在任何地方的混合云中.
尽管GenAI的承诺主导了当前技术领域的大部分景象, 支撑这些系统的大型语言模型(LLMs)仍在不断增长. 作为结果, 构建可靠且具有良好性价比的LLM服务需要显著的计算能力, 能源资源和专业操作技能. 目前, 这些障碍使个性化人工智能的好处无法实现, 准备好实施并对大多数组织更安全
通过收购Neural Magic, 红帽公司旨在通过vLLM的开放创新,使更多组织能够更容易地使用GenAI来应对这些挑战. 由加州大学伯克利分校开发, vLLM是一个由社区维护的开源项目,用于开放模型服务(如生成AI模型推断和解决问题), 支持所有主要模型系列, 推理加速的高级研究和各种硬件后端, 包括AMD显卡, AWS Neuron, 谷歌TPU, 英特尔高迪, NVIDIA GPU 和 x86 CPU. Neural Magic在vLLM项目中的领导地位与红帽强大的混合云AI技术组合相结合,将为组织提供一条开放的道路,以构建满足其独特需求的AI战略, 无论您的数据在哪里
给马特·希克斯, 公司总裁兼首席执行官, 收购神经魔法, 与vLLM倡议的发展一起, 是将公司打造成人工智能领域标杆的第一步.我们很高兴能够通过Neural Magic的革命性人工智能创新来补充我们专注于混合云的人工智能产品组合, 增强我们不只是成为“开源的红帽”的愿望, 但也是“人工智能的红帽”, 说.
Red Hat + Neural Magic:实现混合云就绪的 Gen AI 未来
神经魔法公司于2018年从麻省理工学院分拆,旨在构建高性能深度学习推理软件. 凭借Neural Magic的技术和性能工程专业知识, 红帽公司寻求加速其对人工智能未来的愿景, 受到红帽人工智能技术组合的推动. 为克服大规模企业人工智能的挑战而构建, 公司利用开源创新进一步普及对人工智能变革力量的访问通过:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, 在多个云端和边缘.
- 调整功能使组织能够更轻松地使用其私有数据和用例自定义LLM,并具有更强大的安全框架
- 推理性能工程经验, 导致更高的运营和基础设施效率
- 一个开源生态系统和合作伙伴及支持结构,使客户拥有更多选择的可能性, 从LLM和工具到认证服务器硬件和芯片架构
vLLM 领导力推动 Red Hat AI 进步
神经魔法将利用其在vLLM方面的专业知识和经验来构建技术基础, 在企业层面, 允许客户优化, 在混合云环境中部署和调整LLM工作负载,完全控制基础设施的选择, 安全政策和模型生命周期. 神经魔法也在进行模型优化研究, 构建LLM Compressor(一个统一的库,用于通过最新的稀疏性和量化算法优化LLM)并维护一个预优化模型的仓库,准备与vLLM一起部署
红帽AI旨在通过强大的技术帮助客户降低人工智能成本和技能障碍, 如:
- Red Hat Enterprise Linux AI(RHEL AI), 一个用于开发基础模型的平台, 完美测试和操作IBM Granite系列开源LLM以用于Linux服务器部署的企业应用程序;
- 红帽 OpenShift 人工智能, 一个提供开发工具的人工智能平台, 训练, 快速服务和监控在本地分布式Kubernetes环境中的机器学习模型, 在公共云或边缘计算;
- 指导实验室, 一个由红帽和IBM创建的开源社区项目,允许任何人通过协作改进Granite LLMs来塑造GenAI的未来, 作为开源许可证使用InstructLab的微调技术.
Neural Magic 在 vLLM 方面的技术领导力将增强 Red Hat AI 在任何环境和任何地方的混合云中提供 LLM 部署的能力,配备即用型推理堆栈, 高度优化和开放
该交易仍需经过美国监管机构的批准以及其他常规的合同签署条件