Red Hat在整个AI产品组合中的新更新推动了企业行业的重大变革。 通过 Red Hat AI,公司旨在进一步扩大推动技术采用所需的能力,为客户在混合云环境中部署生成式人工智能(gen AI)提供更多的自由和信心。 自从Red Hat AI推理服务器的发布、Red Hat AI中第三方验证的模型以及与Llama Stack API和模型上下文协议(MCP)的集成以来,该公司在市场上重新定位,涵盖多种人工智能模式。
根据Forrester,开源软件将成为加速企业人工智能努力的引擎。 随着人工智能环境变得越来越复杂和动态,红帽人工智能推理服务器由第三方验证的模型提供高效的推理和经过测试的AI模型集合,优化以在Red Hat AI平台上实现最佳性能。 随着集成用于生成式人工智能代理开发的新API,包括Llama Stack和MCP,Red Hat致力于简化部署的复杂性,赋能IT领导者、数据科学家和开发者以更高的控制和效率推进他们的AI项目。
在混合云中使用 Red Hat AI 推理服务器实现高效推理
Red Hat AI 组合包含新功能红帽人工智能推理服务器在混合云环境中,具有更快、更一致且更经济的规模推理能力。 此添加已集成到最新版本的 Red Hat OpenShift AI 和 Red Hat Enterprise Linux AI 中,也作为独立解决方案提供,允许组织以更高的效率、灵活性和性能部署智能应用。
经过Red Hat AI测试和优化以及第三方验证的模型
由第三方验证的Red Hat AI模型,提供于拥抱脸它们方便企业在寻找适合自己需求的模型时做出选择。 Red Hat AI 提供一系列经过验证的模型,以及增强客户对模型性能和结果可重复性的部署指南。 精选模型也由Red Hat进行优化,采用模型压缩技术,减小其体积并提高推理速度,有助于最大程度地减少资源消耗和运营成本。 此外,持续的模型验证过程帮助Red Hat AI的客户保持在生成式人工智能创新的前沿。
用于开发应用程序和人工智能代理的标准化API,结合Llama Stack和MCP
Red Hat AI 正在整合中羊驼堆最初由Meta开发, juntamente com oMCP来自Anthropic,提供标准化的API,用于构建和部署AI应用和代理。 目前在Red Hat AI的开发者预览版中提供,Llama Stack提供了一个统一的API,用于访问vLLM推理、增强检索(RAG)、模型评估,护栏和代理,无论任何生成式人工智能模型。 MCP 允许模型集成到外部工具中,提供与 API、插件和数据源在代理工作流程中连接的标准接口。
最新版本的红帽OpenShift AI(版本2.20)提供额外的改进,以大规模构建、训练、部署和监控生成式和预测式人工智能模型。 亮点包括:
- 优化的模型目录(技术预览):便捷访问经过验证的Red Hat和第三方模型,通过网页控制台部署,并配备OpenShift集成注册的完整生命周期管理。
- 使用KubeFlow Training Operator进行分布式训练使用InstructLab进行模型调整,并在Red Hat OpenShift的多个节点和GPU上分布式运行PyTorch工作负载,采用分布式RDMA网络进行加速和更好地利用GPU,以降低成本。
- 特征存储(技术预览):基于上游Kubeflow Feast项目,提供一个集中式存储库,用于管理和提供训练和推理的数据,优化数据流并提高模型的准确性和可重用性。
这红帽企业 Linux AI 1.5带来Red Hat基础模型平台的最新更新,专注于大规模语言模型(LLMs)的开发、测试和运行。 RHEL AI 1.5 版本的主要功能包括:
- 在Google云市场的可用性扩大客户选择范围,在公共云上运行Red Hat Enterprise Linux AI(除了AWS和Azure之外),方便在Google Cloud上部署和管理AI工作负载。
- 多语言增强能力通过InstructLab实现西班牙语、德语、法语和意大利语的翻译,支持使用本地脚本定制模型,拓展多语言人工智能应用的可能性。 用户还可以使用自己的人“教师”和“学生”模型,以实现更大的个性化和测试控制,未来预计将支持日语、印地语和韩语。
这 Red Hat AI InstructLab 在 IBM 云上 现在全面开放。 这个新的云服务进一步简化了模型的个性化流程,提升了可扩展性和用户体验。 企业可以更高效、更可控地使用他们的数据。
Red Hat的愿景:任何模型,任何加速器,任何云
人工智能的未来应由无限的机遇定义,而不应被基础设施的孤岛所限制。 红帽展望一个未来,组织可以在任何加速器、任何云上部署任何模型,提供卓越且更一致的用户体验,而无需高昂的成本。 为了释放生成式人工智能投资的真正潜力,企业需要一个通用的推理平台——一个用于持续高性能人工智能创新的新标准,无论是在现在还是未来几年。
红帽峰会
参加Red Hat峰会的主题演讲,聆听Red Hat高管、客户和合作伙伴的最新消息:
- 现代基础设施与企业人工智能相结合-星期二,5月20日,东部时间上午8点至10点YouTube)
- 混合云发展以推动企业创新— 2023年5月21日,星期三,东部夏令时间8:00-9:30YouTube)