随着人工智能从以训练为中心向推理转变,HPE宣布推出一系列由英伟达图形处理单元驱动的计算和网络产品。该公司表示,这些产品将重新定义AI服务的交付方式,将智能能力部署到数据和用户所在的位置,并使网络成为支持实时体验的可靠基础。
HPE AI网格
产品系列中的一大亮点是HPE AI网格,旨在将分布式AI工厂转型为由英伟达驱动的智能AI基础设施。据称,这些产品为依赖低延迟、实时连接的AI服务和应用场景提供了"关键"应用,包括零售个性化、制造业等行业的预测性维护、医疗保健的本地化边缘推理以及运营商级AI服务。
HPE认为,AI原生应用需要可预测、低延迟的分布式基础设施。HPE AI网格服务是英伟达AI计算HPE产品组合的一部分,声称能够为实时AI服务提供可预测的"超低"延迟性能,具备零接触配置和自动化安全功能以及集成编排。
这套端到端系统基于英伟达参考架构构建,旨在安全连接分布在区域和远端站点的AI工厂和分布式推理集群。它可以促进数千个分布式推理站点的部署和运营,将AI安装转变为单一的智能系统。
从预期应用场景来看,HPE设想的实施范围涵盖从零售个性化和预测性维护到边缘医疗保健和运营商级AI服务,这些都需要可预测的超低延迟连接。AI网格还旨在让运营商能够将现有具备电力和连接条件的站点转换为就绪的AI网格,实现大规模分布式推理和新服务。
除了与AI网格参考架构保持一致,为服务提供商提供统一的硬件和软件堆栈外,HPE AI网格还通过提供全栈AI服务器和AI网络的能力而脱颖而出。
技术特性
HPE AI网格包含HPE Juniper的多云路由和相干光学技术,可提供可预测的长距离和城域连接;云原生和多租户安全;防火墙;广域网自动化;以及用于实现零接触部署和生命周期运营的编排功能。它还包含配备英伟达加速计算的ProLiant Compute边缘和机架服务器,包括英伟达RTX PRO 6000 Blackwell GPU,以及英伟达BlueField DPU、Spectrum-X以太网交换机、Connect-X SuperNIC和用于快速AI推理的AI蓝图。
CityFibre首席技术信息官Neil McRae表示:"我们的客户越来越期望获得毫秒级响应、低延迟连接和全面安全性来支持他们的应用和服务。我们正在探索基于英伟达参考架构的HPE AI网格如何支持分布式AI推理,并将智能能力更贴近用户和数据。通过利用我们的光纤网络资产,我们看到了将高性能连接与智能服务相结合为客户提供服务的潜力。"
英伟达电信全球副总裁Chris Penrose表示:"AI网格统一了地理上分布的AI集群,将AI工作负载放置在运行效果最佳的位置,在AI工厂、区域站点和边缘之间平衡性能、成本和延迟。我们与HPE合作,通过结合英伟达的加速计算和网络技术以及HPE的电信级多云路由和边缘基础设施,将这一愿景变为现实,创造了用于分布式推理的单一智能架构。"
作为推进AI网格战略的一部分,运营商康卡斯特已经在其分布式网络上开始AI现场试验,用于实时边缘AI推理,为下一波AI应用解锁更快速、响应更灵敏的体验。初始试验涉及多个应用场景,包括利用在英伟达GPU上运行Personal AI小型语言模型的HPE ProLiant服务器,Personal AI是HPE Unleash AI合作伙伴计划的一部分。
Q&A
Q1:HPE AI网格是什么?有什么特点?
A:HPE AI网格是一种智能AI基础设施,旨在将分布式AI工厂转型为由英伟达驱动的统一系统。它的主要特点是提供可预测的超低延迟性能,支持零接触配置和自动化安全,并能将数千个分布式推理站点转变为单一的智能系统。
Q2:HPE AI网格主要应用在哪些场景?
A:HPE AI网格主要应用于需要低延迟、实时连接的场景,包括零售个性化、制造业预测性维护、医疗保健的本地化边缘推理以及运营商级AI服务。这些应用都需要可预测的超低延迟连接来保证实时体验。
Q3:HPE AI网格包含哪些技术组件?
A:HPE AI网格包含HPE Juniper的多云路由和相干光学技术、云原生多租户安全、防火墙、广域网自动化和编排功能。硬件方面包括配备英伟达RTX PRO 6000 Blackwell GPU的ProLiant服务器,以及英伟达BlueField DPU、Spectrum-X以太网交换机和Connect-X SuperNIC等组件。