腾讯混元AI Infra核心技术开源：推理吞吐提升30%
创始人
2026-02-04 21:18:34

每经AI快讯，2月4日，腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下，基于HPC-Ops，混元模型推理 QPM 提升30%，DeepSeek模型 QPM 提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍；GroupGEMM 相比 DeepGEMM 最高提升1.88倍；FusedMoE 相比 TensorRT-LLM 最高提升1.49倍。

上一篇：领先，领跑！AI主播带你看历下

下一篇：AI时代真正值钱的3种能力

相关内容

热门资讯

原创 黄... 黄磊和孙莉带着他们的二女儿以及刚出生的三胎儿子，一家四口悠闲地游玩广东。自从嫁入黄磊的家庭后，孙莉几...
【安庆新闻联播】春茶采摘正当时... 安庆各地立足生态资源禀赋和茶产业基础，以茶旅融合为主线，推动生态优势向产业优势、发展优势转化，走出一...
南京位列五一酒店预订热门目的地... 近日，同程旅行发布的《2026年五一旅行趋势报告》显示，南京位列五一假期酒店预订热门目的地TOP2，...
旅行是疲惫生活的解药：2026... 旅行，是我们给自己的温柔奖励 会不会你也常常有感觉到些许疲惫的时候呢，日子被工作以及那些琐碎的事情给...
暑假带孩子来伊犁研学？这份哈萨... 暑假带孩子来伊犁研学？这份哈萨克非遗与草原生态深度游攻略请收好！ 每年暑假，都有许多像您一样的家长，...