腾讯混元AI Infra核心技术开源：推理吞吐提升30%
创始人
2026-02-04 21:18:34

每经AI快讯，2月4日，腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下，基于HPC-Ops，混元模型推理 QPM 提升30%，DeepSeek模型 QPM 提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍；GroupGEMM 相比 DeepGEMM 最高提升1.88倍；FusedMoE 相比 TensorRT-LLM 最高提升1.49倍。

上一篇：领先，领跑！AI主播带你看历下

下一篇：AI时代真正值钱的3种能力

相关内容

热门资讯

带娃游南京，吃饭不犯愁！本地人... 带娃游南京，吃饭不犯愁！本地人私藏的亲子友好餐厅全攻略 带孩子来南京旅行，除了规划好景点路线，家长们...
【每日一景】寒冬暖阳下·雨花台... 不经一番寒彻骨，怎得梅花扑鼻香，又到一年赏梅季，雨花梅岗正当时。 最近南京的梅花已经开始绽放，虽然...
庐山夜游全指南：牯岭镇与如琴湖... 庐山夜游全指南：牯岭镇与如琴湖的夜色魅力与安全解答 许多来庐山的朋友，都会被它白天的云海和瀑布所震撼...
原创 做... "为什么川菜馆的麻婆豆腐能立在勺子上跳舞，你家的一出锅就变豆腐汤？"上个月在成都苍蝇馆子偷师，看老板...
来陕西 过大年｜全省春节文旅特... 寒冬至，年味浓。当北风拂过黄土高原的沟壑，一路抵达温润的陕南大地，各地丰富多彩的民俗活动纷纷登场，等...