ModelHub XC适配OpenAI最新开源模型Circuit Sparsity
创始人
2025-12-31 17:46:39

信创模盒ModelHub XC近日完成OpenAI最新开源模型Circuit Sparsity的适配与验证,并在昇腾910B4 NPU等国产算力平台上实现稳定、高效运行。

Circuit Sparsity模型

OpenAI的Circuit Sparsity稀疏模型架构(参数量0.4B、99.9% 权重为零)一经开源即引来巨大关注,其以原生稀疏架构构建可读“电路”,破解了大模型“黑箱”难题,成为AI可解释性领域的颠覆性突破和未来大模型演进的重要技术方向。

该模型采用动态剪枝等技术,电路规模较密集模型缩减16倍,颠覆传统参数竞赛,引领行业向“透明化 + 高效化”转型。OpenAI通过 “桥梁网络” 连接稀疏与密集模型,实现了对现有大模型的可解释性行为编辑。

Circuit Sparsity不仅是现有模型的优化,更提供了全新架构方法论,验证了结构性稀疏兼具高性能与高可解释性的可行性,预示下一代模型将走向“电路化”“稀疏化”设计。

ModelHub XC完成Circuit Sparsity 开源模型的适配

架构适配:

该新型极度稀疏架构算法底层基于 Transformers 架构——以Transformers为蓝本,通过引入动态稀疏约束和组件微调,从根本上重构出一个天生具有结构化稀疏性的新模型架构。同时,这一新架构的编译、计算和数据流模式,又经过优化,以充分释放如昇腾910B这类专用NPU的极致算力。

适配结果:

测试数据显示,ModelHub XC平台在昇腾910B4 NPU上对OpenAI开源Circuit Sparsity模型完成了适配与性能验证。

1. 性能提升倍数(关键指标)

请求延迟:NPU 处理单条请求平均延迟仅需 2.00 秒,CPU 则高达 56.21 秒。NPU 的单条处理速度提升了 28.11 倍。

吞吐量 (QPS):NPU 的吞吐量为 0.50 条/秒,是 CPU(0.02 条/秒)的 25 倍。

2. 结果分析

巨大性能鸿沟:从“分钟级”响应(CPU)到“秒级”响应(NPU)的跨越,证明了 Circuit Sparsity 这类稀疏模型极度依赖专用AI计算硬件(如NPU)的并行计算与高效内存访问能力,在通用CPU上运行效率极低。

关于信创模盒ModelHub XC

信创模盒ModelHub XC是面向信创算力生态的AI模型与工具平台,兼具社区和服务的功能,致力于推动国产硬件平台上的人工智能创新与落地,提供涵盖模型训练、推理到部署的全流程解决方案。

相关内容

热门资讯

民间大神攻破苹果系统壁垒!iP... 快科技8月5日消息,多年来,iPad用户始终怀揣着一个梦想,那就是在苹果平板上运行macOS系统。如...
公司要求把CentOS全换成国... 两个月前,领导甩过来一份文件:信创改造时间表,要求Q3结束前把所有 CentOS 服务器迁移到国产操...
人工智能产业日报(08.04)... 行业动态 AI越狱、硅谷慌了,人类到底在害怕什么? 1346名来自OpenAI、Anthrop...
广西AI在印尼当“向导” “没有导航以前,送一趟货经常找不着地方或走错路。现在有了导航,跟着定位走就行。”近日,印度尼西亚北马...
京东:开源实时流式视频编辑模型... 钛媒体App 8月5日,据京东黑板报消息,8月5日,京东宣布开源自研的实时流式视频编辑模型JoyAI...