北京时间7月22日,美国开放人工智能研究中心(OpenAI)CEO山姆·奥尔特曼发文称:“我们在模型评估过程中遭遇了一起重大安全事件。”
一场原本被关在隔离沙箱里的模型安全测试,最终演变成针对全球最大AI开源平台Hugging Face的真实网络攻击。模型在评估中为了“作弊”拿到高分,自主发现并串联多个零日漏洞(0 day,软件厂商尚未知晓、没有发布补丁修复的安全缺陷),逃逸出隔离环境,攻入Hugging Face生产数据库窃取答案。
但在被攻击平台发文数日后,OpenAI才承认责任。
从事件的影响来看,这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境网络攻击的AI安全事件。在业内看来,模型能力越强,失控作恶的潜在威胁越大,传统隔离防护持续承压,自主AI网络攻击或将成为长期常态化风险。
OpenAI21日承认,该公司的GPT-5.6 Sol模型和另一款能力更强的预发布模型联合进行内部评估时失控,突破隔离测试环境,侵入了人工智能开源平台美国Hugging Face公司的系统。
今日凌晨,OpenAI首席执行官萨姆·奥尔特曼也在社交平台发文证实此事件,称公司在模型评估过程中遭遇了一起重大安全事件,并感谢全球最大的AI开源社区Hugging Face的合作。。
OpenAI安全团队发现内部异常活动,Hugging Face安全团队在其基础设施上检测到并阻止相关活动,双方正在展开联合调查。
Hugging Face说,其最初尝试使用通过某商业应用程序接口提供的前沿模型分析日志,但请求被阻止。该公司随后改为在自己的基础设施上运行中国企业智谱开发的开放权重模型GLM-5.2,以进行取证分析,从而避免攻击者数据及相关凭据离开公司内部环境。
据公开资料,GLM 5.2发布于今年6月中旬。GLM 5.2上线首周,日均词元调用量就增长了27倍、客户数增长80倍。
近日,智谱已落地1GW级国产AI算力数据中心建设,并全部采用国产AI芯片。同时,智谱也于7月21日正式完成对国产AI异构算力软件公司中科加禾(XCore Sigma)的收购。后者源自中科院计算所编译实验室,长期深耕异构算力软件栈及编译优化,被业内视为国内顶尖AI Infra团队之一。
OpenAI说,这一事件表明,先进人工智能模型已能够在无法访问源代码情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。模型网络安全能力快速提高的同时,内部评测环境、模型行为控制和安全防护措施等也需要同步加强。
来源:第一财经、科创板日报、公开资料
编辑:孙琪
校对:刘锦平
下一篇:没有了