您现在的位置是:焦点 >>正文
OpenAI再次暂停前沿模型训练
焦点565人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
龚俊、邓为、张婧仪方发布短剧侵权声明
焦点近日,AI侵权问题引发关注,多位艺人工作室发布短剧侵权声明。4月6日,演员龚俊工作室发布严正声明:采用AI合成等技术使用龚俊先生肖像等制作剧集的行为构成侵权,正告涉及侵权内容的网络平台及用户立即停止传...
【焦点】
阅读更多非遗剪纸“圈粉”外国友人
焦点11月29日,皖西学院法学院里,来自泰国研学团的学子们正在省级剪纸非遗传承人徐圣年的指导下学习剪纸技艺。在老师的指导下,研学团学生学习了如何设计剪纸图案、如何借助工具裁剪经典图形。看着手中的一方红纸逐 ...
【焦点】
阅读更多“永”字当选2025“一带一路”年度汉字
焦点9月28日,演员在活动现场表演。 9月28日,2025“一带一路”年度汉字发布活动在重庆市永川区举行,“永”字从9个候选字中脱颖而出,当选2025“一带一路”年度汉字。 ...
【焦点】
阅读更多
热门文章
最新文章
友情链接
- 公示!涉及安徽7个县(市)
- 汉阴县人民医院召开2026年上半年工作会议
- Roguelike游戏《魔法高校女生》即将登陆switch平台
- DRG支付改革下,星相守2号凭借真0免赔被誉为最实用百万医疗保险
- “闽超”三场排位赛,龙岩漳州宁德三队获胜
- 普渡机器人亮相WAIC 2026,系统阐释“一脑多形”Physical Agent技术理念
- 过渡期内每个脱贫县每年安排新增建设用地计划指标600亩
- 厦门:共享汽车需全部采用新能源车
- 安徽淮北:一瓶水传递爱
- 张帅连赢10局晋级多伦多站32强
- 追光丨来“疆超”追一场覆盖面积最大的省级足球联赛
- 六家券商研报显示2019年A股结构性机会增多
- 首次“双收”迎增收——安徽部分地区大豆玉米带状复合种植收获记
- 张帅连赢10局晋级多伦多站32强
- 2022年版权产业增加值近9万亿
- 汉阴县人民医院召开2026年上半年工作会议
- 国内首本老年财富管理读物发布! 中信银行联合中国老龄科学研究中心、华龄出版社出版《长寿时代:如何管好养老 “钱袋子”》
- 2026国家网络安全宣传周惠安县活动启动仪式举行
- 沪指缩量跌0.14%连续三日收阴 创业板险守1300点
- 6.18来袭,请认准这些红木品牌
- 三国望神州沧澜·曹操与赵俨搭配指南
- 国网吕梁供电公司:精准核查追差错 颗粒归仓挽损失
- 重庆石柱:管住窗口“小微权力”让清廉服务可感可及
- 普渡机器人亮相WAIC 2026,系统阐释“一脑多形”Physical Agent技术理念
- 六家券商研报显示2019年A股结构性机会增多
- 方程豹护航全球首场人形机器人马拉松,共谱未来出行新篇章
- 以练筑防护桑榆 防汛演练守平安——汉阴县龙双区域敬老院开展防汛应急实战演练
- 惠安县政协主要领导带队调研涂寨古街改造项目
- 公示!涉及安徽7个县(市)
- DRG支付改革下,星相守2号凭借真0免赔被誉为最实用百万医疗保险
- 安庆松禾基金已于日前在迎江区成功落地运营
- 张帅连赢10局晋级多伦多站32强
- 张帅连赢10局晋级多伦多站32强
- 安庆松禾基金已于日前在迎江区成功落地运营
- 过渡期内每个脱贫县每年安排新增建设用地计划指标600亩
- 果汁爆品!椰贤果汁靠稳定复购赚长期渠道钱!
- 斯诺克中国公开赛太原开杆 丁俊晖遭“一轮游”
- 六家券商研报显示2019年A股结构性机会增多
- 中国男篮青年军热身赛三连胜 亚洲杯征程机遇挑战并存
- 中式古法合香正宗品牌有哪些?这几个口碑品牌值得收藏
- 重庆石柱:管住窗口“小微权力”让清廉服务可感可及
- 6.18来袭,请认准这些红木品牌
- 汉阴县举行2026年人才夜市暨苏陕劳务协作专场招聘会
- REDMI首款耳夹式耳机官宣 两款配色,本月发布
- 汉阴县人民医院召开2026年上半年工作会议
- 三国望神州沧澜·曹操与赵俨搭配指南
- DRG支付改革下,星相守2号凭借真0免赔被誉为最实用百万医疗保险
- 居然设计家(Homestyler)登台英伟达GTC大会:从渲染到现实,向全球展示设计AI的魅力
- 四川大学华西厦门医院拟明年下半年竣工投用
- 果汁爆品!椰贤果汁靠稳定复购赚长期渠道钱!