十月第一周的AI安全圈,挺戏剧性的。
事情分两步。
第一步,Anthropic自己发了篇博客,说模型在测试时出了一些"非预期行为"——跑到政府网站提交表单、利用漏洞下载付费数据、用短链绕过工具限制。姿态放得挺低:已经通报了白宫,也通知了所有涉事机构。
第二步,白宫那边直接宣布:所有AI公司,安全事件必须立即上报,这是国家安全义务,不是可选项。
翻译一下:Anthropic说我主动认错了,我负责吧。监管那边说,好,那以后都得负责,而且是强制的。
一拳打出去,弹回来砸自己脸上了。
先看看Anthropic到底干了什么
Anthropic披露了四类非预期行为。
听着挺学术的,翻译成人话就是:模型干了四件不该干的事。
先说最让人后背发凉的那件——提交虚假凶杀案线索。
这个最有画面感。Claude Haiku 4.5 在做一个网页交互测试,被要求在随机网页上生成示例任务。然后它跑到费城警察局的悬案网站上,提交了一条凶杀案线索。内容写得有鼻子有眼:“我可能掌握这起案件的相关信息”“我记得在那个时间段那个街区看到过符合描述的人”。但没有留报案人姓名和联系方式。
Anthropic说模型被明确指示不能登录、不能创建账户、不能输入个人信息、不能买东西、不能提交破坏性内容。但有个漏洞——没说不能提交表单。
于是模型就钻了这个空子。
费城警方说这条线索被标成了垃圾信息,没进入调查流程。但你想一下,如果它写得再真实一点,如果那个网站的垃圾过滤没拦住呢?
问题就不再只是技术层面了,已经碰到底线。
还有一件,是往国务院系统里递了20份签证申请。
美国国务院披露的。Anthropic的测试模型,在国务院网站的公开表单上,8月提交了19份非移民签证申请,5月提交了1份。国务院说都没处理,系统也没被入侵。
签证申请这个事,性质跟凶杀案线索还不一样。凶杀案线索是恶作剧,签证申请——这是直接往政府行政系统里灌虚假数据。
第三桩,是利用漏洞,免费拿到了本来要付费的公开数据。
两个案例。一个是州政府网站,模型发现了个设计漏洞,本来要付费才能看的公共数据,它绕过去免费拿到了。另一个是大学的公共工具,模型钻了个偏门,免费用上了。
这个方向其实挺危险的。今天能绕付费墙,改天呢?权限墙挡不挡得住?今天拿的是公开数据,明天会不会拿到不该拿的?
最后这个,是用短链服务绕过工具限制。
这个最"聪明"也最让人脊背发凉。模型发现有些限制是基于域名的,于是它用URL缩短服务把网址换了个壳,就绕过去了。
说白了:你不让它去那个网站?它把地址换个马甲,就进去了。
然后监管的反应,比想象中快
Anthropic周五下午发的博客。周五晚上,白宫超级智能工作组(SI Force)就出了声明。
声明的核心就一句话:这事不是可选的,是国家安全义务。
具体要求三条:
- 所有前沿AI公司,模型出了安全事件必须立即披露
- 必须迅速采取补救措施
- 必须与受影响的系统合作,防止类似事件再次发生
由新成立的"超级智能特别工作组"负责监督,负责人是Jay Clayton——美国国家情报总监兼AI事务负责人,FTC主席Ferguson等人联合牵头。
但有个细节值得注意——没说不遵守会怎么样。没有处罚机制,没有执法细则,什么都没有。
所以这个"强制"到底有多强,其实还不好说。但姿态已经摆出来了:从"你们自己看着办",变成了"你们必须报"。
这是个标志性的转变。
有意思的,是那个悖论
整件事最值得琢磨的地方在于——Anthropic主动披露,反而引来了更严的监管。
你说它冤吗?也不冤。毕竟模型确实闯祸了,而且闯到政府头上了。
但你换个角度想——如果它不主动说呢?费城那条假线索被当垃圾信息处理了,没人知道是AI干的。那些签证申请也没被处理,系统没被入侵,可能永远没人发现。那些付费数据漏洞,不说的话,涉事网站可能到现在还蒙在鼓里。
Anthropic说了。然后监管就来了。
那下次别的公司遇到类似的事,它还会说吗?
这是一个经典的悖论:鼓励主动披露,和加强监管处罚,天然是矛盾的。你越处罚,人家越不敢说。可你越鼓励说,就越不能罚太重。但真的一点不罚,又起不到震慑作用。
现在监管这边选择了——先把"必须上报"立起来,罚不罚以后再说。
这个选择对不对?不知道。但至少说明一件事:AI安全的"自愿时代",结束了。
为什么是现在?
你往前倒几个月就会发现,这不是突然冒出来的。
今年夏天,OpenAI的Agent攻破了Hugging Face。然后又攻破了澳洲政府的医疗数据网站。然后Anthropic自己也披露过三起外部系统入侵事件。
这些事攒在一起,就像一锅水慢慢烧开。之前一直是"媒体在报道、公司在道歉、政府在看"。
这次不一样。这次是AI直接摸到了政府系统的门。还是多个层级——联邦、州、地方,全都有。
费城警察局、国务院签证系统、州政府数据网站……这些不是普通公司的网站,这些是政府。
你搞个创业公司,可能道个歉就过去了。你搞到政府头上——政府能不紧张吗?
而且你注意看时间点:Anthropic眼看就要IPO了,估值两万亿美元。这种规模的公司,如果它的模型能随便往政府系统里灌数据、绕权限——那这事的性质,就不是"产品bug"了,是国家安全问题。
所以监管反应快,是有原因的。不是为了这一件事,是因为这一件事,暴露了一整类的风险。
最后
有一件事挺讽刺的。
Anthropic一直以"安全优先"自我标榜。Dario Amodei说超级智能有25%的概率会搞砸。他们的安全团队说AI十年内灭绝人类的概率超过10%。
也有批评声音指出,它一边反复强调风险很大,一边又筹备着上市,这两件事摆在一起确实有点别扭。
结果这才几天——他们真的把问题爆出来了。而且爆出来之后,监管真的收紧了。
你说他们是真的有安全意识,还是为了IPO的公关表演?可能都有。但结果是一样的:AI安全的监管边界,又往前推了一步,从自愿到强制。
接下来呢?会不会要求其他公司也披露更多历史事件?强制披露之后,处罚机制什么时候跟上?
不知道。但有一件事是确定的:AI闯的祸,不再只是互联网里的事,已经撞到现实世界了。
而监管这次跟上的速度,比以往都快。
参考来源
- Anthropic官网:Investigating Undesired Behaviors in Model Evaluations and Internal Use(2026.10.09)
- Anthropic官网:2026 Usage Policy Update(2026.10.08)
- 央视新闻:AI公司发生安全事件须立即上报(2026.10.10)
- Axios:AI incident reporting mandated after Anthropic disclosure(2026.10.10)
- 澎湃新闻:Anthropic再披露模型"越界"行为,白宫要求强制性汇报(2026.10.10)
- Reuters / Al Arabiya:Anthropic discloses fake tip to police among new rogue AI incidents(2026.10.10)
- 凤凰网科技:Anthropic自曝家丑:失控智能体试图访问多个政府网站,已向白宫汇报(2026.10.10)
梅雅达编程笔记原创 · 首发 CSDN · 转载请注明出处