“我们正在拿自己的生命赌博。”这是Anthropic安全研究员Jacob Coxon在辞职声明中给出的最后警告。作为一家以“安全优先”为招牌的AI公司，Anthropic自2021年成立以来，一直被业界视为“谨慎派”的代表。然而，即便在这家公司内部，依然有人认为整个行业正在滑向失控边缘。
Coxon担忧的核心，是“自我改进型AI”。简单来说，它让AI系统自己修改算法、调整架构，甚至完成“自我升级”。目前，多家头部实验室都视其为通往通用人工智能的必经之路：DeepMind曾探索让模型通过自我对弈持续进化，OpenAI也多次暗示，下一代智能的关键在于建造能自我进化的系统。但在Coxon看来，这种潜力正被不切实际地乐观解读，他在辞职声明中将失控的自我改进称为“灭绝级风险”。
如果模型学会为自己“升级”，人类现有的风险评估工具很可能失效。当前的安全测试大多建立在固定基准与人工反馈之上，其隐含假设是：人类识别风险的速度，必须快于AI能力增长的速度。可自我改进的闸门一旦打开，模型的能力曲线或呈指数级飙升，届时连最谨慎的实验室都未必来得及在事故发生前按下暂停键。所谓安全测试，可能只是一列高速列车上的“后视镜”。
“节奏协议”：给AI竞赛装上刹车
为此，Coxon呼吁各主要AI实验室之间签署“节奏协议”（pacing agreements）。这是一种类似军控的多边约定：各方承诺为超过一定规模的模型训练预留“冷却期”，将固定比例的算力用于安全评估，并对自我改进相关研究进行充分披露。他强调，自己不指望每家公司都良心发现，只有通过制度性约束让所有玩家站在同一条起跑线，安全成本才不会变成商业竞争中的“额外负担”。
这种声音在AI行业并非孤例。一种流行的批评是：技术乐观主义者愿意承担风险，但风险承受者却是全社会。在不少观察者看来，当竞争对手宣布新一代模型时，临时削减训练时间、压缩对齐流程，几乎已经变成一种公开的秘密。实验室之间的竞赛逻辑，导致安全标准往往只写在网页上，而不是刻进训练流程里。
人才“用脚投票”：安全文化需要容纳自我怀疑
Anthropic本是AI安全标准的重要推动者，其“负责任扩展政策”也是业界少见的公开安全流程。然而，看似完备的制度却无法平息一线研究员的不安。Coxon的出走提醒人们：如果安全文化不允许自我怀疑，它就会从一种保护机制，变成另一种形式的盲从。
更具象征意义的是，他选择在辞职后公开发声。这种从“内部安全研究者”到“公开吹哨人”的身份转变，近几年在欧美AI实验室陆续出现。有人离职后投入监管研究，也有人转入开源社区，用透明代码对冲闭源巨头的巨大优势。可以预见，随着AI能力的进一步突破，这类人才流动将更加频繁，也将成为观察科技公司真实安全态度的重要窗口。
编者按：这些研究者的离开并不是因为畏惧技术，而是因为在技术起飞之前，他们看不到制度同步起飞的迹象。真正负责的AI发展，不应该让“自我改进”变成一场谁都不愿踩刹车的赛车。在能力跃迁之前，人类必须先完成制度的跃迁。
Coxon离开后的Anthropic是否会调整方向，目前仍不得而知。但这一事件至少传递出一个信号：如果连最注重安全文化的实验室都留不住“末日警告者”，AI行业的自我约束机制，或许真的需要一次从技术到制度的全面反思了。
本文编译自TechCrunch
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接