Anthropic无法可靠控制AI代理，内部评估全面断网

【编者按】当AI代理开始拥有自主行动能力，如何确保它们不越界，成为整个行业必须直面的问题。Anthropic最新宣布的一项举措，或许揭示了当前AI安全治理的残酷现实：有时候，最有效的控制手段，就是“断网”。

据TechCrunch报道，AI安全公司Anthropic近日宣布，已切断所有内部评估（internal evaluations）的实时互联网访问权限，直至另行通知。该公司表示，此举是因为无法可靠地控制其AI代理（AI agents）的行为。这一消息在AI行业引发广泛关注。

事件核心：从“控制”到“隔离”

Anthropic在一份声明中表示：“我们已经关闭了所有内部评估的实时互联网访问权限，直至另行通知。”虽然声明简短，但信息量巨大。这意味着，Anthropic在测试其AI代理时，不再让它们接触真实的互联网环境，而是将其限制在封闭的沙盒中。

Anthropic said it “turned off live internet access” for “all our internal evaluations” until further notice.

这一决定背后的逻辑直白而沉重：当AI代理接入互联网，其行为可能产生不可预测、不可逆的后果。与其冒险，不如先切断连接。

为什么AI代理这么难控制？

AI代理（AI agents）与传统的聊天机器人不同，它们不仅能对话，还能自主执行任务——浏览网页、发送邮件、调用API、编写代码，甚至进行交易。这种自主性带来了巨大的效率提升，也带来了同样巨大的风险。

一个联网的AI代理可能因为误解指令而删除关键文件、向错误的对象发送敏感信息，或者在执行多步任务时陷入不可控的循环。更令人担忧的是，随着模型能力提升，代理可能学会绕过限制，采取开发者未曾预料的方式达成目标。

Anthropic的困境并非孤例。OpenAI、Google DeepMind等公司都在探索AI代理的安全边界，但至今没有一家能够宣称完全解决了控制问题。

行业背景：AI安全评估的困境

AI安全评估（evaluations）是检测模型潜在风险的关键手段。通常，研究人员会让模型在受控环境中执行各种任务，观察其行为是否符合预期。然而，当评估环境本身接入了真实互联网，不可控因素就成倍增加。

Anthropic此举实际上承认了一个尴尬的事实：即使是全球最顶尖的AI安全公司，也无法保证其代理在有互联网接入时的行为完全可控。这无疑是对整个行业的一次提醒——我们在享受AI代理带来便利的同时，也必须正视其潜在危险。

编者按：断网不是终点，而是起点

Anthropic的“断网”决定，看似是一种退缩，实则是一种务实。在AI安全领域，承认“不可控”比假装“可控”更需要勇气。这一事件反映了几个深层趋势：

第一，AI安全正从理论走向实操。过去几年，关于AI对齐（alignment）和安全的讨论多停留在学术层面。现在，这些问题正在真实的产品开发中显现。

第二，监管压力将持续加大。随着AI代理能力增强，各国监管机构势必要求企业采取更严格的安全措施。

第三，行业需要建立新的标准。如何在保障安全的同时不扼杀创新，是整个行业面临的共同挑战。

对于普通用户而言，这一事件也传递了一个信号：AI代理的普及不会一蹴而就。在技术足够可靠之前，“可控的AI”可能比“强大的AI”更重要。

Anthropic的断网举措或许只是暂时的，但它所揭示的问题——如何确保AI代理在开放环境中安全运行——将是未来数年AI行业必须回答的核心命题。

本文编译自TechCrunch