OpenAI承诺遵守robots.txt共享信号 网站可向多AI提供商统一表达训练偏好

OpenAI于2026年10月30日宣布，将遵守robots.txt中的共享信号，帮助网站运营者向参与的AI提供商传达AI训练偏好。这一机制源于IETF的AIPREF工作组，核心是引入__usage_ai-training策略令牌。

事实还原

2026年10月30日，OpenAI正式承诺支持这一共享信号。信号定义在名为Machine-Readable Training Preference Signal的个人互联网草案中，由Anthropic的Kevin Kelley撰写，草案日期为2026年10月30日，有效期至2027年5月3日。草案规定，网站在robots.txt中使用User-Agent: __usage_ai-training配合Disallow或Allow指令，即可表达对AI训练的偏好，例如禁止全部路径训练但允许/press-kit/路径。现有robots.txt解析器会忽略不认识的用户代理组，因此不会影响原有流量管理规则。

Google同期也宣布计划采用同一提案，计划在2027年初支持__usage_ai-training信号，并更新其常见爬虫页面。Google表示，若网站使用该令牌选择退出训练且未单独指定Google-Extended，则Google将视同已禁止Google-Extended。

机制拆解

此信号的工作原理基于RFC 9309定义的robots.txt标准结构，未引入新指令名称或语法。网站运营者只需在robots.txt中添加以__usage_ai-training为用户代理的组，即可一次性设置跨提供商的训练偏好。此前，运营者需针对每个AI爬虫单独维护规则，现在只需维护一条共享规则。OpenAI明确表示，该信号不会取代其现有robots.txt控制，后者仍将继续被遵守。信号属于自愿性质，专门针对基础模型训练，不覆盖内容的所有可能用途。

草案强调，通配符组User-Agent: *不得被解释为匹配该策略令牌。若无匹配组，则不表达任何偏好。

产业影响

对内容创作者而言，这一机制降低了管理多AI提供商规则的负担，只需一次设置即可影响参与方。但实际效果取决于其他主流AI公司是否同步采用，目前仅有OpenAI和Google作出承诺。

对AI提供商而言，参与可降低合规沟通成本，同时展示对创作者控制权的尊重。未参与者仍需面对逐个维护规则的现状，可能在数据获取便利性上处于劣势。

对开发者与网站运营者而言，现有robots.txt解析逻辑无需修改，实施门槛低。但信号仅覆盖训练用途，其他用途如搜索索引仍需单独控制。

战略判断

基于当前已公开的承诺，最可能出现的下一步是OpenAI在未来数月内发布具体实施细节，其他IETF工作组参与者可能陆续表态是否支持。观察重点包括Google 2027年实际落地情况，以及是否有更多提供商公开加入。以上判断基于已公布的公告内容，属于分析而非事实。