四家 AI 巨头统一 robots.txt、网站一行字拒训、但要等到 2027 年

网站说别学我

你写博客、发朋友圈、在论坛灌水的时候，有一群机器人会悄悄爬过你的每一页内容，把它们剪碎了喂给大模型。

这件事，从 2026 年 11 月开始，第一次有了统一的"拒绝方式"。

2026 年 11 月 2 日，Google、Microsoft、OpenAI、Anthropic 四家 AI 公司联合支持一份 IETF 互联网工程任务组的标准草案：AIPREF。

它的核心机制简单到有点荒谬——在网站的 robots.txt 文件里加一行标记，告诉所有爬虫"我的内容不要拿去做 AI 训练"。

一块新牌子，挂在了所有人都在走的那扇大门上。牌子写着"此路不通"。

>

用人话说：过去每个 AI 厂商自己定一套"我不想抓你"的暗号，网站得一家一家去加；现在有一套行业通用语，写一次，四家都认。

一句话总结

这是内容所有权第一次被写进了互联网基础设施层，但它落地要等到 2027 年——标准是好标准，只是跑得比模型的腿慢。

一、robots.txt 是什么，为什么它能扛这回事

先说清楚这个文件的分量。

robots.txt 是每个网站根目录下的一个纯文本文件，诞生于 1994 年，是互联网最早的"礼貌声明"之一。它本来是给爬虫看的，告诉它们"哪些路径别爬"。

二十多年来，它的语法几乎没变过，因为它太够用了。它的好处在于：它是全网唯一"默认生效、不需要注册、不需要登录、不需要任何人批准"的机器可读指令。

这一次的提案叫 AIPREF，全称大致是"AI 偏好表达"。它的思路是：既然 robots.txt 已经是全网通用的"我对爬虫说什么"通道，那就在这个通道里加一个专门针对 AI 训练的新字段。

具体来说，网站可以这样写：

```

User-agent: *

Disallow: /

User-agent: GPTBot

Disallow: /

AI-Training: no

```

按多家媒体报道的说法，四家巨头支持的是一个统一的偏好标签，让站点不必为每家爬虫单独写规则。

用人话说：过去你要挡 5 家公司的爬虫，得写 5 段规则；现在写一行，四家一起挡。 而且它不只挡 AI 训练——它表达的是"我的内容可以被爬，但不要进训练集"。这两件事被分开了。

二、时间表：这是最扎人的地方

新闻里最容易被略过、但其实最关键的一句话，是时间表。

据多家媒体报道，各家的落地时间并不一致：

公司 · 计划支持时间

Anthropic · 已经实施（最积极）

OpenAI · "未来几个月内"

Google · 2027 年

Microsoft · 2027 年 2 月 1 日正式生效

看到这里你可能有点困惑：这不是 2026 年 11 月就公开了吗？

"公开"和"生效"是两回事。 这是标准制定领域一个残酷的规律——RFC 和浏览器一样，从提案到全网生效，中间隔着 1 到 2 年。 因为要过 IETF 的流程、要有足够多的实现者跟进、要保证向后兼容。

用人话说：这就像新过马路信号灯的方案今天公布了，但真正换灯柱要等到明年。 而且这还是乐观估计——"要等到 2027 年"这七个字，本身就说明阻力不小。

为什么拖这么久？

因为核心分歧在于：这是不是应该由 IETF 这个"互联网基础设施标准机构"来管？

一种意见认为，AI 训练偏好是版权和商业问题，应该走各国立法和版权机构（比如欧盟的 AI 法案、美国的版权局判例）那条线，而不是塞进一个技术协议里。另一方认为，robots.txt 这条路必须走，因为它是唯一能规模化生效的现成通道——总不能要求全世界网站去注册版权、逐家发函。

标准草案的推动者之一是 Kevin Kelley（OpenAI 政策相关人士）。据报道，他明确表示目标是寻求"广泛采用"而非"强制"。

用人话说：这是一场"谁来定规则"的拉锯。 四家公司抱团推，说明它们觉得这事拖不得；但流程上又不能霸王硬上，所以选择了"先建通道，让标准自己长"。

三、为什么这件事其实很重要

看起来只是加一行代码，为什么值得单独写一篇？

因为它把一个一直模糊的问题，强行拉到了明面上：

过去的模糊地带 · AIPREF 试图厘清的

内容能被爬、被索引，和能被拿去训练，是两回事吗？ · 是，而且要分开标记

网站说"别爬"，AI 公司听不听？ · 用一个跨厂商通用的字段，让"听"变成默认

创作者能不能对训练数据说不？ · 第一次有了全网通用的"说不"接口

拒绝算不算"封杀"？ · 只挡训练，不挡正常访问和搜索收录

最后一条尤其关键。它设计上是"细粒度授权"，不是"一刀切封杀"。

一个搜索机器人可以照常来爬你的页面、把你的内容放进搜索结果；一个 AI 训练爬虫来了，看到标记，转身就走。这个分层正是过去所有方案里最难做到的部分。

用人话说：以前的思路是"要数据就得付钱/要许可"，一刀切，网站要么全给要么全拒。新方案是分层——你可以让我的内容被搜到，但不许拿去训练。

四、普通人怎么看这件事

最直接的：如果你写东西，以后可能真的能说"不"。

现在这个"不"，基本靠打官司——权利人举证、逐个被告、耗上几年。AIPREF 的价值在于把举证成本前置到"你写没写这行字"。虽然它现在还没有法律效力，但一旦成为事实标准，证据链会变得极其清晰。

更实际的：它会影响你以后在互联网上"被 AI 搜到"的方式。

过去两年你的内容被各家 AI 抓去训练，你完全不知情、也无从阻止。以后多了一个明确开关——虽然总开关在网站手里，不在单个用户手里。所以这个标准真正受益最大的是中小内容站、博客、独立创作者，而不是随手发一条动态的普通用户。

值得警惕的：这是四巨头推的，不是监管推的。

这一点必须说清楚。四家公司共同支持一份"别来训练我"的协议，同时它们自己就是最大的训练数据使用者。 这不必然是虚伪的——它们确实需要数据来源合法、可持续，标准化对双方都有好处——但不能把"厂商抱团推动"当成"权利已经被保护"。

真正的硬约束还得靠另外两条腿：欧盟 AI 法案的透明度义务，以及版权诉讼的实际判决。

一句话判断：AIPREF 是互联网给它自己发的一个"免责声明表格"，填了就能用，但没人查你是不是真填了。 它是必要的起点，但不是终点。

写在最后

1. 为什么这件事值得当成"基础设施事件"看

互联网有过几次类似的时刻：声明某个通用标记（比如 Do-Not-Track、rel=nofollow），一开始没人理，三年后变成默认。

robots.txt 本身就是 1994 年的产物——当时没人想过它会变成后来互联网最基础的控制面之一。同样的事情可能正在 AI 版权这个新战场上重演。

区别在于：这次的对手是有巨额资本和游说能力的 AI 巨头，所以最终能不能成，要看的不是技术上多难，而是标准会不会被它们自己的商业利益架空。

2. 对普通人意味着什么

最直接的：写东西的人多了一个"我能说不"的按钮，虽然现在还只是个按钮。

更实际的：如果你有网站，最该做的其实是现在就把这行标记加上——标准生效那天，你的站就已经在名单里了，而不是从零开始整改。

值得警惕的：四家厂商共同推的标准，未必处处对创作者有利。要盯住的核心是：这个字段是"默认拒绝"还是"默认允许"？是"AI 公司自觉遵守"还是有第三方审计？这两条差别巨大。

3. 未来 12 个月，看 3 件事

看 IETF 草案能不能正式成为 RFC。 提案进入标准工作组正式立项，才算真的开始走流程。

看 Google 和微软到底 2027 年能不能真的做到。 尤其微软写的是 2027 年 2 月 1 日这种精确日期——如果到点没落地，标准的公信力会大打折扣。

看有没有第三方审计或处罚机制。 忽略标记的爬虫要不要负责？有没有公开的"黑名单"？没有牙齿的标准，三个月后一半网站会忘了它。

当全网最老的那份"礼貌声明"文件，被塞进了一个全新的议题——互联网正在学一件事：AI 不再是普通访客，它需要被当作客人一样对待。

如果觉得这篇拆解对你有帮助，不妨点个关注和在看。

你的 AI 陪跑伙伴 【数字新奇点】 会继续关注版权与数据来源这条真正决定 AI 长期成本的主线。

咱们下期见！

参考资料

腾讯新闻：四家 AI 巨头统一 robots.txt 拒训标准、2027 年才生效

OpenAI 官方博客：帮助网站表达 AI 训练偏好

PPC Land：Google、Microsoft、OpenAI 与 Anthropic 共同支持 AI 训练退出机制

网易科技：robots.txt 新增 AI 训练标记背后的标准之争