robots.txt 与 AI 爬虫：允许、限制、分平台策略该怎么选

先分清三种爬虫

讨论「要不要让 AI 抓」之前，得先分清它们在做什么：

• 训练爬虫（如 GPTBot、ClaudeBot、Google-Extended）：抓取内容用于训练模型。抓了不会给你带来流量。
• 检索爬虫（如 OAI-SearchBot、PerplexityBot）：实时抓取用于回答当前问题，通常带来源链接。抓了可能带来引用和点击。
• 用户触发抓取：用户把链接贴给 AI 时，服务端实时请求你的页面。这类通常不受 robots.txt 约束。

很多站点的错误在于：一刀切地禁止所有 AI 爬虫，结果连检索型也挡在外面，等于主动放弃了被引用的机会。

三种典型策略

策略一：全开放

适合以曝光为目标的媒体、内容站、开源项目。代价是内容被无偿用于训练。

策略二：训练禁、检索放

目前大多数商业站点的合理选择。写法上分别是 User-agent: GPTBot 加 Disallow: /，而对检索型爬虫保持允许。

策略三：全禁

适合付费内容、内部文档、有严格版权要求的资产。但要清醒：全禁等于在 AI 回答里彻底消失，竞品会填补这个位置。

需要注意的几个细节

• robots.txt 只是约定，不是强制。部分爬虫会遵守，部分不会。真正的强制手段是登录墙或服务端限流。
• 被 robots.txt 屏蔽的页面，即使后来放开，模型也可能已经记住了「这里抓不到」。
• 不要用 robots.txt 屏蔽 CSS 和 JS，那会让所有爬虫（包括传统搜索引擎）误判页面结构。
• 部分平台提供了独立的开关（比如允许或禁止用于「AI 训练」的选项），优先级可能高于 robots.txt，需要一并检查。

怎么决策

问三个问题：一、我的内容主要靠流量变现还是靠品牌？二、我的核心竞争力是不是内容本身？三、我能不能接受竞品在 AI 回答里替代我？三个答案组合起来，策略基本就定了。

没有标准答案，但含糊的默认状态是最差的选择——多数站点从没配置过，等于把决定权交给了爬虫的默认行为。