训练爬虫 vs 搜索爬虫：WordPress robots.txt 实战指南

许多 WordPress 站长希望阻止内容被无偿抓取用于大模型预训练，但同时又希望自己的文章能出现在 ChatGPT Search、Perplexity 和 Google AI Overviews 的引用链接中，从而获得真实的读者点击。

如果在 robots.txt 中将所有 AI 机器人一刀切屏蔽，往往会连同 AI 搜索与检索爬虫 一起拦截。先分清三类 AI 爬虫的职责，才能制定符合站点目标的访问规则。

三类 AI 爬虫的核心区别

主流 AI 服务商正逐步按用途拆分各自的 User-Agent：

类别	代表性 User-Agent	主要用途	在 robots.txt 中屏蔽后的影响
1. 模型训练爬虫	GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider	抓取公开网页语料，用于训练或微调基础大模型	声明不希望站点内容被纳入后续模型训练语料
2. AI 搜索与检索爬虫	OAI-SearchBot、PerplexityBot、Applebot	发现并索引网页，在 AI 搜索回答中展示来源链接与摘要	降低或阻止页面在 AI 搜索结果中作为引用信源出现
3. 用户触发式抓取器	ChatGPT-User、Claude-Web、Perplexity-User	当人类用户在对话框中主动发链接让 AI 阅读或总结时发起请求	导致用户在与 AI 对话时无法直接读取你发出的网页链接

重要边界说明： robots.txt 是君子协定。合规服务商会公开声明哪些 User-Agent 遵守 Disallow 指令，但不守规矩的抓取程序可能无视 robots.txt 或伪造 User-Agent 请求头。

WordPress 常用 robots.txt 配置方案

方案 A：放行 AI 搜索引用，拒绝模型训练抓取

如果你希望网站继续出现在 AI 搜索结果中并获取引荐点击，但拒绝将内容用于基础模型训练：

# 放行 OpenAI 搜索索引，拒绝模型训练抓取
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

# 放行 Perplexity 搜索索引
User-agent: PerplexityBot
Allow: /

# 拒绝 Anthropic 与 Google 模型训练语料抓取
User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 保持 WordPress 默认后台路径限制
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

方案 B：最大化 AI 搜索与知识库可见度

如果是产品官网、技术文档、开源项目或希望尽可能扩大品牌曝光的内容站，可以对主流训练与检索爬虫全部放行：

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

WordPress 站点最容易踩的 4 个坑

1. 虚拟 robots.txt 与实体文件冲突 WordPress 默认动态生成 /robots.txt；但如果网站根目录下存在真实的 robots.txt 物理文件，服务器会直接返回物理文件，导致你在 WordPress 后台或插件里修改的规则完全不生效。
2. 多插件规则覆盖 Yoast SEO、Rank Math、All in One SEO 等插件可能各自维护一套 robots.txt 输出。修改后务必直接在浏览器访问 https://你的域名/robots.txt 核对最终文本。
3. CDN 与防火墙（WAF）误拦截 即便 robots.txt 写了 Allow: /，如果 Cloudflare 等 CDN 开启了激进的“Bot Fight Mode”或质询规则，AI 搜索爬虫在到达 WordPress 之前就会收到 403 Forbidden 或验证码页面。
4. 把“爬虫抓取量”误当成“读者访问量” 日志里出现几千次 GPTBot 或 ClaudeBot 请求只代表机器人抓走了页面。必须将爬虫请求与来自 ChatGPT、Perplexity 的**真实人类引荐点击（Referrals）**分开对照，才能知道哪些内容真正带来了读者。

下一步：验证你的站点配置

1. 在线检测 robots.txt 与 llms.txt： 使用免费的 AI 搜索就绪度体检工具 输入你的网址，几秒钟内检查主流 AI 爬虫放行状态、Schema.org 结构化数据和 llms.txt 规范。
2. 在 WordPress 后台查看真实访问： 从 WordPress.org 免费安装 OwlyCrackGeo 插件，在本地数据库记录 60+ 种 AI 爬虫活动，使用正反向 DNS 校验支持的爬虫身份，并对比爬虫抓取与 AI 引荐点击。
3. 深入了解各项指标边界： 阅读理解数据，了解爬虫活动、AI 引荐归因、十维内容准备度与 IndexNow 通知之间的关系。