如何为 Google、Bing 和 AI 搜索测试 robots.txt

先明确正在执行什么检查

使用与目标 URL 的协议、主机和端口对应的 robots.txt。复制当前纯文本并记录日期。一个主机上的文件，不能证明另一个主机的规则。尤其当托管功能可能自动追加或管理规则时，应检查实际响应。

在免费的 Robots.txt 测试器中，输入准确爬虫名称，如 Googlebot、Bingbot 或 OAI-SearchBot。不要把完整的浏览器式 User-Agent 请求头粘贴到该字段。结果会展示输入所匹配的组、行号和规则。

Robots Exclusion Protocol 描述的是合作式抓取行为，并不是保护机密文件的访问控制。真正私密的材料需要身份验证或授权。参见 RFC 9309。

粘贴一个刻意保持简短的示例

说明性测试材料：下面是教学示例，不是 Jincheng 的线上 robots 文件，也不是建议你直接采用的限制策略。

User-agent: *
Disallow: /private/
Allow: /private/public/
Disallow: /*.pdf$

User-agent: OAI-SearchBot
Disallow: /private/
Allow: /private/public/
Disallow: /drafts/

下载示例规则。本地测试使用以 https://example.com 开头的 URL；工具不会请求该主机。通用组限制私有路径与 PDF 结尾，OAI-SearchBot 特定组则重复私有路径策略，并增加草稿限制。

特定组故意没有 PDF 限制，以便看清它与通用组的区别。如果希望两类爬虫都不能抓取 PDF，就需要在各自适用的组中明确表达并测试这一意图。

逐项运行预期结果矩阵

下载本地核对的结果。示例和预期值使用工具中的同一解析器进行测试。这证明这些案例可复现，不意味着与所有服务商的爬虫实现完全等价。

可以尝试将 /private/ 改为 /Private/，或在 /guide.pdf 后添加查询参数。路径区分大小写；结尾标记会影响 PDF 规则的匹配。应记录变化，而不是把外观相似的 URL 当作同一个地址。

仔细理解规则组与编码路径

协议规定，匹配 User-agent 组时不区分大小写，重复匹配的组要合并。路径匹配区分大小写，更具体的匹配规则优先；同等 Allow/Disallow 匹配中优先允许。RFC 定义了这些匹配原则。

本站工具使用准确产品名称及通用组回退，支持通配符、结尾标记，以及百分号编码非保留 ASCII 的规范化。测试包含中文和编码路径，但不模拟每种服务商扩展、网络故障或 robots 文件获取策略。若出现不支持指令的警告，应核对该服务商文档。

Google 单独说明其实现与支持字段。例如 Sitemap 行帮助内容发现，但不会改变 Allow 或 Disallow 的路径匹配。查看 Google 的解释。Bing Webmaster Tools 也提供自有 robots 测试器，供调查特定服务商行为。

把 AI 搜索访问与训练策略分开

爬虫名称并不是对所有 AI 用途的一般许可。OpenAI 将用于搜索的 OAI-SearchBot 与可能用于训练的 GPTBot 分开说明，两者设置独立。ChatGPT-User 对应某些用户触发的行动，不是控制搜索索引的爬虫。查看当前爬虫说明。

添加规则组前，先明确策略。新建一个仅包含 Allow 的特定组，可能遗漏原本期望通用组继续提供的限制。对每个新增爬虫名称，都应分别测试公开 URL 和刻意限制的 URL。

本文示例不会修改 Jincheng 的策略。添加爬虫名称也不保证可见度提高。如果需要编辑决策框架，请阅读SEO、GEO 与 AEO 的对照指南。

检查发布后的文件与托管层

1. 保存旧规则和需要保留的预期结果。
2. 对拟议文本运行矩阵，同时测试允许和禁止的情况。
3. 发布经批准的变更后，重新获取实际 robots.txt。
4. 依据服务商证据或官方检查，核对 CDN、防火墙与机器人控制。
5. 把部署结果和后续爬虫观察分开记录。

可以用内容需求生成器记录谁需要这次规则变更、尚缺什么证据，以及下一步如何验证。如果页面可以访问却没有收录，应转向收录诊断清单，而不是继续添加爬虫名称。

语言标注请使用hreflang 工具，它解决的是另一个任务。规则、语言映射与收录观察，应在变更记录中分别填写。