← 云枢 AI 导航 · 工具库
AI 爬虫防护检查：谁在抓你，以及怎么拦
内容被用来训练模型这件事，已经从「无所谓」变成需要向老板解释的问题。这个工具读你的 robots.txt，逐个告诉你这些爬虫现在能不能抓，并把该写的配置直接生成出来。
立即使用 →
English
robots.txt 的分组语法不难，但很容易写错：User-agent: * 的兜底规则、多个 agent 共用一个分组、给某个爬虫单独开例外——写错一个字，结果就完全相反。这个工具按规范解析一遍，把「机器实际会怎么理解」翻译成人话。
需要提醒的是：robots.txt 是君子协定。遵守它的爬虫会停，不遵守的照样抓。真要拦，得在 nginx 或 WAF 层做。所以页面上同时给了两套配置。
它会检查什么
- 15 个已知 AI 爬虫逐个判定：已拦截 / 明确放行 / 未提及
- 未提及 = 默认允许（很多人以为是默认禁止）
- 生成 robots.txt：全部禁止 / 只禁训练放行搜索
- 生成 nginx
map 规则：按 UA 直接 403
常见问题
- 拦截 GPTBot 会影响 Google 收录吗？
- 不会。GPTBot 是 OpenAI 的抓取器，和 Googlebot 是两套。但要注意 Google-Extended 只控制 Gemini 训练，不影响 Google 搜索排名。
- 为什么我的 robots.txt 里禁止了，工具还是说「未提及」？
- 最常见的原因是写在了注释里，或者
User-agent 拼错、用了中文冒号。工具按规范解析，只认 ASCII 冒号与有效分组。
- 拦了就能防住吗？
- 不能。robots.txt 只对守规矩的爬虫有效。真正要防，用页面上生成的 nginx 规则，或者上 WAF。
相关工具