AI 搜索与 GEO
AI 爬虫白名单:GPTBot、OAI-SearchBot、PerplexityBot 该不该放
训练爬虫和检索爬虫不是一回事,别一刀切。
一句话结论
AI 爬虫分两类:训练用(决定模型学不学你)和检索用(决定答案引不引用你)。要区分对待,不要一刀切。
常见 UA 与用途
| UA | 用途 | 屏蔽后果 |
|---|---|---|
| GPTBot | OpenAI 训练数据抓取 | 内容不进训练集,不影响检索引用 |
| OAI-SearchBot | ChatGPT 搜索的检索 | 无法作为搜索来源被引用 |
| ChatGPT-User | 用户主动访问网页时触发 | 用户让你读页面时失败 |
| PerplexityBot | Perplexity 检索 | 不出现在 Perplexity 答案里 |
| ClaudeBot | Anthropic 训练抓取 | 不影响 Claude 的联网检索 |
| Bytespider | 字节系抓取(含搜索) | 可能影响豆包等产品的收录 |
策略建议
内容型、服务型企业站:建议放行检索类爬虫(OAI-SearchBot、PerplexityBot、ChatGPT-User),训练类可自行权衡。多数企业站没有理由屏蔽训练爬虫——被模型学习反而有利于品牌被提及,除非内容是你的核心资产(付费报告、独家数据)。
电商与内容付费站:可以对训练爬虫设限,但不要连带屏蔽检索爬虫,否则等于放弃 AI 入口。
配置注意
- robots.txt 里的 UA 必须精确匹配,写错一个字母就等于没写
- CDN/WAF 的 Bot 管理可能覆盖 robots 设置,两边都要查
- 屏蔽后不会立刻生效,已有索引需要时间清理
- 定期看日志确认这些 UA 是否真的能进来(返回 200)
别忽略的一件事
有些站点为了“防采集”全站返回 403 给非主流 UA,结果把 AI 检索也挡在门外。安全与可见性要平衡:用速率限制、验证码保护接口,而不是把整站关掉。
这篇内容由聚我咨询编辑部维护。涉及具体项目判断,建议结合站点数据分析,不要直接套用。