技术 SEO
robots.txt 与 sitemap:最常见的 7 个配置错误
一行 Disallow 能让整站消失,七个错误里有三个属于这一类。
一句话结论
robots.txt 是“禁止通行”的牌子,不是索引控制工具。想阻止收录用 noindex,想阻止抓取才用 robots。
七个高频错误
- 写了 Disallow: / 又忘了删:测试环境配置同步到生产,整站从索引里消失
- 拦住 CSS 与 JS:爬虫看不到样式与脚本,无法判断移动端可用性,直接影响渲染评估
- sitemap 里塞了 404、301、noindex 的 URL:浪费抓取预算,还降低 sitemap 可信度
- 通配符用错:Disallow: /*? 会拦掉所有带参数的 URL,包括分页与筛选的有效页面
- 把 AI 爬虫一起拦了:GPTBot、OAI-SearchBot、PerplexityBot 被 404,等于放弃 AI 入口
- sitemap 不更新:新页面不在里面,老页面还在里面,久而久之形同虚设
- 编码与换行错误:BOM 头、CRLF 混用、中文路径未编码,部分爬虫会解析失败
一份干净的 robots.txt
基础结构是:允许主流搜索引擎,声明 sitemap,按需屏蔽低质参数页与后台路径,明确 AI 爬虫策略。不建议在这里做复杂的 UA 分组,越复杂越容易出错。
| 目的 | 正确做法 | 错误做法 |
|---|---|---|
| 阻止页面被收录 | 页面加 noindex | robots 里 Disallow |
| 阻止抓取后台 | Disallow: /admin/ | Disallow: / |
| 减少参数页抓取 | 精确匹配参数或加 canonical | Disallow: /*? |
| 让 AI 能引用 | 放行 OAI-SearchBot、PerplexityBot | 统一 404 所有 Bot |
sitemap 的正确用法
只放 200 状态、可索引、有搜索价值的 URL;每个 URL 带最后修改时间;超过 5 万条要分片并写索引文件;提交到各搜索引擎资源平台,同时在 robots.txt 里声明位置。它不是“提交就一定收录”的按钮,而是减少发现成本的通道。
改完 robots.txt 一定要用资源平台的测试工具验证一遍,并观察 48 小时内的抓取量变化。
这篇内容由聚我咨询编辑部维护。涉及具体项目判断,建议结合站点数据分析,不要直接套用。