SEO · GEO 双引擎增长外包·广东 · 深圳

工作日 9:00–18:30免费站点诊断

网站SEO优化外包 juwood.cn 免费诊断
公告

资深专家领衔,技术保障,系统解决方案+辅导

了解服务

技术 SEO

robots.txt 与 sitemap:最常见的 7 个配置错误

一行 Disallow 能让整站消失,七个错误里有三个属于这一类。

聚我咨询编辑部 2026 年 11 月 10 日 约 7 分钟

一句话结论

robots.txt 是“禁止通行”的牌子,不是索引控制工具。想阻止收录用 noindex,想阻止抓取才用 robots。

七个高频错误

  1. 写了 Disallow: / 又忘了删:测试环境配置同步到生产,整站从索引里消失
  2. 拦住 CSS 与 JS:爬虫看不到样式与脚本,无法判断移动端可用性,直接影响渲染评估
  3. sitemap 里塞了 404、301、noindex 的 URL:浪费抓取预算,还降低 sitemap 可信度
  4. 通配符用错:Disallow: /*? 会拦掉所有带参数的 URL,包括分页与筛选的有效页面
  5. 把 AI 爬虫一起拦了:GPTBot、OAI-SearchBot、PerplexityBot 被 404,等于放弃 AI 入口
  6. sitemap 不更新:新页面不在里面,老页面还在里面,久而久之形同虚设
  7. 编码与换行错误:BOM 头、CRLF 混用、中文路径未编码,部分爬虫会解析失败

一份干净的 robots.txt

基础结构是:允许主流搜索引擎,声明 sitemap,按需屏蔽低质参数页与后台路径,明确 AI 爬虫策略。不建议在这里做复杂的 UA 分组,越复杂越容易出错。

目的正确做法错误做法
阻止页面被收录页面加 noindexrobots 里 Disallow
阻止抓取后台Disallow: /admin/Disallow: /
减少参数页抓取精确匹配参数或加 canonicalDisallow: /*?
让 AI 能引用放行 OAI-SearchBot、PerplexityBot统一 404 所有 Bot

sitemap 的正确用法

只放 200 状态、可索引、有搜索价值的 URL;每个 URL 带最后修改时间;超过 5 万条要分片并写索引文件;提交到各搜索引擎资源平台,同时在 robots.txt 里声明位置。它不是“提交就一定收录”的按钮,而是减少发现成本的通道。

改完 robots.txt 一定要用资源平台的测试工具验证一遍,并观察 48 小时内的抓取量变化。

这篇内容由聚我咨询编辑部维护。涉及具体项目判断,建议结合站点数据分析,不要直接套用。

技术 SEO SEOGEO

这篇看完还有具体问题?

把域名和问题一起发过来,我们按你的站点情况回答,不发模板话术。

广告