技术 SEO
日志分析入门:看搜索引擎到底爬了哪些页面
不看日志做 SEO,等于闭着眼睛调参数。
一句话结论
日志能回答三个工具答不了的问题:爬虫来了多少次、爬了哪些没用的页面、被什么挡住了。
先筛出爬虫请求
nginx 日志里用 UA 关键字筛:Googlebot、Baiduspider、bingbot、YisouSpider,以及 AI 侧的 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot。注意 UA 可以伪造,重要判断要结合 IP 反查。
统计维度建议四个:每天请求数、状态码分布、被访问 URL 的目录分布、单页平均抓取间隔。这四个维度足以判断抓取健康度。
抓取预算被谁吃掉了
| 现象 | 通常原因 | 处理 |
|---|---|---|
| 参数页占请求量一半以上 | 筛选/排序/分页生成无限 URL | canonical + robots 精确屏蔽 |
| 大量 404 被反复抓取 | 旧链接未 301,内链未清理 | 301 到新页,修内链 |
| 大量 302 跳首页 | 移动端错误跳转或地域跳转 | 改为 301 或按需渲染 |
| CSS/JS 请求被 403 | 安全策略拦了静态资源 | 放行静态资源 |
| 图片请求远超页面 | 懒加载失效或雪碧图缺失 | 修懒加载,压缩图片 |
命令与工具
小站直接用 grep + awk 就够:按 UA 过滤、按状态码聚合、按目录统计。大站建议用日志分析工具或把日志导入数据库,按周出报表。关键是固定口径,否则每月数字无法对比。
月度检查清单
- 爬虫总请求量是否稳定,有无断崖式下跌
- 5xx 比例是否超过 0.5%
- 核心栏目页是否每天都有抓取
- 新发布页面是否在 48 小时内被抓取
- AI 爬虫是否被误拦
这篇内容由聚我咨询编辑部维护。涉及具体项目判断,建议结合站点数据分析,不要直接套用。