做了五年资讯站,最让人睡不着的一封邮件不是"收录下降",而是"索引量下降"。前者说明有新内容没被收,后者说明收过的东西被吐出来了。
上个月我的一个站,索引量从 4.2 万掉到 3.1 万,只用了六天。没有任何人工干预记录,也没改过模板。这种时候别急着改标题改内容,先把数据拆开看,原因主要落在三种情况里。
先分清是"掉索引"还是"掉展现"
打开百度搜索资源平台的"索引量"曲线,同时看"流量与关键词"。两种情况完全不同:
- 索引量掉、流量跟着掉:真的被移除了,需要处理页面质量
- 索引量掉、流量没掉甚至涨:多半是无效页面被清理,属于正常优化,别慌
我这次是后者。掉的 1.1 万里,有 9000 多条是以前采集来的空壳页——标题堆关键词、正文只有两行、没有配图。这是搜索引擎在清理垃圾,不该拦。
情况一:站点结构变动导致大批 404
改版、换伪静态、合并分类,都会让老 URL 变成 404。百度抓一次 404 就删一次索引,几千个 URL 一起 404,索引量就是断崖式下跌。
自查方法:资源平台的"抓取异常"里看 404 数量曲线,跟索引量下跌的时间点对齐。真对上了,把老 URL 301 到最相关的新地址,能救回大部分。
301 生效需要时间,一般两到四周能看到索引回补。
情况二:页面质量批量下滑
这个最隐蔽。常见诱因是模板改版把正文压没了——比如加了太多广告位、侧边栏推荐、相关阅读,正文占比从 60% 掉到 20%。百度白皮书里对"页面体验"的要求是正文主体清楚、广告不干扰阅读,模板一改全中招。
对比一下改版前后的正文 HTML 长度就很直观:
如果正文块占比不到页面的三分之一,基本就是这个问题。我建议正文区至少保留 800 字以上的可见内容,广告位不超过 3 个,且不要插在首段。
情况三:服务器不稳定,抓取失败率升高
索引量的镜像指标是抓取成功率。资源平台"抓取频次"里能看到每天的抓取次数和失败次数。如果失败率超过 5%,百度会把站点判定为不稳定,降低抓取预算,索引自然跟着掉。
排查顺序是:先看服务器有没有 502/504 记录,再看是不是 WAF 拦了百度蜘蛛的 UA,最后看 robots.txt 有没有误封目录。我遇到过一次是防护插件把百度蜘蛛的 IP 段当成恶意爬虫,直接返回 403,一周掉了三分之一索引。
这条命令能直接看出蜘蛛抓取的状态码分布。全是 200 才正常。
处理顺序和观察周期
先止血——修 404、修服务器、恢复模板正文;再观察——索引量恢复通常要两到四周,别一天看八次;最后补量——把被删掉的有效页面重新提交 sitemap,重点推内链好的老文章。
还有一点:别一次性改太多。同一周内改模板、改 URL、改标题,出了问题无法归因,也容易被判定为站点异常。一次只动一个变量,比什么优化技巧都管用。
