先给结论:自动导出遗漏分页,通常不是“再导一次”就能解决,而要先把分页清单、导出记录和页面内容三者交叉核对,确认遗漏是抓取边界、导出上限还是页面本身已不可用造成的。只有把原因分清,才能决定哪些分页值得保留、哪些需要改写、哪些应当退出索引。
分页完整性有三个可区分的观察层,混在一起看容易误判:
区分方法很直接:从导出结果中随机抽几条缺失的分页,手动访问其 URL,并回看上一页是否仍有指向它的链接。能打开且链接在,问题偏导出层;打不开或链接已消失,问题偏发现层或页面生命周期。这个动作只需几分钟,却决定了后面是调导出参数,还是处理旧页面本身。
确认遗漏后,不要默认全部补回。旧内容、旧系统或旧合作关系退出时,遗漏分页往往正好处在价值分界线上。
适用前提是:该分页有独立主题、能被站内其他页面引用,且用户搜索时可能直接落到这一页。典型情况是列表分页承载了不同批次的内容,而不是同一批内容的机械翻页。保留意味着要把它重新纳入链接结构,例如从上一页、分类页或站点地图恢复入口,并确认导出规则不再截断它。动作结果是:下一轮导出应能稳定包含这些 URL;若仍缺失,说明问题不在入口,而在抓取或导出上限,需要继续往上一层查。
适用前提是:多个分页讲的是同一主题的连续内容,单独一页信息量不足,合并后反而更完整。此时可以把若干分页整合成一个主页面,旧分页退出索引。改写后要检查两件事:主页面是否覆盖了原来分散的关键信息;旧分页是否还有外部链接或用户收藏,若有,需要评估是否保留可访问的过渡入口。动作结果是:导出清单会变短,但每个保留 URL 的完整性和可维护性更高。
适用前提是:分页对应的是过期批次、已下架内容,或旧合作关系结束后不再维护的数据。退出的动作不是简单删除,而是确认它没有仍被引用的入口,并让状态码和站点地图保持一致。动作结果是:后续导出不再把这些 URL 计入遗漏,检查范围随之收窄。这里要提醒一点:某次导出量归零或抓取量骤降,不能单独证明退出处理正确,也可能是抓取预算变化、规则误拦或任务配置改动,需要结合访问日志和链接清单一起看。
不需要复杂工具,按下面顺序做一轮即可:
假设某次导出应有 120 页,实际得到 96 页,缺失集中在第 97 至 120 页。若手动访问第 100 页可正常打开,且第 96 页仍有链接指向它,那么优先怀疑导出上限或筛选条件,而不是页面失效;反之,若第 100 页返回错误且第 96 页已无链接,则应先处理旧入口和页面状态。这个例子只说明比较方法,实际数字需以你的清单为准。
完整性检查的目的不是凑齐所有分页,而是让每个遗漏都有明确归属。保留的分页进入维护清单,改写的分页进入内容合并流程,退出的分页进入归档记录。若同一类遗漏连续两轮出现在相同区间,说明问题在规则或入口,而不是偶发抓取失败;若遗漏位置每轮都不同,则更可能是抓取稳定性或导出条件波动。按这个判断走,下一步该调规则、补入口还是收缩范围,就不会靠猜。