先给结论:报告页数与实际对象数量不一致时,不要直接按页数相加,也不要急着删数据,而要先确认“一页里装的是什么”。如果一页只对应一个查询对象,页数就是对象数;如果一页包含多个对象、多个地区或多个时间点的结果,页数只是导出批次,必须回到对象标识去重。缺少完整数据或权限时,仍可做的最小动作是:拿一份带对象标识的导出样本,按标识排序,人工核对重复来源,再决定合并规则。这个动作只能说明样本内的重复关系,不能证明全量报告已经去重,也不能推出某个对象一定没有遗漏。
假设有一个用于演示的情境:某站点用网站关键词优化软件导出一份报告,界面显示 120 页,但清单里实际只有 80 个待检测对象。这个差距不一定代表工具有问题,常见原因有几类。
区分这几种原因,证据不在页数,而在导出文件里有没有稳定的对象标识列。如果只有页码和展示文本,没有对象 ID、规范化 URL 或统一查询串,那么页数差异只能说明“当前视图不可直接计数”,不能说明重复已经发生或没有发生。
没有完整导出权限、只能看到部分页面时,可以按下面顺序做一次样本核对。这个动作的目标不是完成全量去重,而是判断重复属于哪一类,从而决定下一步该向谁要什么数据。
做完这一步,下一步会变得明确:若重复只来自分页,向数据提供方索取不分页的原始导出即可;若重复来自条件维度,需要先确定报告要回答的是“每个对象一行”还是“每个对象每个条件一行”,再决定汇总口径。这个判断不能靠页数完成。
当一页里确实包含多个维度时,正确做法不是把行数压到对象数,而是建立复合键。假设演示情境中的 80 个对象各配 3 个地区,那么 240 行是合理的,页数可能接近 120 页,此时“页数多于对象数”完全正常。
可以这样设定去重键:对象标识 + 地区 + 设备 + 时间粒度。只有这四个字段完全相同的行,才视为重复。若缺少其中某个字段,就不要假装它能参与去重,而应在报告里标注“该维度未采集”。这样处理的结果是:报告行数可能仍大于对象数,但每一行都有明确含义,后续汇总时不会把不同条件误当成重复对象删掉。
页数与对象数不一致,既不能证明工具有重复采集问题,也不能证明数据完整。请求量、抓取量或某个统计归零,同样不能单独证明去重正确,因为还可能是筛选条件、权限范围或导出时间窗口造成的。缺少完整数据时,可以确认的只是样本内的重复模式;不能确认全量对象是否齐全,不能确认某个对象在所有条件下都被覆盖,也不能据此判断报告质量高低。
因此,实际动作应停在“识别重复类型并确定复合键”这一步,然后把需要补的字段列成清单,再决定是否继续合并、汇总或重新导出。这样即使权限不全,也不会因为一次错误的去重把有效条件行删掉。