先给结论:多数情况下,“报告页数”和“实际对象数量”对不上,不是工具算错,而是同一对象在报告里被拆成了多行,或你的对象清单里混入了不该算作独立对象的条目。处理方向只有三个——保留、改写、退出。保留适用于同一对象因不同参数或不同入口被重复记录;改写适用于同一对象被不同形式表达(带协议、带参数、带大小写差异);退出适用于该条目本来就不该作为独立对象参与统计。先判定属于哪一种,再动手,比直接去重更省事。
报告页数大于实际对象数量,通常是多算;报告页数小于实际对象数量,通常是少算。这两种情况的处理逻辑完全相反,不要混在一起做。
www 的形式出现、同一目录下的默认页与显式页并存。先数一遍:报告里有多少行,你的对象清单里有多少条,差值是正还是负。差值方向决定了后面该保留哪一侧。
保留的前提是——这些行确实指向同一个可访问对象,且你只关心它作为一个整体被统计的结果。判断标准不是看字符串像不像,而是看它们是否返回同一份内容。
假设你的对象清单里有 200 条,报告返回 260 行。你抽 10 组疑似重复,逐组访问,发现其中 7 组内容完全一致、3 组内容不同。那么可去重的只有那 7 组对应的行,剩下 3 组必须保留为独立对象。这一步动作的结果会直接改变你的对象总数:去重后可能是 200 条里的 190 条,而不是 260 减 60。
如果访问后发现内容一致但地址写法不同,优先保留结构最干净的那一条——不带多余参数、不带默认端口、不带尾部斜杠变体。保留哪一条不影响统计结果,但影响你后续复查时的可读性。
改写适用于对象本身没问题,但写法导致它被当成两个东西。典型情况包括:
http 与 https 混用。www。改写的动作是统一成一种形式,再重新比对。但要注意前提:只有当这些形式确实指向同一内容时,改写才成立。如果 http 版本返回跳转、https 版本返回内容,它们仍算同一对象;如果两者返回不同内容,就不该合并。
改写之后不要立刻删除旧行,而是先标记。因为改写可能引入新的重复,需要再跑一轮比对确认。确认无新增重复后,再决定是保留统一形式还是保留原始形式。
退出是最容易被忽略的一步。有些条目出现在报告里,是因为它们被访问过,但它们不是你的统计对象。常见的有:
判断是否退出的依据是:这条目是否代表一个你需要单独评估的独立对象。如果它只是同一对象的附属或过渡状态,就退出计数,但可以保留在备注里,避免以后重复排查。
退出动作的结果是对象总数下降,且下降后的数字才是你后续分析的基础。如果退出后报告页数仍大于对象数,说明还有未识别的重复,回到保留或改写环节继续处理。
把上面的判断串成一条固定顺序,能减少来回返工:
这套顺序的关键在于:改写和保留处理的是“同一对象的不同表达”,退出处理的是“本不该算的对象”。两者不要混做,否则会出现去重后反而少算的情况。如果做完一轮仍有无法解释的差值,把剩余条目单独列出,逐条确认它们是否真的指向同一内容,而不是继续批量去重。具体工具当前支持哪些比对方式、是否提供去重辅助,需要以你实际使用的版本为准,不要假设某个按钮或功能一定存在。