网站规模扩大后,最先不该继续手工做的,是那些需要跨大量URL重复判断、且判断标准已经稳定下来的工作,例如批量检查标题与描述是否重复、批量核对内链是否指向已删除页面、批量确认新页面是否被正确索引。手工做这些事在几十个页面时可靠,到几千个页面时会变成瓶颈,而且漏检率上升。但“规模大”本身不是唯一证据,还要看这项工作是否已经形成固定规则、是否频繁重复、出错后能否被自动发现。
很多团队在页面数量增长后仍坚持手工处理每一条标题、每一个内链,理由是“人工判断更准”。但实际观察到的结果常常相反:手工覆盖的比例下降,重复问题反而增多。原因不是人不认真,而是工作量超过了人工能稳定覆盖的范围。此时有两种解释需要区分。
这两种解释对应完全不同的动作:前者应先统一规则,后者才应转向脚本或工具。把它们混为一谈,就会出现“上了工具但问题没减少”或“一直手工但永远做不完”的僵局。
要判断自己属于哪一种,可以抽取最近一次全站检查的记录,按问题类型分组,看同一类问题的处理动作是否高度一致。一个可操作的判断方法是:随机取30个同类问题,记录每个问题的处理方式。如果超过八成处理方式相同,说明规则已经稳定,适合交给脚本;如果处理方式分散,说明规则还没收敛。
另一个证据是漏检的分布。手工检查后仍被发现的遗漏,如果集中在“数量最多的那类页面”,通常指向执行量问题;如果分散在各类页面且每次遗漏原因不同,通常指向规则不清。这里要注意,抓取量下降或某项统计归零,不能单独证明手工做错了,也可能是抓取预算变化、页面被合并或索引策略调整,需要结合具体页面状态判断。
在规则稳定的前提下,下面这些工作不适合继续手工做:
仍应保留人工的工作包括:判断某个页面是否值得被索引、决定内容是否满足用户意图、处理涉及品牌表述和合规的文案。这些工作需要上下文,规则难以完全固化。
一个假设例子:某站点有5000个页面,团队每周手工检查200个页面的标题重复情况。按这个速度覆盖全站需要约25周,期间新页面还在增加。如果改成脚本先筛出疑似重复的页面,人工只复核脚本标记的条目,假设标记出150个,人工只需处理这150个。这个数字只是说明比较方法,不是实际项目结果。动作的关键在于:先让脚本做初筛,人工判断边界情况,再把判断结果反哺回规则。这样下一步才能决定是扩大脚本覆盖范围,还是先停下来统一规则。
当手工检查只能覆盖一小部分页面时,团队容易把“检查过的部分没问题”当成“全站没问题”。这会掩盖两类风险:一类是未被检查页面上的重复内容,另一类是索引状态异常。要避免这种误判,应把检查范围、覆盖比例和未覆盖部分明确写下来,而不是只看通过率。
如果决定引入脚本或工具,第一步不是追求全自动,而是先让机器输出一份可核对的清单,人工复核后再决定哪些规则可以固化。这样即使自动化暂时不完善,也能清楚知道哪些工作已经不再适合手工做,哪些还需要人来判断。