当页面从几十个增长到几百上千个,真正该停止手工的通常不是“写内容”本身,而是那些需要逐页重复判断、重复改动、重复核对的工作。判断标准很直接:如果一项操作的结果取决于页面数量、必须保持同一规则,且漏做一页就会让后续判断失真,它就不适合继续手工做。相反,只涉及少数高价值页面、需要结合业务语境单独决策的工作,手工反而更稳。
规模扩大后最先失效的是“逐页看、逐页改”的核对型工作。典型包括:检查每页标题是否重复、确认内链是否指向有效页面、核对分页与筛选参数是否产生可抓取入口、比对同一模板下的正文是否被大量复用。这类工作的共同点是规则明确、页面之间高度相似,但数量一多,人工执行就会同时出现两种问题:速度跟不上新增页面,以及前后判断标准漂移。
更关键的是,手工遗漏会污染后续决策。假设一个站点有八百个商品页,你手工抽查了六十页,发现二十页标题重复,于是判断“模板有问题”。但如果剩下七百多页里重复比例完全不同,这个结论就站不住。此时应该做的动作是:先把重复规则写成可批量执行的检查条件,用一次全量结果替换抽样印象,再决定是改模板、改数据源,还是只处理少数例外页。这个动作的结果会直接影响下一步——如果全量显示重复集中在某个类目,问题就在该类目的数据填充;如果全站均匀分布,才轮到模板层。
不是所有工作都该交出去。以下情况继续手工更合适:
这三类前提的共同点是:手工的价值来自“例外判断”,而不是“重复执行”。一旦例外变成常态,说明规则还没被提炼出来,此时该做的是补规则,而不是继续加人手。
从手工转向批量,不是简单找个工具跑一遍,而是先把你的判断过程写清楚。以标题重复为例,手工时你实际在做的是:提取标题、去掉品牌词和分隔符、比较剩余部分是否相同、标记重复组。把这四步写成规则后,才能稳定地对全站执行。
这里有一个常见的取舍:规则越严,误报越少但漏报越多;规则越松,覆盖越全但需要人工复核的队列越长。假设你用“去掉品牌词后完全相同”作为重复标准,可能只抓出明显重复;改成“相似度超过某个阈值”,就会把正常的长尾差异也拉进来。两种选择都成立,取决于你下一步要做什么——如果只是清理明显重复,用严规则;如果要评估模板整体的内容同质化程度,就需要松规则加人工复核。
动作上,建议先在一小部分页面上跑规则,把结果和手工判断对照。如果对照差异集中在某几类页面,就调整规则而不是放弃批量。这个对照结果决定了规则能否推广到全站,也决定了你还需要保留多少人工复核。
有些手工工作不是“做得慢”,而是继续做已经没有意义。比如在页面数量已经很大时,仍然靠手工记录每页的收录状态并逐条跟进。抓取、索引、排名是不同环节,收录状态变化可能来自抓取预算分配、页面质量、站点结构等多重原因,逐页记录既无法定位原因,也无法覆盖全量,只会消耗判断力。
更合理的退出方式是:把“逐页记录”换成“按模板或按类目聚合观察”。如果某个模板下的页面整体表现异常,再去抽查具体页面;如果聚合层面没有异常,就不必逐页确认。这里要注意,聚合数据归零或某项统计下降,不能单独证明你的处理正确,它也可能来自抓取波动、统计口径变化或外部环境变化。退出手工记录的前提是,你已经有一个稳定的聚合口径,并且知道异常时该往哪个方向排查。
这个顺序的核心不是追求全自动化,而是让每一项工作的执行方式匹配它的判断类型。规则型工作交给批量,语境型工作留给人,观察型工作交给聚合口径。规模扩大后,真正稀缺的不是操作次数,而是能稳定复用的判断标准。