结论先给:如果试验页的改动只影响单一模板、且你能把流量变化拆到该模板的曝光与点击上,那么终止条件应设为“连续两个完整周期内,目标指标不再改善且没有新的技术异常”,达到就停止推广或回退;如果试验页改动牵动了全站共用的导航、内链或结构化数据,那么终止条件应设为“任一核心模板出现不可解释的下跌”,而不是等试验页自己变好。两者的取舍点在于:改动的作用域是否可隔离,以及你能否承担全站回退的代价。
隔离型改动指的是只作用于一种页面类型,例如只调整产品详情页的标题写法、只补充文章页的内部推荐位。这类改动的证据链相对干净:你可以对比同模板的试验组与对照组,观察曝光、点击、停留这几类指标是否同向变化。此时终止条件可以偏“收益导向”——设定一个观察窗口,通常覆盖两个完整的自然周期,若指标不再上行,就停止扩大范围。
耦合型改动指的是改动了被大量页面共用的部分,例如主导航结构、面包屑、全站内链规则、模板级的结构化数据。这类改动一旦推广,试验页与全站页面会同时变化,你很难再把结果归因到单一变量。此时终止条件应偏“风险导向”:只要核心模板出现无法用季节、需求波动或采集差异解释的下跌,就先停止推广,而不是继续观察。
可用的终止条件至少包含三个要素:观察对象、判断指标、时间边界。例如:
写成句子的好处是,当团队对“还要不要继续”产生分歧时,可以直接回到这句话上核对,而不是靠印象争论。需要强调的是,请求量、抓取量或某项统计归零,不能单独证明改动正确或错误;它们还可能来自采集口径变化、日志保留策略调整、页面被合并或跳转,这些都要在判定前排除。
假设你在一批试验页上增加了更长的正文,试验页的停留时间上升,于是你决定推广到全站。但推广后,列表页和分类页的抓取预算被大量长正文占用,导致新页面发现变慢。这时如果终止条件仍写成“等试验页指标继续变好”,你会一直等下去,因为问题已经不在试验页,而在被牵连的其他模板上。
这个反例说明:当改动的作用域超出试验页本身时,终止条件必须包含“非目标页面”的检查项。具体动作是,在推广前先列出三到五个不该被影响的模板,推广后每次判定都先看它们有没有异常。如果这些模板出现下跌,即使试验页数据好看,也应先暂停扩大范围。
在设置终止条件之前,先确认一件事:这次改动能不能在短时间内回退到推广前的状态。做法是把改动涉及的模板、字段和配置逐项列出,并注明回退方式。例如:
这个动作的结果会直接影响终止条件的松紧:如果回退成本低,你可以把观察窗口设得稍长,允许更多波动;如果回退成本高,例如需要全量重建,那么终止条件应更敏感,宁可早停也不要拖到难以收拾。
把上面确定的观察对象、判断指标、时间边界和回退方式,写成一段简短的推广说明,附在改动记录后面。这样做的结果是:当推广进行到判定点时,你不需要重新讨论标准,只需要按记录核对,然后决定继续扩大、维持现状还是回退。判断依据是数据是否满足你事先写下的条件,而不是改动本身看起来是否合理。