结论先说:如果旧笔记记录的是“某个动作曾经带来结果”,修订时应把它降级为待验证假设,而不是直接删除或继续照做;如果记录的是“在什么条件下某个指标会变化”,则保留条件部分、替换结论部分。判断依据不是笔记写得多早,而是它能否被当前可核对的数据支持。下面给出修订顺序、一个会让结论失效的反例,以及下一步动作。
多数失效笔记的问题不在动作本身,而在把观察和解释混写在一起。修订时按三层拆开:
实际动作:打开旧笔记,把每条结论后面补一列“证据来源”和“适用条件”。如果某条填不出证据来源,先标记为待验证,不要作为培训或带人时的标准答案。这个动作的结果是,笔记从“结论集合”变成“可追溯的记录”,下一步才知道该重测什么。
出现与直觉相反的结果时,常见误判是把波动当成方法失效,或把一次偶然命中当成新规律。可以按以下顺序排查:
这里要提醒一个容易忽略的解释:请求量、抓取量或某项统计归零,不能单独证明你的操作正确或错误。它也可能来自统计口径调整、日志采样变化、页面被合并、访问来源改变,甚至只是采集环节中断。把这些替代解释逐一排除后,剩下的才值得写进笔记。
假设你的旧笔记写着:“把页面标题改得更贴近搜索意图后,点击率上升。”现在重测却没有上升,你准备判定这条知识失效。但存在一种反例:当前页面已经处在结果页靠前位置,标题改动带来的边际收益本就很小,而旧笔记成立时页面位置更靠后。此时失效的不是“标题与意图匹配”这个方向,而是“在当前位置上继续改标题还能提升点击”这个具体预期。
因此修订时要区分两类结论:方向性结论(在什么条件下值得做)和幅度性结论(能带来多大变化)。方向性结论可以保留,幅度性结论必须重新测量。假设某次重测中,你只改了一个页面的标题,两周内点击没有变化——这既可能是结论失效,也可能是周期太短、样本太小或同期还有别的改动。这个例子是假设,用来说明比较方法,不是真实项目结果。
把每条旧结论改写成“条件—动作—观察—当前状态”四段式,比直接删改更利于后续复用:
条件:站点阶段、页面类型、竞争环境、同期其他改动。动作:具体做了什么,精确到可复现的程度。观察:指标、时间范围、数据来源、是否有对照。当前状态:仍成立、部分成立、已失效、待验证,并写明判定日期。下一步动作:从标记为“待验证”的条目里,挑一条影响面最大的,设计一次只改一个变量的重测,并提前写下预期方向和观察周期。重测结果无论正反,都回填到“当前状态”并注明证据。这样修订后的笔记既能支撑你继续做排名提升相关工作,也能在带人或面试说明过程时,讲清哪些是已验证、哪些仍是假设。