Jul 5, 2026一个漂亮的做对率，盖住了几十个会动钱的错——上线判定该怎么读数我带过的一个资损项目，总做对率报得很好；可把资损意图单独拆出来一算，误操作率高得吓人，几十个会动钱的错一直留着——一个总数把它们全藏住了。读完 5 分钟能识破「一个准确率申请上线」的陷阱，10 分钟能给会动钱的错单独设一道盯误操作率的闸，20 分钟能搭出「看 CI 下界 + 逐场景切旧账 + 分渠道放量」的上线判定流程。Agent 上线之后 · 17分钟阅读 · 中 · EN
Jul 3, 2026标了 50 条、96% 做对，能上线吗？——标注量该看 CI 下界，不看那个漂亮数字「标了 50 条，96% 做对，能上线吧？」——不能，统计下界只有 86%。我给客服 Agent 设计标注准入时，第一条拍死的规则就是：看置信区间下界，不看点估计。读完 5 分钟能识破小样本 96% 的假达标，10 分钟能拿到一张「真实做对率 → 该标多少条」的爆炸表，20 分钟能搭出一套 CI 停止准则——该多标的多标、达标的别浪费、标到某个点该停手回去改 agent。Agent 上线之后 · 16分钟阅读 · 中 · EN