标注是 ground truth——「换个大半码」这一句，两个客服能标出三个答案
客户一句「想换个大半码」，埋着四个必须判的分叉：换货还是退货、走不走物流拦截、要不要补差价、按哪个价补。两个熟练客服背对背标同一批 50 条，只对上 35——你那个 96% 准确率，是拿一把 70% 自相矛盾的尺子量出来的。读完 20 分钟能拿到一套先测一致率、再把「补差价按哪个价」这类写进 rubric 的落地流程。
Jul 4, 2026·17分钟阅读
← All posts
数据标注
4 posts
标了 50 条、96% 做对，能上线吗？——标注量该看 CI 下界，不看那个漂亮数字
「标了 50 条，96% 做对，能上线吧？」——不能，统计下界只有 86%。我给客服 Agent 设计标注准入时，第一条拍死的规则就是：看置信区间下界，不看点估计。读完 5 分钟能识破小样本 96% 的假达标，10 分钟能拿到一张「真实做对率 → 该标多少条」的爆炸表，20 分钟能搭出一套 CI 停止准则——该多标的多标、达标的别浪费、标到某个点该停手回去改 agent。
Jul 3, 2026·16分钟阅读
随机抽样报的 96%，按渠道一拆就红了——评估集抽样的两种致命失效
供应商随机抽 200 条报「准确率 96%」。我把这 200 条按渠道拆开，抖音公域那格里差价类几乎全错——大流量的私域把它稀释成了漂亮数字。读完 5 分钟能识破随机抽样的两种失效（漏长尾 + 大渠道稀释小渠道），10 分钟能问出让评估集现原形的抽样问题，20 分钟能拿到一张渠道下钻 + 风险层过采样的分层抽样框。
Jul 2, 2026·18分钟阅读
你以为定义好的意图够用了——1102 条样本里有 800 条说『不』｜Agentic AI 落地方法论（十）
客服 Agent 跑了 3 个月，36 个意图体系、unknown 占 40%，业务方第一反应『加点 LLM 兜底』。问题根本不在分类器——在意图体系本身。读完 5 分钟能识破『unknown 高 = 模型弱』的伪诊断，10 分钟能用四象限判定规则筛掉 80% 的伪缺失意图建议，20 分钟能拿到 corpus → codebook 的迭代流程——把意图体系从 36 稳定演进到 48，下次评审会直接拍桌上。
May 28, 2026·14分钟阅读