Yaqin Hei
Agent AuditSeriesVideosAbout
← All posts

标注一致率

1 post

标注是 ground truth——「换个大半码」这一句,两个客服能标出三个答案

客户一句「想换个大半码」,埋着四个必须判的分叉:换货还是退货、走不走物流拦截、要不要补差价、按哪个价补。两个熟练客服背对背标同一批 50 条,只对上 35——你那个 96% 准确率,是拿一把 70% 自相矛盾的尺子量出来的。读完 20 分钟能拿到一套先测一致率、再把「补差价按哪个价」这类写进 rubric 的落地流程。

Jul 4, 2026·17分钟阅读

微信公众号 京墨AI研习社 @HeiLabAI · 视频号 Yaqin.AI

X @yaqinhei · GitHub @AmyHei · amyheiny@gmail.com

© 2026 Yaqin Hei · About