Tag

企业AI落地

20 posts

一个漂亮的做对率，盖住了几十个会动钱的错——上线判定该怎么读数

我带过的一个资损项目，总做对率报得很好；可把资损意图单独拆出来一算，误操作率高得吓人，几十个会动钱的错一直留着——一个总数把它们全藏住了。读完 5 分钟能识破「一个准确率申请上线」的陷阱，10 分钟能给会动钱的错单独设一道盯误操作率的闸，20 分钟能搭出「看 CI 下界 + 逐场景切旧账 + 分渠道放量」的上线判定流程。

Agent 上线之后 · 17分钟阅读 · 中 · EN

让 agent 越用越准，而不是越用越笨——数据飞轮怎么转起来

标注里我们发现开学季促销问的人巨多，但其中「送赠品怎么领」一直没答好——于是针对性补了 KB，下一轮这类就上来了。这就是数据飞轮。读完 5 分钟能看清前五篇其实是一个轮子的五根辐条，10 分钟能识破「飞轮空转」(数据堆成山却从不 ship)的根因，20 分钟能拿到一套按 频率×代价 排序、还会逼你拆分意图的回流流程。

Agent 上线之后 · 16分钟阅读 · 中 · EN

看板全绿，agent 却在悄悄变笨——上线之后的静默退化

在一家消费级科技公司做客服 Agent，我盯指标盯出一个反直觉的认知：它从来不是一条平线。每次新品发布、每个开学季，问题分布就变、涌现一批新问法，agent 悄悄变笨——而 CPU / QPS / 延迟全绿的看板上一个像素都看不到。读完 5 分钟能识破「看板绿 = 健康」的错觉，10 分钟能列出 6 个比客诉早几周报警的 leading 信号，20 分钟能把评估集从「冻在上线那天」改成持续从当前流量重抽。

Agent 上线之后 · 17分钟阅读 · 中 · EN

标注是 ground truth——「换个大半码」这一句，两个客服能标出三个答案

客户一句「想换个大半码」，埋着四个必须判的分叉：换货还是退货、走不走物流拦截、要不要补差价、按哪个价补。两个熟练客服背对背标同一批 50 条，只对上 35——你那个 96% 准确率，是拿一把 70% 自相矛盾的尺子量出来的。读完 20 分钟能拿到一套先测一致率、再把「补差价按哪个价」这类写进 rubric 的落地流程。

Agent 上线之后 · 17分钟阅读 · 中 · EN

标了 50 条、96% 做对，能上线吗？——标注量该看 CI 下界，不看那个漂亮数字

「标了 50 条，96% 做对，能上线吧？」——不能，统计下界只有 86%。我给客服 Agent 设计标注准入时，第一条拍死的规则就是：看置信区间下界，不看点估计。读完 5 分钟能识破小样本 96% 的假达标，10 分钟能拿到一张「真实做对率 → 该标多少条」的爆炸表，20 分钟能搭出一套 CI 停止准则——该多标的多标、达标的别浪费、标到某个点该停手回去改 agent。

Agent 上线之后 · 16分钟阅读 · 中 · EN

随机抽样报的 96%，按渠道一拆就红了——评估集抽样的两种致命失效

供应商随机抽 200 条报「准确率 96%」。我把这 200 条按渠道拆开，抖音公域那格里差价类几乎全错——大流量的私域把它稀释成了漂亮数字。读完 5 分钟能识破随机抽样的两种失效（漏长尾 + 大渠道稀释小渠道），10 分钟能问出让评估集现原形的抽样问题，20 分钟能拿到一张渠道下钻 + 风险层过采样的分层抽样框。

Agent 上线之后 · 18分钟阅读 · 中 · EN

自助率 ≠ 做对率：上线前到底卡哪几道闸｜Agentic AI 落地方法论（十三）

老板会上那句「自助率到底要 65 还是 90」，把质和量两个轴塞进了一个数字——一笔退错钱的单子，面板上照样是 approved。读完 5 分钟能识破「自助率 95%」式的单数字汇报，10 分钟能照着搭出 9 门槛分三层的上线准入闸，20 分钟能在准入会上问出「这条红线是真对账了，还是接口没通靠转人工兜」这种让虚假绿勾当场暴露的问题。

Agentic AI 落地方法论 · 15分钟阅读 · 中 · EN

组织架构图才是真正的架构图：Agent 项目空转，根因 90% 不在技术｜Agentic AI 落地方法论（十二）

标注交了、评测基线建了、4 个场景跑通了——项目还是空转了 3 周。复盘根因不是代码，是 RACI 表上 5 个角色写着「待定」。读完 5 分钟能识破「项目组已经组好了」的假到位，10 分钟能照着画出 Agent 落地必须新增的 3 个角色 + 一张 ownership 表，20 分钟能在立项会上问出「这条知识谁有权标过期」这类让组织缺口当场暴露的问题。

Agentic AI 落地方法论 · 14分钟阅读 · 中 · EN

AI 起草的 25 页方案里 11 条事实是编的——第二个 Agent 当审稿人的 3 阶段卡口｜Agentic AI 落地方法论（十一）

供应商提交的 PPT、AI 写的合规邮件、用 Claude 起草的内部方案——事实密集型输出里编造率 20-30% 是基线。读完 5 分钟能识破『让 LLM 自己 double-check』的伪验证，10 分钟能拿到 DRAFT → VERIFY → FINALIZE 3 阶段流程模板，20 分钟能把 7 类反复踩坑的事实错误（enum 大小写 / 招生 email / API 路径 / 模型 ID / deadline）变成 PR checklist 卡口——下次审 AI 写的材料时，每一条声明都能溯到代码或链接。

Agentic AI 落地方法论 · 13分钟阅读 · 中 · EN

你以为定义好的意图够用了——1102 条样本里有 800 条说『不』｜Agentic AI 落地方法论（十）

客服 Agent 跑了 3 个月，36 个意图体系、unknown 占 40%，业务方第一反应『加点 LLM 兜底』。问题根本不在分类器——在意图体系本身。读完 5 分钟能识破『unknown 高 = 模型弱』的伪诊断，10 分钟能用四象限判定规则筛掉 80% 的伪缺失意图建议，20 分钟能拿到 corpus → codebook 的迭代流程——把意图体系从 36 稳定演进到 48，下次评审会直接拍桌上。

Agentic AI 落地方法论 · 14分钟阅读 · 中 · EN

别让 AI 智能体直接调外部 API——5 层工具调用架构 + 25 个 API 契约清单

带客服 Agent 项目这一年最常见的伪架构：『我们让 Agent 直接调订单 / 工单 / 物流 API，接了 25 个，覆盖率高』——然后问「换 OMS 供应商怎么办」答「重写」，问「Mock 联调」答「等真实接口」，问「写操作合规审计」答「自己加日志」。这是没分层。写给正在带企业 Agentic 落地的架构负责人、老板、项目需求方：5 分钟能识破「Agent 直连 API」这个最贵的架构错误，10 分钟能拍板 5 层（Adapter / Service ABC / Tool / Workflow / Critic）的职责边界，20 分钟拿到 6 大外部系统 25 个 API 的分层接入清单 + 5 个本周要推动的架构决策。

Agentic AI 落地方法论 · 17分钟阅读 · 中 · EN

意图分类（intent classification）怎么做：规则 / Embedding / LLM 三级级联怎么定阈值

客服 Agent 的第一个节点是意图分类，做错这一步后面 4 个决策全白做。纯规则太脆、纯 LLM 太贵——3 级 fallback 是工程上唯一站得住的起步路径，跑到一定规模再演进到 LLM Router。读完 5 分钟能识破「我们直接用 LLM 就行」「我们 100% 规则可控」两种伪方案，10 分钟能给团队定下 3 级阈值的起步值，20 分钟能拿到 v1 → v2 升级到 LLM Router 的判断信号——下次评审拍在桌上。

Agentic AI 落地方法论 · 16分钟阅读 · 中 · EN

AI 智能体怎么测？不能像传统软件那样测——双轨架构 + 7 个质量维度 + SSE Spike

带客服 Agent 项目这一年最常被「pytest 全绿、覆盖率 79%」糊弄过去的事——然后老板问『回答忠实度多少』，没人答得上来。AI 系统的「测过了」根本不是传统软件的「测过了」。这一篇写给正在带企业 Agentic 落地的架构负责人、老板、项目需求方：读完 5 分钟能识破「pytest 全绿就能上线」、10 分钟能拍板「QA 接哪 4 块、AI 运维管哪 3 块、dev 留哪 8 块」、20 分钟能拿到 7 质量维度阈值表 + 3 级评测节奏 + 5 件这周可以推动的事——直接带进下次架构评审会。

Agentic AI 落地方法论 · 16分钟阅读 · 中 · EN

Agent Skills vs 知识库：把 SOP 塞进 RAG 不等于 AI 智能体能做事

评审会上总有人问「为什么 Skills 没有像 MCP 那样的统一协议？我们怎么落地？」——这个问题问反了：等不到协议不是坏事，是你已经可以开始的信号。读完 5 分钟能识破「知识库写满 SOP 就当 Agent 落地了」的方案，10 分钟能用一个 3 行的测试把方案里的「假 Skill」全揪出来，20 分钟能给团队画一张企业内部 Skill 定义规范。

Agentic AI 落地方法论 · 16分钟阅读 · 中 · EN

接住率 vs 解决率：客服 AI 唯一值得当北极星的指标（98% 满意度是怎么算出来的）

老板每周收到供应商邮件：客户满意度 98%。我把原始数据拉出来——约 5% 的客户评了满意、万分之几评了不满意、95% 什么都没说，「不回应默认满意」凑出来的 98%。读完 5 分钟能看穿 4 种伪装解决率的话术，10 分钟能把团队的客服面板北极星指标重画一遍。

Agentic AI 落地方法论 · 16分钟阅读 · 中 · EN

5 个架构决策，决定你的客服 Agent 能不能上线——为什么必须做成 L2，而不是 L3｜Agentic AI 落地方法论（二）

客服 Agent 看上去是 L3 多 Agent 编排的最佳候选，但真上线的全是 L2 deterministic workflow。一笔被自主链路误退的款，让我们看清 5 个架构决策——workflow / 意图 / 写操作兜底 / API 分层 / 评估指标——5 分钟看清方案能不能上线。

Agentic AI 落地方法论 · 18分钟阅读 · 中 · EN · ▶ 视频
← All posts