去年年底,一个做家电售后服务的客户找到我,他们每天大概200条售后工单,靠3个人工客服手动分类——哪些转维修、哪些转技术支持、哪些直接退款、哪些需要上门。3个人天天加班还分不过来,工单积压严重,客户投诉量跟着涨。
他们花了一个多月搭了套Agent,指望它能自动把工单分到对应的处理队列。上线第一周数据出来,准确率60%出头——也就是说10条工单有4条分错了路。分错的工单要在队列之间转来转去,反而比纯人工还慢。客户的IT负责人差点把项目砍了。
我接手之后花了三周时间逐步调优,把准确率从60%拉到了90%。不是靠换更贵的模型,核心是几个看上去不起眼但影响巨大的调整。今天把这个过程完整复盘一遍,搞Agent落地的朋友可以直接参考。
先说个前提——Agent分流工单这件事,技术不是最难的,难的是你怎么定义”分对了”。你连分类标准都模糊,Agent再聪明也白搭。所以我的调优不是从代码开始,是从业务梳理开始的。
问题不在模型,在分类体系太粗——把8个类别拆成23个细类
他们原来的工单分类只有8个大类:维修申请、技术支持、退换货、投诉、咨询、安装预约、配件购买、其他。看着挺清楚,但实际操作中一条工单经常横跨好几个类别。比如”买的洗衣机用了半年,最近噪音特别大,能不能上门看看,不行就退了”——这条工单同时涉及维修申请、退换货和投诉,Agent根本不知道该往哪分。
我做的第一件事不是改prompt,是拉着他们的售后主管坐下来,把过去三个月的6000条工单逐条过了一遍。按照实际问题类型重新梳理,把8个大类拆成了23个细类。比如”维修申请”拆成了”保修期内维修””过保维修””上门诊断””寄修”四个子类;”退换货”拆成了”质量问题退货””七天无理由退货””换货””部分退款”四个子类。
拆细之后有个好处——每条工单的归属更明确了。原来那条”噪音大、不行就退了”的工单,在细类体系下可以明确归到”保修期内维修”(因为核心诉求是修),后续如果用户明确提出要退,再转”质量问题退货”队列。Agent不需要一条工单同时覆盖多个类别,只需要判断最核心的诉求。
说句实在的,分类体系是Agent准确率的基石。你分类模糊,模型再强也是在猜。我见过不少团队一上来就纠结用什么模型、什么框架,分类体系本身都没理清,调到天黑也是白费功夫。
光把分类拆细这一步,准确率就从60%升到了72%左右。但离90%的目标还差得远,后面的调整才是关键。
知识库切片太大导致Agent”抓不到重点”——改成问题导向的切片方式
第二个卡点出在知识库上。他们给Agent灌的知识库是公司内部的产品手册和售后流程文档,总共大概15万字。问题出在切片方式上——他们按章节切的,每个章节一个chunk,有的chunk有2000多字。Agent收到一条工单后要去检索相关知识,但一个2000字的chunk里什么都有,Agent根本抓不到跟当前工单最相关的信息。
我把切片方式全改了。不再按章节切,而是按”问题-答案”对来切。具体做法是:
- 从6000条历史工单里提取出高频问题模式,大概梳理出180个问题模板
- 每个问题模板对应一段不超过200字的答案(包含分类指引和处理建议)
- 每个chunk就是一个独立的”问题-答案”对,不再混入无关内容
- 给每个chunk加标签——产品类型、故障类别、处理队列、紧急程度
改完切片方式之后,Agent检索到的信息精准了很多。因为它收到的每个chunk都是针对一个具体问题的,不是一大段什么都有的文档。准确率从72%升到了81%。
这里有个小技巧值得提——给chunk加标签这个动作看着简单,但效果很大。Agent在检索时可以用标签做预筛选,先缩小范围再精确匹配,比直接在15万字里大海捞针快得多也准得多。
加了一层”置信度判断”,低于70%的工单不硬分——转人工比分错强
到81%之后我遇到了瓶颈。剩下的19%错误里,有一半是那种本身就模棱两可的工单——用户描述不清、问题跨类别、信息不够判断。这些工单Agent硬分只会分错,分错了还要人工再转一次,反而增加了工作量。
我加了一层”置信度判断”逻辑。Agent每次分流后会输出一个置信度分数,如果分数低于70%,不走自动分流,直接进一个人工预审队列。人工预审队列的客服只需要花10秒钟看一眼,确认该往哪分,比从头处理一条工单快得多。
这个机制上线之后有两个效果:自动分流的准确率跳到了90%以上(因为模棱两可的工单被摘出来了,剩下的都是Agent有把握的);人工客服的效率反而提高了——他们不用再处理分错的工单,只需要处理那些需要人工判断的。
我算了一笔账:每天200条工单,90%自动分流成功的是180条,剩下20条走人工预审。人工预审每条10秒,总共不到4分钟。原来3个人手动分流200条要花将近2小时。这个效率提升是实打实的。
人工反馈闭环:分错了的工单怎么变成Agent的”训练教材”
还有一个调整,也是保证准确率不往下掉的关键——人工反馈闭环。
Agent分流不是一锤子买卖,用户的问题会变化、新产品会上市、售后政策会调整。如果你不持续给Agent”喂”正确答案,它的准确率会慢慢往下掉。我设计了一个简单的反馈机制:
- 人工预审队列的客服每次确认分类后,系统自动记录”工单原文+正确分类”
- 每周把这些记录整理成新的”问题-答案”对,补充进知识库
- 每月做一次准确率复测,如果低于85%就触发预警,需要排查原因
- 售后政策有调整时,同步更新对应的chunk,保证知识库跟业务同步
这个机制跑了两个月之后,那个客户告诉我一个数据——他们3个客服现在每天的工作量减少了60%,多出来的时间可以处理真正需要人工沟通的复杂工单,客户投诉量降了40%。原来差点被砍掉的项目,现在成了他们售后部门的”标配工具”。客户的老板后来跟我说,他们打算把这套Agent分流方案推广到另外两个城市的售后网点,如果三个网点都跑通了,一年能省下的人力成本大概在40万左右。
做Agent落地的同行应该都有体会——上线不是结束,是开始。Agent的价值不是上线那天就有的,是在持续调优中慢慢释放出来的。北京这边做企业Agent项目的同行我聊过不少,真正跑出效果的,没有一个是上线就不管了的。有想用Agent优化售后或客服流程的,可以先聊聊你的工单类型和数据量,我帮你评估一下分流方案该怎么设计。
需要相关服务?联系我们免费咨询
九五星球企服提供公司注册、代理记账、商标注册、财税咨询、高新申报、网站开发等一站式企业服务。可以先免费咨询看看,觉得合适再合作,不推销。
免费小工具推荐:
联系方式:
- 电话/微信:18910232032
- 扫码添加专业经营合规顾问,免费咨询 ↓