Agent落地后客户说不好用怎么办?我复盘了十几个项目,根因就三个,修复方案都在这里

今年春天有个客户找我们做企业Agent,验收那天演示得挺顺利,问什么问题都对答如流,客户当场挺满意,合同也签了。结果一个月后他电话打过来,语气不太对:你们这个Agent,我们同事用两天就不用了,还是觉得人工靠谱,这钱花得冤。我当场没反驳,挂了电话就带着团队把这项目从头到尾捋了一遍。

这类情况我这几年碰到过不止一次。做Agent交付的都知道一句话:演示一时爽,落地火葬场。不是说技术不行——现在的大模型能力摆在那就不会差——是落地这件事本身有它自己的坑。客户要的是一个”能用、好用、一直好用”的生产工具,不是一个”演示时惊艳、用起来别扭”的demo,这两个之间的差距,才是项目失败的真正原因。

今天我把复盘了十几个项目后总结的三个根因讲给你听:预期没对齐、知识库没养好、上线后没有迭代机制。每一个都配了对应的修复方案,文章末尾还有一份交付前自检清单。自己公司在做Agent或者想去买Agent服务的,建议你把这篇文章存下来,验收的时候照着对。

先交代个背景,免得你觉得我在甩锅给客户。我复盘的那十几个不满意项目里,模型本身出问题的几乎为零,出问题的全在模型外面——人、数据、流程。这三个环节只要有一个是空的,Agent再聪明也白搭。

根因一:预期没对齐,客户拿Agent当全能真人

先讲最常见的:客户对Agent的预期,从一开始就是偏的。签合同的时候你说Agent能自动回复客户咨询,客户脑子里想的可能是”这东西能替掉两个客服,半夜的咨询也完美处理,遇到刁难客户还能哄住”。这种预期差不会在验收时暴露,验收时客户问的还都是正常问题,等真上线了,售后、投诉、催单、砍价这些人类都头疼的场景一来,Agent当场露怯,客户立刻觉得被坑了。

修复方案说起来不复杂,关键是时机——得在签合同前就把这事钉死。具体做三件事:头一件,把Agent能做什么、不能做什么,用一张边界表写清楚,哪些场景Agent独立处理、哪些场景必须转人工、哪些场景Agent只做辅助,逐条跟客户确认过目签字;二一件,验收和试用阶段就用真实场景测试,别用销售准备好的话术库,让客户把他真实的客服记录拿过来,拿最难的那批来试,提前把落差找出来;三一件,上线时给客户配一份”人工兜底预案”,告诉他的员工在什么情况下接管,别让一线同事遇到Agent答不上来就干瞪眼,一干瞪眼就开始嫌弃。

我那个项目后来就是这么救回来的:给客户补做了转人工规则和边界表,又用他三个月的真实客服记录重新调了一遍,第二个月客户的态度就转回来了。预期对齐这事,说白了不是把Agent吹小,是把所有玩家拉到同一个真实的赛道上。

根因二:知识库只”喂了”没”养好”,答非所问是必然

第二个根因出在知识库上,这也是我认为最冤枉的一种失败。很多企业做Agent,把公司官网、产品手册、客服文档一股脑丢给开发团队,说”资料都在这了,你们搞吧”。开发团队把资料切了片喂进向量库,Agent上线,一答一个不吱声。

为啥?因为企业资料的真实状态,一般是这样的:文档过时了没人更新,官网写的是三年前的价格;同一个问题三个部门三种说法,销售说A客户说B;大量内容藏在老员工脑子里和微信聊天记录里,文档里根本找不到。你把这种资料喂给AI,等于让一个聪明人拿错地图去导航,他态度越好,错的越离谱。

修复方案是一条完整的知识治理流程,我建议每个Agent项目上线前强制走一遍:先把散落的资料收拢盘点,哪个部门负责哪块内容,每个文档标注最新更新时间;再清理一遍,过期信息删掉,矛盾内容开会定一个标准答案;接着是结构化的重写,把”怎么报价、怎么退换、多久发货”这类高频问题整理成标准问答,而不是让AI自己去长文档里碰运气;然后才谈得上切片和调优。这套流程走完,知识库的准确率能上去一大截,我之前带的一个客服Agent项目,就靠这一轮治理,答非所问的情况少了六成。

还有件事必须说:知识库不是一次性工程,它是活的。产品改了、政策变了、新活动上了,知识库不跟着更新,Agent过两个月又开始胡说——这就是第三个根因要讲的事。

根因三:上线那天就是结束?没有迭代机制的Agent越用越差

第三个根因太普遍了,多到我都麻木了:Agent上线那天,项目组和客户的深度接触基本就到头了。后面客户自己用,遇到问题没人看,答得不好没人调,三个月后Agent跟刚上线时一个样,可业务已经变了、问题也变了,于是客户得出一个结论:Agent这东西就是不行。

大模型应用的运行规律跟传统软件完全不同。传统软件写完就稳定了,Agent是越用越需要”养”的:上线后每天会产生几万次问答,里面就有数不清的信号——客户总在问什么、哪些回答被点踩、哪些问题转人工次数最多。这些信号是Agent迭代的燃料,不收集、不分析、不回流,Agent就是一台没有煤的火车,只能越跑越慢。

修复方案是给项目装上三个轮子:头一个,对话日志全量记录加每周分析,找出被点踩最多、转人工最多的问答类型,逐条修;二一个,把错误样本整理成”错题本”,定期拿错题本让Agent重答,验证修复效果,这招比啥都有效;三一个,跟客户定好月度迭代例会,每月拉着业务方坐一起过一遍数据、定下个月的知识库更新计划。这三个轮子装上去,Agent是越用越聪明的;不装,越用越废。差距就是这么拉开的。

把这三个坑提前堵住:上线前的五条自检清单

讲完三个根因,给你一份能直接用的东西——上线前的自检清单,五条,每条都是我在真实项目里摔出来的。

第一条,边界表签了吗?Agent的能力边界、转人工条件,白纸黑字跟客户确认过没有。第二条,验收用的测试集是真实数据吗?拿客户近三个月的真实咨询记录试,别再用编的话术。第三条,知识库过完治理流程了吗?过时信息清理干净没,高频问题有没有标准答案。第四条,数据回流通道搭了吗?对话日志从哪进、谁来分析、多久分析一次。第五条,迭代机制写进合同了吗?月度例会、知识库更新节奏、优化责任落到谁头上。

这五条全打了勾,项目可能还是会有小摩擦,但”客户用一个月就说不好用”这种事基本不会再发生。说到底,客户不满意从来不是技术单点问题,是整条链路里某个环节没闭环。你要是正被Agent项目搞得焦头烂额,或者准备上Agent心里没底,可以先把这份清单拿给负责的人过一遍,卡在哪儿了来找我聊,我免费帮你把脉,看看是哪个环节没接上。


需要相关服务?联系我们免费咨询

九五星球企服提供公司注册、代理记账、商标注册、财税咨询、高新申报、网站开发等一站式企业服务。可以先免费咨询看看,觉得合适再合作,不推销。

官网:www.95planet.com

免费小工具推荐:

联系方式:

  • 电话/微信:18910232032
  • 扫码添加专业经营合规顾问,免费咨询 ↓
扫码添加微信免费咨询