Agent上线三个月后越答越差,八成是知识库没更新

去年帮一个做企业服务的客户搭了个客服Agent,刚上线那两个月效果特别好,客户问什么基本都能答上来,准确率在85%以上。客户挺满意,觉得这事儿就算成了。

结果到了第三个月,他跑来跟我说Agent开始答非所问了。客户问最新的税收优惠政策,Agent给的还是去年的旧政策;客户问新上线的服务项目,Agent完全不知道有这回事。准确率掉到了60%出头,客户投诉量反而比上Agent之前还多了。

我去查了一下原因,问题很清楚——知识库从上线第一天到现在,一个字都没更新过。这三个月里公司的业务发生了不少变化,新增了两个服务项目、税收政策也有调整、FAQ清单也更新了一版,但这些变化都没同步到Agent的知识库里。Agent不是变笨了,是它手里的信息过时了。

今天就聊聊Agent知识库维护这件事,说说为什么很多企业的Agent上线后效果越来越差,以及怎么建立一套持续更新的机制让Agent越用越聪明。

知识库不是建一次就管一辈子的事

很多人对Agent知识库有个误解,觉得上线前把文档一股脑塞进去就完事了。这种想法跟”给员工做一次培训就指望他干一辈子”差不多不靠谱。你的企业在变化,政策在变化,客户问的问题也在变化。知识库如果不跟着更新,Agent就会用旧信息回答新问题,越答越离谱。

我建议把知识库的维护分成四个节奏来管,每个节奏对应不同的更新频率和内容类型。

日常更新是最高频的,主要是公司内部信息的变化。比如新增了服务项目、调整了价格、更新了联系方式、修改了业务流程。这些信息一变就要同步到知识库,不能等。你可以指定一个人负责这件事,或者建一个内部流程,任何业务变动都自动触发知识库更新。别小看这种日常更新,Agent答错最常见的原因就是公司已经改了政策但知识库里还是旧的。

周度更新是针对FAQ的优化。每周把Agent这一周的对话记录拉出来看看,哪些问题答得不好、哪些问题客户反复在问但Agent没覆盖到、哪些回答客户不满意需要改进。把这些发现整理成FAQ更新清单,每周固定一个时间批量更新。这个工作量不大,但效果立竿见影,相当于每周给Agent做一次小体检。

月度更新是政策和行业信息的刷新。税收政策、行业法规、资质要求这些东西,每个月都可能有变化。你可以订阅几个权威信息源,每月初花一两个小时把上个月的政策变化整理成知识库更新内容。政策类信息如果答错了,不只是客户体验差的问题,还可能误导客户做出错误决策,这个风险得重视。

季度更新是知识库的大盘点。每三个月做一次全面审查,把过时的内容删掉,把效果不好的内容重写,把新发现的高频问题补充进去。这个工作量比较大,但一个季度做一次是必须的。你会发现有些内容上线时觉得有用,但实际运行三个月发现客户根本不问,这种就该精简掉,给真正有用的内容腾地方。

知识库切片的质量比数量重要一百倍

除了更新节奏,还有一个很多人忽略的问题——知识库切片的质量。什么是切片?就是把你的文档拆成一小段一小段的内容单元,Agent在回答问题时会检索最相关的切片来组织回答。切片质量直接决定了Agent回答的准确度。

我见过一个客户的知识库,他把公司所有的文档原封不动地上传了,包括100页的产品手册、50页的员工培训资料、200多篇公众号文章。Agent上线后效果很差,因为它在检索时从这么多内容里找到的切片经常是不相关的,导致回答跑偏。你以为信息越多Agent越聪明,实际上信息太多反而干扰了它的判断。

知识库切片的核心原则是”一个切片解决一个问题”。每个切片应该是一个完整的、独立可理解的信息单元,不要太长也不要太短。一般来说,一个切片200到500字最合适,包含一个明确的主题和完整的上下文。如果把一篇长文章整段塞进去,Agent检索时可能只命中了其中一小部分,但把整段都拿去组织回答,结果就是答非所问。

做切片的时候还有一个技巧——给每个切片加元数据标签。比如标记这个切片属于哪个业务模块、适用什么场景、最后更新时间是什么时候。有了这些标签,Agent在检索时就能更精准地定位到需要的内容,而不是大海捞针。举个例子,客户问”小规模纳税人季度申报怎么操作”,Agent可以根据标签直接定位到”税务申报”模块下”小规模纳税人”场景的切片,而不是把所有跟税务相关的内容都翻一遍。

切片做完不是就完事了,每次更新知识库的时候也要同步检查切片。有些切片可能因为内容更新变得不准确了,有些切片可能需要合并或者拆分。把切片维护当成知识库管理的常规工作来做,别等到效果差了才去查。

怎么判断知识库该更新了,别靠感觉

很多企业判断知识库是否需要更新的方式是”等客户投诉”。这个反应太慢了,等你收到投诉的时候,已经有不少客户被错误信息误导了。正确的做法是建立一套监控体系,用数据来驱动更新决策。

Agent上线后,你要持续跟踪几个关键指标。第一个是回答准确率。定期抽检Agent的对话记录,人工判断回答是否正确。如果准确率连续两周下降,说明知识库需要更新了。不用每天都查,每周抽20到30条对话记录看看就够了,但一定要坚持做。

第二个是”我不知道”的出现频率。如果Agent频繁说”抱歉,我无法回答这个问题”,说明知识库里缺少相关内容,需要补充。你还可以把这些”我不知道”的问题整理成高频未覆盖问题清单,优先补充这些内容到知识库里。

第三个是客户满意度。如果Agent对话后的客户评价持续走低,或者客户在跟Agent聊完后还是转人工客服的比例上升,说明Agent的回答质量在下降。这些指标不一定要搞多复杂的系统,用Excel记录每周数据做个趋势图就够了。

第四个是新旧信息的冲突检测。定期检查知识库里有没有互相矛盾的内容,比如两个切片对同一个问题给出了不同的答案。这种情况往往是更新时只加了新内容没删旧内容造成的。Agent遇到冲突信息时不知道该信哪个,随便选一个可能就是错的。每次更新新内容的时候,一定要同步把相关的旧内容处理掉。

知识库维护不是一个人的活

最后说个组织层面的问题。很多企业把Agent的知识库维护丢给IT部门或者技术人员一个人管,这其实不太对。

技术人员懂的是怎么操作知识库系统、怎么做切片、怎么调参数。但知识库里的内容对不对、全不全、准不准,需要业务部门的人来判断。税收政策变了,财务部门最先知道;新增了服务项目,业务部门最先知道;客户反馈了新问题,客服部门最先知道。如果这些信息都要先汇总到IT部门再由IT来判断要不要更新知识库,中间的延迟和信息损耗会很大。

所以知识库维护需要建立一个跨部门的协作机制。IT负责技术操作,业务部门负责内容审核和更新,客服部门负责反馈问题。每个月开一次知识库同步会,各部门把自己掌握的新信息汇总到一起,统一更新到知识库里。这样做的核心好处是知识库的内容来源多元化,不会因为某一个人的疏忽导致关键信息遗漏。

还有一点容易忽视——给知识库建一个变更日志。每次更新了什么内容、谁更新的、什么时间更新的,都记录下来。这样如果Agent突然答错了某个问题,你可以通过变更日志快速定位是哪次更新引入了错误,及时回滚。没有变更日志的知识库就像没有版本控制的代码,出了问题你根本不知道是从哪里开始坏的。

Agent的质量不是靠技术一个维度就能保证的,它是技术、内容和运营三个维度共同决定的结果。你花在选模型、调prompt上的心思,至少要分一部分到知识库的日常维护上来。模型再好,喂给它的信息是错的,输出也一定是错的。


需要相关服务?联系我们免费咨询

九五星球企服提供公司注册、代理记账、商标注册、财税咨询、高新申报、网站开发等一站式企业服务。可以先免费咨询看看,觉得合适再合作,不推销。

官网:www.95planet.com

免费小工具推荐:

联系方式:

  • 电话/微信:18910232032
  • 扫码添加专业经营合规顾问,免费咨询 ↓
扫码添加微信免费咨询