去年有个老板花15万请技术公司开发了一个客服Agent。上线第一天就被客户骂了——Agent回答的问题全是错的，把A产品的价格报成了B产品的，把退货政策说成了换货政策。
老板找技术公司理论，技术公司说代码没问题，是你给的知识库数据有错。一看果然，客户发的产品手册是去年旧版的，价格表是三个月前的，退货政策压根没提供。
这就是Agent开发最常见的坑：大家把精力都放在了写代码、调prompt上，但忽略了最根本的东西——数据。Agent的回答质量90%取决于你喂给它什么数据。代码写得再好，数据是垃圾，出来的也是垃圾。
为什么数据准备比代码重要
Agent的工作原理很简单：接收用户问题，从知识库中检索相关信息，用大模型组织语言回答。你看到的是最后生成的自然语言，但支撑这段语言的是知识库里的数据。
如果你的知识库里有100篇文档，但其中30篇是过时的、20篇是重复的、10篇是格式混乱无法检索的，那Agent的有效知识库只有40篇。用户问的问题如果恰好落在那60篇有问题的数据范围内，Agent要么回答错误，要么找不到答案说”我不知道”。
很多人把Agent上线后的回答错误归咎于”模型不行”或”prompt没调好”。实际上，大部分回答错误的原因是知识库数据质量问题。换一个更强的模型也救不了垃圾数据。
数据准备要做哪几件事
第一件：盘点现有数据。把你公司所有可能被Agent用到的信息列一个清单：产品手册、价格表、FAQ文档、政策文件、服务流程、合同模板。每份文档标明：最后更新时间、负责人、是否有版本管理。
你会惊讶地发现，很多文档已经过时了但还在用，有些文档分散在不同人的电脑里没人统一管理，有些关键信息（比如最新的退货政策）根本没形成文档只存在于某个客服的脑子里。
第二件：清洗和更新。过时的数据更新到最新版本。重复的数据合并去重。格式混乱的数据重新整理成结构化格式。缺失的数据补齐——把那些只存在于员工脑子里的隐性知识变成文档。
这一步最费时间。一个中等规模的企业，数据清洗可能需要2到4周。但这是值得的，因为清洗后的数据不只服务于Agent，也能提升整体运营效率。
第三件：结构化。Agent不是人，它不会像人一样通读一篇文档然后理解其中的逻辑。它需要结构化的数据来高效检索。把长文档拆成小的知识单元，每个单元回答一个具体问题。给每个知识单元打标签（产品名、类别、适用场景），方便精准检索。
上线前必须跑的三个测试
数据准备好了，上线前还有三个测试必须跑。
准确率测试：收集50到100个真实的客户问题，让Agent回答，人工检查每个回答是否准确。准确率低于85%就别上线，继续优化数据。低于70%说明数据有严重问题，需要回头重新清洗。
边界case测试：故意问一些刁钻的问题：问不存在的产品的价格、问两个产品混在一起的对比、问政策矛盾的情况。看Agent怎么处理。好的Agent会说”没有找到相关信息”而不是胡编乱造。这就是AI领域说的”幻觉”问题——Agent不知道但瞎编了一个答案。防止幻觉的方法是在prompt里设定明确规则：找不到答案就说找不到，不允许编造。
压力测试：模拟高峰期的并发量，看Agent的响应速度和稳定性。有些平台在低并发时表现很好，高并发就崩了。
Agent开发这个事，技术只占30%，数据占70%。很多企业把钱花在技术团队上，却舍不得花时间整理数据。结果就是花了几十万开发的Agent上线即翻车。北京Agent开发的项目里，失败案例有八成是数据问题导致的。别当那八成里的一员。
需要相关服务？联系我们免费咨询
九五星球企服提供公司注册、代理记账、商标注册、财税咨询、高新申报、网站开发等一站式企业服务。可以先免费咨询看看，觉得合适再合作，不推销。
免费小工具推荐：
联系方式：
- 电话/微信：18910232032
- 扫码添加专业经营合规顾问，免费咨询 ↓
