知识库
- 你看到的现象
- 说了你的资料里从来没有的事
- 出在哪一层
- 知识库
- 回放里看什么
- 这一轮有没有去查知识库、查回来的是什么
- 改什么
- 补文档、重新切块。改一次，用到它的整个团队同步生效。
出了问题，有三样东西可查
只看最终回复，很难判断问题来源。三类信息齐全，这通对话才具备复盘条件。
这一轮的过程
它当时依据什么做判断、调用了哪些工具、每一步花了多久，都可以逐轮回放。
当时跑的哪一版
配置改动先存成版本再发布，所以查得到这通对话跑的是哪一版。
逐条判定的明细
把这通对话收进评测工作台，按你定的标准逐条判，没通过的那条也列出来。
四种常见的错，各在不同的层
同一句「它说错了」，底下可能是四件完全不同的事。修法也完全不同。
话术与阶段
- 你看到的现象
- 事实正确，但超出授权边界——越权承诺、跳过了必问环节
- 出在哪一层
- 话术与阶段
- 回放里看什么
- 它走到了哪一阶段、那一步的目标与指令是什么
- 改什么
- 改这一阶段的指令，和它进入下一阶段的条件。
工具
- 你看到的现象
- 该调用的工具没有调用——未查库存、未留号源、未建工单
- 出在哪一层
- 工具
- 回放里看什么
- 这一轮实际调用了哪些工具、参数是什么
- 改什么
- 改可用工具清单，把「必须调用」和「禁止调用」写成硬规则。
配置版本
- 你看到的现象
- 此前运行正常，今天出现异常
- 出在哪一层
- 配置版本
- 回放里看什么
- 这通对话跑的是哪一版配置
- 改什么
- 回滚到上一版。改动都是先存为新版本再发布，因此可以退回。
问题来自模型，还是知识库
这两类问题的处理方式不同：一类需要修改指令，另一类需要补充资料。按顺序检查三步即可定位。
- 01
先看它查到了什么
这一轮有没有去查知识库、查回来的是什么。什么都没查到，问题就不在模型。
- 02
再确认知识库是否包含相关内容
知识库是独立的一层——文档、切块、检索各自可查。库里没有这条，单改指令也答不对。
- 03
最后再调整指令
知识库中存在相关内容、检索也已命中，但回答仍然偏离，此时再检查话术与指令。
定位只是第一步。修改后是否符合预期，需要按你制定的标准重新评测——具体方法见上线前怎么验证。
这一层，什么时候价值有限
你要的只是 FAQ 机器人
- 答完即结束、问题类型有限的场景，详细回放的价值较低。市面上有成本更低的选择，各家怎么比在这里。
并非每家公司都需要查看如此详细的过程。以下三种情况，这一层的价值有限。
- 只想看记录：如果只需要知道发生过什么，会话存档就够了；这句话该怎么讲，仍要你的销冠定。
- 没有持续迭代计划：定位的价值在于支持后续修复。如果打法长期不迭代，这一层就只会作为被动记录。
答完即结束、问题类型有限的场景，详细回放的价值较低。市面上有成本更低的选择，各家怎么比在这里。
选型时，重点确认这五个问题
现场打开一条真实对话，能看到完整过程吗？
如果只能看到最终回复，出现问题时仍难以定位原因。
这一轮查过知识库吗？查回来的是什么？
「库里没有」和「回答偏离」，就靠这一问分开。
这通对话跑哪版配置？上一版是什么？能退回去吗？
「此前正常、现在异常」可能与配置版本有关。
「答得对不对」的标准谁定？能逐条看到判定结果吗？
标准是通用的，你的打法优势就被抹平了。
出问题的这条对话，能直接变成下次上线必须过的用例吗？
不能的话，同样的问题可能再次出现。
也可以用来评估 TOPPP。回答不清楚的部分，往往是后续排查问题时的障碍——保险、医美这类需要严格审查对话内容的业务，更应确认这些细节。
关于复盘，常被问到的三件事
回放是否便于业务负责人阅读？
TOPPP 按轮次展示判断依据、工具调用和耗时。业务负责人只需熟悉自己的销售打法，无需编程知识。
如何区分模型问题与知识库问题？
TOPPP 会显示这一轮是否查询知识库以及检索结果。未检索到相关内容时，应先检查资料与检索；已检索到但回答仍偏离时，再检查指令。
定位后，如何降低同类问题再次出现的风险？
TOPPP 支持把这通对话收进评测工作台，转为一条回归用例。此后每次修改配置，都可以在发布前重新验证。
现场跟它聊一轮，过程展开给你看
一次演示大约 30 分钟：你扮演一位本行业的客户与它对话，左边显示对话，右边实时显示每一步的判断依据和工具调用。
- 01这一轮的过程
- 02当时跑的哪一版
- 03逐条判定的明细
或直接联系我们 business@topppai.cn