扣子平台客服智能体的模型组合调度怎么降低 Token 成本?意图路由、知识库检索与上下文裁剪该先调哪一项
扣子平台降低 Token 成本靠的是模型组合调度:先用意图路由把可枚举的问题交给轻量模型或工作流分支,再用知识库命中阈值挡住无效追问,配合上下文摘要、变量存储、输出长度约束和问答缓存,让主力模型只处理不可替代的环节。路由错判引起的转人工成本会抵消节省,需要按会话分层核算。
扣子平台降低 Token 成本的关键,是借助模型组合调度把一次对话拆成「路由判断—检索取证—轻模型应答—必要时升级主力模型」四段,让高单价模型只处理它不可替代的那一步,并非单纯换成更便宜的模型;这套做法对意图集中、答案可枚举的客服接待收益最大,对需要长链推理或跨文档归纳的咨询,强行降级会把成本转移到返工和人工兜底上。
客服智能体的 Token 主要消耗在「每轮重发」上,单次生成并不是主要部分。多轮对话里,系统提示词、知识库召回片段和历史消息会随每一轮重复进入上下文,轮次越多,重复计费的输入 Token 越高;单纯换低价模型往往收效有限,因为输入体积没有变化。
模型组合调度的第一层是意图路由,把可枚举的问题挡在主力模型之外。查订单、问营业时间、要退款流程这类有固定答案的意图,用轻量模型或工作流里的条件分支、关键词匹配直接分流,只有开放式咨询才进主力模型;路由节点本身的消耗远低于让大模型「边想边判断」,因此先加路由通常比先换模型更有效。
第二层是知识库检索前置,并为召回设置命中阈值。检索片段相关性不足时,让主力模型自由发挥通常会触发多轮追问和反复改写答案,成本翻倍且答不准;更稳的做法是命中不足直接给出转人工或表单入口,把不确定性交给确定性流程处理。
第三层是上下文裁剪,用摘要和变量替代完整历史。把超过既定轮次的历史压缩成一句会话摘要,把订单号、身份、处理进度等状态存进变量或数据库节点,下一轮只引用变量而不是复述原文,可以显著降低每轮重复输入的体量,也不必担心早期信息被截断丢失。
第四层是输出长度控制与结构化输出。输出 Token 的单价普遍高于输入,且模型容易「先解释再回答」;在提示词里限定最大输出长度、要求按固定字段返回结构化结果,由前端渲染成卡片或按钮,比让模型写一段长文案更省,也更利于后续工作流节点解析。
第五层是问答缓存与幂等复用。客服场景的问题分布高度集中,常见的几十个问题会反复出现;把「问题加知识库版本」作为键缓存答案,命中就不再调用模型,扣子可以用变量、数据库节点或外部缓存实现,对活动期流量峰值尤其有效。
第六层是会话生命周期管理。长期挂起的会话如果一直保留全部历史,下一次进来会连带旧上下文一起计费;设置闲置归档、超时重开会话,用变量恢复必要状态而不是恢复全部聊天记录,是调度方案里最容易被忽略的一项固定成本。
过度调度会带来反向成本:路由错判、知识库漏召回导致的答非所问,最终都以转人工和二次咨询的形式重新付费。判断是否调过了头,看三个指标:一次解决率、平均对话轮次、转人工率;如果省钱的同时转人工率明显上升,节省的 Token 成本通常抵不过增加的人力成本。
验证调度效果要按会话统计,不能只按调用统计。同一句提问在不同意图下成本差异很大,只看总 Token 会掩盖结构性问题;按意图分层统计每会话 Token、响应时间高分位与解决率,并且每次只改一个变量,例如先只加路由、再加缓存,做前后对比,才能判断是哪一层真正起了作用。
高准确率要求的场景不适合激进降级。涉及金额、退款承诺、合同条款的问答,一旦轻模型答错,纠错成本远高于 Token 差价,应保留主力模型并叠加人工复核;同理,知识库内容需要标注来源与版本,避免模型在检索片段不足时自行补全答案。
落地顺序可以是:先做意图路由和知识库命中阈值,这两项改动小、见效快;再做上下文裁剪和输出约束,属于提示词与工作流层面的调整;最后上缓存与会话归档,需要和业务数据配合。这四步按顺序做完,再评估是否更换更便宜的模型,通常比一开始就换模型更划算,也更不容易牺牲接待质量。