扣子平台模型组合调度怎么降低 Token 成本?意图路由、上下文裁剪和缓存各能省在哪一步

扣子平台降低 Token 成本靠按节点分工:意图分类和槽位抽取用轻量模型,标准问答先走知识库命中,只有需要多步推理和长文本生成时才交给大模型,同时把历史消息压成摘要加变量、给输出设长度上限。意图分布稳定的咨询售后类客服智能体收益最明显,单轮即需长链推理的创作类智能体收益有限。

扣子平台降低 Token 成本的关键不是把模型换成更便宜的型号,而是把一次对话拆成意图识别、知识检索、应答生成、工具调用四类节点,分别绑定不同量级的模型,并给每类节点设独立的上下文上限。这套做法适用于意图分布相对稳定、以咨询和售后接待为主的客服智能体;单轮就要长链推理、开放式创作类的智能体,组合调度省下来的钱很有限。 Token 花得最多的地方往往不在最后那句回答,而在每轮都要重复发送的系统提示词与历史消息。把一次会话的消耗拆成系统提示词、历史对话、知识库片段、模型输出四部分分别统计,才知道该裁哪一块;不拆就直接换模型,通常只是把同一份冗余搬到了更便宜的单价上。 用一个大模型打完全流程是最贵的默认配置。分类、改写、槽位抽取这类任务输出短、判定标准明确,轻量模型足够胜任;只有需要多步推理、跨工具规划或长文本生成时,才值得交给大模型。判断标准不是模型强弱,而是该节点的输出能否用固定字段或几个字符表达。 路由式调度按意图分模型,是投入产出比最高的一层。做法是在对话入口加一个轻量分类节点,让它只输出结构化标签,例如咨询、价格、售后、闲聊、转人工,再用条件分支把不同标签连到对应的模型节点;分类节点本身不要解释理由,输出越长这层越亏。 级联式调度让便宜模型先答、答不住再升级,但必须配明确的升级判据。让小模型返回是否命中知识库、槽位是否填全、是否存在未识别的关键词等结构化字段,命中即结束本轮,不命中才进入大模型节点。没有判据的级联会把同一个问题问两遍,成本反而高于直接调用大模型。 上下文裁剪是最直接的省钱手段。历史消息只保留最近若干轮加一份滚动摘要,已确认的订单号、手机尾号、问题类型这类信息存进变量,用的时候再注入,而不是让它们一直躺在对话记录里;对话越长,历史消息对模型理解的边际帮助越小,但每一轮都要按量付费。 知识库命中优于把常见问答全部写进系统提示词。把标准问答放进知识库,给召回条数和单条片段长度设上限,命中才注入,可以同时压低输入 Token 和答非所问的概率。不适用的情况是需要跨多个条目综合推理的复杂政策解释,此时强行只喂两三条片段会让模型给出片面结论,该给的上下文还要给。 缓存和幂等设计能砍掉重复计算。同一会话内重复提问、同一批用户高频问到的标准问题,可以先查变量或数据库缓存再决定是否调用模型;语义近似缓存要设相似度阈值,阈值放得太松,答错之后排查成本比省下的 Token 高得多。 输出侧必须有硬边界。给每个应答节点设最大输出长度,要求结构化返回,禁止模型复述用户原话和检索原文;输出单价通常高于输入,一段冗长的寒暄和总结是最容易被忽视的成本项。接待场景里的欢迎语、结束语、转人工提示,应当由固定话术节点完成,不必经过模型。 调度方案要靠埋点验证,不能凭感觉调整。按节点记录输入输出 Token、问题解决率和转人工率,先改占比最高的那个节点;把小模型替换上线后如果转人工率明显上升,省下的模型费用会被人工坐席成本吃掉,这笔账要在灰度阶段就算清楚。 有些节点不该为省 Token 而降级。涉及金额变更、订单操作、合规话术、健康与安全建议的环节,小模型一旦答错,赔付与舆情代价远高于模型差价;这类场景该做的是压缩无效轮次、减少历史消息、把话术模板化,而不是换更弱的模型。 组合调度的本质是把 Token 花在真正需要判断的地方。可以记成一条固定规则:入口分类用最便宜的模型,知识检索保持中等上下文,生成环节按任务复杂度分级,高风险环节不降级;按这条规则逐节点设置,客服智能体的单次会话成本会明显低于全流程单模型方案。