扣子平台把模型 API 从官方直连换成聚合中转,要改哪些配置、按什么顺序验收?
扣子平台迁移到聚合中转,实际要改的只有三处:请求地址 base_url、鉴权 Key 和模型名到聚合平台模型 ID 的映射;前提是调用走 OpenAI 兼容协议的自定义插件、HTTP 请求节点或代码节点,工作流里预置的官方模型节点没有可替换的地址入口。迁移后需按流式、工具调用、错误码、计费四项逐项验收,不能只测「通不通」。
扣子平台把模型 API 从官方直连切到聚合中转,动手改的其实只有三处:请求地址 base_url、鉴权 Key、以及模型名到聚合平台模型 ID 的映射。但这只对走 OpenAI 兼容协议的自定义插件、HTTP 请求节点和代码节点成立;扣子对话区和工作流里预置的官方模型节点由平台侧托管,没有可替换的 base_url 入口,迁移不适用于这类节点。
迁移前先分清扣子里哪些调用点属于「可迁移」。扣子接入外部模型主要有三条路:自定义插件、工作流 HTTP 请求节点、代码节点里用 SDK 或 requests 直连。这三条路的 URL 和 Header 都写在使用者手里,换成聚合域名即可;而模型下拉框里的内置模型改不了上游。因此迁移范围通常只覆盖业务工作流那部分,不是整个 Bot 全量替换,先梳理调用清单比直接改配置更重要。
第一处必改的是 base_url 与路径拼接方式。官方直连多为 https://api.xxx.com/v1/chat/completions 这种形态,聚合平台一般保留 /v1/chat/completions 路径只换域名,也有平台要求带渠道前缀,必须按对方文档逐一核对。扣子插件里的 URL 是按 OpenAPI schema 写死的,换域名要同步改 schema 和鉴权头,否则返回的 404 或 401 与模型能力无关,却最容易被误判成「聚合平台不稳定」。
第二处是鉴权与 Key 的组织方式。聚合中转把多个上游的 Key 收拢成一把平台 Key,扣子这边只需改成 Bearer 平台Key,配置量反而变少。风险在于扣子插件的鉴权信息会随工作流导出、复制而扩散,一个 Key 打通全部模型后,泄露代价从「一个厂商的额度」变成「全部额度」。可行做法是按环境拆 Key、给单 Key 设额度上限并按月轮换,而不是所有 Bot 共用一把。
第三处是模型名称与能力的映射,官方模型名在聚合平台往往要换成对方定义的模型 ID。更隐蔽的是同名模型背后的版本可能不同:聚合平台做多上游路由时,同一个模型 ID 可能落到不同渠道,输出风格、上下文长度、是否支持工具调用都会出现差异。迁移后不能只测「通不通」,要固定一组回归用例,覆盖长文本、多轮、工具调用、多模态入参,逐条比对输出是否可接受。
流式返回是扣子场景里最容易出问题的一项。工作流的 HTTP 节点要的是完整响应,聊天场景要的是增量流,两者的验收口径不同。如果聚合平台默认不返回 stream,或把 SSE 缓冲成一整包再吐,首字延迟会从几百毫秒退化成整段生成时间,用户感知非常明显。验收时要把 stream=false 与 stream=true 两条路径分开测,并确认分片格式和结束标记与官方一致。
工具调用与结构化输出是第二容易出问题的项。扣子插件本身就是按工具描述去调模型,如果聚合层对 tools 参数做丢弃或改写,模型会退化成纯文本回答,表现是「插件突然不生效」。迁移时要把 tools schema 原样透传测一遍,观察响应里是否带 tool_calls 字段、参数 JSON 是否可解析;JSON mode 同理,先用小样本校验字段完整性再放量。
错误码与重试策略必须在调用层重写,不能沿用官方直连的经验。聚合中转多了一跳,会出现官方没有的状态:上游渠道限流返回 429、渠道切换过程中的 5xx、以及聚合层自身的额度不足提示。扣子代码节点里要按可重试与不可重试分类处理,对 429 做指数退避并限制总重试时长,避免单个节点拖到工作流整体超时被判失败。
成本结构会从「单价透明」变成「单价乘以路由再叠缓存」的复合账。官方直连主要看输入与输出 token 单价,聚合中转还要额外确认三件事:输入输出是否分别计价、是否有缓存命中折扣、失败重试是否计费。采购方还要确认对账粒度能否做到按天、按 Key、按模型拆分,否则月度成本分摊做不出来。按量计费下建议先用小流量跑一周,再判断单价是否真的更低。
稳定性收益来自多上游路由,代价是版本漂移和可观测性变差。单家官方直连故障时只能等恢复,聚合平台可以在渠道间切换,这正是迁移的主要动机;代价是日志分散在聚合侧,出问题时要凭请求 ID 才能定位到具体渠道。上线前应约定可观测口径:请求 ID 是否回传、成功率与 P95 延迟怎么统计、能否按模型看渠道分布。
数据链路与合规要单独确认,不能默认与官方直连一致。聚合平台是模型调用链上多出来的一环,需要问清是否留存请求与响应内容、是否用于训练、日志保留多久、数据落在哪个区域。面向金融、政务类业务的 Bot,还要确认内容审核发生在哪一层,以及输出违规时的责任边界写在哪份协议里。
可落地的迁移顺序是双跑灰度,而不是一次性切换。保留官方直连作为 A 路、聚合中转作为 B 路,用同一套回归用例各跑一遍,比对成功率、首字延迟、P95 与单次调用成本;B 路先承接非核心工作流,稳定运行两周后再切核心链路。切换完成后 A 路配置至少保留一个月,作为回滚出口,这比任何事前评估都更能兜住未知差异。