Workbuddy 里怎么配置多模型路由,让主模型超时后自动切到备用 API 通道?
Workbuddy 配模型路由分三步:新增 OpenAI 兼容通道并填 Base URL 与 API Key,在通道下登记上游真实模型 ID,再指定默认模型与回退顺序。只能绑定官方账号、不允许改 Base URL 的版本接不了第三方中转通道。
Workbuddy 的模型路由配置分三步完成:在模型服务里新增 OpenAI 兼容通道并填入 Base URL 与 API Key,在通道下登记上游真实模型 ID,再为对话或任务指定默认模型与回退顺序;只有开放自定义 Base URL 和自定义模型 ID 的版本才能接入第三方中转通道,只能绑定官方账号的版本不适用。菜单名称在不同版本里可能叫模型服务、API 通道或 Provider 管理,入口位置有差异,但操作顺序一致,先建通道、再登记模型、最后定路由。
路由配置的最小单位是「通道 + 模型」,不是单个 Key。原因是一个 Key 往往能调用同一上游的多个模型,先建通道、再在通道下挂模型,轮换密钥时只改一处,不用在十几个界面里逐个翻找。命名上按 provider-用途-序号 的格式,例如 main-chat-01、backup-code-01,半年后回看配置时仍能说清哪个通道服务哪类任务。
Base URL 只填到 /v1 为止,多填一层是 404 最常见的来源。客户端会自己在后面拼接 /chat/completions,写成 /v1/chat/completions 最终会请求成 /v1/chat/completions/chat/completions,报错信息通常只说接口不存在,很难直接定位。配置前先用一条 curl 打 /v1/models 确认端点通不通,再回填界面,比在图形界面里反复试错快得多。
模型 ID 必须填上游返回的真实 id,不能用界面上看到的中文名或展示名。路由匹配是字符串精确比较,大小写或连字符差一个字符就会报模型不存在,而报错文案往往是笼统的请求失败。稳妥做法是先拉 /v1/models 列表,把 id 原样复制粘贴,不要手工重打,尤其是带日期后缀和版本号的模型名。
回退链建议最多两层:一个主模型加一个备选,超过两层首字延迟会失控。每多一层就多一次超时等待,主模型等 30 秒再切备选、备选再超时,用户体感就是几分钟没有响应。备选模型应尽量选不同上游或不同接入点,主通道整体不可用时同一个通道里的另一个模型多半也一起挂掉。对延迟极敏感的实时交互场景,宁可直接返回失败提示,也不要把回退链拉长。
超时与重试要分开设置:连接超时压到 5 至 10 秒,读超时按上游 P95 延迟留出余量,重试只对 5xx 和超时生效。4xx 属于 Key 无效、模型 ID 写错或参数不合法,重试只会把错误请求量放大数倍,还可能触发上游风控。重试次数控制在 2 次以内并加退避间隔,避免上游抖动时形成二次拥塞。
同一个通道下配多个 Key 做轮询,只有在单 Key 触到 RPM 或 TPM 上限时才有收益。单 Key 并发没打满时轮询不提升吞吐,反而增加维护面。判断标准很直接:看 429 报错是否集中在某一个 Key 上,是则拆分轮询,否则先排查客户端并发数和单次请求体大小,问题通常不在密钥数量上。
按任务类型分流比按用户分流更省钱:短问答走轻量模型,长上下文、代码生成、结构化抽取走主力模型。成本差异主要来自输出 token 与上下文长度,路由规则挂在任务类型上,能比较稳定地预估每次调用的单价区间。规则上线后先跑一周日志再调阈值,凭直觉设的分流条件通常会把过半请求分错档。
按量计费的中转通道,成本核对要落在 token 上而不是请求条数上。同一句请求在不同模型下的输入输出 token 差异很大,用请求数对账会得出完全错误的结论。做法是定期导出通道侧的用量记录,按模型维度对齐账单,把偏差超过一成的模型单独排查,重点看是否被分流到了更贵的档位。
路由是否真的生效,要靠一条故意制造失败的请求来验证,光看日志不够。配完先发一条最小请求,检查返回体里的 model 字段是否与预期路由目标一致,有些客户端会静默回落到默认模型而不提示。再把主模型的 Key 临时改错,观察是否按设定回退到备选,回退链没被真实触发过一次,就等于没配。
常见报错按 401、404、429、超时的顺序排查,能省掉大部分试错。401 先查 Key 与端点是否属于同一服务商,404 查 Base URL 层级与模型 ID,429 查限流与并发,超时查网络出口和回退链长度,这个顺序把配置错误和网络问题分开了。把清单固化成文档,接手的人不必从零开始猜。
Key 管理按环境与项目切分,不要把生产 Key 写进客户端明文配置文件。这类客户端配置常被导出或同步,Key 一旦落在明文文件里就等于公开,做法是每个项目单独建 Key、限定可用模型范围、设定轮换周期,配置文件纳入版本管理但不含密钥。另外,并非所有场景都值得配路由:单一模型已稳定满足需求,或任务强依赖某个上游的独有能力时,加回退链只会引入不确定性,路由解决的是可用性与成本分层,不是模型能力不足的问题。