GPTs 里想让不同问题自动走不同模型,多模型切换路由到底该怎么配置?

GPTs 编辑器只能给一个 GPT 指定单一模型,多模型自动切换必须放在 Action 背后的路由服务里做:GPT 侧只保留一个补全接口,由服务端按意图、输入长度、成本和上游状态决定调用哪个模型,再以 JSON 回传;需要流式输出或超长上下文一次回传的场景不适用。

GPTs 的多模型自动切换不在 GPT 编辑器里配置,而在 Action 背后的路由服务里配置:GPT 侧只保留一个补全入口,由服务端按意图、输入长度、成本和上游可用性决定调用哪个模型,再以 OpenAI 兼容的 JSON 结构返回;需要流式输出或一次回传超长上下文的场景,这套做法会被截断或超时,不适合。 GPT 编辑器里的模型下拉框只决定这个 GPT 的对话主模型,改它不会让同一个 GPT 对不同问题走不同模型。Action 本质上是一个普通 HTTPS JSON 接口,GPT 只是在需要时调用它并把返回结果读进上下文,所以模型选择只能落在接口一侧。这也决定了配置顺序:先有能跑通的路由接口,再写 OpenAPI 描述,最后才是判定规则;顺序颠倒会让描述和实现互相迁就。 配置第一步是把 Action 的 OpenAPI 描述收敛成一个补全接口,并把 model 字段设为可选,注明由服务端决定,不要让模型自己填。请求体只保留 messages、一个可选的 task 标签和可选的 max tokens,参数越少,GPT 乱填的概率越低。接口的 description 要写清什么时候调用我,因为 GPT 是否发起这次调用,几乎完全取决于这段描述,而不是你的规则有多复杂;同时要在 description 里写清输入格式、返回字段和失败时的结构。 鉴权用 API Key 走 Bearer 头,配在 Action 的认证区,密钥不要写进 instructions、schema 示例或任何会显示给用户的字段里。只有在需要按终端用户区分额度、或者要对接已有账号体系时,才考虑 OAuth。把密钥写进指令是最常见的泄露路径,一旦 GPT 被分享出去,等于把上游额度公开;更稳妥的做法是路由服务只接受来自 Action 的短时凭证或服务端签发的令牌,并在网关侧做来源校验和限额。 路由判定先做可解释的规则,再考虑用分类模型。做法是:命中关键词、task 标签或长度阈值的请求直接映射到指定候选模型;规则没命中的再交给一次小模型分类,避免每个请求都多付一次模型调用。规则写在配置表里而不是代码里,这样调整优先级不用重新发布接口,也方便事后回看某次请求为什么走了那个模型。配置表至少要有规则名、匹配条件、目标模型、优先级、开关和生效范围,避免多人修改时互相覆盖。 长度和成本要分档,阈值按候选模型的上下文窗口和能力自行设定,而不是照搬别人的数字。短问答、格式转换走响应快的模型,长文分析、多步推理走能力更强的模型。分档过粗会掉质量,过细会让维护成本超过省下的费用;建议先设少量档位,用日志验证一段时间再调。成本控制还要看输出长度,不能只算输入 token,否则长答案会悄悄把预算吃掉;对返回长度设上限,并在提示词里要求简洁,都是路由层可以做的约束。 主模型超时、被限流返回 429 或上游 5xx 时,必须自动落到备用模型,并且只降级少量层级。降级要带幂等键,重试次数设上限,超过上限就返回明确错误,而不是无限重试拖到平台超时。不配降级等于把可用性押在单一上游上,一次限流就会表现为这个 GPT 突然不好用了。降级还要区分可重试错误和不可重试错误:参数错误、鉴权失败直接返回,不要换模型重试;超时、限流、上游故障才进入备用链路,并把降级原因写进响应元数据。 返回结构要符合平台约束:Action 拿到的是一次性 JSON,不能流式;响应体过大或耗时过长会被判为失败,具体上限以官方说明为准。工程上的做法是路由层内部可以用流式接收,但对 GPTs 对外聚合后一次返回,同时限制 max tokens;确实跑不完的长任务改成先返回任务 ID、再让 GPT 用另一个 Action 轮询结果的两段式。返回体要稳定,成功和失败都保持同一层字段,比如 ok、content、error code、request id,否则 GPT 读到不一致结构时容易自行编造答案。 每次请求都要记录 request id、命中的规则、最终模型、上游状态码、token 数和耗时,这是调路由的唯一依据。没有这层日志,出问题时无法区分是规则判错、上游变慢,还是 GPT 压根没按预期传参。新规则上线用比例放量,先放小流量对比效果,再全量,比一次性切换安全得多;日志里还要保留输入长度分档和是否触发降级,才能判断某次质量波动来自模型选择还是上下文被截断。 几个反复出现的坑:模型参数被 GPT 填成不存在的名字,导致上游直接 400;schema 描述写得太笼统,GPT 该调时不调;把 base URL 和密钥写进 GPT 指令里;只处理成功分支的返回,上游报错时返回体结构不一致,GPT 读不懂就直接胡编答案。这些都属于配置问题,不是模型能力问题。还有一个隐蔽问题是 Action 描述里承诺了做不到的能力,比如声称支持文件解析却没有上传字段,GPT 会按描述调用,最后由路由层背锅。 如果单一模型已经能满足需求、请求量很低,或者数据不允许经过自建网关,就不值得维护这一层路由。多模型路由的价值前提是不同请求的最优模型确实不同,先用单模型把 Action 调通、把日志跑出来,再根据真实分布决定要不要分档,比一开始就上复杂路由更稳妥。配置的验收标准不是规则数量,而是每次请求都能解释为什么走这个模型、失败时为什么降级、成本变化是否能从日志里对上账。