GPTs 调用 API 超时重试时,幂等键和退避策略要怎么设置才不会重复扣费?
GPTs 避免重复扣费的关键不是少重试,而是让每次重试被服务端识别为同一笔请求:请求带唯一幂等键,只对 429、5xx 以及连接超时和读超时做 2 到 3 次指数退避重试,流式已输出和 4xx 请求不重试,再用 request_id 逐条对账。
GPTs 要把重试引起的重复扣费压到最低,靠的是「有限次重试、幂等标识、事后对账」三件事同时做到,而不是把重试关掉或无限重试;对已经开始流式输出、已经产生副作用、已经返回 4xx 的请求,正确做法是一律不重试。
GPTs 里的重复扣费其实有两条来源,一条是网络层重试,另一条是模型重复调用同一个 Action,后者更常见也更容易被忽略。网络层重试发生在超时和 5xx 之后,由客户端代码发起;模型重复调用则发生在用户追问、上下文被截断或工具返回格式不符合预期时,模型会再发一次几乎相同的请求。两条路径最终都落在同一个计费口径上:服务端只要收到并处理了请求,就记一次用量,重试次数越多,账单越厚。
让每次重试都能被服务端认成「同一笔」,比单纯压缩重试次数更能直接止住重复扣费。做法是给每个业务请求生成一个稳定且唯一的值,放进请求头或请求体的幂等字段,服务端收到第一个请求时正常执行并缓存结果,后续带同一值的请求直接返回缓存结果、不再执行也不再计费。这个值必须由发起方按业务单据生成,不能每次重试重新生成,否则等于没做。
只有明确属于可重试类别的错误码才值得重试,其余一律直接失败。连接超时、读超时、429 限流、500、502、503、504 这几类通常说明请求没有被正确处理,重试是合理的;400 参数错误、401 鉴权失败、403 无权限、404 路径错误、409 冲突、422 校验失败属于确定性错误,重试只会多扣一笔而结果不变。
退避节奏要用指数递增加随机抖动,并把重试次数封顶在 2 到 3 次、总耗时封顶在十几秒量级。固定间隔重试会在上游抖动时形成尖峰,把偶发限流变成持续限流,指数退避加抖动能把并发压力摊开。次数封顶的意义是给最坏情况设一个成本上限:按 3 次重试算,单笔请求的计费敞口最多是正常情况的数倍,而不会随对话轮次无限放大。
超时时间要分开设置,连接超时短、读超时长为宜,把两者混成一个总超时是最容易造成重复扣费的配置。连接超时短能快速判断上游是否可达,读超时长则要给长文本生成留足时间。真正危险的是读超时,它意味着请求很可能已经在服务端执行完并计了费,只是响应没回来;这类超时之后的重试必须依赖幂等键,才能不重复计费。
流式响应一旦开始返回内容,就不应该再重试。流式场景下 token 是边生成边计费的,中断后重试相当于把前半段重新生成一遍,账单会翻倍而用户体验未必更好;正确做法是把已收到的片段保留给用户,用同一个幂等键发起一次结果查询,而不是整段重发。
在 GPTs 的 Action 配置里,可以把这种约束写进模型能读到的位置。给每个操作固定且语义清晰的 operationId,在参数里显式声明 request_id 并注明「同一 request_id 不得重复提交,需先调用查询接口确认结果」,在响应里回传 request_id 和服务端状态,模型在追问或修正时会倾向先查后写,而不是未经查询就再次提交。
把 Action 接到第三方 API 或中转服务时,接入前要问清四件事:失败请求是否计费、超时请求是否计费、是否支持幂等键、用量明细里是否带可对齐的 request_id。前两项决定重试的成本边界,后两项决定事后能不能把重复项找出来;如果对方只给汇总用量、不给逐条明细,重试策略就只能靠少重试这种粗放手段,成本不可控。
对账是最后一道检查,做法是按 request_id 去重后比对本地成功调用数与上游用量明细。每天固定跑一次差异,把本地记录成功但上游计费两次的条目单独列出,反查是幂等键没有生效、还是模型重复调用了同一个 Action。重试率和重复率要当成两个独立指标看:重试率高说明上游不稳定,重复率高说明幂等没做对,两者治理手段完全不同。
有几类请求天生不适合自动重试,应当改成异步模式。已经产生副作用的写操作如下单、扣库存、发消息,耗时长到必然超过读超时的任务,以及上游没有提供幂等能力的接口,都属于这一类;用提交任务拿任务号、再轮询查结果的方式替代失败重发,才能既保证最终成功,又保证只计费一次。
判断一套 GPTs 重试配置是否合格,标准不是几乎没有失败,而是任何一次失败都能对应到唯一的计费条目。做到这一点,重试就从成本风险变成了稳定性手段;做不到,即使只重试一次,也可能在高峰期被放大成肉眼可见的重复账单。