Toonflow 怎么控制 API 并发调用上限,超出的请求该排队还是直接丢弃?

Toonflow 控制 API 并发调用上限的可靠做法是三层叠加:应用侧用信号量限制同时在途请求数,按模型或供应商分桶用令牌桶限制单位时间调用量,再用有界队列加指数退避吸收超限流量。超出的请求应优先进入有界队列并设置最大排队时长,队列满或等待超时后返回可重试失败;对延迟敏感且不可重试的请求则直接快速失败,而不是无界排队或静默丢弃。

Toonflow 控制 API 并发调用上限的可靠做法是三层叠加:应用侧用信号量限制同时在途请求数,按模型或供应商分桶用令牌桶限制单位时间调用量,再用有界队列加指数退避吸收超限流量;超出的请求默认进入有界队列,队列满或超过最大排队时长后返回可重试失败,而不是无界排队或直接静默丢弃。这套做法适用于 Toonflow 调用外部模型 API 的同步生成、批量分镜与批量出图场景,也适用于供应商会返回限流错误或延迟可观测的情况;如果供应商完全不返回限流信号、也没有延迟和错误可供观测,只能保守设阈值并人工探测,不能把它当成精确配额控制。只调大单次请求超时,或在循环里加固定间隔 sleep,都不构成并发控制。 并发上限要拆成两个指标分别设:在途请求数决定连接数、内存和下游压力,单位时间请求数对应供应商的每分钟请求数与 token 配额。前者用信号量管,后者用令牌桶管,两者串联而不是二选一。只限其中一个,常见结果是请求数没超但瞬时打满连接,或者并发不高却因为短时间堆积触发限流。落地时把在途上限看成硬闸门,把速率上限看成节拍器:先拿速率许可,再拿在途许可,任何一步拿不到都按队列策略处理,避免请求已经进入网络后才被本地拦住。 限流器要按模型或供应商分桶,不要全局只设一个阈值。不同服务商的配额互相独立,一个慢模型占满全局并发后,其余模型的请求会被无关地卡住。做法是以模型名或供应商为键维护独立的信号量与令牌桶,桶参数放进配置,换模型时只改配置不改代码。分桶还要考虑同一供应商下不同模型可能共享配额的情况,配置上允许把多个模型归入同一个配额组,避免分别限流后合计仍然超限。 控制并发要用许可机制,而不是用 sleep 摊平速率。sleep 只推迟了请求发出的时间,同一时刻仍可能有大量请求在途,遇到供应商瞬时限额照样报错。正确顺序是获取许可、发出请求、在 finally 里释放许可,保证异常路径也能归还名额。许可获取应带等待超时,不能无限阻塞工作线程;获取失败时把任务转入有界队列或直接返回可重试状态,让调用方决定降级、稍后重投还是改用备用模型。 队列必须有界,并给每个任务设最大排队时长。无界队列在批量分镜或批量出图时会把等待时间推到不可接受的长度,用户看到的是卡住而不是失败。超过排队上限的任务应直接返回可重试的失败状态,让调用方决定降级还是稍后重投。排队还是丢弃要看请求语义:可重试的生成任务适合短时间有界排队;不可重试、结果有时效性或用户已经离开的请求,应立即快速失败,避免排到队尾后执行一个已经没有意义的任务。直接丢弃最危险的地方是调用方不知道发生过限流,后续统计和补偿都会失真。 429 和 5xx 必须分开处理,因为语义不同。429 是明确的限流信号,应立即对该桶做指数退避加随机抖动,并临时下调并发;5xx 是服务端故障,重试要更保守,连续失败应停止重试。把所有错误统一重试固定次数,只会把一次限流放大成一次雪崩。更细的做法是把 429 计入该桶的限流反馈,把 5xx 计入健康度反馈:前者调整速率和在途上限,后者触发熔断或切换备用端点,两类信号不要混在一个计数器里。 并发上限适合做成可自动调节的值,而不是写死的常量。稳定无错时缓慢加一档并发,一旦出现 429 就立即减半,这种加性增乘性减的方式能在不依赖供应商公开配额的前提下逼近真实上限。关键是每次调整都留记录,避免阈值抖动导致吞吐忽高忽低。自动调节要有冷静期:刚减半后不要马上加回,等一段时间内没有新的限流信号再试探;试探请求应走小流量探测,而不是把整批任务一次性压上去。 超时与熔断是并发控制的一部分,不是可选项。单请求超时应略大于该模型近期的 P99 延迟,设得太短会制造大量假失败并占用重试名额;某个桶连续失败达到阈值时应熔断,把该桶并发临时归零,等探测请求恢复后再放开。熔断状态要按桶隔离,不能让一个故障模型拖住其他可用模型;同时要把熔断原因写进日志和指标,区分是供应商故障、网络问题还是本地线程池耗尽。 没有观测指标就调不准并发上限。至少要采集在途请求数、队列长度、429 占比、单请求耗时分布和重试率,用它们判断瓶颈在本地并发、供应商配额还是下游处理。只看总吞吐会掩盖局部排队,导致误判为还能继续加并发。观测要能下钻到模型桶和供应商桶,看到哪个桶在排队、哪个桶在退避、哪个桶被熔断;如果没有这些维度,调参只能靠猜,扩容也可能把压力转移到更脆弱的下游。 批量任务要按 token 预估而不是按请求数估算压力。生成长文本或高分辨率画面时,单次请求消耗的配额差异很大,按请求数配平会让重请求集中打满配额。做法是先按历史均值预估 token 消耗,分批提交并在批间留出缓冲,具体参数名称以官方说明为准。队列调度可以优先放小请求保持吞吐,但必须给大请求留出通道,避免大任务长期饥饿;当某个桶的 token 预算紧张时,宁可降低提交批次,也不要在队列里堆积大量注定超时的任务。 单机信号量只在本进程内有效,多实例部署时必须换成分布式限流。多个进程各自持有一份并发额度,实际总并发是各份额度之和,很容易突破供应商上限。做法是用共享计数器或网关层统一限流,把额度分配下沉到公共组件。分布式限流要处理租约过期和实例宕机后的名额回收,否则额度会被死实例占住;同时保留本地信号量作为第二道闸门,防止共享计数器短暂失准后单实例瞬间打满连接。 并发的最终形态应该是可配置、可观测、可回退的。把每个桶的并发数、令牌速率、队列上限、退避策略都做成配置项,上线后靠指标逐步加压,出现异常能一键回退到保守值。调大并发不等于提高吞吐,真正的瓶颈常在供应商配额和下游处理能力上;先保证限流、队列、退避、熔断形成闭环,再谈提高并发,才能让 Toonflow 的 API 调用在超限时表现为可控的排队或快速失败,而不是不可解释的卡顿和批量报错。