Toonflow 怎么控制 API 并发调用上限？多节点工作流同时运行时怎样限流才不触发 429

Toonflow 控制 API 并发调用上限的有效做法是三层设限：工作流级总并发、节点级并发、按密钥或账号划分的配额池，实际生效的是三者中的最小值。它适用于一个工作流内部存在循环、批量或扇出分支的场景；如果整条链路只有单条串行调用，请求天然排队，再加并发阀门并不会带来额外收益。 先分清并发数与速率限制两个概念，是配置前的必要一步。并发数指同一时刻尚未返回的请求条数，速率限制指单位时间内的请求次数或令牌数，模型服务商通常按后者计费与限流，而 Toonflow 这类工作流编排工具在本地能直接约束的是前者。两者并不等价：并发设得不高，但每个请求很快返回，实际每分钟请求数仍可能超限，所以还要看上游文档写的是哪一种概念。 全局并发上限应当由链路中最紧的一环倒推，而不是凭感觉填一个数。可用的起点算法是：目标每秒请求数乘以单次调用平均耗时（秒），得到稳态下同时未返回的请求数，再留出余量应对耗时抖动；如果上游按每分钟请求数限制，还要把平均耗时换算成每分钟可承载量做二次校验。最紧的一环往往不是模型服务商，而是写数据库、回调通知或第三方接口，这些环节的承载能力要一并计入。 节点级并发是防止单个扇出节点瞬间吃满全局配额的关键开关。一个批量生成节点如果一次展开几十条分支，即便全局有上限，积压也会集中在它内部，导致其他并行分支长时间得不到额度。做法是给这类节点单独设一个较小的并发值，让请求分批进入全局通道，与其他节点公平分享；串行节点保持默认即可，不必重复设限。 超出并发上限的请求应进入有界队列等待，而不是直接失败或无限挂起。有界是关键：队列长度要有上限，超限后按业务优先级决定拒绝、延迟重试还是降级跳过，否则内存占用与积压时间会一起失控。队列还要配等待超时，超过阈值的任务丢弃并记录，避免整个工作流卡在一个慢请求上。 重试必须计入并发额度，否则限流会被重试流量反向突破。常见错误是请求返回 429 后另起一个独立定时器重试，这条重试不受并发阀门约束，又恰好在限流窗口内与正常请求叠加。正确做法是重试回到同一队列、占用同一份额度，对 429 使用指数退避加随机抖动把重试散开，对参数类错误则不重试，避免白白消耗配额。 并发上限与超时设置必须联动调整，否则额度会被慢请求长期占住。同时在运行的请求数上限是固定的，单次调用超时若设为数分钟，少数卡死的请求就能把通道堵满，表现为并发没打满但任务推进极慢。可行做法是把超时放在正常返回时间分布的上沿附近，超时后立即释放额度并转入重试队列，让通道保持流动。 用多个密钥或账号分摊流量时，要按配额分池并在池内单独限流，而不是简单轮询。服务商对同一主体的多个密钥可能共享配额，看上去是多池实际共用一份上限，此时按密钥数量线性放大并发会直接触发限流。可行做法是给每个池标注可用额度，路由时优先选剩余最多的池，并让各池并发之和不超过服务商允许的总量。 判断并发上限调得对不对，看三个指标：同时在运行的请求数峰值、队列平均等待时长、429 占比。峰值长期贴住上限且等待持续增长，说明上限偏低；429 上升而并发没打满，说明还有未被本地约束的旁路流量，多半来自重试；等待短而吞吐上不去，则瓶颈不在并发，要去查单次调用耗时。 最常见的三个误区是只设全局不调节点、把并发数当成每分钟请求数、以及限流失败后整批重跑。前两个会让配置看起来生效而实际仍触发限流；第三个最危险，一批任务失败后全量重跑，会在同一时点再造一次流量尖峰。正确做法是只重跑失败项，并按队列节奏分批放行。 规模不同，控制手段的侧重点也不同。日调用量低、以单机跑批为主的工作流，把工作流级并发设小、配合失败项重跑就够用；调用量大、多人共用同一套密钥时，才需要队列、密钥分池与监控三件套齐上。反过来，如果上游允许申请预留吞吐或提升配额，优先走配额申请比在本地反复调参更省事，本地限流只能保证不越界，无法凭空增加可用额度。 验证配置是否有效，靠逐步加大负载而不是一次压满。从一个很小的并发值起步，按固定步长逐级提高，每一步观察延迟拐点和 429 首次出现的位置，取拐点之前的数值作为生产上限。上线后保留手动调整入口，遇到批量任务或高峰期临时下调，比推倒重配更安全。