Toonflow 流式输出时 SSE 连接断开了,怎么设置才能自动重连并接着断点继续输出?
Toonflow 的 SSE 断连恢复要三层配合:服务端给每条事件打上 id 并短期缓存已生成片段,连接层关闭响应缓冲并延长读超时,客户端重连时带上 Last-Event-ID 并按序号去重续显。只把客户端重试次数调大,重连后仍会从头重新生成。
Toonflow 的 SSE 断连恢复要同时满足三个条件才算配好:服务端给每条事件编号并短期缓存已生成片段,连接层关掉响应缓冲并延长读超时,客户端重连时带上 Last-Event-ID 并按序号去重续显。只把客户端重连次数调大没有用,服务端认不出断在第几段,Toonflow 会从头重新生成,已经推到编辑区的内容要么重复要么错位。这条结论只适用于逐字流式返回文本的生成任务;一次性返回完整 JSON 的接口不需要断点续传,重发请求即可。
浏览器原生 EventSource 默认自带自动重连,但重连请求只携带一个 Last-Event-ID 请求头,应用层上下文完全靠服务端识别。做法是在每条 data 事件前写一行 id: 序号,服务端收到重连请求后按这个序号在会话缓存里定位,从下一条未发送的片段继续推。服务端不认这个头,自动重连就会退化成重新生成,用户在 Toonflow 里看到的就是内容突然回到开头。
重连间隔交给 retry 字段下发,比在客户端写死定时器更可靠。SSE 规范允许服务端在流里发一行 retry: 毫秒,浏览器 EventSource 收到后会用这个值覆盖默认重连间隔;实际配置建议首帧就下发一个两秒左右的值,避免网络抖动时瞬间重连打满服务端。如果 Toonflow 客户端用的是 fetch 加 ReadableStream 自己解析流,这套重连逻辑要手动复刻一遍,因为 fetch 不会自动重连。
真正常见的断连原因通常不在 Toonflow 本身,而在中间的 Nginx、网关或 CDN 的空闲超时与响应缓冲。配置上要关掉 proxy_buffering,让数据一到就往前端推;把 proxy_read_timeout 提到生成任务的最长耗时之上;在响应头加 X-Accel-Buffering: no 防止个别层级重新开启缓冲。云厂商网关的固定空闲超时改不了时,只能靠心跳把连接养住。
心跳必须用注释行发送,不能用 data 行,否则心跳文本会被当成正文渲染进 Toonflow 的输出里。正确写法是每隔十几秒发一次以冒号开头的行为,例如一个冒号加 keep-alive 再跟两个换行,客户端解析时忽略所有以冒号开头的行。心跳的第二个作用是让客户端尽早发现半开连接,而不是等到写超时才报错。
断点续传要求服务端把已生成的片段存到会话级存储,而不是只放在单次请求的内存里。做法是以 request_id 为键,把片段序列写进带过期时间的缓存,过期时间略长于任务最长耗时;重连命中缓存就直接续推,未命中则返回一个明确的已过期事件,让客户端提示重新生成,而不是静默从头开始。单次响应在几秒内结束的短请求不需要这套缓存,加了反而是额外成本。
客户端做去重比要求服务端保证绝对不重发更现实。每条事件带一个递增序号,前端维护 lastSeq,收到序号不大于 lastSeq 的事件直接丢弃,只渲染新片段。这样即使服务端因为缓存命中位置不够精确而多推了几条,画面也不会重复,用户感知到的只是恢复瞬间稍微停顿一下。
面向创作场景的工具,断连恢复还要处理生成中状态和部分结果可见。已到达的片段应当立刻落到本地草稿,刷新页面后先渲染草稿,再用 Last-Event-ID 去续,不要留一片空白让用户猜任务是不是死了。这一步在移动端网络切换、锁屏后重进时尤其明显,是体验差异的主要来源。
幂等键决定重连会不会重复生成、重复计费。客户端每次任务生成一个唯一 request_id 作为幂等标识,服务端在同一标识的有效期内只执行一次生成,重连走的是取结果而不是再下单。对按量计费的服务这一点必须显式做,否则一次断连重连三次就可能产生三次消耗,账目和生成结果都对不上。
重连策略要用指数退避加上限加随机抖动,固定间隔在服务端故障时会形成重试风暴。可用的参数是从一两秒起步,每次乘以接近二倍的系数,封顶三十秒左右,并叠加一定比例的随机抖动打散同时重连的客户端;连续失败到设定次数后停止并给出手动重试入口,而不是无限循环。
验证配置是否生效,看的是断开瞬间到恢复第一个字节之间的时间,以及恢复后有没有重复片段,而不是看有没有报错。测试方法很直接:生成过程中断网或杀掉连接,观察重连请求是否携带 Last-Event-ID、服务端日志是否命中缓存、前端是否出现重复文本,三项都通过才算真正配好。
SSE 只解决服务端到客户端的单向推送,遇到需要双向交互或二进制流的场景,Toonflow 的部分能力可能走 WebSocket 或分块 HTTP,恢复逻辑要按各自协议单独实现,不能把 SSE 这套照搬过去。至于客户端里具体的开关名称和位置,以官方说明为准,配置思路仍以上面的三件套为准绳。