Workbuddy 长文本 API 的预切分功能在哪里开启,开了之后请求参数和返回结构会有哪些变化?

Workbuddy 的长文本 API 预切分默认不开启,要使其生效,需要同时具备三个条件:项目或应用级的长文本开关已打开、请求发往支持切分的长文本端点而非普通对话端点、提交内容超过该端点的单次上下文上限;三者缺一,开关打开后也不会触发切分。

Workbuddy 长文本 API 的预切分默认不开启,要真正生效必须同时满足三个条件:项目或应用级的长文本开关已打开、请求走的是支持切分的长文本端点而不是普通对话端点、提交内容长度超过该端点的单次上下文上限;内容不够长或端点选错,开关打开也只是摆设。 预切分解决的是「一次塞不进上下文」的问题,它的机制是在请求进入模型之前,服务端先按语义边界把长文本分块,逐块推理后按原始顺序拼接结果,调用方仍然只发一次请求、只拿一个最终结果。它和客户端手动把文章拆成十次请求是两件事,后者要自己维护顺序、去重和合并逻辑,前者把这段编排留在服务端。 开启入口通常分布在三个层级,少动一层就会失效。第一层是控制台里的项目或应用设置,第二层是接口版本与端点选择,长文本链路和普通对话链路一般是分开的,第三层是请求体里的切分参数;最常见的无效场景就是控制台勾了开关、代码里仍打旧端点,请求根本没进切分链路。 请求体里需要显式表达三件事:是否启用预切分、单块的目标长度、相邻块之间保留多少重叠。这三项通常成组出现,各家缺省值不同,靠默认值跑生产容易出现块过大被截断或块过碎导致语义断裂,联调阶段把三项都写明,比事后调参省事得多。 块长要按 token 而不是字符来设定,否则会踩到「看着没超、实际溢出」的坑。同一段中文按字符数估算与按分词器计算能差出明显比例,含大量标点、代码块或表格的文档差得更多;稳妥做法是按 token 预估,再给系统提示词和输出预留余量。 重叠窗口不是越大越好,它的唯一作用是防止答案正好落在切口上被劈开。重叠过多会让相邻块重复计费,也会让模型重复看到同一段内容,合并时出现重复表述;通常覆盖一到两个完整句子就够了,具体取值范围以官方文档的参数说明为准。 判断预切分是否真的生效,要看返回结构而不是看开关状态。启用后响应里一般会多出分块数量、各阶段耗时之类的字段,usage 中的输入量也会因为重叠而高于原文;用同一段文本分别以开启和关闭两种配置各跑一次,对比这两个指标是最快的验证方式。 开了却不生效,还有几类非配置原因值得先排除。上传的是 PDF、扫描件等未抽取文本的二进制内容,切分器拿不到可切的文本;请求在网关层被体积限制拦下;单块推理累计耗时超过客户端超时阈值被主动断开。这三类问题在日志里的表现完全不同,先确认请求是否到达模型层,再谈参数对不对。 有些任务不该开预切分。整篇摘要、全局一致性校对、需要跨章节对齐的结构化抽取,本质上要求模型同时看到全文,切块之后每一块只掌握局部,拼出来的结果会互相矛盾;这类任务更适合换用上下文更长的模型,或者改成先检索定位、再对命中的片段做生成。 预切分改变的是成本结构,不只是速度。切块意味着多次模型调用,重叠部分会被重复计入输入,总体输入 token 数高于原文,按输入量计费的接口成本会同步上升;如果业务本身允许异步,走批处理窗口通常比同步接口更省,也更不容易撞上单次请求的超时上限。 切分发生在服务端,但脱敏必须做在切分之前。每个块都会作为独立上下文进入模型,任何一块里带了证件号、手机号或内部标识,就等于多暴露一次;日志里留存的分块内容同样属于需要纳入审计和留存策略的数据范围,别只盯着原始请求。 落地顺序建议固定下来:先确认接口版本与端点,再打开项目级开关,然后补齐请求体里的切分参数,用一段长度已知的文本验证分块数量和 usage,最后灰度一小部分流量观察延迟与答案完整度。跳过验证直接全量,最常见的结果是延迟明显变高、答案质量却没有变化。