Workbuddy 长文本 API 的预切分功能在哪里开启,开启后分块策略和召回效果怎么验证?

预切分不在模型调用参数里直接开启,而在 Workbuddy 控制台针对具体工作区或 API 应用的长文本处理配置中打开:确认版本支持后设置切分依据、单块上限与块间重叠,保存并发布到对应环境,再用请求日志里的分块数验证。短文本和需要全局语义的任务建议保持关闭。

Workbuddy 的预切分不是靠模型调用参数开启的,而是在控制台侧对具体工作区或 API 应用打开长文本处理能力后才生效;如果当前版本没有这个开关、改动尚未发布、或子账号缺少配置权限,请求里即使带上分段字段也不会触发切分链路。原因是预切分属于接入层能力,工作在请求进入模型之前,配置位因此落在接入侧而不是提示词里。 开启前先确认当前部署形态是否提供该入口。同一套控制台在不同部署方式下菜单层级并不一致,SaaS 版通常在应用的能力配置里,私有化部署还可能要求在部署配置中先启用相应的文档处理模块,再回到控制台勾选。判断方法很直接:在设置里搜索长文本、文档处理、预处理这几个关键词,能找到开关说明当前环境具备该能力,找不到就先向平台侧确认版本,而不是继续在请求参数里试。 要确认调用方式是否匹配,因为预切分通常与异步任务或流式返回搭配使用,同步短连接容易在长文档处理中途超时。准备一份明显超出常规上下文的文档做试跑,观察返回体里是否出现分块标识、块序号或每块字符数这类元数据,有则说明切分链路已经走通,没有则说明请求仍被当作普通文本处理。 分段策略需要同时定三项:切分依据、单块上限和块间重叠。切分依据决定边界落在标题、段落还是标点上,影响检索时能否命中完整语义单元;单块上限要与所调模型的上下文和实际回答粒度对齐;块间重叠的作用是避免答案正好落在两段接缝处被割裂,代价是重复内容会带来额外消耗。三项参数没有通用最优值,按文档结构与问题类型设定,具体默认值以官方说明和控制台显示为准。 权限和发布状态是最容易被忽略的一环。配置权限一般只开放给工作区管理员,普通调用账号看不到设置项,改完参数后还必须发布到调用所指向的环境,只在测试环境保存而生产环境未同步时,线上请求仍旧走旧配置。排查时先看配置页顶部的环境标识与版本号,再看最近一次发布时间,能排除掉相当一部分看起来像功能未生效的问题。 请求侧要配合改写法。启用预切分后,应通过文档引用或文件上传的方式提交长文本,让平台先切分再按需送入模型;如果仍把整篇内容塞进对话消息里,平台会按普通文本处理,不会走切分链路,这也是很多人以为开关没生效的真实原因。同时注意所用 SDK 版本是否识别新增字段,旧版本客户端可能在序列化时把分段参数丢掉。 验证效果不要只看返回是否成功,要看三组可比数据。第一组是响应里的分块数量和每块长度分布,块数异常多说明单块上限设得过小;第二组是开启前后的首字延迟与总耗时,长文档场景下总耗时上升通常来自多次请求而非单次变慢;第三组是命中质量,用一份答案分散在文档首尾的测试集提问,看回答是否引用了远端块的内容,能反映切分边界与召回是否匹配。 有些场景不适合开启预切分。短文本、结构高度固定的 JSON 或表格类输入、以及要求通读全文再作答的摘要和跨段推理任务,切分反而会割裂上下文,导致答案只覆盖局部。这类任务建议关闭预切分,或改用更大的单块上限并提高重叠,把关键上下文尽量保留在同一块内;如果业务里长短文档混跑,就按请求类型分别配置,而不是全局限定一套参数。 成本结构的变化来自请求次数与重复内容,而不是功能本身。预切分不改变单次调用的计价方式,但一份文档被切成若干块后,按块送入模型就意味着请求数上升,块间重叠越高重复部分越多,整体消耗随之增加。上线前可先用一份代表性文档离线试算块数,再换算到日均调用量,比上线后看账单更容易控制预算。 排查失败应按固定顺序走,不要一上来就改参数。先确认开关是否发布到目标环境,再确认账号权限与所在套餐是否覆盖该能力,然后确认客户端版本能否正确传参,接着确认文档格式是否在支持范围内,扫描件、加密文档或特殊编码的文本常在解析阶段就失败,最后再核对单块上限与模型上下文是否冲突,以及并发或超时是否触发了限流。按这个顺序走,多数问题在前两步就能定位。 上线阶段建议做灰度并保留回滚开关。把分段参数当作配置项版本化记录,每次调整留痕,便于在命中质量下降时快速回到上一组参数;同时保留一条不启用预切分的旧链路,遇到长文档解析异常可以按业务维度切换,而不是整体回退。这套做法在文档类型混杂、同一个应用同时服务多个业务方的场景里尤其必要。