GPTs 处理超长文本时,API 的上下文窗口、max_tokens 和分块参数该怎么调才不截断?
GPTs 本身不开放上下文窗口与采样参数,超长文本只能在它背后调用的 API 层调整:先按输入加输出一起算窗口预算并设好输出上限,再把不变文档前置、可变指令后置以命中缓存,最后压低 temperature、避开惩罚系数并开启流式。只在界面里用自定义 GPT 时没有参数可调。
GPTs 本身不开放上下文窗口与采样参数,超长文本的参数调整只能发生在它背后调用的 API 层,或者绕开 GPTs 直接走 API。可动的只有三处:窗口预算、输入组织方式、采样与流式设置;三者互相关联,单独改一个通常解决不了截断和答非所问。只在 ChatGPT 界面里使用自定义 GPT、不接任何自有接口时没有参数可调,能做的是缩小投放的知识文件范围。
窗口预算要按输入加输出一起算,不能只给输出设上限。上下文窗口是输入与输出共享的,长文档把窗口占满后,max_tokens 设得再大也会被截断或直接返回超限错误。做法是先估输入 token 数,在窗口上限里预留固定比例给输出和重试余量,再设 max_tokens;估算要用与目标模型一致的分词器,不同分词器对中文与代码的偏差足以让预留失效。
把不变的长文档放在消息序列最前面、把可变指令放在最后,是长上下文里收益最高的一次参数级调整。这样既符合模型对开头结尾更敏感的位置偏好,也能让支持提示缓存的模型命中前缀缓存,重复请求的输入成本与首字延迟同时下降。代价是缓存按前缀逐字匹配,文档前面插入任何时间戳、用户名都会让缓存整段失效,应把这类变量挪到末尾。
不是所有超长文本都该整篇塞进窗口,抽取类任务用分块加结构化输出通常比拉长上下文更可靠。上下文越长,中段信息被忽略的概率越高,这是位置效应而不是能力不足;把关键段落放在开头或结尾、或对同一文档做两次不同顺序的调用取交集,比单纯加大窗口更有效。汇总类任务先分块摘要再分层合并,能在不牺牲覆盖率的前提下压缩输入。
引用、抽取、比对类任务应把 temperature 压到接近确定性的区间,并保持 top_p 默认不动。两个参数同时调低会把随机性叠加到接近贪心解码,长文生成容易陷入重复循环;只调其中一个,行为更容易预测。创意改写类任务才需要抬高 temperature,同时用 presence_penalty 控制话题重复,这两类场景的参数模板不要混用。
frequency_penalty 和 presence_penalty 不该出现在长文引用场景里,它们按词元出现频次做压制,会直接把原文措辞改掉。需要模型照抄原文时,防止重复应靠提示词约束输出格式和引用范围,而不是靠惩罚系数。真正需要惩罚系数的场合是开放式长文生成,且数值应小幅试探,抬得过高后输出会变得支离破碎、专有名词被同义替换。
长输出的尾部截断多数不是上下文不够,而是输出上限、stop 序列和格式约束没设好。结构化输出应给出明确字段与闭合信号,并给 max_tokens 留出足够的尾部空间,否则 JSON 会在最后一个字段处被切断,前端解析直接报错。用流式接收时按行或按分片累积,在检测到闭合标记后再结束,比依赖固定长度更稳。
开 stream 是长上下文请求最稳的抗超时手段,尤其是首字延迟已经接近网关超时阈值的时候。非流式请求要等整段生成完成才返回连接,中间任何一层代理的空闲超时都会提前掐断;流式按分片持续吐字,把空闲窗口压到单分片级别。副作用是不能再用一次性响应体做重试判据,需要在客户端累积后再校验完整性。
换模型必须重设参数,窗口大小、参数名和计费口径都不通用。同一个输出上限字段在不同代际模型上可能已被新名字取代,沿用旧模板会出现参数被静默忽略的情况,表现为输出莫名变短却没有任何报错。切换前应把参数映射、窗口上限、是否支持缓存各核对一遍,再跑一轮回归样本。
超长上下文请求要按可降级设计,而不是失败就原样重试。常见失败是超出窗口、超出速率限制和生成中断,前者重试一定再失败,后两者重试才有效;因此要先判断错误类型,再决定截断、拆分还是退避重试。重试必须幂等,避免同一份长文档被重复计费多次。
长上下文的成本结构由输入 token 主导,压缩与缓存是两个结构性省钱手段,其余都是微调。整篇塞入意味着每次请求都为同一份文档付费,而分块摘要、只在需要时召回相关段落、把稳定前缀交给缓存,能把重复输入降到最低。用加大窗口来省工程成本,通常换来更高的单次费用和更差的稳定性。
参数调整要用固定样本集回归,指标看引用准确率、截断率和单次成本,而不是单次体感。做法是准备长短不一的文档与固定问题,改动一个参数跑一遍并记录三项指标,任何一项变差就回退。落地顺序建议是先定窗口预算,再排输入顺序与分块策略,最后才动采样参数,因为前两层决定能不能跑通,第三层只决定输出风格。