GPTs 处理超长文本时,上下文窗口、max_tokens 和分段策略这些 API 参数到底该怎么调才不会丢内容?

正确顺序是先按输出需求定死 max_tokens,再用上下文窗口减去输出、工具调用与格式标记的预留,得到输入预算;超预算的文档走语义分段或检索回填,而非调大窗口硬塞。需要逐字精确引用原文的场景不适用这套切分,必须保留原块并标注出处。

GPTs 处理超长文本时,参数调整的正确顺序是先按输出需求设定 max_tokens,再用上下文窗口减去输出与预留量得到输入预算,超出预算的文档走分段或检索回填,而不是把 temperature、top_p 一起乱调。这套顺序对合同比对、长报告摘要、多轮文档问答成立;对需要逐字精确引用的法规条文检索不适用,那类任务必须保留原文分块并指明出处。 上下文窗口和 max_tokens 是两个不同上限,把它们当成同一个数是超长文本被截断的首要原因。上下文窗口约束的是一次请求里输入加输出的总量,max_tokens 只约束模型这一次最多生成多少内容;输入已经把窗口占满时,max_tokens 设得再大也不会生效,表现往往不是报错,而是回答写一半就断。 输入预算应当按窗口上限的七到八成来分配,剩下留给输出、工具调用返回和格式标记。长文档任务里模型还要生成结构化结果,工具调用的中间结果也会回填进同一窗口;把窗口塞到极限,典型症状是 JSON 结构断在中间、列表只输出前几项。 输出需求决定 max_tokens 的下限,而不是凭感觉填一个很大的数。整篇改写、批量抽取字段、逐条生成摘要的输出长度是可估的,按估计值的一点五倍设上限比较稳妥;反过来,只是分类或打分时把 max_tokens 给得很大没有收益,只会拖长极端情况下的响应时间与计费。 分段策略要按语义边界切,不要按固定字符数硬切。按标题层级、条款编号、空行段落切分能保证每段内部语义自洽;硬切容易把一个条件句拆到两段,模型对任何一段的理解都是错的。相邻分段保留少量重叠内容,可以让“上述条款”这类跨段指代仍有指代对象。 能用检索就不要把所有内容塞进上下文,长上下文不等于均匀注意力。放在文档中段的材料被模型引用到的概率通常低于开头和结尾,这是位置偏差;因此把关键定义、结论、字段说明放在提示词靠前位置,把补充材料放在后面,或先做一轮摘要再喂给主任务。 temperature 与 top_p 只调一个,长文本抽取类任务用接近零的温度。抽取字段、比对条款、生成结构化 JSON 需要可复现,随机性越低越稳;润色类任务才需要较高温度。两个参数同时调会把随机性叠加,出问题时很难判断是哪一个造成的。 把稳定的大段材料放在提示词前部、把变动指令放在后部,目的是让缓存与复用生效。多数长文本请求里文档主体在多次调用中不变,变的只是问题和输出格式;固定前缀能让服务端的上下文缓存命中,从而降低重复计费与首字延迟。 超长请求必须显式设置超时与流式返回,并区分可重试与不可重试的错误。一次长文档调用耗时可能是普通问答的数倍,中间层或客户端的默认超时经常先于模型返回触发,表现为请求失败但实际已计费;开启流式能早点拿到首字,重试前要先确认上一次是否已经产生计费。 参数调完之后要看 finish_reason 和 token 计数,而不是只看输出像不像。finish_reason 为 length 说明被 max_tokens 截断,需要调大上限或缩短输入;输入计数逼近窗口上限说明该走分段。建立一组固定的长文档回归用例,覆盖长摘要、跨段问答和字段抽取,每次改参数都跑一遍,才能判断改动是优化还是回退。 成本结构上,长文本请求的主要花销在输入 token,参数优化的重点是减少重复输入。可行做法包括缓存固定前缀、先把长文档压成结构化摘要再复用、把简单任务降级到小模型;把 max_tokens 调大对单次成本影响有限,但会放大失败重试的代价。 参数调整解决不了注意力衰减,也替代不了逐字引用需求。需要完整原文、精确页码或条款编号时,正确做法是检索回填原文片段并给出出处,而不是调大窗口把整本材料塞进去;窗口大小只是准入条件,不等于理解能力。