GPTs 超长文本上下文 API 参数怎么调?截断策略、分块大小与输出上限应按什么顺序设置?
GPTs 超长文本上下文 API 的参数调整,正确顺序是先按窗口总量拆分预算,再显式设置截断策略与分块参数,最后校准输出上限、超时与温度。只把 max_tokens 调大并不能解决问题,反而会让静默截断更难被发现。
GPTs 类应用要把超长文本跑稳,参数调整的正确顺序是先把上下文预算拆清楚,再定截断与分块,最后调输出与重试,而不是一上来就把 max_tokens 拉满。这个顺序适用于通过 API 直接控制 messages、检索参数与截断策略的自建调用方;如果用的是平台托管、由服务端自动裁剪上下文的 GPTs,可调项只有少量开关,这套方法只能部分适用。
上下文预算要先把窗口总量拆成四块:系统提示与工具描述、检索注入内容、历史对话、预留输出。任何一块超支都会触发服务端截断,而截断通常不报错,只是让模型看不到部分内容,表现为“回答变差但找不到原因”。做法是先用分词器估算每块 token,再倒推可保留的历史消息条数与可注入的资料长度,把预算表写进配置而不是凭感觉。
截断策略必须显式设置,不要依赖默认的自动模式。Assistants 风格的接口一般提供 auto 与 last_messages 两类截断:auto 按窗口自动放弃最早内容,last_messages 按消息条数保留最近若干轮。对话型 GPTs 用 last_messages 更可控,因为丢哪几条是确定性的,便于复现;文档问答型则不应把长资料塞进历史,而应放到检索侧,否则截断会把关键段落整段切掉。
分块参数决定检索质量的上限,静态分块要同时设置 max_chunk_size_tokens 与 chunk_overlap_tokens。分块过大,单条召回就占满预算,挤掉其他证据;分块过小,语义被切断,模型拿到的是碎片。重叠区是补救手段,但重叠越大,索引体积与召回重复率越高,成本随之上升,需要按文档结构实测后再定,标题层级清晰的长文档可以适当放大分块。
检索条数 max_num_results 要单独核算 token 开销,它约等于条数乘以单条平均长度。把条数设得很高,看似召回更全,实际会把输出预算挤到几乎没有,模型只能草草收尾。可行做法是按问题类型分层:事实型问题取少量高相关片段,综述型问题才放宽条数,并在提示中要求模型先列证据再给结论,避免用长度换虚假的完整性。
输出侧要同时改 max_tokens 与客户端超时,两者不匹配会表现为调用成功但内容被截半。部分新接口把输出上限改名为 max_completion_tokens,迁移时需确认字段名,否则参数会被忽略。长上下文的首 token 延迟明显高于短请求,网关与 SDK 的默认超时往往不够,应开启流式返回并放宽读超时;重试要带幂等键,否则超时重试会重复计费。
温度类参数在长文本任务上应当收紧而不是放开。摘要、抽取、合规核对这类任务需要可复现,temperature 调低、top_p 保持默认即可;只有创作型改写才需要放宽。长上下文本身已带来注意力分散,再叠加高温度,事实性错误会明显增多,且难以通过重跑复现定位,排查成本远高于省下的那点表达多样性。
提示词结构要按稳定在前、变化在后的顺序排列,才能吃到前缀缓存。系统提示、工具定义、固定资料放在最前且保持逐字节一致,用户问题与临时变量放在最后;只要前缀有一个字符变化,缓存就不命中,长上下文请求的单位成本会立刻回到全价。这一条对按量计费的调用方影响最大,也是最容易被忽略的省钱手段。
成本结构上,长上下文请求的主要开销在输入侧,输出侧通常只占小头。因此优化优先级是减少重复输入,例如启用缓存、做摘要压缩、用检索替代全量拼接,其次才是压缩输出长度。把整篇文档反复塞进每一轮对话,是最常见也最贵的做法;改成一次建索引、多轮检索,token 消耗会明显下降,延迟也更稳定。
参数是否调对,要用可观测指标验证,而不是凭回答“感觉还行”。每次请求记录 prompt_tokens、completion_tokens、是否触发截断、检索命中条数与耗时;再准备一组固定问题做回归,比较调整前后的答案完整率与引用准确率。没有这组基线,任何参数改动都无法判断是变好还是变坏,多人协作时也无法对齐口径。
几个边界需要提前说清:不同模型支持的上下文窗口并不相同,参数名也可能不同;超出窗口的请求有的直接报错,有的静默截断;流式返回下的 token 统计口径与一次性返回不完全一致。跨模型迁移时,先把预算表按新窗口重算,再复用分块与截断配置,不要直接照搬,否则原本调好的平衡会在新模型上整体偏移。
落地时可沿用一条固定顺序:算预算、设截断、定分块、限召回条数、配输出上限与超时、收紧温度、固定提示前缀,最后用回归集验证。这套顺序的价值在于每一步都可单独回滚,出现质量下降时能快速定位到具体参数,而不是在十几个开关之间反复试错。