长文本模型怎么选：有效窗口、引用准确率与输入成本在三类任务里怎么权衡

长文本任务里最容易被误用的一个指标，就是模型的上下文窗口长度。不少团队看到「支持百万字」就直接把整份年报、整本合同塞进去，结果发现回答含糊、引用错位，甚至漏掉关键条款。窗口装得下，不等于模型用得好，这中间的差距，才是长文本选型真正要解决的问题。 长文档分析是三类任务里相对宽容的一类。它要的是整体理解、主题归纳、跨章节串联，允许一定程度的模糊。这时候决定效果的是有效窗口和位置敏感度：很多模型在超长输入中段会出现注意力衰减，开头和结尾记得清楚，中间段落容易被忽略。所以做年报分析、政策梳理时，先分块再分层摘要，往往比一次性喂全文更稳。 合同审查的要求完全不同。它不是「读懂大意」，而是要在几十页文本里精确找到付款节点、违约责任、竞业限制、争议解决条款，并且把结论锚定到具体条款编号上。这类任务对模型的要求从理解变成了定位加判断，任何一次引用错位都可能让审阅人白跑一趟。因此合同场景里，能给出可追溯出处、输出结构稳定的模型，比上下文更长的模型更值钱。 文献检索又是另一种形态。它关注的是跨年份、跨语言、跨期刊的一致性，还要处理同义词、缩写和引用关系。真正的难点不在单篇文档有多长，而在于一次要比对几十篇甚至上百篇。纯靠堆上下文做全文塞入，通常会带来两个后果：成本快速上升，结论的引用来源变模糊。 把三类任务放在一起看，适用边界其实相当清楚。长文档分析适合分块加摘要，对模型的长文理解能力要求中等偏上；合同审查适合小批量精读，对指令遵循和引用准确性要求最高；文献检索适合检索加阅读的两段式流程，对结构化输出和批量处理能力要求更高。判断一个模型合不合适，先看任务落在哪一类，再看它在对应维度上的表现。 具体评估时可以盯五个维度。一是有效窗口，也就是长输入下答对率还能保持多少；二是位置稳定性，把关键信息分别放在开头、中段、结尾各测一遍；三是引用能力，能不能输出可核对的原文片段或位置；四是输出稳定性，长输出时格式会不会崩；五是成本结构，长文本任务的钱主要花在输入一侧。 成本这一项经常被低估。长文本任务的输入量通常是输出的十几倍甚至几十倍，同一份合同反复问答，输入会被重复计费一次。可行的做法是分层调度：用轻量模型做初步筛选和归类，把真正需要精读的片段交给能力更强的重模型，再配合缓存和批处理，把整体开销压下来。 工程上还有一个笨但有效的办法，就是自建评测集。挑二十份真实合同、三十篇文献、十来份长报告，把关键问题、标准答案和可接受的引用范围写清楚，然后在同一套题上跑不同模型。这样做的好处是，选型不再依赖演示案例里的漂亮回答，而是有自己的漏检率和引用准确率数据。 执行长文本任务时，调用侧往往会同时对比多个模型。快米兔的模型 API 中转把国产合规模型的调用收敛到一套接口下，注册送 5 元测试金，按量计费，适合先用小样本把几类任务压测一遍再决定放量方案。对需要频繁切换模型做横向验证的团队来说，这种先测后选的路径更省事，也不必为一次性验证单独维护多套账号体系。具体支持的模型清单与计费细则，以官方说明为准。 还有一个容易被忽视的点是预切分代价。把长文本切开、加标题、补元数据、维护索引，这些工程投入往往比调用本身更贵。所以选型时要把这部分算进去：如果一个模型能靠更长的有效窗口减少切分粒度，前期处理成本会明显下降；反过来，如果一个模型在长输入下稳定性不够，切分就得做得更细，隐性成本随之上升。 落到建议上，长文档分析可以优先考虑长文理解稳、成本可控的模型，并配合分块策略；合同审查别省指令层的工作，把输出格式、引用要求、拒答条件写进提示里，模型能力再强也需要约束；文献检索建议拆成检索与精读两步，先缩小范围再让模型深读。没有哪个模型能在三类任务里都做到最优，按任务形态分工，比追求一个万能模型更现实。 最后提醒一点，长文本能力很难靠一次演示判断。同一个模型，换成另一种版式的合同、另一种语言的文献，表现可能完全不同。稳妥的做法是固定一套评测流程，定期复测，把模型调用当成可替换的组件来管理。