首Token延迟320ms算快吗：从通义千问Turbo说清TTFT的构成与及格线

用户评价一个模型快不快，几乎不看总耗时，而是看自己发出去之后，屏幕上多久开始出现第一个字。这段等待就是首Token延迟，业界常用缩写TTFT（Time To First Token）。它从客户端发出请求那一刻算起，到收到第一个内容分片为止。通义千问Turbo公开的首Token延迟在320ms左右，这个数字正好落在大多数人不会察觉停顿的区间里。

想把速度聊清楚，得先把三个指标拆开：首Token延迟、输出速度（业界常写作TPOT，指两个token之间的平均间隔）和端到端总时长。首Token延迟管的是「多久开口」，TPOT管的是「说得多快」，总时长则是这两段叠加再加上收尾时间。一个模型可能开口飞快但后续吐字很慢，也可能想了很久才开口、之后一路顺畅。只报一个数字就说「响应速度好」，其实说明不了什么。

320ms到底算什么水平？交互设计里常被引用的两条线是100ms和1s：100ms以内用户会觉得是瞬时反应，1s以内思路不会被打断。320ms远在这条1s线以内，属于基本察觉不到明显停顿的范围。放到实际产品里，对话类应用首Token延迟低于500ms，用户通常反馈为「挺跟手」；超过1s会开始怀疑网络；超过2s，不少人会重新点一次发送按钮。所以320ms已经处在比较靠前的位置。

指标的第一段构成是网络往返。请求从客户端到服务端，要先经过DNS解析、TCP与TLS握手，再传输数据。如果连接没有复用，光是握手就可能吃掉一两百毫秒；复用长连接则可以把这部分压到接近零。同城或同区域的往返时延常见在10到40ms，跨省几十毫秒，跨国则轻松上百毫秒。这一段的耗时和模型本身没关系，却经常是不同用户之间体验差距最大的来源。

第二段是接入层与网关。请求进入网关后要完成鉴权、限流判断、路由选择、参数校验、日志埋点等动作，任何一步写得粗糙都会引入额外开销。设计得好的网关会做连接池复用、就近接入、异步写日志，把这些动作压缩到很短；而链路多绕一跳、序列化多做一次，几十毫秒就悄悄加进去了。模型API中转平台的价值，很大一部分就体现在这一层能不能把开销做稳。

第三段是上游排队。GPU是有限资源，同一时刻到达的请求需要排队等待调度。并发一高，排队时间会迅速上升，这也是同一个模型在低峰和高峰期首Token延迟能差出好几倍的原因。批处理技术提升了整体吞吐，代价是单个请求可能要多等一拍才能被处理。做容量规划时，排队这一段往往比模型计算本身更难预测。

第四段是prefill与首token生成。模型在回答前必须先把整段prompt读进去，这一步叫prefill，读完之后才算出第一个token。输入越短，prefill越快；输入越长，首Token延迟就越高。一个两百字的提问和一份上万字的合同，首Token延迟根本不在同一个量级。这也意味着，任何首Token延迟数字都必须附上输入长度才有可比性，否则两个数字放在一起没有意义。

流式输出改变了用户的感知方式。SSE把结果切成小块持续推送，用户在第一个分片到达时就开始阅读，后面生成的token和阅读速度重叠在一起。于是首Token延迟决定了「用户什么时候开始读」，而输出速度和总时长决定了「用户什么时候读完」。这也是为什么对交互体验影响最大的往往是首Token延迟，而不是总耗时。

那么多快算好，可以按场景粗略分档。实时语音对话、在线客服助手这类强交互场景，300到500ms是比较舒服的目标；面向C端的聊天应用，500到800ms仍然可以接受；内部工具、报告生成、批量处理这类用户本来就在等结果的场景，1到1.5s也还能用；超过2s，就要回头查一查是网络、网关还是排队出了问题。这些是经验区间，最终还是要看你自己的用户对等待有多敏感。

测首Token延迟时，别只看平均值。固定输入长度、固定网络环境、连续打点几十上百次，然后看P50、P95和P99。平均值好看但P95很难看的服务，意味着高峰期体验会突然掉下来。客户端埋点要精确到「发出请求」和「收到第一个分片」两个时刻，中间如果还有代理或网关，最好能把每一跳的耗时都拆出来，才找得到真正拖慢的那一段。

如果要自己验证，选一个支持流式输出、计费透明的模型API中转入口会省不少事。快米兔的模型API中转按量计费，注册送5元测试金，拿来跑一轮首Token延迟自测成本很低。用同一段prompt、同一台机器、同一时段多打几次，分别记录本地到网关、网关到上游的耗时，就能看出中转层本身到底有没有加出额外的等待。具体资费与接入方式以官方说明为准。

最后要提醒的是，首Token延迟不是一个可以背下来的固定值。它随着输入长度、并发量、接入地域、网络质量时刻在变。看到320ms这样的数字时，更值得追问的是：这是在什么条件下测的？P95是多少？换成长一点的输入、换成我的用户所在地，还剩多少？把测量方法握在自己手里，比记住任何一个数字都有用。