WorkbuddyAgent 开发接模型 API 平台,协议兼容、计费口径和限流该怎么配?

给 WorkbuddyAgent 接模型 API 平台,先定协议兼容(chat/completions、流式增量、工具调用透传),再定计费口径(输入输出分开计量、重试是否计费),最后定限流与故障切换,模型数量排在最后。只跑单轮问答、调用量很小的内部 Demo,不必再引入中转层。

WorkbuddyAgent 这类需要多轮对话、工具调用和较长上下文的 agent 工程,选 API 平台的顺序应当是协议兼容、计费口径、限流与故障切换,最后才是模型数量;只跑单轮问答、调用量极小的内部 Demo 不具备这个必要。原因是 agent 的一次任务往往拆成多次模型请求,任何一次协议不兼容或计费不透明,都会被放大成成本和排障问题。判断标准很直接:如果换一个模型就要改业务代码,说明这次平台选错了。 协议兼容的第一道门槛,是 chat/completions 接口是否完整支持流式增量与工具调用参数的透传,缺一项,WorkbuddyAgent 的工具编排层就要重写。流式决定首字延迟和前端逐字渲染的体验,工具调用决定 agent 能不能按计划调用外部函数。验证方法是拿一条带 tools 定义的最小请求跑通,检查返回里工具入参是否为合法 JSON、增量事件是否按序到达、结束后是否给出终止标记。 把 agent 里写死的模型名改成从配置读取的别名,是换平台时唯一不用改代码的做法。平台侧通常提供模型名映射表,把业务别名映射到具体模型版本;映射表要显式维护,不要依赖平台的默认兜底,否则上游版本更新会静默改变输出风格。logprobs、推理参数这类私有采样字段是否透传需要逐个核对,这一条不适用于要求逐字一致的确定性场景。 计费要按输入 token 与输出 token 分开看,并按一次 agent 任务的完整链路折算,而不是只看单次请求。WorkbuddyAgent 的一次任务通常包含多轮拼接的历史上下文、工具返回结果回填以及失败重试,历史越长,输入侧占比越高。做法是先统计一次典型任务的请求次数与平均上下文长度,再乘调用量,得出单位任务成本;平台账单里的 usage 字段与最终计费是否一致,以官方说明为准。 上下文窗口够不够,取决于平台是否提供长上下文模型,而成本高低取决于你怎么用。把历史全量堆进 prompt 会让输入 token 线性膨胀,更稳的做法是会话摘要加检索召回,把每轮携带的历史控制在必要范围。需要跨会话记忆的 agent,记忆应落在自有存储,由业务决定注入多少,而不是依赖平台侧的会话保持能力。 限流规则要问清是账号级还是模型级、是按每秒请求数还是按每分钟 token 数,两者对 agent 的影响完全不同。WorkbuddyAgent 在工具调用密集时会出现短时突发,如果平台按 token 限流,长上下文请求更容易被拒。做法是客户端加请求队列与指数退避重试,把限流错误码单独计数并告警,而不是混在普通失败里一起统计。 单平台单模型跑 agent,模型侧一次超时就会卡住整条工具链,所以选平台时要看它是否支持多模型备路由。可用做法是配置主备两个模型别名,超时或连续失败后降级到备选,并在日志里打上降级标记以便回溯。重试必须幂等,工具调用类请求要带幂等键,否则重试会造成重复写操作。 密钥管理是选型里最容易被跳过、上线后最难补的一项。agent 后端调用不应使用长期主密钥,应按环境和项目拆分子密钥并单独设配额,前端只经自有服务端代理,密钥不出服务端。平台若支持项目级用量限额与告警,应当优先启用,它能在异常调用被放大之前拦住。 没有请求明细日志的平台,不适合多团队共用一个账号。可对账的最小要求是能按时间、模型、项目维度导出调用次数与 token 用量,同时本地记录请求 ID 与 usage,出现费用异常时能定位到具体任务。做法是在 agent 的调用封装层统一打点,把请求 ID、模型别名、耗时、token 数落到自有库。 面向境内用户的产品,模型来源与数据流向要先确认,再谈价格。优先选择已完成备案的模型与境内节点,用户输入是否被用于训练、日志保留多久,都要在平台条款里找到明确表述。涉及个人信息或业务数据的 agent,敏感字段应在进入模型前脱敏,这一条与平台无关,属于业务侧责任。 上线前的最小验收是跑通几类场景:长上下文、并发突发、超时降级、工具调用返回异常、上游返回非标准结构。每一类都要检查错误是否被正确归类、重试是否幂等、日志能否还原现场。配置层面需要固定下来的项包括接口地址、密钥、模型别名映射、超时与重试次数、单次最大输出长度以及工具调用开关。 中转聚合层解决的是统一切换、用量归集与多模型兜底,不解决模型效果本身。如果 WorkbuddyAgent 只在内部试用、调用量小、只锁定一个模型,直接用模型方的官方接口更省事,少一层依赖也少一处故障点。等到需要按项目分摊成本、或要做多模型对比时,再把调用收敛到统一入口才划算。