限流与超时

不按密钥限速

网关不给密钥、成员或组织设每分钟请求数、token 数或并发数上限。会让请求等待或失败的只有下面几项：

预算

调用开始时，网关检查密钥所属的预算：个人密钥看本人当月的预算，项目下的密钥看项目预算。预算用完后，计费接口返回 402；查询和取消视频任务、/v1/models、/v1/messages/count_tokens 不受影响。组织不限个人额度时，个人密钥不会因预算被拒。

已经开始的调用不会被打断，所以已用可能略超额度。费用怎么计入预算见计费口径，追加额度见额度申请与飞书审批。

上游容量

一个模型可能由几条上游线路提供。每条线路可以配置每分钟请求数和每分钟 token 数两项配额，所有网关实例共用一份计数：

• 配额按每分钟上限匀速回填，最多攒满一分钟的量。
• 请求数在派发时扣减。token 数在调用结束后按实际用量扣减，包括输入（含缓存读写）、输出和推理；派发时只要求这一项还有余量，长上下文调用一次会扣掉较多。
• 网关按优先级选线路，跳过没有余量、正在冷却或熔断中的线路。
• 所有线路都没有余量时，网关先替你等待，总共不超过 10 秒；需要等更久时直接返回 429，Retry-After 给出建议等待的秒数，至少 1 秒。
• 上游返回 429 时，这条线路按上游给的 Retry-After-Ms 或 Retry-After 冷却，没给时 5 秒，最长 1 分钟；请求改走下一条线路，没有其他线路时把上游的 429 返回给你。
• 同一线路连续失败 5 次后熔断 30 秒，之后放一个请求试探，成功即恢复。

这些是上游线路的容量，不是给你的密钥设的限额。

换线路

网关只在还没向你返回任何内容时换线路：请求还没发完就连不上上游，或者上游返回 401、402、403、404、408、429、5xx。其他错误（例如 400、422）直接返回给你。响应开始返回后，包括流式输出开始后，不再换线路。所有线路都失败时返回最后一次的错误，见错误码。

请求大小与超时

重试建议

1. 429：按 Retry-After 等待后再发；多个客户端同时重试时，给等待时间加一点随机量。
2. 502、503、504：退避后重试，不要立即重发。
3. 网关不对推理请求去重。客户端超时或主动断开后重发，是一次新的调用，上一次可能已经计费；重发前可以先在控制台「我的用量」找到上一次调用，确认它的状态。
4. 流式输出中断后不能续传，只能重新请求。