限流

429 响应

固定窗口限额被超过时，响应会提供以秒为单位的重试提示。

HTTP/1.1 429 Too Many Requests
Content-Type: application/json

{
  "detail": {
    "error": "rate_limited",
    "code": "RATE_LIMITED",
    "retry_after_s": 18
  }
}

限额范围

实际限额可因工作区、环境、Endpoint 与约定容量不同。Streaming、长请求和供应商自有限额可能产生独立运营影响。

• Router 限额与上游供应商限额不同
• 客户自有供应商账户仍受供应商 Quota 约束
• 成功的 Fallback 仍消耗 Router 容量
• 生产容量以工作区负责人和服务协议确认值为准

退避策略

存在 retry_after_s 时按其暂停，否则使用带 Jitter 的指数退避。限制总尝试次数和并发。

delay = retry_after_s ?? min(base * 2 ** attempt + jitter, max_delay)

容量设计

对突发任务使用 Queue 或 Admission Control，谨慎复用 Streaming Connection，设置应用 Deadline，并分别测量请求速率、并发与延迟。