模型与路由

故障回退

在策略边界内恢复请求

当上游不健康或不可用时,Fallback 会让请求继续留在符合条件的路由上,不会放松工作区策略、驻留或能力要求。

资格优先

Router 只考虑已被工作区策略允许的供应商和模型。首选路由不健康时,也只能回退到另一条合资格路由。

  • 驻留限制持续有效
  • 被禁供应商不会成为紧急回退
  • 必需能力仍必须满足

请求稳定别名

应用请求策略结果,不硬编码回退链。

response = client.chat.completions.create(
    model="policy/frontier",
    messages=[{"role": "user", "content": prompt}],
)

客户端重试必须有上限

Router Fallback 与应用重试解决不同问题。只重试可安全重复的请求,使用退避,并将总尝试次数限制在用户截止时间内。


观测最终结果

记录状态、延迟和可获得的关联元数据。运营团队应能区分成功回退与失败的应用重试。

下一篇错误