模型与路由
故障回退
在策略边界内恢复请求
当上游不健康或不可用时,Fallback 会让请求继续留在符合条件的路由上,不会放松工作区策略、驻留或能力要求。
资格优先
Router 只考虑已被工作区策略允许的供应商和模型。首选路由不健康时,也只能回退到另一条合资格路由。
- 驻留限制持续有效
- 被禁供应商不会成为紧急回退
- 必需能力仍必须满足
请求稳定别名
应用请求策略结果,不硬编码回退链。
response = client.chat.completions.create(
model="policy/frontier",
messages=[{"role": "user", "content": prompt}],
)客户端重试必须有上限
Router Fallback 与应用重试解决不同问题。只重试可安全重复的请求,使用退避,并将总尝试次数限制在用户截止时间内。
观测最终结果
记录状态、延迟和可获得的关联元数据。运营团队应能区分成功回退与失败的应用重试。
