开始
流式响应
展示部分输出,同时保留终态
Streaming 改善感知延迟,但也带来取消、背压和不完整输出状态。
1. 请求 Stream
在已批准 Route 上设置 stream=true,并增量消费 SSE。
2. 安全合并
追加文本 Delta,按 ID 合并 Tool Call Fragment,并保留 finish_reason;并非每个 Event 都包含文本。
3. 取消已放弃任务
把浏览器或服务取消信号传到后端,并关闭上游响应,避免继续消耗成本与容量。
4. 可见地恢复
输出前的瞬时失败可由 Router Fallback;输出开始后必须标记 incomplete,由用户或应用选择可见重试。
