开始

流式响应

展示部分输出,同时保留终态

Streaming 改善感知延迟,但也带来取消、背压和不完整输出状态。

1. 请求 Stream

在已批准 Route 上设置 stream=true,并增量消费 SSE。


2. 安全合并

追加文本 Delta,按 ID 合并 Tool Call Fragment,并保留 finish_reason;并非每个 Event 都包含文本。


3. 取消已放弃任务

把浏览器或服务取消信号传到后端,并关闭上游响应,避免继续消耗成本与容量。


4. 可见地恢复

输出前的瞬时失败可由 Router Fallback;输出开始后必须标记 incomplete,由用户或应用选择可见重试。

下一篇结构化输出