API

流式响应

消费增量输出,同时保留失败语义

Chat Completions 与 Responses 都可通过 SSE 流式返回。流式请求可能正常完成、被取消,或在响应头发出后变为 incomplete。

Chat Completions 流

设置 stream=true,逐个消费 chat.completion.chunk,直到 data: [DONE]。不要只拼接文本,还要保留 finish_reason 与工具调用增量。

const stream = await client.chat.completions.create({ model: "policy/frontier", messages, stream: true });
for await (const chunk of stream) consume(chunk);

Responses 事件流

Responses 使用具名事件,并可能以 completed、incomplete 或 error 结束。不能把所有终止事件都翻译成成功。


设置超时与取消

应用截止时间应短于用户侧超时;取消已放弃的流并记录 Request ID。输出开始后不要自动重放带副作用的流程。

下一篇多模态