推理

Chat Completions

OpenAI-compatible 消息、流式与工具

Chat Completions 适用于消息型工作负载及现有 OpenAI Client 兼容迁移。

创建 Completion

请求可选择已批准的直连模型或 Policy Alias。Policy Alias 让应用接口保持稳定,同时由 Router 应用工作区资格、健康与区域策略。

curl https://api.octoryn.dev/v1/chat/completions \
  -H "Authorization: Bearer $OCTORYN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"policy/frontier","messages":[{"role":"user","content":"Summarise the incident."}]}'

流式响应

设置 stream=true,并持续处理 chat.completion.chunk 直到 [DONE]。必须保留 finish_reason 与 Tool Call Delta;取消和不完整输出都属于应用可见状态。


工具

只有声明支持 Tool Calling 的路由才能接收 JSON Schema 函数定义。执行任何副作用前,产品必须再次校验参数并完成授权。


Fallback 语义

Router 只会在尚未输出内容时对已分类的瞬时失败尝试 Fallback。流开始后隐藏重放可能重复文本或动作,是否重试必须由应用显式决定。

下一篇Responses