客户端 SDK

Python

同步与异步的受治理模型访问

octoryn-llm 提供 Python Client。凭据由环境管理,应用关闭时正确关闭 Async Client。

安装

固定生产 Package Version,并通过锁文件记录解析结果。

pip install octoryn-llm==3.0.1

OpenAI-compatible 迁移

现有 OpenAI Python 应用也可以只修改 base_url 与 API Key,继续使用原有调用形态。

from openai import OpenAI
import os

client = OpenAI(base_url="https://api.octoryn.dev/v1", api_key=os.environ["OCTORYN_API_KEY"])
result = client.chat.completions.create(model="policy/frontier", messages=[{"role":"user","content":"Hello"}])

异步服务

复用 Async Transport、设置明确 Deadline,并取消已放弃的 Stream;产品 Tool 执行不得阻塞 Event Loop。


结构化输出

只在合格路由上请求 JSON Schema,随后用 Pydantic 或产品 Schema Library 再次验证返回对象。

下一篇服务端运行时