OCTORYN ROUTER · SYDNEY 部署目标

一个 API。
连接所有模型。
遵循你的规则。

为 Octopus 客户和 Octoryn 家族产品打造的治理型 AI 路由层。继续使用熟悉的 OpenAI SDK，并按策略选择供应商，而不是被平台锁定。

熟悉的请求方式实时服务状态

from openai import OpenAI

client = OpenAI({
  base_url="https://api.octoryn.dev/v1",
  api_key="oct_••••••••"
)

response = client.chat.completions.create({
  model="policy/frontier",
  messages=[...]
)

只更改基础地址，无需重构应用架构。

兼容

沿用 OpenAI 客户端模式

可移植

供应商始终可替换

有治理

请求前先执行策略

可观测

统一审计轨迹

模型目录

围绕决策设计的模型目录。

比较能力、上下文、价格级别和部署策略。通过稳定别名升级模型，应用无需重新发布。

推理工具调用视觉低延迟数据策略

工作负载稳定别名优化目标

前沿推理policy/frontier质量

优先选择策略允许的最强推理路由，并根据健康状态自动回退。

复杂分析 · 规划 · 自动回退

均衡推理policy/reasoning性价比

在推理质量、响应速度和成本之间取得生产级平衡。

分析 · 生产 · 成本控制

私有推理policy/reasoning-private治理

让敏感推理流量始终位于获批的供应商和区域内。

数据驻留 · 白名单 · 审计

工作负载稳定别名优化目标

可靠工具调用policy/tools可靠性

选择能够稳定遵循结构化参数的模型处理工具调用。

工具 · JSON Schema · 重试

快速函数policy/functions延迟

为重视首次动作时间的短函数调用循环优化。

函数 · 低延迟 · 流式

私有工具policy/tools-private治理

工具请求发出前执行区域和供应商策略控制。

策略门控 · 数据驻留 · 审计

工作负载稳定别名优化目标

视觉推理policy/vision质量

为精细图像理解选择高能力多模态路由。

图像 · 文档 · 分析

快速视觉policy/vision-fast延迟

面向响应迅速的视觉分类与信息提取工作负载。

分类 · 提取 · 速度

私有视觉policy/vision-private治理

将图像流量限定在获批的数据处理和区域策略内。

驻留 · 隐私 · 证据

工作负载稳定别名优化目标

快速通用policy/fast延迟

在满足工作负载策略的健康路由中选择延迟最低的一条。

对话 · 流式 · 健康路由

实时响应policy/realtime速度

为交互应用优化首个 Token 时间和持续流式响应。

实时 · 首 Token · 流式

Sydney 区域policy/sydney邻近性

优先使用靠近澳大利亚生产工作负载的获批容量。

Sydney · 邻近路由 · 故障转移

工作负载稳定别名优化目标

私有负载policy/residency治理

仅通过工作负载策略允许的供应商和区域进行路由。

数据驻留 · 供应商策略 · 审计

仅限澳大利亚policy/au驻留

将可选路由限制在获批的澳大利亚处理区域。

澳大利亚 · 区域控制 · 证据

自带密钥路由policy/byok所有权

使用客户管理的供应商凭据，同时保留中央路由控制。

BYOK · 可移植性 · 支出控制

路由

让供应商选择成为可管理的策略。

按质量、延迟、成本或数据驻留路由。定义允许的供应商和回退顺序，在基础设施变化时保持应用接口不变。

01APPLICATIONOpenAI SDK

02OCTORYN ROUTERpolicy · budget · health

PROVIDER APROVIDER BBYOK / PRIVATE

自动回退

供应商出现故障时切换，无需改写客户端。

策略门控

在请求发出前执行模型、区域和数据处理规则。

供应商可移植性

自带供应商密钥，迁移工作负载无需重建平台。

运营控制

让安全团队可以独立验证每次合规决策。

在选路前评估签名身份与环境信任、敏感数据分类和供应能力；保留决策证据，但不保留会话内容。

信任

评估已验证的身份、设备、网络与运行时信号。

检查

针对敏感输入与输出执行允许、遮罩、拒绝或 HITL。

供应商信任

执行区域、ZDR、留存与认证要求。

证据

用无内容规范哈希解释策略决策。

开发者

只需两行改动，获得可移植的模型层。

继续使用 OpenAI SDK，将基础地址指向 Octoryn，再选择模型或治理别名。流式响应、工具调用与结构化输出保持在开发者熟悉的流程中。

打开开发者文档

PythonTypeScriptPython · OpenAI SDKTypeScript · OpenAI SDK

from openai import OpenAI

client = OpenAI({
  base_url="https://api.octoryn.dev/v1",
  api_key=os.environ["OCTORYN_API_KEY"]
)

stream = client.chat.completions.create({
  model="policy/frontier",
  messages=[{"role": "user", "content": prompt}],
  stream=True
)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.octoryn.dev/v1",
  apiKey: process.env.OCTORYN_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "policy/frontier",
  messages: [{ role: "user", content: prompt }],
  stream: true,
});

为 OCTOPUS 家族打造

贯穿 Octoryn Runtime 的统一路由层。

Octoryn Router 将模型供给连接到 Octopus 的知识、智能体、语音、评估和托管运营体系。客户通过一条治理路径访问模型，无需让每个产品直接耦合每家供应商。

Octoryn Runtime

面向 AI 应用、工作流和模型调用的统一治理执行层。

API · 编排 · 可观测性

Octoryn Knowledge

在权限和证据控制下，将可信的组织知识连接到模型。

检索 · 权限 · 引用

Octoryn Agents

在策略边界内运行工具型智能体，并提供持久执行与运营可见性。

工具 · 工作流 · 防护栏

Octoryn Voice

基于统一治理的模型和身份层，构建低延迟语音体验。

实时 · 语音 · 通信

Octoryn Evaluation

在变更进入生产流量之前评估模型、提示词和路由质量。

数据集 · 评分 · 回归

Octoryn Cloud

为完整的 Octoryn 生产栈提供托管部署与运营。

托管 · 安全 · 运营

一次构建，有策略地路由。

从团队熟悉的接口开始，在需要时加入策略、可移植性和生产级控制。

申请 Design Partner 从文档开始了解 Octopus Core

一个 API。连接所有模型。遵循你的规则。

围绕决策设计的模型目录。

让供应商选择成为可管理的策略。

自动回退

策略门控

供应商可移植性

让安全团队可以独立验证每次合规决策。

信任

检查

供应商信任

证据

只需两行改动，获得可移植的模型层。

贯穿 Octoryn Runtime 的统一路由层。

一次构建，有策略地路由。

一个 API。
连接所有模型。
遵循你的规则。