OCTORYN ROUTER · SYDNEY 生产环境

一个 API。
连接所有模型。
遵循你的规则。

为 Octopus 客户和 Octoryn 家族产品打造的治理型 AI 路由层。继续使用熟悉的 OpenAI SDK，并按策略选择供应商，而不是被平台锁定。

熟悉的请求方式Sydney 生产环境

from openai import OpenAI

client = OpenAI({
  base_url="https://api.octoryn.dev/v1",
  api_key="oct_••••••••"
)

response = client.chat.completions.create({
  model="policy/frontier",
  messages=[...]
)

只更改基础地址，无需重构应用架构。

01兼容沿用 OpenAI 客户端模式

02可移植供应商始终可替换

03有治理请求前先执行策略

04可观测统一审计轨迹

模型目录

围绕决策设计的模型目录。

比较能力、上下文、价格级别和部署策略。通过稳定别名升级模型，应用无需重新发布。

推理工具调用视觉低延迟数据策略

工作负载稳定别名优化目标

01前沿推理policy/frontier质量

优先选择策略允许的最强推理路由，并根据健康状态自动回退。

复杂分析 · 规划 · 自动回退

02均衡推理policy/reasoning性价比

在推理质量、响应速度和成本之间取得生产级平衡。

分析 · 生产 · 成本控制

03私有推理policy/reasoning-private治理

让敏感推理流量始终位于获批的供应商和区域内。

数据驻留 · 白名单 · 审计

工作负载稳定别名优化目标

01可靠工具调用policy/tools可靠性

选择能够稳定遵循结构化参数的模型处理工具调用。

工具 · JSON Schema · 重试

02快速函数policy/functions延迟

为重视首次动作时间的短函数调用循环优化。

函数 · 低延迟 · 流式

03私有工具policy/tools-private治理

工具请求发出前执行区域和供应商策略控制。

策略门控 · 数据驻留 · 审计

工作负载稳定别名优化目标

01视觉推理policy/vision质量

为精细图像理解选择高能力多模态路由。

图像 · 文档 · 分析

02快速视觉policy/vision-fast延迟

面向响应迅速的视觉分类与信息提取工作负载。

分类 · 提取 · 速度

03私有视觉policy/vision-private治理

将图像流量限定在获批的数据处理和区域策略内。

驻留 · 隐私 · 证据

工作负载稳定别名优化目标

01快速通用policy/fast延迟

在满足工作负载策略的健康路由中选择延迟最低的一条。

对话 · 流式 · 健康路由

02实时响应policy/realtime速度

为交互应用优化首个 Token 时间和持续流式响应。

实时 · 首 Token · 流式

03Sydney 区域policy/sydney邻近性

优先使用靠近澳大利亚生产工作负载的获批容量。

Sydney · 邻近路由 · 故障转移

工作负载稳定别名优化目标

01私有负载policy/residency治理

仅通过工作负载策略允许的供应商和区域进行路由。

数据驻留 · 供应商策略 · 审计

02仅限澳大利亚policy/au驻留

将可选路由限制在获批的澳大利亚处理区域。

澳大利亚 · 区域控制 · 证据

03自带密钥路由policy/byok所有权

使用客户管理的供应商凭据，同时保留中央路由控制。

BYOK · 可移植性 · 支出控制

路由

让供应商选择成为可管理的策略。

按质量、延迟、成本或数据驻留路由。定义允许的供应商和回退顺序，在基础设施变化时保持应用接口不变。

01APPLICATIONOpenAI SDK

02OCTORYN ROUTERpolicy · budget · health

PROVIDER APROVIDER BBYOK / PRIVATE

自动回退

供应商出现故障时切换，无需改写客户端。

策略门控

在请求发出前执行模型、区域和数据处理规则。

供应商可移植性

自带供应商密钥，迁移工作负载无需重建平台。

运营控制

财务与安全团队都能验证的防护栏。

隔离团队和环境，分配密钥与预算。追踪每次请求从应用到供应商的完整路径，并保留策略决策证据。

预算

按工作区、密钥或环境设置硬性上限。

审计

导出请求、策略、用量和成本证据。

观测

查看延迟、故障、Token 用量和供应商结果。

治理

集中管理模型访问和路由规则。

开发者

只需两行改动，获得可移植的模型层。

继续使用 OpenAI SDK，将基础地址指向 Octoryn，再选择模型或治理别名。流式响应、工具调用与结构化输出保持在开发者熟悉的流程中。

打开开发者文档

PythonTypeScriptPython · OpenAI SDKTypeScript · OpenAI SDK

from openai import OpenAI

client = OpenAI({
  base_url="https://api.octoryn.dev/v1",
  api_key=os.environ["OCTORYN_API_KEY"]
)

stream = client.chat.completions.create({
  model="policy/frontier",
  messages=[{"role": "user", "content": prompt}],
  stream=True
)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.octoryn.dev/v1",
  apiKey: process.env.OCTORYN_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "policy/frontier",
  messages: [{ role: "user", content: prompt }],
  stream: true,
});

为 OCTOPUS 家族打造

贯穿 Octoryn Runtime 的统一路由层。

Octoryn Router 将模型供给连接到 Octopus 的知识、智能体、语音、评估和托管运营体系。客户通过一条治理路径访问模型，无需让每个产品直接耦合每家供应商。

01Octoryn Runtime

面向 AI 应用、工作流和模型调用的统一治理执行层。

API · 编排 · 可观测性

02Octoryn Knowledge

在权限和证据控制下，将可信的组织知识连接到模型。

检索 · 权限 · 引用

03Octoryn Agents

在策略边界内运行工具型智能体，并提供持久执行与运营可见性。

工具 · 工作流 · 防护栏

04Octoryn Voice

基于统一治理的模型和身份层，构建低延迟语音体验。

实时 · 语音 · 通信

05Octoryn Evaluation

在变更进入生产流量之前评估模型、提示词和路由质量。

数据集 · 评分 · 回归

06Octoryn Cloud

为完整的 Octoryn 生产栈提供托管部署与运营。

托管 · 安全 · 运营

一次构建，有策略地路由。

从团队熟悉的接口开始，在需要时加入策略、可移植性和生产级控制。

从文档开始了解 Octopus OS

一个 API。连接所有模型。遵循你的规则。

围绕决策设计的模型目录。

让供应商选择成为可管理的策略。

自动回退

策略门控

供应商可移植性

财务与安全团队都能验证的防护栏。

预算

审计

观测

治理

只需两行改动，获得可移植的模型层。

贯穿 Octoryn Runtime 的统一路由层。

一次构建，有策略地路由。

一个 API。
连接所有模型。
遵循你的规则。