推理
Embeddings 与重排
不取得产品数据所有权的向量与排序任务
Octoryn 只路由临时 Embedding 与 Ranking 请求,不保存向量、不建立索引,也不把结果附加到产品记录。
Embedding
POST /v1/embeddings 接受单条或批量输入。模型维度、上下文窗口与处理区域必须已获当前工作区批准。
重排
POST /v1/rerank 对请求内提供的文档进行相关性评分。Router 不持久化 documents 字段;来源授权与留存仍由产品负责。
内容检测
POST /v1/moderations 提供已批准的内容检测路由。模型分数只能辅助产品策略,不能替代授权或受监管人工复核。
有边界地批处理
明确限制 Batch 大小、Deadline 与重试行为。部分 Provider 失败不能悄悄改变记录顺序,也不能导致产品产生重复写入。
