Octoryn 平台
Octoryn Gateway
受控的 AI 网关,使模型访问经由组织策略,而非散落各处的 API 密钥。
概览
Octoryn Gateway 是 AI 模型的受控访问入口,让模型的使用经过组织策略,而不是依赖散落在各台笔记本、脚本与团队里的 API 密钥。它位于你的应用与一个或多个模型提供方之间,负责集中访问、提供方路由与回退、敏感数据检测与脱敏、按数据驻留要求的路由、日志与成本管控。它面向那些已经走过单点试验、如今真正面临“许多人调用许多模型却没有一致的策略、可见性与花费控制”这一问题的组织。Gateway 目前处于私有预览阶段,其提供方覆盖与管控能力仍在与早期伙伴一起扩展。
运作方式
经由统一入口路由
应用调用 Gateway,而非直接调用提供方,从而为模型访问提供一条统一的受治理路径。
认证与授权
Gateway 检查是谁在调用、被允许使用什么,从而无需把提供方密钥分发给个人。
检查与脱敏
请求会被筛查是否含敏感数据,可在离开你的边界或发往提供方之前被检测并脱敏。
按策略与驻留路由
流量依据策略、数据驻留要求与可用性被导向合适的提供方,并在某提供方不可用时进行回退。
记录与控制成本
每次调用都会被记录以提供可见性,并施加成本管控,使花费能够跨团队被监控与限定。
核心能力
集中访问,不再散落密钥
提供方凭据置于 Gateway 之后,而非分散在个人手中,减少无人管理的密钥蔓延。
提供方路由与回退
Gateway 可以在多个提供方之间路由,并在某一方不可用时回退,降低对单一供应商的依赖。
敏感数据检测与脱敏
请求可被检查是否含 PII 及其他敏感内容,并在到达外部提供方前脱敏。
感知驻留的路由
流量可以按“数据被允许在何处处理”来路由,这对有数据驻留义务的组织很重要。
日志与可见性
模型调用被集中记录,使组织能看到谁在使用什么、用于何处。
成本管控
用量可被监控与限定,使模型花费不会在各团队与项目间悄然累积。
它不是什么
- 它不是模型,也不是模型提供方;它是通往你所选提供方的受治理路径。
- 它本身不能让模型输出变得正确或安全——它管控的是访问与数据流,而非模型答案的质量。
- 脱敏是一种边界管控,而非“敏感数据绝不会通过”的承诺;检测存在局限,并按项目配置。
集成
Gateway 的设计是置于你的应用之前,尽量少地改变应用调用模型的方式,对外呈现一致的接口,而在其背后处理与各提供方的连接。它可以接入你的身份来源以进行认证,并将日志导出到你自己的监控与审计系统。具体的提供方、驻留路由与脱敏规则按每个项目评估,私有预览期间提供方覆盖有限。
部署方式
- 托管云
- 我方云账户
- 私有云 / VPC
- 本地部署
示例用例
- 把数十个由个人各自持有的提供方密钥,收拢到一个具备集中可见性的受治理入口之后。
- 在请求发往外部模型提供方之前,检测并脱敏提示词中的 PII。
- 通过路由使某些工作负载保持在要求的处理区域内,同时跨提供方回退以保障可用性。
- 让财务与平台团队获得组织范围内模型用量与花费的集中视图。
常见问题
Gateway 会把我们锁定在特定的模型提供方上吗?
不会——其意图恰恰相反。通过统一入口路由,它意在降低对任一提供方的依赖,并让切换或回退更容易。由你选择接入哪些提供方。覆盖范围在私有预览期间仍在扩展。Gateway 能阻止敏感数据到达提供方吗?
它可以在请求离开你的边界前检测并脱敏 PII 等敏感内容,并执行感知驻留的路由。这是一种有局限、按项目配置的边界管控,而非“任何敏感内容都绝不会通过”的保证。检测规则会依据你的场景调整。我们的应用需要大改才能用 Gateway 吗?
它的设计是对外呈现一致接口,应用指向 Gateway 而非各个提供方,使改动保持有限。具体的集成工作量取决于你当前的架构,按项目评估。Gateway 处于私有预览阶段,支持范围仍然有限。
