可治理的 AI
你需要的不是又一个智能体,而是一个受治理的运行层。
拥有无限访问权的智能体是一种隐患。受治理的运行层为每一次操作套上身份、策略、证据与人工审批——让 AI 在真实系统中运作,而不越权行事。
治理涵盖什么
身份、权限、策略、上下文、工具访问、敏感数据边界、证据、审批、执行、监控、回放、回滚或补偿操作,以及升级。
受治理层强制执行的边界
受治理的操作层位于 AI agent 与它所能触及的系统之间,对每一步进行核验,而不是默认信任模型的意图。在任何动作执行前,它会先厘清:谁在操作、拥有何种权限、适用哪些策略,以及该动作是只读、可回退,还是不可撤销。只读操作可直接放行,可回退操作在策略范围内放行,不可撤销操作则等待人工决定。
- 执行前先确认身份与权限
- 按动作而非按会话评估策略
- 工具访问范围收敛到当前任务
- 敏感数据边界在链路中生效
- 动作分类为只读、可回退或不可撤销
上报机制的位置
上报机制让“AI 提议,人来决定”从一句口号变成真正可用的控制手段。当某个动作不可撤销、超出策略范围,或触及敏感边界时,治理层会将其暂挂,并把一个清晰的决策请求路由给合适的人,而不是悄然失败或径直执行。若始终没有决定送达,治理层选择失败即关闭,而非默认执行。
- 由不可撤销、超策略或敏感动作触发
- 连同完整上下文一并路由决策
- 审批人可见提议动作及暂挂原因
- 无决策返回时失败即关闭
- 每次上报与结果均留痕
操作分类
只读、可逆、不可逆
一个简单的分类承担了大部分工作:控制应与后果相匹配。
只读操作
AI 仅观察与分析,不改变任何内容。
- 检索
- 取回
- 摘要
- 分析
控制最轻;但仍会记录并可归属。
可逆的写操作
AI 改变了某些内容,但在其生效前可撤销或复核。
- 创建草稿
- 更新非最终记录
- 添加可撤销的标签
- 安排一项待定任务
受策略限定、有日志,并通常在生效前对人可见。
不可逆或高影响操作
AI 将执行难以撤销或具有现实后果的操作。
- 发送通讯
- 批准付款
- 删除记录
- 变更临床或法律记录
- 提交监管材料
视上下文与风险,可能要求明确的策略、人工审批、强身份、证据捕获与双人控制。
流程
从提议到证据
一个提议只有在经过身份、策略,以及在关键之处的人工审批之后,才会成为真正的操作。每一步都是关卡,而非形式。
AI 提出建议,由人作出决定。
点击任一步骤,查看其中发生了什么。
AI 提出建议
模型进行分析、检索与起草,随后提出一个操作——但并不亲自执行它。
身份与权限
系统厘清:是谁在操作、代表谁、以及他们实际持有何种权限。
策略评估
被提议的操作在执行前,先在上下文中对照你的策略进行评估。
可逆还是不可逆?
该操作被分类为只读、可逆或不可逆,由此决定它需要多少审查。
必要时人工审批人来决定
高影响与不可逆的操作会暂停,等待人来批准;风险较低、可逆的操作则在策略之下继续。
受治理的执行
获批的操作通过受治理的工具、在其限定范围内执行——不会超出被允许的边界。
捕获证据
输入、决策、审批与产出被记录为可查证、防篡改、且可回放的证据。
AI 提出建议,由人作出决定。
AI 提出建议,由人作出决定。
AI 提出建议
- 分析与检索
- 起草与建议
- 准备选项
- 标记需要关注之处
由人决定
- 批准高影响操作
- 对结果负责
- 在需要时升级
- 设定策略
区别
智能体 与 受治理的运行层
| 维度 | 未受治理的智能体 | 受治理的运行层 |
|---|---|---|
| 访问 | 无限制,常为共享密钥 | 按身份与策略限定 |
| 高影响操作 | 可能未经审批即行动 | 必要时需人工审批 |
| 记录 | 一段对话记录 | 可查证、可回放的证据 |
| 厂商 | 常依赖单一厂商 | 在多方厂商与私有模型间路由 |
| 问责 | 含糊 | 由人与组织承担 |
