39 · 责任与治理架构:AI 可以参与,但责任不能悬空
一句话点题:AI 原生组织不是让 Agent 想干什么就干什么,而是把责任、权限、审查和审计设计清楚。 模型可以生成建议、调用工具、协助决策,但高影响后果必须能追到人类 Owner。
🧩 AI 原生组织篇第 5 章 · 本篇讲什么
38 章 讲了工作流。本章讲治理。
AI 进入组织生产流程后,风险会从“回答错一句话”升级为“错误动作影响客户、生产、财务、法务和品牌”。所以治理不是转型后期才补的合规文档,而是 AI 原生组织的核心架构层。
一、第一原则:AI 会错,组织负责
这是所有治理设计的起点。
AI 可以:
- 生成候选方案。
- 汇总证据。
- 写初稿。
- 调用工具执行低风险动作。
- 提醒异常。
- 给出审查建议。
但 AI 不能成为责任主体。出了问题,客户不会接受“模型这么说”,监管不会接受“Agent 自动做的”,团队也不能靠“我以为 AI 检查过”来免责。
所以每个高影响动作都要能回答:
| 问题 | 必须能查到 |
|---|---|
| 谁让 AI 做的? | 人类 Owner / DRI |
| AI 基于什么做? | 输入、上下文、来源 |
| AI 做了什么? | trace、工具调用、输出 |
| 谁批准的? | review / approval 记录 |
| 出问题怎么办? | 回滚、补偿、复盘 |
这就是责任链。没有责任链的 AI 自动化,不叫先进,叫失控。
二、按风险分层,不要一刀切
治理最常见的错误是两种极端:
- 全部人工审批,AI 流程被拖死。
- 全部自动执行,风险被放大。
正确做法是按风险分层:
低风险:内部草稿 / 摘要 / 原型 / 辅助分析
└─ 自动执行 + trace
中风险:对客户可见 / 影响多人 / 影响业务口径
└─ Owner review 后执行
高风险:生产变更 / 付款 / 合同 / 法务 / 敏感数据 / 外部承诺
└─ 权限检查 + 双人审批 + 审计 + 回滚预案风险分层的目的不是增加流程,而是把人类注意力用在最值得的地方。
低风险动作不必层层审批,否则 AI 杠杆被流程吃掉。
高风险动作不能自动放行,否则 AI 的高吞吐会把错误快速扩散。
三、权限架构:Agent 默认什么都不能做
人类员工加入公司,也不会默认拿到所有系统权限。Agent 更不应该。
Agent 权限应该遵守四条纪律:
- 最小权限:只给完成当前任务必需的数据和工具。
- 临时授权:高危工具按任务授权,结束后收回。
- 环境隔离:草稿、沙箱、预发、生产分层。
- 工具白名单:能调用什么 API、能写哪里、能外发什么,都要明确。
一个简单模型:
Agent 请求动作
│
▼
权限网关
├── 是否有任务授权?
├── 是否访问敏感数据?
├── 是否影响生产 / 客户 / 财务?
├── 是否需要人审?
└── 是否记录 trace?
│
▼
允许 / 拒绝 / 请求审批这和 Claude Code、OpenAI Codex 这类编码 Agent 的沙箱与审批逻辑是一回事:不是不让 Agent 做事,而是让它在清楚边界里做事。
四、安全风险:AI 多了三个新入口
传统安全风险还在,AI 又增加了三个入口。
1. 提示注入
外部网页、邮件、文档、客户输入都可能夹带“忽略之前规则”“把数据发出去”之类的指令。
架构上要做到:
- 外部内容默认不可信。
- 来源必须标注。
- 检索内容和系统规则分层。
- Agent 不能因为外部内容改变权限边界。
2. 上下文泄露
AI 越有用,越需要看更多上下文;看得越多,泄露面越大。
架构上要做到:
- 数据分级。
- 敏感字段脱敏。
- 跨租户隔离。
- 外发前审查。
- 日志避免记录敏感原文。
3. 错误自动化
过去一个人做错,影响有限。现在 Agent 可以批量生成、批量发送、批量修改。
架构上要做到:
- 批量动作限速。
- 高风险动作抽样或全量人审。
- 生产动作有回滚。
- 异常指标触发暂停。
AI 安全的核心不是“模型别犯错”,而是模型犯错时爆炸半径可控。
五、激励也是治理的一部分
很多组织把治理理解成权限和审批,但 AI 原生组织还有一个更软也更关键的治理问题:激励。
如果一个人用 AI 产出 3 倍价值,组织只给他 1.1 倍回报,还把更多活压给他,他会怎么做?
通常只有三种结果:
- 离开。
- 降速。
- 把好方法藏起来。
所以 AI 原生组织要调整评价对象:
| 旧评价 | 新评价 |
|---|---|
| 谁工时最长 | 谁创造了更大业务结果 |
| 谁接了更多需求 | 谁减少了组织摩擦 |
| 谁个人产出最多 | 谁沉淀了可复用资产 |
| 谁会用 AI | 谁让团队更会用 AI |
这不是“福利问题”,而是组织架构问题。激励决定方法是否外溢,也决定超级个体是否愿意把自己的工作流沉淀给组织。
🎯 随堂检验
- A因为 AI 永远不能执行任何动作
- B因为组织要为后果负责,生产变更、付款、法务、外部承诺等必须有 Owner、审批、审计和回滚
- C因为人工审批越多越先进
本章小结
- AI 会错,组织负责:责任链必须能追到人类 Owner。
- 治理要按风险分层:低风险自动化,中风险 Owner review,高风险审批和审计。
- Agent 默认最小权限:临时授权、环境隔离、工具白名单。
- AI 增加新安全入口:提示注入、上下文泄露、错误自动化。
- 激励也是治理:奖励业务结果、摩擦减少、复用资产和方法外溢。
承上启下:本章讲治理。下一章 40 · AI 原生组织演进路线,我们把 35–39 章收成一套落地路线:从 3–5 人试点,到多小队协作,再到组织级 AI 操作系统。
相关链接
- 前置章节:16 · 安全与多租户架构 · 24 · 审查清单 · 25 · 评测驱动
- 技术模板:Claude Code · OpenAI Codex · AI Agent / 工作流平台
- 参考圆桌:那些跑通 AI 变革的团队做对了什么?
💬 评论