AI Maturity Model：能力评估与路线图
一句话:
AI Maturity Model / Roadmap / Capability Assessment 解读
面向对象: AI Transformation Lead / Enterprise Architect / AI Product Lead / Senior BA / Portfolio Owner / Capability Owner。 核心问题: AI 成熟度不能用“有多少模型、多少 POC、多少调用量”衡量。真正的成熟度是组织能否持续发现高价值机会、交付可靠系统、复用平台能力、控制风险、证明收益、响应变化。 学习目标: 建立 AI maturity model、capability domains、evidence standard、roadmap sequencing 和个人/组织能力成长映射。
Source Anchors
| Source | Link | 用途 |
|---|---|---|
| CMMI Institute | https://cmmiinstitute.com/ | 参考 capability maturity、过程能力和持续改进语言 |
| NIST AI RMF | https://www.nist.gov/itl/ai-risk-management-framework | 用 Govern / Map / Measure / Manage 组织 AI 风险与能力成熟度 |
| ISO/IEC 42001 | https://www.iso.org/standard/81230.html | 参考 AI management system、运营、绩效评价和持续改进 |
| TOGAF | https://www.opengroup.org/togaf | 参考架构开发、能力规划、路线图和治理思想 |
一句话:
AI Maturity Model 是用证据衡量组织是否具备持续、安全、可规模化交付 AI 业务价值的能力, 而不是统计 AI 项目数量。
1. AI 成熟度不等于 POC 数量
低成熟度组织也可以有很多 POC:
- demo 很亮眼。
- 高管看起来满意。
- 调用量上升。
- 业务线都在试。
但它可能没有:
- 明确 use case selection 标准。
- 数据/知识治理。
- eval 和 release gate。
- 模型/供应商/成本治理。
- 人工监督和异常处理。
- 事故响应和复盘。
- 收益兑现。
- 平台复用。
- 审计证据。
成熟度应该看:
Can the organization repeatedly turn AI opportunities
into reliable, governed, adopted, measurable, reusable products?
2. Capability Domains
| Domain | 成熟度问题 | 关键证据 |
|---|---|---|
| Strategy / Portfolio | AI 投资是否和战略、能力、风险偏好连接 | portfolio scorecard、funding gate、scale/stop memo |
| Product Discovery | 是否能识别真实机会和 AI fit | OST、JTBD、assumption map、pilot evidence |
| Data / Knowledge | 数据和知识是否可用、可信、可授权、可追溯 | source registry、lineage、quality SLO、permission model |
| Model / Platform | 模型、RAG、工具、工作流是否平台化 | model gateway、RAG platform、tool gateway、SLO |
| EvalOps | 是否有上线前后评估体系 | eval set、rubric、release gate、monitoring gate |
| RiskOps / Governance | 风险分层、控制、证据是否可运营 | AI inventory、control library、evidence binder |
| Integration / Architecture | AI 是否真正接入业务系统和流程 | C4、sequence、BPMN/DMN、ADR、integration patterns |
| Product Adoption | 用户、员工、运营是否采纳并产生收益 | adoption dashboard、training、workflow metrics |
| Operating Model | 团队、RACI、决策权和节奏是否清晰 | product trio+、RACI、review cadence |
| Talent / Learning | 组织是否有可持续能力建设 | role matrix、portfolio evidence、community of practice |
这比“AI readiness checklist”更有价值, 因为每个 domain 都要求可检查证据。
3. Maturity Levels
| Level | 名称 | 特征 | 证据 |
|---|---|---|---|
| L1 | Ad hoc | 个别团队做 POC, 依赖个人能力 | demo、零散 prompt、临时数据 |
| L2 | Repeatable | 有重复模板和基础门禁 | use case intake、basic eval、risk pre-screen |
| L3 | Managed | 有平台、RACI、release gate 和监控 | AI inventory、model gateway、eval report、runbook |
| L4 | Scaled | 多业务线复用平台和控制体系 | product line assets、portfolio funding、cross-domain telemetry |
| L5 | Optimized | 数据、模型、流程、风险和收益持续优化 | causal learning、adaptive portfolio、automated evidence, maturity reviews |
成熟度升级不是每个 domain 同步升级。金融零售组织可能:
- RiskOps L4, 但 Product Discovery L2。
- Data Governance L3, 但 EvalOps L1。
- Platform L4, 但 Adoption L2。
这就是 capability heatmap 的价值。
4. Roadmap Sequencing
推荐顺序:
Foundation
-> pilot evidence
-> platformization
-> governance scaling
-> product-line reuse
-> optimization
| Phase | 重点 | 产物 |
|---|---|---|
| Foundation | 建立共识、能力地图、风险分层、数据/知识基线 | AI capability map、risk tier matrix、source registry |
| Pilot Evidence | 用少数高价值场景验证假设 | pilot memo、eval report、benefits baseline |
| Platformization | 把重复能力平台化 | model gateway、RAG platform、tool gateway、EvalOps |
| Governance Scaling | 把控制和证据做成可运营机制 | AI inventory、control library、release gate、incident runbook |
| Product-Line Reuse | 把多个场景做成产品族 | core asset map、variation matrix、reuse telemetry |
| Optimization | 用数据持续改进价值、质量、风险、成本 | portfolio learning loop、causal evidence、maturity review |
不要跳过 pilot evidence 直接平台化。没有真实场景证据的平台, 容易成为技术展示。 也不要只做 pilot 不平台化。没有平台化的 pilot, 不能规模化。
5. Individual Capability Map
用户已经是 CBAP, 所以重点不是补基础 BA, 而是把能力升级成 AI-era evidence。
| Role Path | 应形成的证据 |
|---|---|
| AI BA | requirements-to-eval、BPMN/DMN trace matrix、data/knowledge readiness、control/evidence map |
| AI PM | portfolio scorecard、AI PRD、metrics tree、adoption plan、scale/stop memo |
| AI Architect | reference architecture、C4/sequence/control views、ADR、platform capability map |
| AI Business Architect | capability map、value stream、maturity heatmap、roadmap dependency |
| AI Governance Lead | AI inventory、control library、evidence binder、risk appetite matrix |
| AI Platform PM | platform service catalog、core asset map、SLO/cost/adoption telemetry |
个人成长也可以用成熟度:
- L1: 能解释概念。
- L2: 能做单个 artifact。
- L3: 能把 artifact 连接成交付闭环。
- L4: 能跨案例复用方法和平台资产。
- L5: 能指导组织级路线图和治理机制。
6. Financial Retail Case: AI Maturity Assessment
评估对象: 银行客服、信贷、AML、KYC 四条 AI 线。
| Domain | Current | Evidence | Gap |
|---|---|---|---|
| Strategy / Portfolio | L2 | 有 use case list 和优先级 | 缺 funding gate 和 stop rule |
| Data / Knowledge | L2 | 有知识库和数据 owner | 缺 source freshness、permission trace |
| Platform | L3 | 有 model gateway 和 RAG prototype | tool gateway 和 HITL queue 不成熟 |
| EvalOps | L2 | 有人工测试集 | 缺线上 monitoring gate 和 segment eval |
| RiskOps | L3 | 有 AI inventory 和风险分层 | control evidence 不自动化 |
| Adoption | L1 | 有培训材料 | 缺 workflow metrics 和 change plan |
| Product Line Reuse | L1 | 每个业务线各做 | 缺 core asset map 和 variation model |
Roadmap:
- 90 天内补齐 portfolio gate、eval contract、source registry。
- 180 天内平台化 model/RAG/tool gateway 和 evidence capture。
- 12 个月内形成 case-assist product line 和跨业务线 reuse telemetry。
7. Artifact Templates
Maturity Scorecard
| Domain | Level | Evidence | Risk | Next Move | Owner |
|---|---|---|---|---|---|
| 能力域 | L1-L5 | 当前证据 | 风险/差距 | 下一步 | owner |
Capability Heatmap
| Capability | Business Criticality | Current Maturity | Target Maturity | Dependency | Quarter |
|---|---|---|---|---|---|
| 例如 EvalOps | high | L2 | L4 | eval set, platform, risk | Q2-Q3 |
Roadmap Dependency Map
AI inventory
-> risk tiering
-> eval contract
-> model/tool gateway
-> release gate
-> monitoring
-> evidence binder
-> scale decision
8. ADR Draft
| 项目 | 内容 |
|---|---|
| 决策 | 采用 evidence-based AI maturity model, 用 capability domains 和 L1-L5 证据评估 AI 转型路线 |
| 背景 | 单纯 POC 数量和模型调用量不能说明组织具备可靠 AI 交付能力 |
| 替代方案 | 成熟度只由 CoE 主观打分; 只看工具采购; 只看 ROI |
| 选择理由 | evidence-based maturity 能连接战略、产品、数据、架构、风险、运营和人才能力 |
| 影响 | 需要季度 maturity review、capability owner、roadmap dependency tracking 和 evidence repository |
| 反转条件 | 若模型过度复杂导致评估成本太高, 可先聚焦 top 5 critical capabilities |
9. 面试表达
30 秒版本
AI 成熟度不是 POC 数量, 而是组织是否能持续把 AI 机会转成可靠、可治理、可采纳、可度量、可复用的产品能力。我会按 strategy/portfolio、data/knowledge、platform、EvalOps、RiskOps、integration、adoption、operating model 和 talent 等 domain 做 evidence-based assessment, 再形成 roadmap。
2 分钟版本
我会先定义能力域, 再按 L1 ad hoc 到 L5 optimized 做成熟度评估, 但每一级都必须有证据。例如 EvalOps L3 需要 eval set、rubric、release gate 和 monitoring gate; Platform L3 需要 model gateway、RAG platform、SLO 和 owner; RiskOps L3 需要 AI inventory、risk tier、control library 和 evidence binder。 评估后不是简单打分, 而是做 capability heatmap 和 roadmap dependency。比如如果组织想 scale customer-facing AI, 但 knowledge governance 和 HITL queue 只有 L1, 那路线图要先补知识权限、source freshness、人工队列和申诉机制。
Transformation Lead / Enterprise Architect 版本
成熟度模型的价值是让 AI 转型从项目状态报告变成能力路线图。Enterprise Architect 关心 capability gap 和 architecture runway, Product Lead 关心 portfolio 和 adoption, Risk Lead 关心控制证据, HR/Enablement 关心人才能力。一个好的 maturity model 应该同时服务投资决策、路线图、组织设计和个人能力成长。