AI Product Metrics / North Star / Value Measurement Playbook

适用对象: 已具备 BA / CBAP / 产品管理基础的 AI PM、AI BA、AI Product Architect、AI Value Office Lead、金融零售数字化负责人。 核心问题: AI 产品如何从“模型效果不错、用户说有用”升级为“有 North Star、有输入指标、有 guardrail、有因果证据、有收益兑现、有风险调整、有财务认可、有可审计治理”。 学习目标: 能为 AML、客服、信贷、财富/分行、AI 平台等金融零售场景设计高级 AI 产品指标体系, 并把 metric tree、实验设计、benefits realization、risk-adjusted value 和 product analytics governance 转成作品集资产。 边界说明: 本文不是基础指标课, 不讲 DAU/MAU 入门、漏斗术语入门或 BI 报表教程。正式金融零售项目必须由 business owner、risk、model risk、legal、compliance、privacy、security、finance、data owner、architecture 和 operations 共同确认。

---

Source Anchors

这些来源作为产品度量、可信 AI、交付能力和价值治理的锚点, 不构成法律、监管、审计或供应商选型意见。

---

1. One-Sentence Positioning

AI Product Metrics 是把 AI 行为质量、真实用户采用、业务结果、风险 guardrail、因果归因、单位经济和收益兑现连接起来的产品治理系统; North Star 是这个系统的方向盘, 不是一个孤立 KPI。

更短的面试版:

AI North Star = qualified value events created by AI, adjusted by trust, risk, adoption and unit economics.

高级 AI PM / BA / Architect 的关键不是“列很多指标”, 而是回答:

• AI 到底改变了哪个决策、动作、工作流或客户体验。
• 哪个指标代表持续客户价值和业务价值。
• 哪些输入指标能被团队直接拉动。
• 哪些 guardrail 一旦恶化就必须停止扩容。
• 哪些证据能证明改善来自 AI, 而不是季节性、人员选择、管理关注或流程重排。
• 哪部分收益被 finance、risk、ops 和业务 owner 认可。
• 指标口径、血缘、owner、变更、权限和事件响应是否可治理。

---

2. 为什么 AI 产品度量不能停留在模型指标

AI 产品常见汇报方式:

• accuracy 提升 8%。
• answer quality judge score 达到 4.5/5。
• 用户访问量上涨 30%。
• 生成了 20 万次摘要。
• 预计节省 30% 人工时间。

这些信号有用, 但不足以支撑 scale / stop / fund decision。原因是:

成熟度跃迁:

Model metric
-> AI behavior metric
-> workflow metric
-> customer / risk / financial outcome
-> causal evidence
-> risk-adjusted value
-> benefits realization
-> portfolio funding decision

一句话:

模型指标是 release evidence 的一部分, 不是 AI 产品价值的终点。

---

3. AI 产品指标 Taxonomy

3.1 高级分类

3.2 指标对象边界

3.3 AI 产品度量栈

flowchart TB
  S[Strategy and risk appetite] --> N[North Star Metric]
  N --> V[Qualified value event]
  V --> I[Input metrics]
  I --> A[AI behavior and eval metrics]
  I --> W[Workflow and adoption metrics]
  I --> B[Business outcome metrics]
  A --> G[Guardrail metrics]
  W --> G
  B --> R[Risk-adjusted value]
  G --> R
  R --> C[Causal evidence]
  C --> F[Finance-recognized benefits]
  F --> P[Portfolio scale / stop decision]

---

4. North Star Metric: 高级设计原则

4.1 合格 North Star 的判断标准

一个 AI 产品 North Star 必须同时满足九个条件:

4.2 AI North Star 常用形态

4.3 推荐公式: Qualified Value Event

North Star =
sum(Qualified value events)
where each event passes:
  target workflow eligibility
  real user or system exposure
  accepted or completed action
  quality / eval threshold
  risk guardrail threshold
  cost ceiling
  auditable evidence

更适合金融零售的风险调整版:

Risk-adjusted North Star =
sum(value_event_count * value_weight * confidence_weight * adoption_weight)
- expected_harm_cost
- quality_failure_cost
- incremental_operating_cost

说明:

• value_event_count: 合格业务事件数量, 例如 resolved case、approved memo、completed branch interaction。
• value_weight: 事件价值权重, 可来自工时、损失避免、收入、客户体验或风险暴露。
• confidence_weight: 证据强度, 随实验、准实验、holdout、finance sign-off 提升。
• adoption_weight: 用户真实采用和流程改变程度。
• expected_harm_cost: 风险事件概率乘以严重度和补救成本。
• quality_failure_cost: 返工、QA defect、投诉、申诉、人工复核成本。
• incremental_operating_cost: 模型、平台、人工审核、标注、监控、培训和治理成本。

4.4 不同金融零售场景的 North Star 示例

---

5. North Star to Input Metrics

5.1 指标树逻辑

Business goal
-> North Star
-> Qualified value event
-> Input metric groups
-> Product levers
-> Guardrails
-> Evidence and benefit realization

5.2 输入指标分层

5.3 客服 AI North Star 树示例

Business goal:
  降低客服成本, 提升一次解决率, 控制政策错误和投诉风险

North Star:
  grounded AI-assisted customer issues resolved without reopen or policy breach

Input metrics:
  coverage:
    eligible intent coverage
    approved policy knowledge coverage
  exposure:
    agent-visible AI answer rate
    customer self-service AI answer exposure
  adoption:
    accepted answer rate
    answer edit distance
    repeat use by agent cohort
  quality:
    citation correctness
    policy adherence
    unsupported claim rate
  workflow:
    AHT
    after-call work time
    transfer rate
    reopen rate
  business:
    FCR
    complaint rate
    cost per resolved contact
  guardrail:
    wrong fee disclosure
    unauthorized promise
    PII leakage
    vulnerable customer escalation miss
  unit economics:
    token and retrieval cost per resolved contact
    QA and human review cost

5.4 输入指标与产品杠杆

---

6. Guardrail Metrics

Guardrail 是 release contract, 不是 dashboard 边角指标。AI 产品允许优化 North Star, 但不能越过 guardrail。

6.1 Guardrail 分类

6.2 阈值类型

6.3 Guardrail Matrix 示例

---

7. Risk-Adjusted Value

AI 产品价值不能只算效率或收入。金融零售必须把风险、质量、运营、治理和客户伤害纳入净值。

7.1 核心公式

Gross incremental value =
  incremental revenue
  + cost avoided
  + loss avoided
  + rework avoided
  + capacity redeployed value
  + risk exposure reduction value

AI total cost =
  model and infrastructure cost
  + data / labeling / eval cost
  + human review and QA cost
  + platform support cost
  + change management cost
  + governance and audit cost
  + vendor and legal cost

Expected risk cost =
  probability of harm * severity * remediation cost
  + regulatory / compliance exposure
  + customer compensation and complaint handling
  + reputational and operational disruption adjustment

Risk-adjusted net value =
  credible incremental value * adoption realization factor * quality pass factor
  - AI total cost
  - expected risk cost
  - opportunity cost

7.2 参数解释

7.3 风险调整不要只做扣分

风险调整不是把高风险项目一票否决, 而是让决策更清楚:

7.4 金融零售价值类型

---

8. Causal / Experimental Evidence

8.1 证据阶梯

8.2 金融零售实验设计选择

8.3 必须记录的 telemetry

8.4 常见因果威胁

---

9. Benefits Realization

Benefits realization 是把 AI 价值从 business case 估算变成 finance 和业务 owner 可认可的证据链。

9.1 标准流程

Problem baseline
-> Value hypothesis
-> Metric contract
-> Measurement design
-> Pilot evidence
-> Adoption proof
-> Quality and risk proof
-> Finance translation
-> Benefits register
-> Scale / stop decision
-> Post-scale audit

9.2 Benefits Register 字段

9.3 收益兑现口径

9.4 Monthly Value Review

---

10. 金融零售案例

10.1 AML Investigator Copilot

定位: AI 辅助 analyst 收集证据、摘要交易、生成 narrative draft 和提示缺失信息, 但不替代 SAR / STR 判断责任。

关键设计:

• AI 输出必须区分 source fact、inference、missing evidence。
• 高风险 typology 保持 stronger human review。
• 指标按 jurisdiction、typology、risk tier、analyst tenure 分层。
• 收益不能只算 review minutes, 还要看 evidence completeness 和监管质量。

10.2 客服 / Contact Center RAG + Copilot

定位: AI 为 agent 或自助渠道提供带引用的政策答案、下一步建议和回复草稿。

关键设计:

• North Star 不用 answers generated, 因为生成越多不等于解决越多。
• 对 regulated intents 设置 zero-tolerance critical errors。
• self-service containment 必须与 complaint、repeat contact、abandonment 联合看。

10.3 信贷 / Underwriting Decision Support

定位: AI 辅助整理申请材料、解释政策、草拟 memo、提示缺失信息, 最终授信判断仍由授权人员和模型治理流程负责。

关键设计:

• AI 不应输出“批准/拒绝”的最终授权语言, 除非治理范围明确允许。
• approval rate 不能作为孤立 North Star, 因为可能引入信用风险和公平风险。
• 需要按产品、客群、渠道、地区、underwriter tenure 分层。

10.4 财富 / 分行 Advisor Assistant

定位: AI 辅助 RM / advisor / branch staff 做客户准备、产品知识检索、合规话术、next best conversation, 但不得绕过 suitability、disclosure 和监督流程。

关键设计:

• 不把销售额直接设为 North Star, 以免激励错误推荐。
• 对客户画像和产品适当性使用 source-of-truth 和 policy citation。
• 价值按 client segment、advisor tenure、branch capacity 分层。

10.5 AI Platform / Model Gateway / EvalOps Platform

定位: 平台不是“接了多少模型”, 而是让多个 AI use case 更快、更安全、更便宜、更可审计地交付业务价值。

关键设计:

• 平台 North Star 不用 API calls 或 number of models connected。
• DORA 指标用于证明交付和可靠性改善, 但必须连接到 AI use case value。
• 平台价值要扣除平台团队、基础设施、治理和迁移成本。

---

11. Product Analytics Governance

AI 产品指标治理的目标是让指标能被人、BI、LLM、eval harness、Value Office 和审计共同信任。

11.1 Metric Contract

11.2 RACI

11.3 Governance Forums

11.4 Metric Incident

AI 指标事故包括:

• exposure event 丢失导致 adoption 虚高或虚低。
• 知识库版本变更未记录, 影响 groundedness 口径。
• dashboard 把 ineligible cases 放入分母。
• LLM analytics assistant 解释了未批准指标。
• 实验 SRM 失败但结果被继续用于 scale decision。
• benefits register 把全部 pre/post 改善归因给 AI。

响应流程:

Detect
-> classify severity
-> freeze affected decision
-> identify lineage and consumers
-> correct metric / dashboard / AI summary
-> communicate impacted decisions
-> update contract and tests
-> add regression check

---

12. Templates

12.1 North Star Metric Canvas

12.2 Metric Tree Template

Business outcome:
  reduce cost per resolved customer issue while maintaining policy compliance

North Star:
  grounded AI-assisted customer issues resolved without reopen or policy breach

Qualified value event:
  eligible contact + AI exposure + accepted answer + resolution + QA pass + no reopen

Input metrics:
  coverage:
    approved intent coverage
    knowledge base freshness
  exposure:
    AI answer visible rate
    triggered contact rate
  adoption:
    accepted answer rate
    edit distance
  quality:
    citation correctness
    unsupported claim rate
  workflow:
    AHT
    transfer rate
    after-call work
  outcome:
    FCR
    reopen rate
    complaint rate
  economics:
    AI cost per resolved contact
    QA cost per contact
  guardrails:
    wrong policy answer
    PII leakage
    vulnerable customer miss

12.3 Guardrail Matrix Template

12.4 Experiment Design Brief

12.5 Benefits Realization Register

12.6 Scale / Stop Memo

---

13. Review Checklists

13.1 North Star Review

• North Star 是否是合格价值事件, 而不是调用量、登录量或生成量。
• 是否清楚连接客户价值、业务价值和 AI 贡献。
• 是否能拆成团队可拉动的 input metrics。
• 是否有明确 guardrail, 防止用风险换增长。
• 是否能按风险等级、渠道、客群、团队、地区分层。
• 是否能翻译成 finance 可讨论的价值。
• 是否不鼓励越权自动化或低质量快速完成。

13.2 Metric Contract Review

• 指标名称、定义、公式、分子、分母、粒度、时间窗口是否清楚。
• source-of-truth、数据质量 SLO、血缘、owner 是否明确。
• AI consumption policy 是否说明哪些 AI 系统可使用该指标。
• 口径变更是否有审批、版本和影响分析。
• 指标是否可被 eval、dashboard、LLM analytics 和 Value Office 一致消费。
• 是否定义 metric incident 的 freeze、correction 和 communication 流程。

13.3 Experiment / Causal Evidence Review

• treatment、control、eligibility、assignment、exposure 是否清楚。
• randomization unit 与 analysis unit 是否匹配, 聚类如何处理。
• 是否记录 assignment、exposure、adoption、action、outcome、guardrail。
• 是否预先声明 primary、secondary、guardrail 和 slices。
• 是否检查 SRM、case mix、seasonality、spillover、metric drift。
• 无法随机时, 准实验假设是否写清楚并做敏感性检查。
• 是否同时报告 ITT 和 triggered analysis, 避免只看采纳者。

13.4 Benefits Realization Review

• baseline 是否在 pilot 前冻结。
• observed change 与 incremental effect 是否分开。
• 收益是否扣除 AI total cost、human review、QA、培训、治理和风险成本。
• 节省时间是否转成 headcount、capacity、SLA、revenue 或 risk reduction 的具体兑现路径。
• finance、business owner、risk owner 是否认可口径。
• scale 后是否安排 post-scale audit, 防止 pilot 效果衰减。

13.5 Guardrail Review

• critical guardrail 是否有 zero-tolerance 或 hard stop。
• guardrail 是否覆盖客户伤害、合规、隐私、安全、公平、运营、财务和可靠性。
• 阈值是否按风险 tier 区分。
• 是否定义 detection source、owner、response time 和 rollback。
• 是否防止平均指标掩盖高风险 segment 伤害。
• 是否把 guardrail breach 纳入 risk-adjusted value。

---

14. 反模式

---

15. 30 天训练计划

目标: 30 天内产出一套可放入作品集的 AI Product Metrics / North Star / Value Measurement 证据包, 选择一个金融零售 use case 深做, 同时覆盖平台治理视角。

完成标准:

• 有一个清楚的 North Star, 且不是 activity metric。
• 有完整 metric tree 和 guardrail matrix。
• 有 causal evidence plan, 不只看 pre/post。
• 有 risk-adjusted value model 和 benefits register。
• 有 product analytics governance: metric contract、RACI、incident。
• 能用金融零售语言讲清收益兑现和风险控制。

---

16. 面试答案

Q1: 你会如何为银行的 AI 客服 Copilot 设计 North Star?

30 秒版本

我不会用调用量或生成答案数做 North Star。我会定义为“有证据支持、被采纳、一次解决且没有 reopen 或政策违规的 AI 辅助客户问题数”。这个指标同时包含客户价值、业务价值、AI 贡献和风险边界。

2 分钟版本

我会先定义 qualified value event: eligible contact、AI answer exposed、agent accepted 或客户自助完成、问题 resolved、7 天内无 reopen、引用 QA 通过、无 critical policy defect。然后拆 input metrics: intent coverage、knowledge freshness、exposure rate、acceptance rate、citation correctness、AHT、FCR、reopen、complaint、cost per resolved contact。guardrail 包括 wrong policy answer、PII leakage、vulnerable customer escalation miss 和 latency。归因上优先用 agent-team cluster A/B, 同时记录 assignment、exposure、adoption、outcome, 避免只看采纳者造成 selection bias。收益兑现时只认可通过质量和风险门槛的增量解决量, 再扣除模型、QA、培训和平台成本。

Q2: AI eval 指标和业务指标是什么关系?

30 秒版本

Eval 指标证明 AI 行为是否合格, 业务指标证明流程和经营结果是否改善。eval 是 release gate, 不是 ROI 本身。

2 分钟版本

例如信贷 memo assistant 的 eval 指标包括 policy citation correctness、unsupported risk rationale、missing document detection 和 prohibited recommendation language。这些能决定是否允许进入 pilot。但业务指标是 cycle time、rework、underwriter capacity、appeal overturn、policy exception defect。两者通过 metric tree 连接: 如果 citation correctness 提升, memo acceptance 和 rework 应改善, 再影响 cycle time 和成本。若 eval 提升但业务结果没变, 可能是工作流嵌入差、用户不信任、case mix 变化或 AI 只改善了不重要的片段。

Q3: 如何证明 AI 项目的收益不是季节性或团队选择造成的?

30 秒版本

要建立反事实。能随机就做 A/B 或 cluster rollout; 不能随机就用 DiD、interrupted time series、matched cohort 或 synthetic control, 并记录 assignment、exposure、adoption、outcome 和 guardrail。

2 分钟版本

我会先定义 treatment 和 eligibility, 再选择 randomization unit。客服适合 agent team cluster A/B; AML 可能用 phased rollout 加 matched case complexity; 财富分行适合 advisor cohort rollout 加 compliance sampling。分析时区分 ITT 和 triggered exposure, 预先声明 primary metric、guardrail 和 segment slices。还要检查 SRM、case mix、seasonality、spillover、metric drift 和 outcome delay。最后只把可信增量效果放入 benefits register, 不把全部 pre/post 变化算给 AI。

Q4: 你如何做 risk-adjusted AI ROI?

30 秒版本

我会从可信增量价值开始, 乘以 adoption 和 quality pass factor, 再扣除 AI 全成本和 expected risk cost。金融零售不能只算效率, 还要扣质量、合规、客户伤害和治理成本。

2 分钟版本

公式是: risk-adjusted net value = credible incremental value * adoption realization * quality pass - model/platform/data/QA/change/governance cost - expected risk cost - opportunity cost。举例 AML Copilot, 如果每个 case 节省 6 分钟但只有 70% eligible cases 真正采用, 且高风险 typology 需要更强人工复核, 那么收益要按采用和质量通过比例调整。若 evidence defect 或 SAR narrative unsupported claim 出现, 相关价值应扣除或冻结。finance sign-off 也要说明节省时间如何兑现为 backlog reduction、capacity redeployment 或成本减少。

Q5: AI 平台的 North Star 怎么设计?

30 秒版本

平台 North Star 不应是模型接入数或 API 调用量, 而应是“通过共享平台交付、通过价值/风险/可靠性/成本门禁的生产 AI workflows 数量”。

2 分钟版本

AI 平台价值来自复用和治理能力, 例如 model gateway、prompt registry、eval harness、observability、cost ledger、policy guardrail 和 audit log。输入指标包括 platform adoption by use case、eval coverage、trace coverage、policy coverage、model routing hit rate、cost per workflow。DORA-style 指标可以证明交付能力: lead time to AI change、deployment frequency、change failure rate、MTTR 和 reliability。但这些要连接业务 use case value, 否则平台只是工程活动。guardrail 包括 unapproved model use、audit log gap、policy bypass、cost overrun 和 change failure。

Q6: 如果 North Star 上升但 guardrail 恶化, 你会怎么处理?

30 秒版本

先冻结扩容, 看 guardrail severity。critical breach 直接 stop 或 rollback affected path; 非 critical 则分 segment、case type、版本和 workflow step 诊断, 在风险 owner 接受前不把增长计入可兑现价值。

2 分钟版本

North Star 不能压过风险边界。比如客服 AI 的 resolved contacts 上升, 但 wrong policy answer 或投诉上升, 我会先检查是否集中在某些 intent、知识库版本、agent cohort 或 prompt 版本。critical policy defect 要关闭受影响 intent, 更新 eval set 和 release gate。对于 bounded degradation, 可以限制流量、增加 human review、调整 retrieval filter 或回到 pilot。收益计算中, guardrail breach 影响的事件不算 qualified value event, 还要进入 expected risk cost。

---

17. 作品集交付物

一套高级 AI Product Metrics 作品集可以包含以下资产:

作品集叙事建议:

I did not start with model accuracy.
I started with the business decision and the qualified value event.
Then I designed the North Star, input metrics, guardrails, causal evidence, risk-adjusted value and benefits realization governance.
This is how I would help a regulated financial institution scale AI without confusing usage with value.

---

18. 最终检查: 一套指标体系是否成熟

一句话收束:

高级 AI 产品度量不是“看 AI 有没有被使用”, 而是证明 AI 在受控风险下创造了可归因、可兑现、可扩展、可治理的业务价值。