AI Uncertainty Calibration & Conformal Prediction Playbook

定位：面向高级 AI PM / AI BA / AI Architect / Model Risk / 金融零售产品与架构团队，把 uncertainty estimation、calibration、conformal prediction、selective prediction 和 human escalation 组合成可上线、可监控、可审计的 AI 决策控制系统。

适用边界：本文面向 credit、fraud、KYC、AML、RAG answer confidence、customer-facing regulated AI、运营决策和内部 copilot。它不把“不确定性”当成模型解释装饰，而是把它转成路由、拒答、人工升级、风险接受、客户体验和生产监控。

重要说明：本文是学习、作品集和内部方案训练材料，不构成法律意见、合规结论、模型验证报告或监管解释。正式项目必须由 Legal、Compliance、Model Risk、Fair Lending、Privacy、Security、Business Owner、Operations、Customer Experience 和管理层结合机构类型、司法辖区、业务用途、客户影响和内部政策确认。

---

Source Anchors

以下来源是本文的技术和治理锚点。本文把它们转成产品、架构、评估、上线门禁和治理证据要求，不把任何论文或工具文档直接等同于监管合规结论。

---

1. 一句话定位

AI 不确定性工程的核心不是让模型说“我有 87% 把握”，而是：

Uncertainty-to-Action =
把模型、数据、检索、业务规则和用户意图中的不确定性
校准成可验证的概率、区间、集合、覆盖率和风险等级，
再映射为自动通过、降级、补充信息、人工复核、拒答、客户披露和生产监控。

在金融零售里，confidence 不是 UI 装饰，而是控制平面：

高级 PM / 架构师要能回答三个问题：

1. 这个 AI 系统知道自己什么时候可能错吗？
2. 系统知道“可能错”之后要做什么吗？
3. 生产环境能证明这种控制在不同客户群体、渠道、产品和时间上持续有效吗？

---

2. 为什么重要

2.1 从准确率到决策风险

Accuracy、AUC、F1、hit rate 只回答“整体表现如何”。金融零售上线更关心：

2.2 监管和客户体验的共同问题

customer-facing regulated AI 的失败常常不是“模型完全不知道”，而是“系统把不确定答案包装成确定服务”。

典型失败路径：

Ambiguous customer intent
-> weak retrieval evidence
-> LLM produces fluent answer
-> UI shows confident tone
-> customer treats it as bank commitment
-> no human escalation
-> complaint, harm, remediation, audit issue

不确定性治理要打断这条链：

Ambiguous intent
-> answerability check
-> evidence threshold
-> calibrated confidence
-> risk tier decision
-> clarify / abstain / escalate
-> logged rationale and monitoring sample

2.3 LLM confidence limitation

LLM 的自然语言自我表述、token probability、logprob、temperature 或“请给出置信度”提示，不能直接当成真实正确率。原因包括：

---

3. Uncertainty-to-Action 架构

3.1 总体架构

Business request / customer interaction
-> risk tier and intent classification
-> data quality and permission checks
-> model prediction or RAG answer generation
-> uncertainty estimation
   - probability score
   - calibrated confidence
   - prediction interval
   - prediction set
   - retrieval and citation support
   - OOD and drift signal
-> uncertainty calibration
   - ECE
   - Brier score
   - reliability diagram
   - temperature scaling
   - conformal calibration
-> policy decision
   - auto approve / answer
   - ask clarifying question
   - narrow prediction set
   - route to analyst / specialist
   - abstain or refuse
   - block high-impact automation
-> user experience and operations
-> monitoring, fairness, audit evidence, remediation

3.2 架构组件

3.3 不确定性类型

3.4 Uncertainty-to-Action Matrix

---

4. 概率校准

4.1 Calibration 的定义

一个分类模型如果说“这批样本我有 80% confidence”，那么这批样本的真实正确率应接近 80%。这就是 calibration 的业务含义。

反例：

校准不是提高模型区分能力。一个模型可以 AUC 很高但校准很差，也可以校准较好但区分能力不足。上线评估要同时看 discrimination 和 calibration。

4.2 ECE

Expected Calibration Error, ECE，把预测 confidence 分桶，比较每个桶的平均 confidence 和真实 accuracy，再按样本占比加权。

ECE = sum over bins (bin_size / total_size) * abs(bin_accuracy - bin_confidence)

使用 ECE 的产品含义：

4.3 Reliability Diagram

Reliability diagram 把 confidence bucket 和真实正确率画在一起。理想模型接近对角线。

Bucket confidence: 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Observed accuracy: 0.1 0.3 0.4 0.5 0.5 0.6 0.7 0.7 0.8
Interpretation: high confidence buckets are over-confident
Action: recalibrate, raise abstention threshold, monitor segment drift

产品和架构团队看 reliability diagram 时要问：

4.4 Brier Score

Brier score 是概率预测的均方误差：

Brier score = mean((predicted_probability - actual_outcome)^2)

它同时惩罚不准确和不校准，适合二分类概率预测，如欺诈、违约、流失、投诉升级概率。

4.5 Temperature Scaling

Temperature scaling 是对 logits 做单参数缩放：

calibrated_probability = softmax(logits / T)

适用场景：

4.6 校准方法选择

4.7 Segment Calibration 和公平性

整体校准好，不代表每个客户群体都可靠。金融零售必须关注 fairness across segments。

需要切片的 segment：

分段校准治理要求：

---

5. Conformal Prediction

5.1 核心定位

Conformal prediction 的目标不是输出“模型有多聪明”，而是把任意模型包装成带覆盖率语义的输出：

关键概念：

coverage = P(true label or value is inside the prediction set / interval)

例如目标 coverage 为 90%，意思是长期看真实标签或真实值应有约 90% 落在 conformal set / interval 内。它不是说某一笔个案有 90% 的主观确定性。

5.2 Split Conformal 工作流

1. Train
   用训练集训练基础模型。

2. Calibrate / conformalize
   在独立校准集上计算 conformity score。

3. Choose risk level alpha
   例如 alpha = 0.1，目标 coverage = 90%。

4. Compute threshold
   取校准分数的合适分位数。

5. Predict
   对新样本输出 prediction set 或 interval。

6. Monitor
   用生产标签回流检查 coverage、set size、interval width、segment coverage 和 drift。

5.3 Prediction Intervals

回归场景中，conformal prediction interval 可以用于：

高级判断不是只看 coverage，还要看 interval width：

5.4 Prediction Sets

分类场景中，prediction set 比单一类别更适合表达不确定性。

Prediction set 的关键指标：

5.5 Conformal Prediction 的边界

Conformal prediction 强大，但不能被误用为万能合规证明。

5.6 Conformal for RAG Answer Confidence

RAG 的 confidence 不应由 LLM 自报。可以把回答拆成可评分对象：

一种落地方式：

Define RAG correctness label
-> build golden query set
-> score retrieval and citation support
-> train / calibrate answerability classifier
-> conformalize prediction sets:
   {answer, ask_clarifying_question, refuse, escalate_to_human}
-> monitor coverage and escalation quality by scenario

对客户可见 RAG，推荐把 confidence 映射为动作，而不是直接展示模型概率：

---

6. Selective Prediction / Abstention

6.1 定义

Selective prediction 指系统只在满足置信、覆盖、成本和政策条件时自动预测；否则 abstain、clarify 或 route to human。

coverage of automation = fraction of cases handled automatically
risk of automation = error or harm among automatically handled cases

这与“提高准确率”不同。selective prediction 明确接受一个事实：某些样本不该自动化。

6.2 Abstention 不是失败

在金融零售中，abstention 是产品能力：

6.3 Risk-Based Routing

Routing policy 要同时看 confidence、客户影响、业务成本和监管触点。

Routing 示例：

6.4 Selective Prediction 指标

---

7. 产品体验：Confidence UX

7.1 原则

Confidence UX 的目标不是展示数学，而是帮助客户或员工采取正确动作。

7.2 员工界面

员工界面可以更具体，但必须避免把 confidence 当成命令。

员工界面示例：

AI triage result:
Likely categories: fee_dispute, billing_question
Decision: route to servicing specialist
Reason: prediction set has 2 categories and complaint-risk signal is present
Evidence: customer message mentions "formal complaint" and "incorrect charge"
Control: specialist must confirm complaint status before response

7.3 客户界面

客户界面要少用模型术语，多用服务承诺边界。

7.4 不推荐的 UX

---

8. 金融零售场景落地

8.1 Credit

Credit 场景的不确定性要与模型风险、公平信贷、adverse action、定价和人工 underwriting 接起来。

Credit routing 示例：

Approve automatically:
  calibrated PD below threshold
  interval upper bound below risk appetite
  no segment calibration warning
  reason pipeline complete

Manual underwriting:
  interval crosses threshold
  thin-file customer
  model confidence high but data conflict present
  segment coverage below release gate

Do not use AI for final reason:
  LLM-generated narrative is not tied to approved adverse action reason codes

8.2 Fraud

Fraud 场景要平衡损失控制和客户损害。

8.3 KYC

KYC 中模型常做 document classification、entity resolution、risk tiering、missing document detection。

8.4 AML

AML 不确定性治理的关键是避免把模型 triage 和正式可疑活动判断混为一谈。

8.5 RAG Answer Confidence

RAG answer confidence 应由多信号组成：

answer_confidence =
  retrieval recall proxy
  + source authority
  + citation support
  + answerability classifier
  + policy risk tier
  + conflict detection
  + permission correctness
  - stale source penalty
  - unsupported claim penalty

RAG 发布门禁：

---

9. 治理和 Model Risk

9.1 Governance Mapping to NIST AI RMF

9.2 Release Gate

9.3 Monitoring Calibration Drift

生产监控要同时看输入、输出、结果和客户影响。

Outcome lag 处理：

9.4 Incident and Remediation

触发 incident / issue 的条件：

9.5 Evidence Binder

上线和审计证据应包含：

---

10. 模板

10.1 Use Case Uncertainty Intake

10.2 Calibration Evaluation Sheet

10.3 Conformal Prediction Evaluation Sheet

10.4 Risk-Based Routing Policy

Policy name:
Use case:
Risk tier:

Inputs:
  calibrated_confidence:
  prediction_interval_or_set:
  evidence_strength:
  segment_calibration_status:
  customer_impact:
  operational_capacity:

Actions:
  auto_process_when:
  ask_clarifying_question_when:
  abstain_when:
  escalate_to_human_when:
  block_or_pause_when:

Audit:
  logged_fields:
  override_reason_required:
  customer_message_template:
  monitoring_metric:

10.5 RAG Confidence Rubric

10.6 Release Gate Memo

Decision:
  approve pilot / approve limited launch / do not launch / launch with conditions

Scope:
  channels:
  customer segments:
  product lines:
  excluded scenarios:

Evidence:
  calibration:
  conformal coverage:
  selective prediction:
  fairness across segments:
  RAG support:
  human escalation:

Controls:
  thresholds:
  abstention:
  escalation:
  monitoring:
  incident triggers:

Residual risk:
  accepted by:
  review cadence:

---

11. 30 天训练计划

目标：30 天内把不确定性从概念训练成可展示的金融零售 AI 产品和架构资产。训练默认读者已具备高级需求、流程、治理和利益相关方管理能力。

---

12. 面试答案

12.1 什么是 calibration，为什么金融 AI 不能只看 AUC？

30 秒回答：

Calibration 衡量模型输出的概率是否对应真实发生频率。AUC 只说明排序能力，不能说明 0.8 的风险分数真的代表 80% 的事件概率。金融场景的定价、阈值、人工复核和客户影响都依赖概率质量，所以必须同时看 AUC、ECE、Brier score 和 reliability diagram。

2 分钟展开：

在 credit、fraud、KYC 和 AML 中，模型分数经常触发业务动作。AUC 高说明模型能把高风险样本排在低风险样本前面，但如果模型系统性过度自信，阈值策略会造成误拒、误拦截、资源错配或风险低估。我的做法是把 calibration 放进 release gate：整体看 ECE、Brier score 和 reliability diagram，关键 segment 单独评估，并把校准结果接到 risk-based routing。对高风险或 near-threshold 样本，不让模型分数直接决定客户权益，而是进入人工复核或补充证据流程。

12.2 ECE、reliability diagram 和 Brier score 各自解决什么问题？

30 秒回答：

ECE 给出整体校准误差，reliability diagram 展示不同 confidence bucket 的偏差形态，Brier score 衡量概率预测与真实结果的均方误差。三者结合才能判断模型分数是否能支撑业务动作。

2 分钟展开：

ECE 简洁，适合做门禁和监控，但会受分桶方式影响。Reliability diagram 能看到模型是整体过度自信，还是只在高分段或低分段偏离。Brier score 同时惩罚错误和概率偏离，适合二分类风险预测。金融场景我会进一步按客户群体、渠道、产品和风险段切片，因为整体校准好可能掩盖某些 segment 的高风险偏差。

12.3 Temperature scaling 适合什么场景，有什么限制？

30 秒回答：

Temperature scaling 是对 logits 做单参数后处理，常用于修正深度分类模型过度自信。它简单稳定，通常不改变类别排序，但不能解决分段错校准、数据漂移或标签质量问题。

2 分钟展开：

如果模型 softmax confidence 偏高，temperature scaling 可以在验证集上学习一个温度参数，让概率更接近经验正确率。它适合意图分类、文档分类、欺诈或 KYC 分类模型的后处理。限制是它是全局缩放，无法自动处理某些客户群体、渠道或产品上的局部偏差。正式上线我会把它与 segment calibration、reliability diagram、漂移监控和 selective prediction 结合，而不是把 temperature scaling 当成单独控制。

12.4 Conformal prediction 和 calibration 有什么区别？

30 秒回答：

Calibration 关注概率是否可信；conformal prediction 关注输出集合或区间是否达到目标 coverage。前者常回答“0.8 是否真接近 80%”，后者回答“真实标签或数值是否落在 prediction set / interval 里”。

2 分钟展开：

Conformal prediction 可以包装任意模型，用校准集上的 conformity score 构造 prediction sets 或 intervals。例如 KYC 文档分类可以输出候选文件类型集合，credit loss forecast 可以输出损失区间。它的产品价值是把不确定性变成可操作边界：集合过大、区间跨阈值或 coverage 在某 segment 不足时，系统升级人工或降低自动化。它的边界是依赖训练、校准和生产数据足够相似；总体 coverage 也不保证每个子群体都同样覆盖。

12.5 如何设计 customer-facing regulated AI 的 confidence UX？

30 秒回答：

我不会直接把模型概率暴露给客户，而是把 confidence 转成清晰的服务动作：可以回答、需要更多信息、需要人工确认或无法处理。高风险场景必须说明边界并保持人工可达。

2 分钟展开：

客户看到“92% confidence”会产生虚假确定感，尤其在信贷、财富、投诉和账户限制场景。我的设计是内部保留 calibrated confidence、coverage、citation support 和 routing reason；客户界面使用可理解语言说明适用范围、来源和下一步。比如 RAG 回答只有在权威来源、当前版本和引用支持都满足时才自动回答；如果来源冲突或涉及正式信贷原因，就转人工或引导正式通知。这样既提升体验，也保留合规和审计证据。

12.6 RAG answer confidence 为什么不能让 LLM 自己打分？

30 秒回答：

LLM 自报 confidence 不等于事实正确率。RAG confidence 应来自 retrieval coverage、citation support、answerability、source freshness、permission correctness 和冲突检测等外部信号。

2 分钟展开：

LLM 很擅长生成流畅答案，但流畅不代表正确。自报置信度会受 prompt 和上下文影响，也不能证明引用支撑结论。生产级 RAG 要先定义答案正确性的标签和 rubric，再对检索、引用、答案可回答性、拒答和人工升级做评估。对客户可见受监管 AI，我会把 RAG confidence 映射为 answer、clarify、refuse 或 escalate，而不是把一个数字直接展示给客户。

12.7 如何监控 calibration drift？

30 秒回答：

监控 calibration drift 要看 score 分布、bucket accuracy、ECE、Brier score、reliability diagram、segment calibration 和业务结果，同时处理信贷、欺诈、AML 的标签延迟。

2 分钟展开：

生产漂移不仅来自模型，也来自产品、渠道、客群、政策和攻击模式变化。我会建立月度或更高频的校准监控：先看输入和 score distribution 是否变了，再看 outcome 回流后的 ECE、Brier 和 reliability diagram。对 outcome lag 较长的 credit 或 AML，会使用早期 proxy 指标和 cohort validation。最关键的是 segment 监控，如果某个渠道或客户群体的校准恶化，应触发降级、人工复核或暂停自动化。

12.8 如何把 selective prediction 用在欺诈风控？

30 秒回答：

欺诈风控不应让模型在所有交易上强行自动判定。高置信且校准稳定的交易可以自动 step-up 或拦截；低置信或高客户影响交易应进入人工复核、补充认证或保守放行策略。

2 分钟展开：

Selective prediction 的核心是只在模型可靠时自动化。欺诈场景里，false positive 会损害客户体验，false negative 会造成损失。我的 routing policy 会结合 calibrated fraud probability、交易金额、客户影响、segment calibration、设备和行为证据。如果模型高置信但落在校准不足的 segment，就不直接拒绝，而是 step-up authentication 或人工复核。监控上看 selective risk、automation coverage、customer harm、申诉结果和 human override。

12.9 如何处理 fairness across segments？

30 秒回答：

不能只看整体指标。要按产品、渠道、地区、客户生命周期和合规认可的公平性切片看 calibration、coverage、selective risk、abstention rate 和 human override。

2 分钟展开：

整体 ECE 或 coverage 达标可能掩盖某个 segment 的过度自信。金融场景中，这可能造成某些客户群体被更多误拒、误拦截或得不到正确服务。我的做法是把 segment calibration 和 coverage 放进 release gate；对样本少或表现不稳的 segment，降低自动化或要求人审；生产中持续监控 drift 和投诉。公平性不是只做一次模型评估，而是贯穿阈值、路由、UX、人工升级和补救。

12.10 作为 PM / 架构师，你如何把 uncertainty 变成上线方案？

30 秒回答：

我会设计 Uncertainty-to-Action 架构：先定义 use case 风险等级，再测 calibration 和 conformal coverage，然后用 routing policy 把 confidence 映射到自动处理、澄清、拒答或人工升级，最后用监控和证据包证明控制持续有效。

2 分钟展开：

我不会让模型团队只交一个 accuracy 报告。产品侧先定义客户影响、业务动作、错误成本和人工升级路径；架构侧设计 calibration layer、conformal output、policy engine、UX renderer 和 monitoring pipeline；治理侧建立 release gate、segment fairness review、change management 和 incident trigger。这样不确定性就从抽象指标变成可执行的产品能力和风险控制，尤其适合 credit、fraud、KYC、AML 和客户可见 RAG。

---

13. 作品集表达

如果把本文转成作品集，可以用一个金融零售案例展示：

Case: Customer-facing credit card servicing AI

Problem:
  客户在 APP 中询问信用卡费用、提额、拒绝原因和争议交易。

Risk:
  客户可能把 AI 回答理解成正式信贷结论或机构承诺。

Design:
  - RAG answerability classifier
  - citation support scoring
  - calibrated intent confidence
  - conformal prediction set for customer intent
  - risk-based routing policy
  - human escalation for credit / complaint / dispute paths
  - confidence UX without misleading numeric probability

Evidence:
  - ECE and reliability diagram by intent and channel
  - RAG citation support report
  - prediction set coverage by scenario
  - selective risk and escalation precision
  - segment calibration and complaint monitoring
  - calibration drift dashboard

Outcome:
  AI handles low-risk FAQ and account-service questions,
  abstains or escalates regulated and uncertain cases,
  and produces an audit trail for model risk, compliance and customer remediation.

面试中的高级表达：

我把 uncertainty 当成 AI 产品的控制平面，而不是模型输出旁边的一个小数字。真正的设计问题是：什么时候自动化，什么时候澄清，什么时候拒答，什么时候升级人工，以及上线后如何证明这些判断在不同客户群体上仍然可靠。