M11：基准率、阈值与错误成本的联动

内容类型：预习教材（不代表已完成）
日期：2026-09-03
阶段：P1 · AI Model Engineering 90
周次：W2 · 概率、经典 ML、校准与决策损失
节奏：周四案例与连接
状态：教材已备；学习未完成
标签：基准率漂移、阈值、成本矩阵、可靠性图、金融决策

一句话定义

同一模型在不同基准率和成本结构下可能需要完全不同的阈值，因为预测质量与行动价值不是同一个函数。

学习目标

1. 观察基准率变化怎样影响 precision 和预期工作量。
2. 用成本矩阵把 FP、FN 与人工审核转换为决策损失。
3. 理解 reliability diagram 与 cost curve 分别回答什么。
4. 建立一个不依赖 accuracy 的金融决策案例。

核心知识

基准率漂移是目标阳性比例发生变化，例如节假日欺诈率上升或新市场客户构成不同。即便 P(score|Y) 暂时不变，P(Y|score) 也会因先验变化而改变。因此 precision、分数校准和每千笔告警量都会变化，而 ROC 曲线在理想的纯先验漂移下可能变化较小。

阈值不是模型参数的自然终点，而是策略参数。较低阈值通常提高 recall、增加 FP 和审核量；较高阈值相反。成本矩阵给每类结果赋值：TP 可能带来避免损失的收益，FP 产生客户摩擦和审核成本，FN 产生实际损失与监管风险，TN 通常成本较低但也可能有机会成本。

reliability diagram 把预测分数分箱，横轴为平均预测，纵轴为实际阳性率；点落在对角附近表示该分段较校准。cost curve 则对每个阈值计算期望成本或净收益。前者描述分数是否可作概率解释，后者描述在具体行动价值下哪个阈值更合适。

机制与推导

对阈值 t，可写总成本：C(t)=C_FP·FP(t)+C_FN·FN(t)+C_review·N_review(t)+C_delay·N_delay(t)。若只有自动二分类，后两项可省略；若有拒答区间，则审核量和延迟必须加入。

假设两个环境都有 10,000 笔交易，环境 A 阳性率 1%，环境 B 为 5%。模型真阳率 80%、假阳率 2%。A 中 TP=80、FP=198，precision≈28.8%；B 中 TP=400、FP=190，precision≈67.8%。模型条件性能未变，告警含义却显著变化。这说明运营团队不能从旧市场复制 precision 预期。

最小练习

1. 为 20 条合成分数选择 0.3、0.5、0.7 三个阈值。
2. 分别计算混淆矩阵，不填未实际计算的数值。
3. 设定两套成本：漏报优先与客户体验优先，比较最优阈值是否改变。
4. 将基准率通过重采样或手算改为另一水平，观察 precision 与成本。
5. 画一个空的 reliability 小图与 cost 小图，运行后再落点。

常见误区

• 认为模型版本不变，阈值就可永久不变。
• 成本只写货币，忽略审核容量、延迟、客户中断和合规影响。
• 用验证集选最优阈值，又在同一数据上报告最终效果而不说明。
• 把 reliability 图的对角接近程度当作排序能力。
• 看到 accuracy 降低就认为新阈值更差，忽略总成本可能下降。

金融场景连接

信用卡交易可设置放行、强验证、人工审核、拒绝四类动作，而不是一个阈值。每个动作有不同成本与证据要求。模型分数负责排序和风险量化，策略层负责结合额度、客户状态和审核容量选择动作。

自检问题

1. 纯基准率漂移为什么会显著改变 precision？
2. reliability 与 discrimination 能否互相替代？
3. 阈值选择应在哪个数据集完成，为什么？
4. 如何把人工审核容量加入成本函数？

专业课程对齐

• Stanford CS229 Materials：对应二分类、生成/判别学习与学习理论。重点把条件概率、类别先验和决策边界分开理解。
• MIT 6.S191：对应分类输出与损失，复核模型为何只产生分数或概率，而不是自动给出业务行动。
• PyTorch Tutorials：对应分类推理代码，用于定位概率计算、阈值应用和混淆矩阵统计三个步骤。

深入学习提示

先精读 CS229 的分类概率建模，再选读 6.S191 的分类输出，最后用 PyTorch 代码构造一个固定条件分布、不同基准率的数据集。公式观察 precision=π·TPR/[π·TPR+(1-π)·FPR]，理解 TPR/FPR 不变时 precision 仍随正类基准率 π 改变；再计算成本 C(t)=c_FN·FN(t)+c_FP·FP(t)+c_review·N_review(t)。反例要比较：同一阈值跨月份复制、只凭 accuracy 选模型、测试集正类被人为平衡后直接解释上线 precision。精读顺序的最终落点是画 threshold–workload–cost 表，而不是把 0.5 当自然阈值；如果成本尚不确定，应做敏感性分析而非伪造精确金额。

学后填写区

• 两套基准率设定：____
• 两套成本假设：____
• reliability/cost 图位置：____
• 运行后的关键变化：____
• 实际学习日期与用时：____