M13：可选探索——成本、拒答或校准

内容类型：预习教材（不代表已完成）
日期：2026-09-05
阶段：P1 · AI Model Engineering 90
周次：W2 · 概率、经典 ML、校准与决策损失
节奏：周六可选探索 / 补课
状态：教材已备；学习未完成
标签：可选探索、成本矩阵、拒答、Platt、Isotonic

一句话定义

今天最多选择成本矩阵、拒答覆盖率或校准方法之一，观察决策链中一个旋钮的作用。

学习目标

1. 深入一个 W2 变量而不扩张任务范围。
2. 区分改变模型分数、改变分数解释和改变行动策略。
3. 为可选观察保留训练集、校准集、评估集的边界意识。
4. 疲劳时直接休息，不因可选内容产生欠账。

核心知识

成本矩阵探索不需要重训模型：固定一组分数和标签，仅改变 C_FP/C_FN，就可能改变最优阈值。它属于策略敏感性分析，回答“价值判断改变时应怎样行动”。

拒答探索可设置两个阈值，观察 coverage 与 selective risk。扩大拒答区通常降低自动覆盖率，并可能降低自动处理样本的错误，但只有当不确定样本确实集中在中间分数时才成立；人工路径也有成本和错误。

校准探索可了解 Platt scaling 与 isotonic regression。前者用一个 Logistic 映射重新解释原分数，参数少、较平滑；后者学习单调分段函数，更灵活但小数据上可能过拟合。校准器必须在独立校准数据上拟合，再在未用于拟合的数据上评估。

机制与可选路线

• 路线 A：固定分数，把 FN/FP 成本比从 1 改为 5、20，比较阈值。
• 路线 B：设置不同拒答宽度，画 coverage—error 的空表后再观察。
• 路线 C：对一组有意过度自信的合成分数，比较校准前后 reliability。
• 路线 D：只回看 M08 的低基准率手算，不运行任何代码。

任何路线都应先注明不变量与数据角色。不能在同一小评估集上反复选择方法又汇报“最终改善”，否则结论会偏乐观。

最小练习或观察步骤

1. 最多选一条路线，并设 30～45 分钟上限。
2. 写出旋钮、直接影响层和预期方向。
3. 只建立一张小表或一幅小图。
4. 实际运行后才能填写数字；未运行可保留设计。
5. 一旦开始搜索更多算法，立即停止扩展。

常见误区

• 把调阈值说成提高模型判别能力。
• 校准器在测试集上拟合，造成评估泄漏。
• 只报告拒答后错误降低，不报告覆盖率和人工成本。
• 默认 isotonic 更灵活就一定更好。
• 可选日同时做三条路线。

金融场景连接

当审核团队容量收缩时，可以研究拒答区与阈值如何重新分配工作量，但这不是单纯提高阈值：必须同时估计漏报成本、客户影响及高风险样本是否被挤出人工队列。

自检问题

1. 校准与阈值调整分别改变什么？
2. 为什么拒答模型仍需评估人工路径？
3. Platt 与 isotonic 的复杂度取舍是什么？
4. 今天完全跳过会不会影响 W3？

专业课程对齐

• Stanford CS229 Materials：选读逻辑回归、模型选择或学习理论中的一项，为校准/阈值实验提供概率与数据切分基础。
• PyTorch Tutorials：选取一个分类推理示例，作为实现拒答区间、阈值扫描或后处理的代码基线。
• MIT 6.S191：可选回看分类与损失，避免把后处理误认为重新训练。

深入学习提示

本日只选“成本、拒答、校准”之一。若选成本，固定模型分数，扫描阈值并比较期望成本；若选拒答，定义上下阈值并观察自动决策覆盖率与人工工作量；若选校准，必须保留独立 calibration split，比较变换前后的 reliability 和概率损失。先精读 CS229 对应主题，再运行最小 PyTorch 观察，6.S191 仅用于概念回看。反例包括在测试集上拟合校准器、以提高 accuracy 证明校准更好、拒答样本被直接丢弃而不计成本，以及同时换模型和阈值导致无法归因。代码记录至少包含分割边界、唯一自变量和停止条件；如果当天精力不足，写清一个可证伪假设便可结束。

学后填写区

• 选择路线（或“休息”）：____
• 预期变化：____
• 一条实际观察（未运行留空）：____
• 是否需要下周回看：____
• 实际学习日期与用时：____