M76：可选探索：改变一个特征或切分

内容类型：预习教材（不代表已完成）
日期：2026-11-07
阶段：P1 · AI Model Engineering 90
周次：W11
节奏：周六可选探索 / 补课
状态：教材已备；学习未完成
标签：optional-lab feature-ablation split-sensitivity recovery

一句话定义

今天通过一次单变量特征消融或切分敏感性检查，判断结果依赖的是有效结构还是容易信息；也可以不做实验而完整休息。

学习目标

1. 只改变一个特征或一个切分条件。
2. 预先写下假设、指标和停止时间。
3. 区分敏感性观察与稳定结论。
4. 保留不探索的权利，不制造周六欠账。

核心知识

特征消融不是随意删列，而是检验某类信息对模型/规则的增量。删除金额特征后表现变化，可能说明它有用，也可能说明它承载实体或未来泄漏；需要结合特征来源判断。更好的对照是删除、打乱或用仅训练期估计的替代值，并观察关键切片。

切分敏感性比较随机切分与时间/实体/图感知切分，目的不是选分数更高者，而是量化容易信息带来的乐观偏差。若正确切分显著下降，应寻找部署对齐信号，不能回到错误切分。

小数据一次运行波动很大，所以今天只形成“需要继续验证的观察”。若执行环境不稳定、数据准备超过时间盒，停止并记录未运行。

怎样解释差异

对照有差异时，先检查数据行数、正负类比例、实体重复、特征缺失和评估口径是否一致，再讨论机制。差异很小可能只是 seed 或样本波动；差异很大也可能来自泄漏被移除，而不是模型能力突然下降。对照无差异同样有信息：该特征可能冗余、样本不足，或当前指标无法观察它。每种解释都应写成待验证假设。

机制与推导

一个清晰的对照表只需两列：baseline 设置与单变量设置。固定数据版本、模型、seed（若适用）、训练步数和指标。特征探索写清被改特征的事件时间；切分探索写清哪些实体或时间被隔离。实际数值只有运行后填写。

最小练习或观察步骤

任选其一，时间盒 30～60 分钟：

1. 特征路线：选择一个特征 → 写假设 → 删除/打乱 → 比较同一指标和切片。
2. 切分路线：保持特征模型不变 → 从随机切分换到部署对齐切分 → 比较差异与泄漏解释。
3. 恢复路线：不打开代码，只把一个未解决问题加入复习清单后休息。

常见误区

• 同时改特征、模型和阈值。
• 因正确切分分数低而宣布模型“退步”。
• 单次 seed 的微小变化被解释为因果。
• 删除特征却未清理其派生变量。
• 周六任务超时后继续扩张。

场景连接

金融风险特征要检查事后调查信息；链上图特征要检查标签传播与同控制实体；文档特征要检查模板 ID 是否成为捷径。敏感性分析帮助发现这些问题，但不能替代正式的数据审计。

自检问题

1. 我改变的唯一变量是什么？
2. 该特征是否可能含未来或身份信息？
3. 哪个切分最接近部署？
4. 本次观察为何还不是稳定结论？

专业课程对齐

• Stanford CS229：对应特征表示、正则化与泛化误差；用于预测新增/删除一个特征应影响哪类样本，以及为什么高相关不等于有增量信息。
• Stanford CS329S：对应数据切分、训练—服务一致性和实验管理；用于确保改变切分时模型、特征处理、阈值与评估代码保持固定。
• Stanford CS224W：若选择交易图任务，对应图拆分与关系结构；用于检查新增邻域特征或随机拆边是否引入未来边和实体泄漏。

深入学习提示

先选择“一个特征”或“一种切分”之一。特征路线先用 CS229 写出机制假设：该特征在预测时点是否可用、预计改善哪个切片、是否只是已有特征代理；固定切分和训练设置，比较加入前后主指标、校准和目标切片。切分路线先用 CS329S 说明新切分更接近哪种部署，再固定数据预处理与模型；图任务额外用 CS224W 检查邻居、边和节点身份是否跨集合。不要只看单次总分差，至少记录样本数量、标签率、置信区间或多种子波动，并检查阈值是否重新在验证集选择。若结果不变，可能是特征无增量、模型未利用、噪声过高或测试功效不足；若变化巨大，先排查泄漏和集合难度。未运行时保留预注册假设，不制造结论。

学后填写区

• 我的选择：特征 / 切分 / 补课 / 休息
• 假设与唯一变量：
• 真实观察（未运行请注明）：
• 可能的泄漏或混杂因素：
• 是否按时间盒停止：