M69：可选探索：文档扰动或小 VLM 体验

内容类型：预习教材（不代表已完成）
日期：2026-10-31
阶段：P1 · AI Model Engineering 90
周次：W10
节奏：周六可选探索 / 补课
状态：教材已备；学习未完成
标签：optional-lab vlm document-robustness recovery

一句话定义

今天只做一个小探索：增加一种受控文档扰动，或体验一次小 VLM 的结构化抽取；目标是形成一条真实观察，不是完成系统。

学习目标

1. 在 30～60 分钟边界内完成或停止一次探索。
2. 保持 fixture、schema 与指标稳定，只改变一个因素。
3. 把事实观察、推测解释和后续验证分栏记录。
4. 明确完全休息也是符合课程设计的选择。

核心知识

周六探索的价值是把本周概念触碰一次真实接口，而不是追求新模型或高分。路线 A 可在合成文档上增加单一扰动，例如旋转 5 度、轻度模糊或遮挡一个非关键字段；路线 B 可让本机/获授权服务上的小 VLM 按固定 JSON schema 抽取三个字段。两条路线都应使用无敏感信息 fixture。

若体验 VLM，先规定输出：字段值、证据文本、状态，不允许额外散文。还要记录模型/配置、图像尺寸和 prompt，但不要提交权重、缓存或 secret。若服务条款、隐私或网络条件不清楚，改做纸上 schema 练习。

怎样选择今天的路线

如果 M65 的 fixture 与规则路径尚未看懂，优先补它，不需要引入 VLM；如果处理链已经清楚但没有见过扰动传播，选路线 A；如果具备本地模型或明确授权的服务，并且最小 schema 已固定，才选路线 B。选择标准是哪个动作最能澄清一个现有问题，而不是哪个工具更新。任何路线都不需要与他人或排行榜比较。

机制与推导

探索记录应分三层：

• 事实：输入、设置、实际输出或错误信息。
• 解释假设：例如可能因分辨率降低而漏掉小字。
• 验证动作：只换分辨率再次测试，或查看 OCR 中间层。

没有运行就不要填写事实结果；运行失败本身可以作为事实，但不能据此概括某类模型。停止前留下一条可复现信息，胜过不断扩展。

最小练习或观察步骤

二选一，也可直接休息：

A. 单一扰动：复制 M65 fixture → 施加一种扰动 → 使用同一抽取路径 → 对照字段、证据和状态 → 写一条真实观察。

B. 小 VLM：固定三字段 schema → 使用一张合成文档 → 请求结构化结果和证据 → 执行格式/算术校验 → 记录一次输出或明确未运行。

时间到即停止，不追求修复所有问题。

常见误区

• 为了让结果好看连续改 prompt、图片和模型。
• 把外部服务返回的 confidence 当成已校准概率。
• 上传真实客户文件或把 API secret 写入仓库。
• 因依赖安装失败而无限延长周六任务。
• 把可选探索计成必须补交的欠账。

场景连接

如果选择金融账单，重点看金额和证据位置；如果选择 Web3 交易确认图，地址/哈希只可作为抽取练习，最终事实必须查结构化链上来源；如果选择合同页，观察条款标题与正文关系，不做法律判断。

自检问题

1. 我今天改变的唯一因素是什么？
2. 哪些内容是事实，哪些只是解释假设？
3. 输出是否保留证据和失败状态？
4. 什么条件下应该停止而不是继续调试？

专业课程对齐

• Hugging Face VLM Course：对应小 VLM 的输入结构与生成边界；适合走“小 VLM 体验”路线时核对视觉编码、prompt 和结构化输出分别承担什么作用。
• Stanford CS231n：对应可控图像变换；适合走“文档扰动”路线时设计单变量、分强度的旋转、模糊、缩放或遮挡。
• Stanford CS329S：对应测试、监控与部署风险；用于定义停止条件、失败状态和是否值得继续探索。

深入学习提示

先根据路线只精读一门主材料：扰动路线先看 CS231n，小 VLM 路线先看 HF VLM；CS329S 仅在最后用于检查实验边界。扰动路线要固定文档、字段规则与下游 verifier，只改变一种扰动及其强度，观察最早失败层和恢复策略。VLM 路线要固定图片与 schema，只改变一个 prompt、图像尺寸或模型设置，保留原始输出、解析状态和证据缺口；不要把通顺描述当字段正确。两条路线都先写“若出现何种结果会改变判断”，再决定是否运行，时间到或变量失控即停止。若选择补课或休息，课程材料无需打开；若环境未就绪，只完成输入、指标、对照和状态码设计，同样不要补写任何假想观察。

可在结尾留一行“何种新证据才值得继续”，防止可选探索无止境扩张，也让下次恢复时有明确入口。

学后填写区

• 我的选择：扰动 / VLM / 补课 / 休息
• 输入与唯一变量：
• 真实观察（未运行请写“未运行”）：
• 解释假设与验证动作：
• 是否已按停止条件结束：