M64：多模态与文档智能处理链

内容类型：预习教材（不代表已完成）
日期：2026-10-26
阶段：P1 · AI Model Engineering 90
周次：W10
节奏：周一概念与阅读
状态：教材已备；学习未完成
标签：ocr layout-parser vision-encoder vlm document-intelligence

一句话定义

文档智能把像素、版面、文字与视觉关系逐层转换为字段、证据和决策；OCR、layout parser、vision encoder、projector 与语言模型只是链上的不同组件。

学习目标

1. 能区分 OCR、版面解析、视觉编码、跨模态投影与语言模型的职责。
2. 理解端到端 VLM 与模块化文档 pipeline 的主要取舍。
3. 为每一层定义独立指标，避免只用最终答案掩盖上游错误。
4. 能画出文档输入到人工/业务决策的证据链。

核心知识

1. OCR：像素到字符及坐标

OCR 通常包含文本检测和文本识别：先找出文字区域，再把区域图像转成字符序列。输出不应只有纯文本，最好保留页码、边界框、行块、置信度和阅读顺序。OCR 能回答“这里写了什么”，但不能天然理解“这个金额属于哪一项”“表头与哪一列对应”。

2. Layout parser：恢复页面结构

版面解析识别标题、段落、表格、键值对、页眉页脚、签名区和阅读顺序。它使用位置、大小、对齐、留白和重复模式。对于两栏合同、跨页表格和多级标题，错误的阅读顺序会让后续语言模型接收到语义上被打乱的文本。布局不是装饰信息，而是文档语义的一部分。

3. Vision encoder 与 projector：把视觉映射到模型空间

vision encoder 把图片切成 patch 或区域并编码成视觉向量，能够保留图标、颜色、空间关系与非文字视觉线索。projector/adapter 把视觉表示映射到语言模型可消费的维度或 token 空间。投影层看似小，却决定视觉特征能否与语言表示对齐。若 encoder 不保留小字号细节，后续大语言模型也无法凭空恢复。

4. Language model：关系推断与结构化输出

语言模型可根据 OCR 文本、布局 token 或视觉 token 完成字段抽取、问答、分类和解释。它擅长柔性语义，但也可能补全不存在的字段、忽略坐标冲突或产生格式漂移。因此应要求输出字段值同时携带页码、边界框或原文片段，并在证据不足时拒答。

5. 分层指标

• OCR 层：字符/词错误率，数字准确率，框召回率。
• Layout 层：区域检测、阅读顺序、表格单元格关系。
• 字段层：字段 precision/recall/F1，精确匹配，归一化后匹配。
• 关系层：键值关联、行列归属、跨页链接。
• 证据层：字段是否能定位回原文，引用是否支持结论。
• 决策层：错误成本、拒答覆盖率、人工复核量与最终业务损失。

最终指标相同并不代表路径相同：一个系统可能 OCR 很准但关系配错，另一个可能字符略错却通过上下文恢复字段。分层指标使失败可定位，也帮助选择组件升级位置。

机制与推导

模块化路径可表示为 pixels → regions → text + coordinates → layout/relations → normalized fields → evidence → decision。端到端 VLM 则把若干中间层隐式吸收为 pixels + prompt → structured answer。前者便于审计、缓存和单点替换；后者能处理复杂视觉关系并降低人工规则量，但可观察性和稳定结构输出通常更难。

真正的系统常采用混合路线：OCR 提供可搜索文本与坐标，layout 模型恢复表格结构，VLM 处理困难页面，规则验证日期/金额，语言模型生成说明，低置信度样本转人工。模型选择应由文档分布、错误成本、延迟、隐私和证据要求决定。

最小练习或观察步骤

选一张无敏感信息的合成账单，在纸上画六层处理链：

1. 原始像素有哪些扰动？
2. OCR 应输出哪些文字与坐标？
3. Layout parser 应识别哪些区域和关系？
4. 最终字段 schema 是什么？
5. 每个字段如何回指原图证据？
6. 哪些错误应自动拒答或转人工？

为每一层写一个指标。练习只定义 fixture 与预期，不填写任何未运行结果。

常见误区

• 把 OCR 当作文档理解的全部。
• 只保存拼接后的纯文本，丢失页码与坐标。
• 只评最终问答，不知道错误起于哪一层。
• 认为更大的 VLM 必然胜过稳定的 OCR+规则。
• 用真实客户文档做随手实验，忽略隐私、授权与留存边界。
• 强迫模型填写每个字段，不允许“不可读/不存在”。

金融、Web3 与文档场景连接

银行流水、发票、KYC 证件和支付争议材料通常要求字段可追溯到原页；金额、币种、日期和账号尤其需要确定性校验。Web3 场景中的审计报告、治理提案截图和签名消息也可能混合文本、表格与地址，地址字符识别错误会导致严重后果。高风险地址和金额应以原始结构化数据或可验证来源为准，图像抽取只作辅助。

自检问题

1. OCR 与 layout parser 分别解决什么问题？
2. projector 在视觉语言模型中承担什么作用？
3. 为什么必须保留字段到原文/坐标的回链？
4. 端到端 VLM 与模块化 pipeline 各自适合什么约束？
5. 文档智能至少应观察哪四层指标？

专业课程对齐

• Hugging Face VLM Course：对应 vision encoder、projector、language model 的多模态连接；重点观察视觉 token 怎样进入语言模型，以及端到端生成为何不天然保留字段证据。
• Stanford CS231n：对应图像表征与视觉网络基础；用于理解分辨率、裁剪、缩放和视觉特征图如何限制 OCR/Layout/VLM 的上游可见信息。
• Full Stack Deep Learning：对应数据、模型、部署与监控的端到端系统视角；把文档处理链拆成可独立观测、降级和替换的组件。

深入学习提示

先精读 HF VLM 对 encoder–projector–LLM 接口的说明，画清像素到视觉 embedding、跨模态对齐、文本输出的路径；再选读 CS231n 的视觉表示部分，确认页面缩放或切块会怎样改变小字号、表格线和空间关系；最后用 FSDL 的系统视角审查整条链。今天不要只写一个端到端准确率，应为 pixels/layout、fields/relations、evidence、decision 分别定义输入输出和指标，例如字符/字段正确率、关系一致率、证据框覆盖率与业务决策代价。特别观察最早可检测错误点、可回退组件和拒答接口；VLM 若给出字段却无法回链到页码、坐标或原文片段，应视为证据缺失，而不是自动判为成功。

绘图时再标出每个组件的版本、缓存边界和可人工检查样本，便于未来替换单个模块而不破坏审计链。

学后填写区

• 我画出的处理链：
• 我最容易混淆的两个组件：
• 我选择的分层指标：
• 哪类错误必须拒答或转人工：
• 待进一步查阅的问题：