Data-Centric AI / Snorkel / Programmatic Labeling 解读

面向对象: AI Platform PM / AI Architect / Data Product Lead / Model Risk Partner / 金融零售 AI 负责人。 核心问题: 很多 AI 项目的瓶颈不是模型不够大，而是标签稀缺、定义不稳、专家知识无法规模化、训练数据和生产现实脱节。Data-Centric AI 把数据和标签变成可设计、可版本化、可治理的产品能力。 学习目标: 理解 weak supervision、programmatic labeling、labeling functions、label model、coverage/conflict/overlap、数据中心 AI 平台能力，并映射到 KYC、AML、投诉、欺诈和 RAG 评测数据。

---

Source Anchors

一句话:

Programmatic labeling 是把专家规则、知识库、启发式、弱标签源和模型反馈写成可版本化的 labeling functions，再用统计方法合成训练标签。

---

1. 为什么不是再招更多标注员

金融零售 AI 常见标签困境:

高级 PM / 架构师要看清楚:

• 标签不是一次性项目交付物，而是长期产品资产。
• 标注规则、专家争议、覆盖盲区、版本历史和标签质量指标要被治理。
• 数据中心 AI 的能力边界在于快速迭代训练数据，而不是绕过验证。

---

2. Snorkel 的核心机制

Snorkel 的核心思想可以拆成四层:

unlabeled data
  -> labeling functions
  -> label matrix with abstain / conflict / overlap
  -> generative label model estimates source accuracies
  -> probabilistic labels train discriminative model

2.1 Labeling Function

Labeling function, LF, 是一个程序化弱标签源:

if document contains "passport" and MRZ pattern -> label: passport
if AML narrative mentions "structuring" -> label: structuring typology
if complaint contains "unauthorized fee" -> label: fee dispute
else -> abstain

LF 可以来自:

关键是 LF 可以 abstain。不是所有规则都要覆盖所有样本。

2.2 Label Matrix

多个 LF 对同一批未标注数据投票，形成标签矩阵:

sample_001: LF1=KYC_ID, LF2=abstain, LF3=KYC_ID, LF4=KYC_ADDRESS
sample_002: LF1=abstain, LF2=AML_STRUCTURING, LF3=abstain, LF4=AML_STRUCTURING
sample_003: LF1=COMPLAINT_FEE, LF2=COMPLAINT_FRAUD, LF3=abstain, LF4=abstain

需要分析:

2.3 Label Model

简单多数投票会把强弱不同的 LF 等同处理。Snorkel 的 label model 试图估计 LF 的准确率和相关性，输出 probabilistic labels。

产品含义:

• 高质量 LF 权重更高。
• 相关 LF 不应被重复计算成独立证据。
• 冲突样本不是废料，而是专家复核和 taxonomy 改进的线索。
• 概率标签需要进入训练、评测和治理证据，而不是被静默压成硬标签。

2.4 Discriminative Model

最终模型不是直接运行 LF，而是用生成的概率标签训练一个下游模型。

这样做的价值:

---

3. Data-Centric AI 平台架构

Use case intake
  -> taxonomy and label policy
  -> raw / unlabeled data pool
  -> LF registry and review workflow
  -> label matrix builder
  -> conflict and coverage analyzer
  -> label model
  -> probabilistic training dataset
  -> model training and eval
  -> active learning / SME review
  -> dataset versioning and evidence binder

3.1 组件职责

3.2 Data Contract

Programmatic labeling 需要清楚的数据契约:

---

4. 产品和架构取舍

高级判断:

• LF 是可审计专家知识，不是不可解释捷径。
• 弱监督生成的是训练信号，不等于正式事实标签。
• Label ops 应该和模型发布、数据合同、审计证据绑定。

---

5. 金融零售案例

Case A: KYC 文档分类

LF 来源:

• OCR 关键词。
• MRZ 正则。
• 版式特征。
• 国家/地区模板。
• 历史人工审核结果。

治理重点:

• 低质量图片和新模板要进入复核池。
• 按地区、证件类型、渠道看 coverage。
• LF 冲突可能表示 taxonomy 或 OCR pipeline 问题。

Case B: AML Typology Tagging

LF 来源:

• 交易规则。
• case narrative 关键词。
• 对手方网络特征。
• 高风险行业和模式库。
• 调查员 disposition。

产品价值:

• 快速构建 typology training set。
• 帮助 alert triage 和 case routing。
• 发现新型 typology 的标签缺口。

风险:

• 不能把弱标签直接当 SAR 决策依据。
• 需要隔离 training labels、investigation evidence 和 regulatory filing evidence。

Case C: 投诉意图识别

LF 来源:

• 投诉分类字典。
• 监管关键词。
• 客服 disposition。
• 客户旅程事件。
• LLM 辅助意图判断。

输出:

• 多标签 taxonomy。
• 高冲突样本进入产品/合规共同 adjudication。
• 新意图触发 taxonomy 变更评审。

---

6. Release Gate

---

7. 常见失败模式

---

8. 面试表达

30 秒版本

Programmatic labeling 用专家规则、弱标签源和模型信号生成可版本化的 labeling functions，再通过 label model 处理冲突和准确率差异，形成概率训练标签。它适合标签稀缺、专家知识强、迭代快的 AI 场景，但必须配合 gold set、coverage/conflict 分析、segment 检查和审计证据。

2 分钟版本

我会把 data-centric AI 看成平台能力，而不是临时标注项目。以 AML typology tagging 为例，调查员知识、交易规则、case narrative 关键词和历史 disposition 都可以写成 labeling functions。系统运行后形成 label matrix，分析覆盖、重叠和冲突，再用 label model 估计不同 LF 的质量，生成概率标签训练下游模型。上线前要用专家 gold set 验证 LF 和模型，按产品、渠道、客群看 segment coverage。对冲突和低置信样本，进入 SME review 和 active learning。这样既能提高标签迭代速度，又能保留标签来源、版本、评审和治理证据。

CTO 追问

如果问 weak supervision 是否会降低数据可信度，我会回答: 风险在于把弱标签误当事实。正确做法是分层管理标签来源: weak label 用于训练信号，gold label 用于评估和校准，专家 adjudication 用于高风险决策证据。平台必须记录 provenance、版本、覆盖、冲突和下游效果。

---

9. Portfolio Task

做一个 “Data-Centric Label Platform Pack”:

最终要能讲清楚: 数据和标签不是模型训练前的杂务，而是 AI 产品架构里最核心、最可复用的能力层。