AI Fairness:公平信贷与偏见控制
一句话:
AI Fairness / Fair Lending / Bias Control Architecture 解读
面向对象: AI PM / Product Architect / Risk Product Lead / Senior BA / Compliance / Model Risk。 核心问题: 公平性不是单个 fairness metric, 也不是上线前跑一次偏见测试。金融服务里的 AI fairness 是需求、数据、模型、流程、人工复核、供应商、监控、客户救济和证据的组合架构。 学习目标: 建立 fairness requirement、proxy-risk control、segment eval、fair lending evidence、monitoring 和 governance cadence。
Source Anchors
| Source | Link | 用途 |
|---|---|---|
| NIST AI RMF | https://www.nist.gov/itl/ai-risk-management-framework | 用 risk mapping、measurement、management 组织公平性治理 |
| NIST SP 1270 | https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence | 参考 AI bias 来源、识别和管理方法 |
| CFPB Regulation B | https://www.ecfr.gov/current/title-12/chapter-X/part-1002 | 参考公平信贷和 adverse action 通知要求语境 |
| Joint Statement on Automated Systems | https://www.ftc.gov/legal-library/browse/cases-proceedings/public-statements/joint-statement-enforcement-efforts-against-discrimination-bias-automated-systems | 参考自动化系统歧视/偏见执法关注点 |
| EU AI Act | https://eur-lex.europa.eu/eli/reg/2024/1689/oj | 参考 high-risk AI、risk management、data governance、human oversight |
一句话:
AI fairness is a product and architecture control system, not a single dashboard number.
1. Fairness Scope
公平性不只出现在信贷审批。
| Domain | AI 影响 | 公平性问题 |
|---|---|---|
| Eligibility | 预审、推荐、准入 | 谁被鼓励申请, 谁被劝退 |
| Pricing | 利率、费用、优惠 | 价格差异是否合理 |
| Fraud / AML | 告警、冻结、增强审查 | false positive 是否集中 |
| Collections | 催收优先级、话术 | 是否对 vulnerable customer 不公平 |
| Customer service | 路由、等待、回复质量 | 服务水平差异 |
| Marketing | offer / next best action | 排除、误导或 predatory targeting |
| Explanations | 原因说明 | 是否一致、可理解、无误导 |
| Human review | 人工覆盖和升级 | 是否对不同群体不同待遇 |
2. Bias Sources
| Source | 示例 | 控制 |
|---|---|---|
| Historical data | 过去流程已有偏见 | data provenance + bias assessment |
| Labels | 人工标注或历史决定有偏 | label audit + SME challenge |
| Proxies | 邮编、职业、设备、语言 | proxy-risk register |
| Missingness | 某些群体资料缺失更多 | missingness analysis |
| Feedback loop | AI 结果影响未来数据 | monitoring + exploration |
| Human review | reviewer 标准不一致 | calibration + QA |
| Vendor model | 不透明训练数据 | vendor challenge + contract evidence |
| UX / language | 某语言用户理解差 | localized eval |
| Model routing | 不同用户走不同模型 | route fairness monitoring |
3. Fairness Architecture
fairness requirements
-> data/proxy assessment
-> model/system eval
-> process control
-> human review calibration
-> monitoring dashboard
-> issue remediation
-> governance evidence
关键架构对象:
- fairness requirement canvas。
- protected/proxy attribute policy。
- segment eval matrix。
- decision boundary。
- human review protocol。
- fairness control map。
- monitoring dashboard。
- evidence binder。
4. Protected Attribute Handling
复杂点:
- 训练/评估可能需要受保护属性或 proxy analysis。
- 决策执行中可能禁止使用某些属性。
- 监控公平性又需要分群证据。
设计原则:
| 问题 | 架构决策 |
|---|---|
| 是否收集 protected attributes | legal/compliance 确认 |
| 谁可访问 | restricted analytics environment |
| 是否进入模型特征 | default no unless explicitly approved |
| 是否用于监控 | aggregate fairness monitoring |
| 如何保护隐私 | minimization、access control、retention |
| 如何证明 | data lineage + control evidence |
5. 金融零售案例
5.1 Lending prequalification assistant
风险:
- AI 话术让某些申请人放弃申请。
- 预审建议和正式审批边界不清。
- 解释不一致造成公平信贷风险。
控制:
- approved explanation templates。
- no discouragement policy。
- segment eval of abandonment。
- reason-code source of truth。
5.2 Fraud alert triage
风险:
- 某些语言/地区/设备组合 false positive 更高。
- 人工复核资源不均。
控制:
- false positive disparity monitoring。
- queue fairness。
- customer impact review。
- appeal/upheld feedback loop。
5.3 Collections prioritization
风险:
- AI 优先联系特定群体。
- vulnerable customer 未被识别。
- 催收话术不一致。
控制:
- vulnerability flag escalation。
- script governance。
- contact frequency guardrail。
- segment-level complaint KRI。
6. Metrics Tradeoffs
| Metric | 看什么 | 风险 |
|---|---|---|
| Disparate impact ratio | 选择率差异 | 不解释原因 |
| Equal opportunity | 合格人群中的通过率差异 | 需要可靠 ground truth |
| False positive disparity | 错误标记差异 | fraud/AML 场景关键 |
| False negative disparity | 漏检差异 | 风险场景关键 |
| Calibration by segment | 分数含义是否一致 | 可能与其他指标冲突 |
| Service-level disparity | 等待/解决/升级差异 | 客服场景关键 |
| Override disparity | 人工覆盖是否不均 | human review bias |
| Complaint disparity | 某群体投诉率 | 滞后但重要 |
没有一个指标能“证明公平”。要按 use case、法律语境、业务目标和客户影响选择指标组合。
7. Fairness Control Map
# Fairness Control Map
Use case:
Decision / recommendation:
Affected customer groups:
Protected/proxy attributes:
Potential harm:
Fairness requirement:
Data controls:
Model/system eval:
Human review controls:
Monitoring metrics:
Thresholds:
Issue owner:
Remediation path:
Evidence:
8. 面试表达
30 秒版本:
我不会把 AI fairness 处理成一个上线前指标。金融服务 fairness 是产品和架构控制: 明确哪些客户权益受影响, 做数据和 proxy 风险评估, 建 segment eval, 监控 false positive/negative、服务水平、override、投诉和 appeal, 并把公平性问题接入 remediation 和治理证据。
2 分钟版本:
我会先定义 fairness scope: 这个 AI 是否影响 eligibility、pricing、fraud flags、service routing、collections、marketing 或 explanation。不同场景的公平性指标不同。欺诈更关注 false positive disparity, 信贷更关注准入、原因说明和 adverse action consistency, 客服关注服务水平和投诉差异。 架构上要有 protected/proxy attribute policy、segment eval matrix、proxy-risk register、human review calibration、monitoring dashboard 和 evidence binder。公平性不是模型团队单独承担, PM 要定义客户影响边界, BA 要把流程和例外拆清楚, 架构师要设计数据、监控、权限和证据链。 如果发现差异, 不能只调阈值, 要进入 issue remediation: 数据、模型、流程、话术、人工复核、供应商或 UX 哪一层导致, 谁负责修复, 如何证明修复有效。
9. Portfolio Exercise
选择一个 lending 或 fraud AI use case:
- 写 fairness requirement canvas。
- 画 bias source map。
- 建 proxy-risk register。
- 写 segment eval matrix。
- 设计 fairness monitoring dashboard。
- 写 model/vendor challenge memo。
输出:
- Fairness Architecture Pack。
- Fair Lending Evidence Matrix。
- 2 分钟面试讲述。