AI Fairness:公平信贷与偏见控制
AI fairness 不是一个上线前指标,也不是把 protected class 从特征表里删掉就完成。金融服务里的 fairness 是产品边界、数据来源、代理变量、模型行为、人工复核、解释、客户救济、监控和证据共同构成的控制系统。
AI Fairness / Fair Lending / Bias Control Architecture 解读
配对阅读:本篇的操作手册版(模板/RACI/门禁/runbook)是
docs/AI_FAIRNESS_FAIR_LENDING_BIAS_CONTROL_PLAYBOOK.md。第一遍读本篇建立原理与架构判断;第二遍做案例时再用 playbook 查表落地,两者不需要重复精读。
Source Anchors
| Source | Link | 用途 |
|---|---|---|
| NIST AI RMF | https://www.nist.gov/itl/ai-risk-management-framework | 用 risk mapping、measurement、management 组织公平性治理 |
| NIST SP 1270 | https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence | 参考 AI bias 来源、识别和管理方法 |
| CFPB Regulation B | https://www.ecfr.gov/current/title-12/chapter-X/part-1002 | 参考公平信贷和 adverse action 通知要求语境 |
| Joint Statement on Automated Systems | https://www.ftc.gov/legal-library/browse/cases-proceedings/public-statements/joint-statement-enforcement-efforts-against-discrimination-bias-automated-systems | 参考自动化系统歧视/偏见执法关注点 |
| EU AI Act | https://eur-lex.europa.eu/eli/reg/2024/1689/oj | 参考 high-risk AI、risk management、data governance、human oversight |
核心导读
AI fairness 不是一个上线前指标,也不是把 protected class 从特征表里删掉就完成。金融服务里的 fairness 是产品边界、数据来源、代理变量、模型行为、人工复核、解释、客户救济、监控和证据共同构成的控制系统。
公平性架构要解决两个张力:一方面,决策执行中不能使用不被允许的属性或产生歧视性效果;另一方面,验证和监控公平性又需要对分群结果、代理变量、服务质量、投诉和申诉进行可控分析。成熟做法不是追求“一个公平分数”,而是按 use case、客户权益、法律语境和流程影响建立一组可解释、可追溯、可整改的 fairness controls。
可以把它理解为:
AI fairness architecture =
fairness requirement
+ proxy-risk control
+ segment evaluation
+ process and human-review control
+ remediation path
+ governance evidence
1. 问题定义
公平性不只出现在正式信贷审批。AI 只要影响客户是否被鼓励申请、是否被优先服务、是否被标记为欺诈、是否被推送 offer、是否收到一致解释,就可能改变机会、成本、摩擦和权益。
| Domain | AI 影响 | 公平性问题 |
|---|---|---|
| Eligibility | 预审、推荐、准入 | 谁被鼓励申请,谁被劝退 |
| Pricing | 利率、费用、优惠 | 价格差异是否有合法和业务依据 |
| Fraud / AML | 告警、冻结、增强审查 | false positive 是否集中在特定群体 |
| Collections | 催收优先级、话术、频次 | 是否对 vulnerable customer 不公平 |
| Customer service | 路由、等待、回复质量 | 服务水平是否存在系统性差异 |
| Marketing | offer / next best action | 是否排除、误导或 predatory targeting |
| Explanations | 原因说明、下一步建议 | 是否一致、可理解、无误导 |
| Human review | 人工覆盖、升级、复核 | 人工处理是否对不同群体不同待遇 |
金融零售中的偏见来源往往跨越数据、流程和组织边界。模型团队看到的是 feature 和 label,产品架构上还要看到 customer journey、人工队列、供应商模型、渠道语言、日志缺失、投诉处理和反馈循环。
| Bias source | 示例 | 控制重点 |
|---|---|---|
| Historical data | 过去流程已有差异或歧视性结果 | data provenance、historical bias assessment |
| Labels | 人工标注或历史决定带偏 | label audit、SME challenge、override review |
| Proxies | 邮编、职业、设备、语言、渠道 | proxy-risk register、feature challenge |
| Missingness | 某些群体资料缺失更多 | missingness analysis、imputation review |
| Feedback loop | AI 结果影响未来数据 | exploration policy、post-decision monitoring |
| Human review | reviewer 标准不一致 | calibration、QA、reviewer disparity |
| Vendor model | 训练数据、阈值或 embedding 不透明 | vendor challenge、contract evidence |
| UX / language | 某语言或渠道用户理解差 | localized eval、readability and journey testing |
| Model routing | 不同用户进入不同模型或流程 | route fairness monitoring |
2. 架构模型
Fairness architecture 的核心是把“公平性要求”从原则性声明转成可运行的控制图谱。这个图谱要连接客户权益、受影响决策、数据和代理变量、模型/系统评测、人工复核、监控指标、问题整改和证据。
fairness requirements
-> use-case and customer-impact scope
-> data/proxy assessment
-> model/system segment evaluation
-> process and human-review controls
-> monitoring dashboard
-> issue remediation
-> governance evidence
关键架构对象:
| 架构对象 | 作用 |
|---|---|
| Fairness requirement canvas | 定义客户权益、决策边界、受影响群体和容许差异 |
| Protected/proxy attribute policy | 明确哪些属性可用于训练、评估、监控、决策和报告 |
| Proxy-risk register | 记录高代理风险特征、使用理由、控制和挑战结论 |
| Segment eval matrix | 按群体、渠道、语言、产品、风险层和客户旅程切片评估 |
| Decision boundary | 区分推荐、预审、正式决定、解释和人工建议 |
| Human review protocol | 规定升级、复核、覆盖、校准和一致性检查 |
| Fairness control map | 把 requirement、eval、monitoring、owner、threshold 和 remediation 连接 |
| Evidence binder | 保存数据、评测、审批、例外、整改和复测证据 |
受保护属性的处理是架构难点。训练、评估和监控可能需要分群证据,但决策执行中可能禁止使用某些属性;因此要把环境、权限、用途和留存分开设计。
| 问题 | 架构决策 |
|---|---|
| 是否收集 protected attributes | 由 legal/compliance 确认用途、授权和地区限制 |
| 谁可访问 | restricted analytics environment、最小权限和审计日志 |
| 是否进入模型特征 | 默认不进入决策特征,除非有明确批准和控制 |
| 是否用于监控 | 聚合分群监控、差异分析和整改验证 |
| 如何保护隐私 | minimization、masking、retention、purpose limitation |
| 如何证明 | data lineage、access evidence、analysis approval、control result |
3. 关键机制/生命周期
Fairness 不是上线前一次评估,而是随数据、客户组合、阈值、渠道、人工复核和监管语境持续变化的生命周期。
scope the decision
-> define fairness requirements
-> assess data and proxy risk
-> evaluate model/system slices
-> calibrate human review
-> approve risk and controls
-> monitor outcomes and service levels
-> investigate disparity
-> remediate data/model/process/UX/vendor
-> retest and archive evidence
关键机制包括:
- Use-case scoping:先判断 AI 影响 eligibility、pricing、fraud flags、service routing、collections、marketing 还是 explanation;不同场景的公平性指标和阈值不同。
- Proxy challenge:不是只看显式敏感属性,而要识别邮编、语言、设备、渠道、职业、收入来源、商户类别等代理变量。
- Segment evaluation:不能只看总体准确率,要看 false positive、false negative、approval rate、service level、override、complaint、appeal 等分群差异。
- Human-review calibration:人工复核本身可能制造偏差,必须监控 reviewer 标准、覆盖率、队列分配和推翻率。
- Remediation branching:差异出现后,不一定通过调阈值解决;可能需要修数据、改流程、改解释、改渠道体验、改供应商配置或改人工队列。
| Metric | 看什么 | 风险 |
|---|---|---|
| Disparate impact ratio | 选择率差异 | 不能解释原因,可能掩盖流程问题 |
| Equal opportunity | 合格人群中的通过率差异 | 需要可靠 ground truth |
| False positive disparity | 错误标记差异 | fraud/AML 场景关键 |
| False negative disparity | 漏检差异 | 风险控制场景关键 |
| Calibration by segment | 分数含义是否一致 | 可能与其他 fairness metric 冲突 |
| Service-level disparity | 等待、解决、升级差异 | 客服和投诉场景关键 |
| Override disparity | 人工覆盖是否不均 | 暴露 human review bias |
| Complaint disparity | 某群体投诉率 | 滞后但能反映客户感知 |
没有一个指标能“证明公平”。指标组合必须由 use case、法律语境、业务目标和客户影响共同决定。
4. 证据与控制
Fairness evidence 要能证明三件事:组织知道哪些客户权益可能受影响,已经用合适切片和控制检查过,发现问题后有可追溯整改和复测。
| 控制层 | 控制问题 | 证据 |
|---|---|---|
| Requirement control | 公平性要求是否与客户权益和决策边界绑定 | use-case scope、fairness requirement、approval rationale |
| Data control | 数据来源、label、missingness 和 proxy 是否受控 | data lineage、bias assessment、proxy register |
| Evaluation control | 是否做了相关分群和高风险 slice 评测 | segment eval matrix、threshold rationale、test result |
| Process control | AI 输出进入流程后是否改变待遇 | journey map、decision boundary、exception path |
| Human review control | 人工复核是否一致和有效 | calibration record、override analysis、QA result |
| Monitoring control | 上线后是否持续监控差异 | dashboard、alert、trend、owner action |
| Remediation control | 差异是否被调查、修复和复测 | issue record、root cause、change log、retest evidence |
| Vendor control | 供应商模型或数据是否可挑战 | vendor disclosure、test result、contract evidence |
一个实用的 fairness control map 不应是空表单,而应把字段作为可查询对象:
| 字段 | 含义 |
|---|---|
| Use case and decision role | AI 是推荐、排序、解释、草拟、正式决定还是人工辅助 |
| Affected customer groups | 需要被评估和监控的客户群、渠道、语言和地区 |
| Protected/proxy attributes | 受保护属性、可能代理变量、用途和访问控制 |
| Potential harm | 准入、价格、冻结、等待、误导、投诉、申诉等客户影响 |
| Fairness requirement | 对差异、服务水平、解释一致性或人工复核的要求 |
| Data controls | 来源、label、missingness、代表性和留存控制 |
| Model/system eval | 指标组合、slice、阈值和失败处理 |
| Human review controls | 升级、覆盖、校准、QA 和一致性检查 |
| Monitoring metrics | 上线后的公平性 KRI 与触发条件 |
| Remediation path | 数据、模型、流程、UX、供应商或阈值的整改路径 |
| Evidence | 支撑审批、监控、整改、复测和审计的材料 |
5. 金融零售/AI产品场景
Lending prequalification assistant
风险不是只有正式拒绝。预审话术可能让某些申请人放弃申请,预审建议和正式审批边界不清,解释不一致也会形成公平信贷风险。控制重点是 approved explanation templates、no discouragement policy、abandonment segment eval、reason-code source of truth 和客户可争辩路径。
Fraud alert triage
某些语言、地区、设备、商户或渠道组合可能 false positive 更高,导致账户冻结、验证负担和服务等待不公平。控制重点是 false positive disparity monitoring、queue fairness、customer impact review、appeal/upheld feedback loop 和恢复访问路径。
Collections prioritization
AI 可能优先联系特定群体、未识别 vulnerable customer、生成不一致话术或改变联系频率。控制重点是 vulnerability flag escalation、script governance、contact frequency guardrail、segment-level complaint KRI 和人工复核校准。
Customer service routing
AI 路由可能让某些语言、渠道或产品客户等待更久,或者把高风险投诉误判为低风险咨询。控制重点是 service-level disparity、complaint escalation recall、language-specific eval 和 abandoned journey monitoring。
6. 反模式
| 反模式 | 风险 | 更好的做法 |
|---|---|---|
| 把 fairness 简化为一个 dashboard 数字 | 无法解释差异来源和整改路径 | 建立 requirement、proxy、eval、process、monitoring、remediation 的控制链 |
| 删除显式敏感属性就认为无偏 | 代理变量仍可能产生差异 | 建 proxy-risk register 和特征挑战机制 |
| 只评估模型,不评估流程 | 人工复核、队列、话术和渠道差异被忽略 | 评估 end-to-end decision journey |
| 只看平均准确率 | 高风险群体或场景被总体指标掩盖 | 做 segment eval 和 high-risk slice gate |
| 发现差异只调阈值 | 根因可能在数据、label、UX、供应商或人工队列 | 做 root-cause branching 和复测 |
| 供应商结果不可挑战 | 无法证明 fair lending diligence | 合同化 disclosure、测试权、证据交付和变更通知 |
| 监控没有救济路径 | 客户已经受影响但无法恢复 | 把 fairness issue 接入 harm、appeal 和 remediation workflow |
7. 最终心智模型
Fairness 是 AI 产品架构里的控制系统,不是模型验证报告的附录。它从“这个 AI 影响什么客户权益”开始,到“哪些差异不可接受、如何发现、谁修复、如何证明修复有效”结束。
最终要形成一条稳定链路:
customer right or service outcome
-> fairness requirement
-> data/proxy assessment
-> segment evaluation
-> process and human-review control
-> monitoring
-> remediation
-> evidence
如果一个金融 AI 系统只能说总体指标提升,却不能说明哪些客户群、哪些渠道、哪些流程、哪些解释和哪些人工复核路径被公平性控制覆盖,它就还没有具备生产级 fair lending / bias control 能力。
SOTA 状态标注 (2026-07-01)
本篇属于第二、三遍深读池(参考架构/深读笔记),未列入 12 周主线必读。时效基线为写作时点;引用前请按 CLAUDE.md 全局时效性硬规则复查最新进展。模块级 SOTA 对照见 docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md 各周「2026 SOTA 对照」行与文末「SOTA 检查」。