返回 Papers
AI 底层逻辑 / 经典论文

AI Explainability:可解释与可争议架构

Explainability 不是把模型内部推理展示给客户,也不是给每个 AI 输出附上一段“解释文字”。在金融零售场景里,解释是一种受治理的产品界面:它必须绑定正式决策、事实证据、政策版本、reason code、客户下一步、可争辩路径和审计证据。

240ai-foundations/papers/105-ai-explainability-contestability-adverse-action-architecture.md

AI Explainability / Contestability / Adverse Action Architecture 解读

配对阅读:本篇的操作手册版(模板/RACI/门禁/runbook)是 docs/AI_EXPLAINABILITY_CONTESTABILITY_ADVERSE_ACTION_PLAYBOOK.md。第一遍读本篇建立原理与架构判断;第二遍做案例时再用 playbook 查表落地,两者不需要重复精读。

Source Anchors

SourceLink用途
NIST AI RMFhttps://www.nist.gov/itl/ai-risk-management-framework参考 transparency、accountability、measurement、risk management
EU AI Acthttps://eur-lex.europa.eu/eli/reg/2024/1689/oj参考 transparency、human oversight、high-risk AI obligations
CFPB Circular 2022-03https://www.consumerfinance.gov/compliance/circulars/circular-2022-03-adverse-action-notification-requirements-in-connection-with-credit-decisions-based-on-complex-algorithms/参考复杂算法信贷决策中的 adverse action 通知要求
Regulation B section 1002.9https://www.ecfr.gov/current/title-12/chapter-X/part-1002/section-1002.9参考 adverse action notice 的监管语境
W3C PROVhttps://www.w3.org/TR/prov-overview/用 provenance 思维组织解释来源和证据链

核心导读

Explainability 不是把模型内部推理展示给客户,也不是给每个 AI 输出附上一段“解释文字”。在金融零售场景里,解释是一种受治理的产品界面:它必须绑定正式决策、事实证据、政策版本、reason code、客户下一步、可争辩路径和审计证据。

Contestability 也不是“如有疑问请联系客服”。它是客户能够纠错、补资料、申诉、触发人工复核、获得结果说明,并让组织把 upheld appeal 回流到模型、流程、公平性和客户伤害控制中的闭环。

可以把它理解为:

explainability architecture =
  governed explanation layers
  + reason-code source of truth
  + evidence grounding
  + contestability workflow
  + faithfulness evaluation
  + adverse-action evidence

1. 问题定义

金融 AI 的解释风险来自两个误解。第一个误解是把“可解释”理解成展示模型推理;第二个误解是把“客户解释”交给生成模型自由组织。前者可能暴露不该披露的内部推理、规则和 PII,后者可能编造拒绝原因、引用过期政策、改变正式口径或给出误导性下一步。

正确的边界是:

internal reasoning is not customer explanation

客户看到的解释必须是可验证、可理解、可行动的;审计和监管看到的证据必须能追溯到 decision record、reason code、source、policy version、template version、生成文本和客户沟通记录。

Explanation layer主要受众内容不应包含
User-facing explanation客户或一线员工简洁原因、关键事实、下一步、纠错/申诉路径raw chain-of-thought、未经批准的猜测
Regulator/auditor evidence审计、监管、合规decision record、source、reason code、control evidence无法验证的模型推测
Model/system validation模型风险、验证、质量团队eval result、segment behavior、failure modes过量客户敏感原文
Engineering debug trace工程和平台团队config、prompt、retrieval、tool、logs未授权 PII 和客户可见口径
Internal reasoning material系统内部辅助材料推理辅助、候选证据、检索上下文直接作为客户解释

解释架构的本质,是把“为什么”拆成不同层次的证据产品,而不是让一个 LLM 对所有受众回答同一个为什么。

2. 架构模型

Adverse action 和高影响解释需要一个明确的 source-of-truth 架构。高风险反模式是:

LLM reads application + invents plausible denial reason

正确模型是:

decision engine / policy system
  -> canonical reason code
  -> evidence fields
  -> approved reason language
  -> user-facing explanation assembly
  -> contestability workflow
  -> audit record
Component作用
Decision record保存正式决定、时间、系统、版本和适用规则
Reason code source of truth禁止模型编造拒绝、费用、冻结或风险原因
Evidence mapping每个原因绑定事实字段、数据来源和政策依据
Approved language library控制措辞、清晰度、合规口径和多语言一致性
Explanation generator只做可读性、结构化表达和渠道适配
Policy/version capture记录使用的政策、模板、模型、prompt 和知识源版本
Faithfulness evaluator检查解释是否与 reason code、证据和政策一致
Contestability workflow让客户纠错、补材料、申诉、触发复核和获得结果
Evidence store支持审计、投诉、监管问询和模型改进

这套架构对 RAG、agentic workflow 和传统评分模型同样适用。区别在于证据来源不同:RAG 需要 source citation 和文档版本,agent 需要 tool action 和 approval trace,评分模型需要 reason code 和输入特征证据。

3. 关键机制/生命周期

Explanation 生命周期从决策前就开始,而不是从生成文本开始。

define decision and explanation scope
  -> bind reason-code source
  -> map evidence fields
  -> approve language and policy versions
  -> generate user-facing explanation
  -> run faithfulness checks
  -> deliver explanation with recourse path
  -> receive correction / appeal / missing evidence
  -> human review and reconsideration
  -> notify outcome
  -> update eval, controls and monitoring

Contestability 是该生命周期的运行层:

customer receives explanation
  -> understands reason and next action
  -> submits correction / appeal / missing evidence
  -> human review
  -> data correction or decision reconsideration
  -> outcome notification
  -> evidence retained
  -> monitoring updates

它必须明确:

  • 哪些决定、解释或服务限制可以被争辩。
  • 客户可以提交哪些新证据或纠错信息。
  • 谁复核,是否需要重新运行规则、模型或人工判断。
  • 多久给出结果,结果如何解释。
  • 维持原决定和改变决定分别需要什么证据。
  • upheld appeal 如何回流到质量、客户伤害、公平性和 release gate。

Faithfulness eval 负责把“解释看起来合理”升级成“解释与正式证据一致”。

Eval itemPass criteria
Reason-code consistencyexplanation reason matches source of truth
Evidence groundingall factual claims link to evidence
No invented reasonno unsupported denial / fee / fraud cause
Policy versionuses current approved policy
Customer readabilityunderstandable at target reading level
Appeal pathnext action / recourse path included
Segment consistencyexplanation quality not worse by language/channel/customer group
Prohibited wordingavoids blame, guarantees, legal overstatements

4. 证据与控制

Explainability control 的关键不是保留一份生成文本,而是保留解释如何从正式决策、证据、政策和模板生成出来,以及客户如何被告知和如何争辩。

控制层控制问题证据
Source controlreason code 是否来自正式系统decision record、reason-code table、system version
Evidence control解释中的事实是否可追溯evidence field mapping、source snapshot、data lineage
Language control措辞是否批准、清晰、合规language library、template approval、readability QA
Generation controlLLM 是否只做格式化和可读性增强prompt/config version、guardrail result、output hash
Faithfulness control输出是否忠于 code、evidence 和 policyeval result、failure case、threshold decision
Contestability control客户是否有可执行申诉路径recourse link、case SLA、review outcome
Monitoring control解释质量是否持续稳定unsupported reason rate、correction rate、complaint linkage
Audit control监管或审计能否重建解释evidence pack、delivery log、retention policy

Adverse action evidence pack 可以建模为结构化记录,而不是空白文档:

字段说明
Customer / case id与客户、申请、争议或限制事件关联
Decision date and system正式决策时间、系统和版本
Reason code来自 source of truth 的正式原因
Evidence fields支撑原因的事实字段和来源
Policy version适用政策、规则或披露版本
Explanation template version使用的批准措辞或模板版本
Generated text hash客户收到文本的可验证版本
Human review是否复核、复核人角色、结论
Delivery channel通知渠道、时间和语言
Appeal / correction path客户可采取的下一步和 SLA
Contestability outcome维持、更正、补资料、重新评估或补救
Monitoring tags质量、公平性、投诉和客户伤害标签

核心 KRI:

Metric风险
Unsupported reason rate模型编造或误用原因
Explanation correction rate客户或人工团队需要更正解释
Appeal upheld rate决策、数据或解释存在实质错误
Segment explanation disparity不同群体解释质量或可理解性不同
Stale policy citation使用过期政策或知识源
Human override rateAI 解释不可靠或不可执行
Complaint linkage客户不理解、不接受或被误导
Missing appeal pathcontestability failure

5. 金融零售/AI产品场景

Credit denial explanation assistant

AI 可以把正式 reason code 转成易懂语言、解释客户可采取的下一步、检查是否缺少 required disclosure。AI 不可以发明拒绝原因、修改正式 reason code、给出不一致的重新申请建议或把推测性原因写成事实。关键控制是 reason-code mapping、approved language、faithfulness eval、adverse action evidence 和 appeal workflow。

Overdraft fee explanation

AI 可以引用 fee schedule、解释交易时间线、引导客户发起争议。主要风险是过度自信解释复杂交易顺序、忽略客户投诉、忽略 vulnerable customer signal 或把政策例外说成绝对规则。关键控制是 source citation、policy version、transaction timeline grounding、complaint escalation 和 customer harm monitoring。

Fraud false positive

AI 可以解释安全验证步骤、给客户恢复访问路径和说明需要的材料。主要风险是透露欺诈检测规则、让客户承担过度证明负担、不给清晰恢复路径。关键控制是最小必要解释、账户恢复 SLA、human review、false positive feedback 和不披露 rule logic 的措辞控制。

Collections communication

AI 可以把政策允许的内容整理成一致话术和下一步说明。主要风险是使用不当语气、遗漏 hardship 或 vulnerable customer 线索、对不同客户给出不一致选项。关键控制是 script governance、language QA、vulnerability escalation 和 contact frequency guardrail。

6. 反模式

反模式风险更好的做法
把内部推理当作客户解释可能暴露敏感信息、规则或不可验证推测分层管理 user explanation、audit evidence、debug trace
让 LLM 自由生成拒绝原因adverse action 失真,客户无法争辩reason code 来自正式系统,LLM 只做受控表达
解释没有证据字段审计无法重建,客户无法纠错每条关键事实绑定 evidence mapping
只有“联系客服”contestability 不可执行设计纠错、补资料、复核、重跑和结果通知流程
只测试可读性解释可能清楚但不真实加入 reason consistency、grounding、policy freshness eval
不保留版本监管问询时无法证明当时依据保存 policy、template、prompt、model、source 和 text hash
不看分群质量某些语言或渠道解释质量更差做 segment explanation eval 和 complaint linkage

7. 最终心智模型

Explainability 是“受治理的客户界面 + 可追溯证据链”,contestability 是“客户能改变错误结果的操作路径”。两者结合,才能让金融 AI 不只是会解释,而是能被质疑、被纠正、被审计。

最终要形成一条稳定链路:

decision source
  -> reason code
  -> evidence fields
  -> approved explanation
  -> customer recourse
  -> review outcome
  -> monitoring and control update

如果一个系统能生成漂亮解释,却说不清正式原因从哪里来、事实依据是什么、客户如何纠错、申诉结果如何回流、审计如何重建原始解释,它就还不是金融零售可用的 explainability architecture。


SOTA 状态标注 (2026-07-01)

本篇属于第二、三遍深读池(参考架构/深读笔记),未列入 12 周主线必读。时效基线为写作时点;引用前请按 CLAUDE.md 全局时效性硬规则复查最新进展。模块级 SOTA 对照见 docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md 各周「2026 SOTA 对照」行与文末「SOTA 检查」。