AI Requirements Mining:需求与流程知识抽取架构
AI Requirements Mining 不是把 PRD、SOP、工单和会议纪要丢给大模型生成 user stories。高成熟做法是把它设计成 requirements and process intelligence control plane:在权限、来源权威、证据引用、领域词表、流程变体、冲突检测、质量评分、traceability graph、验收/eval contract 和人工
AI Requirements Mining / Process Knowledge Extraction Architecture 解读
配对阅读:本篇的操作手册版(模板/RACI/门禁/runbook)是
docs/AI_REQUIREMENTS_MINING_PROCESS_KNOWLEDGE_EXTRACTION_PLAYBOOK.md。第一遍读本篇建立原理与架构判断;第二遍做案例时再用 playbook 查表落地,两者不需要重复精读。
重要说明: 本文是学习和内部架构训练材料, 不构成法律意见、合规结论、监管解释、审计意见、记录保留结论、模型验证报告或采购建议。正式项目必须由 Legal、Compliance、Privacy、Records Management、Information Security、Model Risk、Operational Risk、Internal Audit、Business Owner、Data Owner 和 Architecture 结合机构类型、司法辖区、产品、客户影响和内部政策确认。访问日期按 2026-06-30 记录。
Source Anchors
| Source | Official link | 本文使用方式 |
|---|---|---|
| ISO/IEC/IEEE 29148 Requirements Engineering | https://www.iso.org/standard/72089.html 和 https://standards.ieee.org/ieee/29148/6937/ | 用 requirements lifecycle、stakeholder need、system/software requirement、quality characteristics 和 traceability 作为需求资产治理锚点。 |
| FFIEC Development, Acquisition, and Maintenance IT Handbook | https://ithandbook.ffiec.gov/it-booklets/development-acquisition-and-maintenance/ | 用金融机构系统开发、采购、维护、变更、测试、实施和控制视角校准 AI 辅助需求发现的 SDLC 边界。 |
| FFIEC Management IT Handbook | https://ithandbook.ffiec.gov/it-booklets/management/ | 用治理、风险管理、战略、资源、架构、第三方和监督语言组织 AI requirements mining 的管理责任。 |
| NIST SP 800-160 Vol. 1 Systems Security Engineering | https://csrc.nist.gov/pubs/sp/800/160/v1/upd2/final | 用 systems security engineering 思路把 security、resilience、stakeholder protection needs 和 assurance 进入需求图谱。 |
| NIST SP 800-218 Secure Software Development Framework | https://csrc.nist.gov/pubs/sp/800/218/final | 用 SSDF 的 prepare、protect、produce well-secured software、respond to vulnerabilities 思路约束代码/API/测试资产挖掘和安全需求回流。 |
| NIST AI Risk Management Framework | https://www.nist.gov/itl/ai-risk-management-framework | 用 Govern / Map / Measure / Manage 组织 AI 风险、测量、门禁、监控和持续改进。 |
| ISO/IEC 42001 AI Management System | https://www.iso.org/standard/81230.html | 用 AI 管理体系、角色责任、运行、绩效评价、改进和内部审核语言组织 operating model。 |
| IIBA / BABOK professional body page | https://www.iiba.org/professional-development/knowledge-centre/business-analysis-body-of-knowledge/ | 仅作为业务分析专业体系的公开锚点; 本文不复述或替代 BABOK 受版权保护内容。 |
核心导读
AI Requirements Mining 不是把 PRD、SOP、工单和会议纪要丢给大模型生成 user stories。高成熟做法是把它设计成 requirements and process intelligence control plane:在权限、来源权威、证据引用、领域词表、流程变体、冲突检测、质量评分、traceability graph、验收/eval contract 和人工确认机制约束下,把分散材料转化为可审查的候选需求与流程知识。
核心价值不是“自动替代需求判断”,而是扩大 evidence surface:让团队系统性看见文档、日志、代码、测试、控制证据和实际流程之间的不一致,并把每一条候选需求的来源、权威等级、冲突、影响范围和验证条件清楚暴露出来。
问题定义
低成熟度需求挖掘通常是:
上传文档
-> 让模型总结需求
-> 生成 user stories
-> 组织评审
这个流程的问题在于它把“语言生成”误认为“需求治理”。金融零售系统的真实需求分布在多个材料层:
| 材料 | 能挖出的知识 | 主要风险 |
|---|---|---|
| PRD / BRD | 目标、范围、能力、业务规则、非功能要求 | 过期、未批准、理想化 |
| SOP / policy | 操作步骤、控制点、例外处理、责任边界 | 与生产实际不一致 |
| 工单 / backlog | 真实缺陷、变更请求、隐性流程、痛点频率 | 噪声高、局部视角 |
| 通话转写 / 会议纪要 | stakeholder intent、争议、承诺、未决问题 | 口径不正式、权限敏感 |
| 流程图 / BPMN | 角色、handoff、SLA、控制点 | 画的是设计流程,不是执行流程 |
| 代码 / API specs | 实际接口、数据结构、约束、错误处理 | 反映实现,不等于业务意图 |
| 测试用例 | 可观察行为、边界条件、回归要求 | 覆盖不完整,可能继承旧错误 |
| 生产日志 | 真实路径、异常、绕行、频率、性能 | 隐私、采样、字段解释和因果误读 |
| 控制证据 | 审批、复核、审计、例外、整改 | 不等于完整需求,只证明某次执行 |
问题不是“AI 能不能读材料”,而是系统能不能区分来源权威、材料新旧、证据类型、访问权限、事实与推测、设计流程与实际流程、候选需求与已批准基线。
核心原理/方法
需求挖掘的基本单位应该是 claim,而不是段落摘要。每个 claim 都要携带来源、引用、权威等级、时间、冲突关系、质量评分和验证条件。
Source authority ladder 示例:
| 层级 | 示例 | 使用方式 |
|---|---|---|
| Formal obligation | 法规、合同、批准政策、控制标准 | 作为约束和必满足边界 |
| Approved baseline | 已批准需求、架构决策、发布范围 | 作为当前基线 |
| Operational truth | 生产日志、case data、运行指标 | 用来发现实际流程和异常 |
| Implementation evidence | 代码、API、测试、配置 | 用来反推系统行为和技术约束 |
| Working discussion | 会议纪要、聊天、草稿、工单评论 | 用来识别 intent、争议和待确认项 |
| Generated synthesis | AI 摘要、候选 user story、流程假设 | 只能作为待验证候选 |
核心知识对象:
| 对象 | 说明 |
|---|---|
| Stakeholder need | 问题、目标、痛点、受影响群体和业务价值 |
| Requirement candidate | 从证据中抽取的候选需求,未确认前不得进入基线 |
| Business rule | 条件、动作、例外、优先级和所有者 |
| Process step | activity、actor、input、output、SLA、control point |
| Data object | 实体、字段、来源、质量约束、隐私分类、记录属性 |
| Control requirement | 审批、复核、职责隔离、证据、监控和整改 |
| Acceptance/eval contract | 可观察输入、期望输出、通过条件、失败模式和测试数据 |
| Trace edge | 需求、流程、系统、数据、风险、测试和证据之间的关系 |
抽取方法要组合使用:LLM 做语义抽取、归类和冲突提示;规则和 schema 做字段标准化;process mining 做实际路径发现;静态分析和 API schema 做实现约束;人工确认机制负责把候选内容提升为基线。
系统/架构模型
参考架构:
artifact connectors
-> permission and retention filter
-> document parsing, chunking and canonical metadata
-> source authority and version resolver
-> domain vocabulary and ontology service
-> claim extraction and ambiguity detection
-> process variant discovery
-> traceability graph
-> validation workbench
-> baseline promotion and change impact engine
-> evidence pack, monitoring and audit trail
关键组件:
| 组件 | 架构职责 |
|---|---|
| Artifact registry | 管理材料类型、来源系统、owner、版本、权限、保留状态和权威等级 |
| Permission filter | 在检索和生成前执行 RBAC/ABAC、need-to-know、隐私和记录限制 |
| Vocabulary service | 维护产品、流程、系统、字段、风险、控制和同义词 |
| Claim extractor | 以 schema 输出候选需求、规则、例外、流程步骤和证据引用 |
| Conflict detector | 识别来源冲突、版本冲突、术语冲突、流程冲突和验收冲突 |
| Traceability graph | 连接 need、requirement、process、data、system、control、test、evidence |
| Validation workbench | 支持人工确认、拒绝、合并、拆分、评论、基线提升和责任归属 |
| Impact engine | 根据图谱评估变更对流程、系统、数据、控制、测试和客户影响 |
| Eval contract generator | 把需求转成可观察验收条件和 AI 系统 eval 条件 |
Traceability graph 的最小 schema:
StakeholderNeed -> RequirementCandidate -> ApprovedRequirement
ApprovedRequirement -> BusinessRule / ProcessStep / DataObject / ControlRequirement
ApprovedRequirement -> SystemComponent / API / Model / Prompt / Policy
ApprovedRequirement -> AcceptanceCriterion / EvalCase / TestCase
EvidenceArtifact -> Claim -> RequirementCandidate
ChangeRequest -> impacted_by -> graph nodes
边类型要区分 supports、conflicts_with、derived_from、supersedes、implements、tests、controls、requires_review。没有边类型的“知识库”无法支持变更影响和审计。
关键机制与取舍
来源权威与材料新鲜度经常冲突。最新工单可能反映生产真实痛点,但未必有权改变已批准政策;批准政策可能权威更高,但过期或与实际流程偏离。系统应输出冲突,而不是自动合并成看似流畅的结论。
领域词表不是文档装饰,而是需求架构。金融零售中的 “customer”“account”“available balance”“settlement date”“case closed”“verified income” 等词往往跨系统含义不同。没有 vocabulary service 和 synonym/term boundary,AI 会把同词异义或异词同义混在一起。
流程挖掘要区分 designed process 与 actual process。SOP 说明应当怎么做,event logs 显示实际上怎么做,工单说明哪里经常坏,控制证据说明某次是否被复核。需求挖掘的价值在于暴露这些差异,而不是选一个来源当真相。
验收条件要从文本转成可观察 contract。成熟输出不应停在 “system shall improve user experience”,而应绑定输入、状态、规则、输出、时限、异常、证据和 eval case。对 AI 功能,还要定义 groundedness、引用完整性、拒答、隐私泄露、偏差、可重复性和人工覆盖条件。
变更影响分析应从 graph traversal 开始,而不是凭会议经验。一个政策阈值变化可能影响流程步骤、表单字段、API validation、模型特征、提示模板、测试用例、控制证据、报告和培训材料。AI 可以生成候选 impact set,但最终要由对应 owner 确认。
证据与控制
最小证据包:
| 控制域 | 证据 |
|---|---|
| Source governance | artifact owner、版本、权限、权威等级、保留状态、访问记录 |
| Extraction quality | claim schema、引用、置信度、冲突、未决问题、抽样复核结果 |
| Permission and privacy | 检索前过滤、字段脱敏、跨域访问阻断、敏感材料使用记录 |
| Baseline control | 候选提升审批、版本差异、拒绝理由、过期材料处理 |
| Traceability | requirement-to-process/system/data/control/test/evidence graph |
| Eval contract | 验收条件、测试数据、AI eval cases、失败模式和阈值 |
| Change impact | impacted nodes、owner review、风险评估、回归测试、上线门禁 |
| Audit replay | 从最终需求回溯到支持证据、冲突证据、审批和测试 |
Hallucination control 的重点不是让模型“更谨慎”,而是让系统拒绝无证据 claim:
no citation -> not promotable
low authority source -> requires confirmation
conflicting sources -> requires resolution
restricted source -> cannot be exposed downstream
generated synthesis -> candidate only
approved baseline -> versioned and auditable
记录管理和隐私控制要前置到 ingestion 与 retrieval。系统不能在生成后再想办法删敏感信息,因为模型输出和日志已经可能扩大数据暴露面。
金融零售/AI产品场景
数字开户流程改造中,系统可从 PRD、KYC policy、工单、call transcripts、drop-off logs、API errors 和控制证据中抽取需求和流程断点。成熟输出应包括身份验证失败路径、人工复核触发条件、资料缺口、客户沟通边界、模型/规则依赖、验收条件和证据链。
支付 exception workbench 的需求挖掘可以从 SOP、repair tickets、processor files、core posting logs 和审计发现中提取 exception taxonomy、cut-off risk、dual control、suspense aging 和 evidence requirements。AI 不应只生成页面功能清单,而要生成流程、数据、控制和测试的 trace graph。
AML investigation 工具升级时,系统可从 alert notes、SAR QA findings、CDD policy、case outcomes、调参记录和独立测试发现中提取证据缺口、常见误判、必填字段、升级条件和 narrative quality requirements。所有候选需求必须保留来源与适用边界。
AI copilot 本身的需求也要被 mining:哪些回答必须引用证据,哪些问题必须拒答,哪些工具调用需要审批,哪些输出要进入 audit ledger,哪些 eval case 阻止上线。需求挖掘系统与 AI 治理系统应共享 evidence 和 eval contract。
反模式
| 反模式 | 风险 |
|---|---|
| 上传材料后直接生成 user stories | 丢失权威、冲突、权限和证据边界 |
| 把摘要当需求基线 | 生成文本没有批准、owner、版本或验收条件 |
| 忽略来源权限 | 敏感通话、客户数据、审计材料可能被越权复用 |
| 没有领域词表 | 同一术语跨产品/系统被混用,导致错误需求 |
| 只读设计文档不看生产日志 | 发现不了实际流程、绕行路径和高频异常 |
| 只读日志不看政策 | 可能把违规绕行固化成新需求 |
| 没有 traceability graph | 无法做变更影响、回归测试和审计重放 |
| AI 自动提升基线 | 责任、优先级、风险接受和资源取舍被隐藏 |
最终心智模型
AI Requirements Mining 的成熟度不在于生成多少需求条目,而在于能否把分散证据转成可治理的需求知识系统:
authorized artifacts
+ source authority
+ claim-level extraction
+ vocabulary and ambiguity control
+ process variant discovery
+ traceability graph
+ validation workbench
+ eval and acceptance contract
+ change impact and audit replay
一句生成文本不能成为需求;带来源、权威、冲突、owner、验收条件、影响路径和审批记录的 claim,才有资格进入基线。AI 的角色是扩大证据面、暴露不一致和降低分析摩擦,而不是替代业务责任与架构取舍。
SOTA 状态标注 (2026-07-01)
本篇属于第二、三遍深读池(参考架构/深读笔记),未列入 12 周主线必读。时效基线为写作时点;引用前请按 CLAUDE.md 全局时效性硬规则复查最新进展。模块级 SOTA 对照见 docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md 各周「2026 SOTA 对照」行与文末「SOTA 检查」。