返回 Papers
AI 底层逻辑 / 经典论文

AI Requirements Mining:需求与流程知识抽取架构

AI Requirements Mining 不是把 PRD、SOP、工单和会议纪要丢给大模型生成 user stories。高成熟做法是把它设计成 requirements and process intelligence control plane:在权限、来源权威、证据引用、领域词表、流程变体、冲突检测、质量评分、traceability graph、验收/eval contract 和人工

214ai-foundations/papers/148-ai-requirements-mining-process-knowledge-extraction-architecture.md

AI Requirements Mining / Process Knowledge Extraction Architecture 解读

配对阅读:本篇的操作手册版(模板/RACI/门禁/runbook)是 docs/AI_REQUIREMENTS_MINING_PROCESS_KNOWLEDGE_EXTRACTION_PLAYBOOK.md。第一遍读本篇建立原理与架构判断;第二遍做案例时再用 playbook 查表落地,两者不需要重复精读。

重要说明: 本文是学习和内部架构训练材料, 不构成法律意见、合规结论、监管解释、审计意见、记录保留结论、模型验证报告或采购建议。正式项目必须由 Legal、Compliance、Privacy、Records Management、Information Security、Model Risk、Operational Risk、Internal Audit、Business Owner、Data Owner 和 Architecture 结合机构类型、司法辖区、产品、客户影响和内部政策确认。访问日期按 2026-06-30 记录。

Source Anchors

SourceOfficial link本文使用方式
ISO/IEC/IEEE 29148 Requirements Engineeringhttps://www.iso.org/standard/72089.htmlhttps://standards.ieee.org/ieee/29148/6937/用 requirements lifecycle、stakeholder need、system/software requirement、quality characteristics 和 traceability 作为需求资产治理锚点。
FFIEC Development, Acquisition, and Maintenance IT Handbookhttps://ithandbook.ffiec.gov/it-booklets/development-acquisition-and-maintenance/用金融机构系统开发、采购、维护、变更、测试、实施和控制视角校准 AI 辅助需求发现的 SDLC 边界。
FFIEC Management IT Handbookhttps://ithandbook.ffiec.gov/it-booklets/management/用治理、风险管理、战略、资源、架构、第三方和监督语言组织 AI requirements mining 的管理责任。
NIST SP 800-160 Vol. 1 Systems Security Engineeringhttps://csrc.nist.gov/pubs/sp/800/160/v1/upd2/final用 systems security engineering 思路把 security、resilience、stakeholder protection needs 和 assurance 进入需求图谱。
NIST SP 800-218 Secure Software Development Frameworkhttps://csrc.nist.gov/pubs/sp/800/218/final用 SSDF 的 prepare、protect、produce well-secured software、respond to vulnerabilities 思路约束代码/API/测试资产挖掘和安全需求回流。
NIST AI Risk Management Frameworkhttps://www.nist.gov/itl/ai-risk-management-framework用 Govern / Map / Measure / Manage 组织 AI 风险、测量、门禁、监控和持续改进。
ISO/IEC 42001 AI Management Systemhttps://www.iso.org/standard/81230.html用 AI 管理体系、角色责任、运行、绩效评价、改进和内部审核语言组织 operating model。
IIBA / BABOK professional body pagehttps://www.iiba.org/professional-development/knowledge-centre/business-analysis-body-of-knowledge/仅作为业务分析专业体系的公开锚点; 本文不复述或替代 BABOK 受版权保护内容。

核心导读

AI Requirements Mining 不是把 PRD、SOP、工单和会议纪要丢给大模型生成 user stories。高成熟做法是把它设计成 requirements and process intelligence control plane:在权限、来源权威、证据引用、领域词表、流程变体、冲突检测、质量评分、traceability graph、验收/eval contract 和人工确认机制约束下,把分散材料转化为可审查的候选需求与流程知识。

核心价值不是“自动替代需求判断”,而是扩大 evidence surface:让团队系统性看见文档、日志、代码、测试、控制证据和实际流程之间的不一致,并把每一条候选需求的来源、权威等级、冲突、影响范围和验证条件清楚暴露出来。

问题定义

低成熟度需求挖掘通常是:

上传文档
  -> 让模型总结需求
  -> 生成 user stories
  -> 组织评审

这个流程的问题在于它把“语言生成”误认为“需求治理”。金融零售系统的真实需求分布在多个材料层:

材料能挖出的知识主要风险
PRD / BRD目标、范围、能力、业务规则、非功能要求过期、未批准、理想化
SOP / policy操作步骤、控制点、例外处理、责任边界与生产实际不一致
工单 / backlog真实缺陷、变更请求、隐性流程、痛点频率噪声高、局部视角
通话转写 / 会议纪要stakeholder intent、争议、承诺、未决问题口径不正式、权限敏感
流程图 / BPMN角色、handoff、SLA、控制点画的是设计流程,不是执行流程
代码 / API specs实际接口、数据结构、约束、错误处理反映实现,不等于业务意图
测试用例可观察行为、边界条件、回归要求覆盖不完整,可能继承旧错误
生产日志真实路径、异常、绕行、频率、性能隐私、采样、字段解释和因果误读
控制证据审批、复核、审计、例外、整改不等于完整需求,只证明某次执行

问题不是“AI 能不能读材料”,而是系统能不能区分来源权威、材料新旧、证据类型、访问权限、事实与推测、设计流程与实际流程、候选需求与已批准基线。

核心原理/方法

需求挖掘的基本单位应该是 claim,而不是段落摘要。每个 claim 都要携带来源、引用、权威等级、时间、冲突关系、质量评分和验证条件。

Source authority ladder 示例:

层级示例使用方式
Formal obligation法规、合同、批准政策、控制标准作为约束和必满足边界
Approved baseline已批准需求、架构决策、发布范围作为当前基线
Operational truth生产日志、case data、运行指标用来发现实际流程和异常
Implementation evidence代码、API、测试、配置用来反推系统行为和技术约束
Working discussion会议纪要、聊天、草稿、工单评论用来识别 intent、争议和待确认项
Generated synthesisAI 摘要、候选 user story、流程假设只能作为待验证候选

核心知识对象:

对象说明
Stakeholder need问题、目标、痛点、受影响群体和业务价值
Requirement candidate从证据中抽取的候选需求,未确认前不得进入基线
Business rule条件、动作、例外、优先级和所有者
Process stepactivity、actor、input、output、SLA、control point
Data object实体、字段、来源、质量约束、隐私分类、记录属性
Control requirement审批、复核、职责隔离、证据、监控和整改
Acceptance/eval contract可观察输入、期望输出、通过条件、失败模式和测试数据
Trace edge需求、流程、系统、数据、风险、测试和证据之间的关系

抽取方法要组合使用:LLM 做语义抽取、归类和冲突提示;规则和 schema 做字段标准化;process mining 做实际路径发现;静态分析和 API schema 做实现约束;人工确认机制负责把候选内容提升为基线。

系统/架构模型

参考架构:

artifact connectors
  -> permission and retention filter
  -> document parsing, chunking and canonical metadata
  -> source authority and version resolver
  -> domain vocabulary and ontology service
  -> claim extraction and ambiguity detection
  -> process variant discovery
  -> traceability graph
  -> validation workbench
  -> baseline promotion and change impact engine
  -> evidence pack, monitoring and audit trail

关键组件:

组件架构职责
Artifact registry管理材料类型、来源系统、owner、版本、权限、保留状态和权威等级
Permission filter在检索和生成前执行 RBAC/ABAC、need-to-know、隐私和记录限制
Vocabulary service维护产品、流程、系统、字段、风险、控制和同义词
Claim extractor以 schema 输出候选需求、规则、例外、流程步骤和证据引用
Conflict detector识别来源冲突、版本冲突、术语冲突、流程冲突和验收冲突
Traceability graph连接 need、requirement、process、data、system、control、test、evidence
Validation workbench支持人工确认、拒绝、合并、拆分、评论、基线提升和责任归属
Impact engine根据图谱评估变更对流程、系统、数据、控制、测试和客户影响
Eval contract generator把需求转成可观察验收条件和 AI 系统 eval 条件

Traceability graph 的最小 schema:

StakeholderNeed -> RequirementCandidate -> ApprovedRequirement
ApprovedRequirement -> BusinessRule / ProcessStep / DataObject / ControlRequirement
ApprovedRequirement -> SystemComponent / API / Model / Prompt / Policy
ApprovedRequirement -> AcceptanceCriterion / EvalCase / TestCase
EvidenceArtifact -> Claim -> RequirementCandidate
ChangeRequest -> impacted_by -> graph nodes

边类型要区分 supportsconflicts_withderived_fromsupersedesimplementstestscontrolsrequires_review。没有边类型的“知识库”无法支持变更影响和审计。

关键机制与取舍

来源权威与材料新鲜度经常冲突。最新工单可能反映生产真实痛点,但未必有权改变已批准政策;批准政策可能权威更高,但过期或与实际流程偏离。系统应输出冲突,而不是自动合并成看似流畅的结论。

领域词表不是文档装饰,而是需求架构。金融零售中的 “customer”“account”“available balance”“settlement date”“case closed”“verified income” 等词往往跨系统含义不同。没有 vocabulary service 和 synonym/term boundary,AI 会把同词异义或异词同义混在一起。

流程挖掘要区分 designed process 与 actual process。SOP 说明应当怎么做,event logs 显示实际上怎么做,工单说明哪里经常坏,控制证据说明某次是否被复核。需求挖掘的价值在于暴露这些差异,而不是选一个来源当真相。

验收条件要从文本转成可观察 contract。成熟输出不应停在 “system shall improve user experience”,而应绑定输入、状态、规则、输出、时限、异常、证据和 eval case。对 AI 功能,还要定义 groundedness、引用完整性、拒答、隐私泄露、偏差、可重复性和人工覆盖条件。

变更影响分析应从 graph traversal 开始,而不是凭会议经验。一个政策阈值变化可能影响流程步骤、表单字段、API validation、模型特征、提示模板、测试用例、控制证据、报告和培训材料。AI 可以生成候选 impact set,但最终要由对应 owner 确认。

证据与控制

最小证据包:

控制域证据
Source governanceartifact owner、版本、权限、权威等级、保留状态、访问记录
Extraction qualityclaim schema、引用、置信度、冲突、未决问题、抽样复核结果
Permission and privacy检索前过滤、字段脱敏、跨域访问阻断、敏感材料使用记录
Baseline control候选提升审批、版本差异、拒绝理由、过期材料处理
Traceabilityrequirement-to-process/system/data/control/test/evidence graph
Eval contract验收条件、测试数据、AI eval cases、失败模式和阈值
Change impactimpacted nodes、owner review、风险评估、回归测试、上线门禁
Audit replay从最终需求回溯到支持证据、冲突证据、审批和测试

Hallucination control 的重点不是让模型“更谨慎”,而是让系统拒绝无证据 claim:

no citation -> not promotable
low authority source -> requires confirmation
conflicting sources -> requires resolution
restricted source -> cannot be exposed downstream
generated synthesis -> candidate only
approved baseline -> versioned and auditable

记录管理和隐私控制要前置到 ingestion 与 retrieval。系统不能在生成后再想办法删敏感信息,因为模型输出和日志已经可能扩大数据暴露面。

金融零售/AI产品场景

数字开户流程改造中,系统可从 PRD、KYC policy、工单、call transcripts、drop-off logs、API errors 和控制证据中抽取需求和流程断点。成熟输出应包括身份验证失败路径、人工复核触发条件、资料缺口、客户沟通边界、模型/规则依赖、验收条件和证据链。

支付 exception workbench 的需求挖掘可以从 SOP、repair tickets、processor files、core posting logs 和审计发现中提取 exception taxonomy、cut-off risk、dual control、suspense aging 和 evidence requirements。AI 不应只生成页面功能清单,而要生成流程、数据、控制和测试的 trace graph。

AML investigation 工具升级时,系统可从 alert notes、SAR QA findings、CDD policy、case outcomes、调参记录和独立测试发现中提取证据缺口、常见误判、必填字段、升级条件和 narrative quality requirements。所有候选需求必须保留来源与适用边界。

AI copilot 本身的需求也要被 mining:哪些回答必须引用证据,哪些问题必须拒答,哪些工具调用需要审批,哪些输出要进入 audit ledger,哪些 eval case 阻止上线。需求挖掘系统与 AI 治理系统应共享 evidence 和 eval contract。

反模式

反模式风险
上传材料后直接生成 user stories丢失权威、冲突、权限和证据边界
把摘要当需求基线生成文本没有批准、owner、版本或验收条件
忽略来源权限敏感通话、客户数据、审计材料可能被越权复用
没有领域词表同一术语跨产品/系统被混用,导致错误需求
只读设计文档不看生产日志发现不了实际流程、绕行路径和高频异常
只读日志不看政策可能把违规绕行固化成新需求
没有 traceability graph无法做变更影响、回归测试和审计重放
AI 自动提升基线责任、优先级、风险接受和资源取舍被隐藏

最终心智模型

AI Requirements Mining 的成熟度不在于生成多少需求条目,而在于能否把分散证据转成可治理的需求知识系统:

authorized artifacts
+ source authority
+ claim-level extraction
+ vocabulary and ambiguity control
+ process variant discovery
+ traceability graph
+ validation workbench
+ eval and acceptance contract
+ change impact and audit replay

一句生成文本不能成为需求;带来源、权威、冲突、owner、验收条件、影响路径和审批记录的 claim,才有资格进入基线。AI 的角色是扩大证据面、暴露不一致和降低分析摩擦,而不是替代业务责任与架构取舍。


SOTA 状态标注 (2026-07-01)

本篇属于第二、三遍深读池(参考架构/深读笔记),未列入 12 周主线必读。时效基线为写作时点;引用前请按 CLAUDE.md 全局时效性硬规则复查最新进展。模块级 SOTA 对照见 docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md 各周「2026 SOTA 对照」行与文末「SOTA 检查」。