AI Bayesian Optimization & Experiment Design Playbook

核心问题: 当每次试验都昂贵、缓慢、有风险或需要人工审核时，如何用 Bayesian optimization 和 sequential experiment design 在有限 experiment budget 内更快找到高价值、低风险、可治理的 AI / 产品 / 架构参数组合。 系统定位: 这是一份把 Bayesian optimization、Gaussian Process surrogate、acquisition functions、多目标与约束优化、AI tuning、金融零售实验治理和产品平台架构连接起来的高级 playbook。 覆盖主题: Bayesian optimization、Gaussian Process surrogate、acquisition functions(EI/UCB/PI)、multi-objective optimization、constrained BO、sequential experiment design、prompt/model/RAG tuning、pricing and offer parameter tuning、capacity/cost optimization、AutoML/HPO、BoTorch、Optuna、experiment budget、regret、safe experimentation、human review。 边界说明: 本文不是统计学入门、AutoML 教程、供应商选型报告、法律意见或模型验证报告；正式落地必须结合业务 owner、risk、legal、compliance、privacy、security、data、architecture review、operations owner 和 model risk governance。

---

Source Anchors

这些来源用于校准 Bayesian optimization、surrogate modeling、acquisition functions、multi-objective / constrained BO、AutoML / HPO 工具链和 AI 风险治理语言。正式项目必须按访问日期复核工具版本、实验策略、监管要求和机构内部政策。

---

1. 核心定位

Bayesian optimization 是面向昂贵黑盒目标函数的 sequential experiment design 方法:

Use existing evidence
-> learn a probabilistic surrogate
-> choose the next most informative / valuable experiment
-> observe outcome under budget and risk constraints
-> update belief
-> repeat until decision quality is sufficient

中文表达:

不是把参数网格扫完，而是在每一次试验之后更新对目标函数的信念，用 acquisition function 决定下一次最值得尝试的点。

高级 AI 产品语境里，目标函数往往不是单一模型分数，而是:

• prompt / model / RAG 配置在质量、成本、延迟、合规风险和人工接管率之间的 tradeoff。
• 定价、优惠券、信用额度、营销触达频率在利润、转化、留存、投诉和公平性之间的 tradeoff。
• capacity / cost optimization 中模型规模、缓存、并发、降级策略、SLA 和云成本之间的 tradeoff。
• AutoML / HPO 中模型结构、训练参数、特征选择和推理成本之间的 tradeoff。

Bayesian optimization 的产品价值不在“数学更高级”，而在:

在 experiment budget 有限、每次线上暴露有客户风险、每次人工评审都昂贵的场景下，用更少试验获得更可信的改进方向。

---

2. 为什么重要

金融零售 AI 系统常见的调参方式有三类低成熟形态:

Bayesian optimization 更适合以下特征:

成熟表达:

Bayesian optimization turns tuning into a governed learning system:
belief, budget, constraint, evidence, review, and decision.

---

3. Bayesian Optimization 架构

3.1 参考架构

flowchart TB
  A[Business / AI tuning question] --> B[Experiment protocol<br/>objective, constraints, budget, review rule]
  B --> C[Search space registry<br/>prompt, model, RAG, pricing, capacity, HPO params]
  C --> D[Initial design<br/>Sobol, Latin hypercube, expert seed, champion baseline]
  D --> E[Evaluation runner<br/>offline eval, replay, shadow, online pilot, human review]
  E --> F[Observation store<br/>X, outcomes, constraints, cost, lineage, reviewer evidence]
  F --> G[Surrogate model<br/>Gaussian Process, TPE, RF, ensemble, multi-output model]
  G --> H[Acquisition function<br/>EI, UCB, PI, NEHVI, constrained acquisition]
  H --> I[Candidate generator<br/>single, batch, parallel, safe candidate set]
  I --> J[Risk and policy gate<br/>eligibility, guardrail, privacy, compliance]
  J --> E
  F --> K[Decision cockpit<br/>regret, Pareto frontier, budget burn, safe stop, scale recommendation]
  K --> L[Human review<br/>approve, cap exposure, rollback, select champion]

3.2 平台组件

3.3 数据契约

每个 trial 至少包含:

---

4. Surrogate / Acquisition 核心机制

4.1 Surrogate: 为什么常用 Gaussian Process surrogate

Bayesian optimization 的 surrogate 是对未知目标函数 f(x) 的概率替代模型。Gaussian Process surrogate 的核心价值是同时给出:

predicted mean: 这个点看起来有多好
predictive uncertainty: 这个点我们有多不确定

对高级 AI 产品架构而言，uncertainty 不是装饰字段，而是决策资产:

GP 适合低到中等维度、连续或可编码参数、评估成本高的场景。高维、强条件、离散组合很多时，可以采用 TPE、random forest、ensemble surrogate，或把 search space 分层拆解。

4.2 Acquisition Functions: EI / UCB / PI

Acquisition function 把 surrogate 的均值和不确定性转成“下一次试验该选哪里”的策略。

产品翻译:

EI asks: where is the expected business upside largest?
UCB asks: where might we be underestimating a valuable region?
PI asks: where are we most likely to beat the current champion?

4.3 Acquisition 选择手册

4.4 Regret: 高级决策指标

Regret 衡量优化策略因为没有选择最优点而损失的价值。

核心导读： 在金融零售，最小化 regret 不只是更快找到高分配置，还要减少客户暴露、人工审核、云成本和合规风险上的学习成本。

---

5. Sequential Experiment Design

5.1 闭环流程

1. Define decision
2. Define objective and constraints
3. Define search space
4. Allocate experiment budget
5. Run initial design
6. Fit surrogate
7. Optimize acquisition
8. Gate candidate through safety policy
9. Evaluate candidate
10. Update posterior and evidence
11. Decide continue / stop / scale / rollback

这套 sequential experiment design 与传统 A/B test 的差异:

5.2 Initial Design

初始设计决定 surrogate 是否有可学习的基础。

5.3 Experiment Budget

Experiment budget 不只是 trial 数:

高级规则:

Budget is a product constraint, not an after-the-fact reporting field.

5.4 Stop / Continue / Scale 规则

---

6. Multi-Objective Optimization

金融零售 AI 很少只有一个目标。更常见的是:

maximize business value
maximize customer outcome
maximize model quality
minimize cost
minimize latency
minimize compliance / conduct risk
minimize operational burden

6.1 Pareto Frontier 语言

Pareto frontier 的产品意义:

一个方案如果在不牺牲另一个目标的情况下无法继续改进某个目标，它就是 Pareto-efficient candidate。

示例:

成熟团队不会说“C 分数最高所以全量上线”，而是选择:

high-value segment: A
mass channel: B
fallback mode: D
human-assisted premium workflow: C with review

6.2 多目标建模方式

6.3 金融零售多目标案例

---

7. Constrained BO 与 Safe Experimentation

7.1 Constrained BO

Constrained BO 把“候选点是否安全可行”作为模型的一部分，而不是试验结束后的补救动作。

maximize objective f(x)
subject to constraints g1(x) <= threshold1, g2(x) <= threshold2, ...

在 AI 产品中:

7.2 Safe Experimentation 分层

7.3 Human Review

Human review 不是形式审批，而是 BO 系统的安全传感器。

高级原则:

Human review should be sampled, risk-weighted, auditable, and fed back into the surrogate or constraint model.

---

8. 产品 / 平台决策场景

8.1 Prompt / Model / RAG Tuning

推荐设计:

Offline BO for prompt / RAG candidates
-> human review for high-risk samples
-> shadow comparison
-> constrained online pilot
-> segment-specific champion selection

8.2 Pricing and Offer Parameter Tuning

金融零售的 pricing and offer parameter tuning 不应被简化为“哪个折扣转化率最高”。

BO 的用法:

• 用历史 campaign 和 offline uplift model 作为初始观测。
• 用 constrained BO 排除不满足毛利、预算、公平性和合规约束的 offer。
• 用 multi-objective optimization 同时看 conversion、margin、retention、complaint、unsubscribe。
• 对高风险 segment 使用 human review 和更小 exposure cap。

8.3 Capacity / Cost Optimization

核心架构动作:

Cost and capacity are first-class objective / constraint values in the BO observation store.

8.4 AutoML / HPO

AutoML / HPO 是 Bayesian optimization 的经典落地场景，但企业级落地要超出 notebook:

工具取舍:

---

9. 治理与 Operating Model

9.1 NIST AI RMF 映射

9.2 决策权责

9.3 Release Gate

---

10. 模板

10.1 BO Experiment Card

10.2 Search Space Contract

10.3 Acquisition Policy Memo

Experiment:
Champion:
Current best feasible candidate:
Remaining budget:
Observed regret trend:
Primary acquisition:
Exploration setting:
Constraint handling:
Batch size:
Human review trigger:
Traffic cap:
Reason this next batch is worth running:
Reason this next batch is safe enough to run:

10.4 Human Review Rubric

10.5 Decision Memo

Decision:
Selected candidate:
Rejected candidates:
Evidence summary:
Objective improvement:
Constraint status:
Regret and uncertainty:
Segment findings:
Human review findings:
Cost and capacity impact:
Risk acceptance:
Rollback plan:
Post-release monitoring:
Sign-off:

---

11. 30 天训练计划

---

12. 系统学习要点

12.1 BO 的本质

Bayesian optimization 是一种面向昂贵黑盒函数的 sequential experiment design。它用 surrogate model 拟合目标函数和不确定性，再用 acquisition function 决定下一次最值得试验的参数组合。核心不是自动调参，而是把每次 trial 变成可复用的证据资产。

在金融零售 AI 中，目标函数通常包含质量、成本、延迟、投诉、误拒、人工升级、合规风险、容量和客户体验。成熟 BO 系统输出的不是神秘最优参数，而是 champion、Pareto frontier、可行区域、regret 趋势、约束状态和 release decision memo。

12.2 Surrogate 的不确定性价值

Gaussian Process surrogate 同时输出 predicted mean 与 predictive uncertainty。均值描述当前候选看起来多好，不确定性描述哪些区域还缺证据。

RAG、少数语种、投诉类问题、信用产品问题和高风险渠道常出现样本稀疏。高不确定区域不能过早全量上线，应通过 constrained acquisition、risk-weighted review 或 segment-specific champion 处理。

12.3 EI、UCB、PI 的选择边界

acquisition function 不是单独决策器。线上客户暴露场景必须叠加 hard policy gate、traffic cap、kill switch、review rule 和 release approval。

12.4 Prompt / Model / RAG tuning

AI tuning 的 search space 应显式产品化：

model_family
temperature
max_tokens
system_prompt
few_shot_set
retrieval_top_k
chunk_size
reranker
query_rewrite
citation_policy
escalation_threshold
tool_policy

目标函数应同时包含 correctness、groundedness、resolution rate、cost、latency、human escalation、complaint risk 和 policy compliance。硬约束包括 PII、受监管建议边界、引用来源、禁止工具调用和权限边界。

推荐路径：

offline eval
-> replay
-> human review for high-risk samples
-> shadow comparison
-> constrained online pilot
-> segment-specific champion selection

强行全渠道一个配置通常会隐藏 segment 差异，特别是语言、渠道、产品线和风险等级。

12.5 Pricing and offer parameter tuning

金融零售 offer 不应把最高转化率作为唯一目标。合理目标是 risk-adjusted margin、incremental lift、retention、customer value 与长期关系质量，同时约束预算、毛利、marketing consent、unsubscribe、complaint、公平性和监管边界。

历史 campaign 和 uplift model 可以作为初始观测，constrained multi-objective optimization 可用于寻找 Pareto frontier。高风险客群、信用类 offer、可能影响公平性的 eligibility rule 需要更严格的 exposure cap、policy gate 和人工复核。

最终决策应回答哪组参数在预算、风险、客户体验和合规边界内给出最好的增量收益，而不是哪个折扣最大。

12.6 BoTorch、Optuna 与平台分层

平台应分为三层：业务层看到 experiment card、budget、constraints 和 decision cockpit；平台层负责 runner、observation store、lineage、review 和安全门禁；算法层按场景切换 Optuna、BoTorch 或自定义 surrogate。

12.7 Safe experimentation

Safe experimentation 是在不确定性仍然存在时控制客户、员工、成本和合规风险的实验体系。BO 场景包括 constrained BO、safe candidate filtering、offline / replay / shadow / pilot / canary 分层、traffic cap、human review、kill switch、rollback 和 evidence binder。

安全控制应位于 acquisition 前后两层：

• 前置层：search space contract、禁止组合、用途边界、数据权限、硬合规规则。
• 后置层：constraint surrogate、risk gate、review result、流量上限、回滚条件。

优化系统不得把单一业务指标推到风险边界之外。

---

13. Capstone: 金融零售 BO 实验平台

一个系统方案可以这样组织:

核心结论:

AI tuning 不应是临时参数试错。
成熟方案应是带 budget、constraints、evidence、human review
和 release accountability 的 governed sequential learning system。