AI Bayesian Optimization & Experiment Design Playbook

适用对象: AI Product Architect、AI Platform PM、Experimentation Lead、Decision Science Lead、Retail Banking / Retail Operations AI 转型负责人、Model Risk / Governance Partner。 核心问题: 当每次试验都昂贵、缓慢、有风险或需要人工审核时，如何用 Bayesian optimization 和 sequential experiment design 在有限 experiment budget 内更快找到高价值、低风险、可治理的 AI / 产品 / 架构参数组合。 一句话定位: 这是一份把 Bayesian optimization、Gaussian Process surrogate、acquisition functions、多目标与约束优化、AI tuning、金融零售实验治理和产品平台架构连接起来的高级 playbook。 覆盖主题: Bayesian optimization、Gaussian Process surrogate、acquisition functions(EI/UCB/PI)、multi-objective optimization、constrained BO、sequential experiment design、prompt/model/RAG tuning、pricing and offer parameter tuning、capacity/cost optimization、AutoML/HPO、BoTorch、Optuna、experiment budget、regret、safe experimentation、human review。 边界说明: 本文不是统计学入门、AutoML 教程、供应商选型报告、法律意见或模型验证报告；正式落地必须结合业务 owner、risk、legal、compliance、privacy、security、data、architecture review、operations owner 和 model risk governance。

---

Source Anchors

这些来源用于校准 Bayesian optimization、surrogate modeling、acquisition functions、multi-objective / constrained BO、AutoML / HPO 工具链和 AI 风险治理语言。正式项目必须按访问日期复核工具版本、实验策略、监管要求和机构内部政策。

---

1. 一句话定位

Bayesian optimization 是面向昂贵黑盒目标函数的 sequential experiment design 方法:

Use existing evidence
-> learn a probabilistic surrogate
-> choose the next most informative / valuable experiment
-> observe outcome under budget and risk constraints
-> update belief
-> repeat until decision quality is sufficient

中文表达:

不是把参数网格扫完，而是在每一次试验之后更新对目标函数的信念，用 acquisition function 决定下一次最值得尝试的点。

高级 AI 产品语境里，目标函数往往不是单一模型分数，而是:

• prompt / model / RAG 配置在质量、成本、延迟、合规风险和人工接管率之间的 tradeoff。
• 定价、优惠券、信用额度、营销触达频率在利润、转化、留存、投诉和公平性之间的 tradeoff。
• capacity / cost optimization 中模型规模、缓存、并发、降级策略、SLA 和云成本之间的 tradeoff。
• AutoML / HPO 中模型结构、训练参数、特征选择和推理成本之间的 tradeoff。

Bayesian optimization 的产品价值不在“数学更高级”，而在:

在 experiment budget 有限、每次线上暴露有客户风险、每次人工评审都昂贵的场景下，用更少试验获得更可信的改进方向。

---

2. 为什么重要

金融零售 AI 系统常见的调参方式有三类低成熟形态:

Bayesian optimization 更适合以下特征:

成熟表达:

Bayesian optimization turns tuning into a governed learning system:
belief, budget, constraint, evidence, review, and decision.

---

3. Bayesian Optimization 架构

3.1 参考架构

flowchart TB
  A[Business / AI tuning question] --> B[Experiment protocol<br/>objective, constraints, budget, review rule]
  B --> C[Search space registry<br/>prompt, model, RAG, pricing, capacity, HPO params]
  C --> D[Initial design<br/>Sobol, Latin hypercube, expert seed, champion baseline]
  D --> E[Evaluation runner<br/>offline eval, replay, shadow, online pilot, human review]
  E --> F[Observation store<br/>X, outcomes, constraints, cost, lineage, reviewer evidence]
  F --> G[Surrogate model<br/>Gaussian Process, TPE, RF, ensemble, multi-output model]
  G --> H[Acquisition function<br/>EI, UCB, PI, NEHVI, constrained acquisition]
  H --> I[Candidate generator<br/>single, batch, parallel, safe candidate set]
  I --> J[Risk and policy gate<br/>eligibility, guardrail, privacy, compliance]
  J --> E
  F --> K[Decision cockpit<br/>regret, Pareto frontier, budget burn, safe stop, scale recommendation]
  K --> L[Human review<br/>approve, cap exposure, rollback, select champion]

3.2 平台组件

3.3 数据契约

每个 trial 至少包含:

---

4. Surrogate / Acquisition 核心机制

4.1 Surrogate: 为什么常用 Gaussian Process surrogate

Bayesian optimization 的 surrogate 是对未知目标函数 f(x) 的概率替代模型。Gaussian Process surrogate 的核心价值是同时给出:

predicted mean: 这个点看起来有多好
predictive uncertainty: 这个点我们有多不确定

对高级 AI 产品架构而言，uncertainty 不是装饰字段，而是决策资产:

GP 适合低到中等维度、连续或可编码参数、评估成本高的场景。高维、强条件、离散组合很多时，可以采用 TPE、random forest、ensemble surrogate，或把 search space 分层拆解。

4.2 Acquisition Functions: EI / UCB / PI

Acquisition function 把 surrogate 的均值和不确定性转成“下一次试验该选哪里”的策略。

产品翻译:

EI asks: where is the expected business upside largest?
UCB asks: where might we be underestimating a valuable region?
PI asks: where are we most likely to beat the current champion?

4.3 Acquisition 选择手册

4.4 Regret: 高级 PM 必须会讲的指标

Regret 衡量优化策略因为没有选择最优点而损失的价值。

一句话:

在金融零售，最小化 regret 不只是更快找到高分配置，还要减少客户暴露、人工审核、云成本和合规风险上的学习成本。

---

5. Sequential Experiment Design

5.1 闭环流程

1. Define decision
2. Define objective and constraints
3. Define search space
4. Allocate experiment budget
5. Run initial design
6. Fit surrogate
7. Optimize acquisition
8. Gate candidate through safety policy
9. Evaluate candidate
10. Update posterior and evidence
11. Decide continue / stop / scale / rollback

这套 sequential experiment design 与传统 A/B test 的差异:

5.2 Initial Design

初始设计决定 surrogate 是否有可学习的基础。

5.3 Experiment Budget

Experiment budget 不只是 trial 数:

高级规则:

Budget is a product constraint, not an after-the-fact reporting field.

5.4 Stop / Continue / Scale 规则

---

6. Multi-Objective Optimization

金融零售 AI 很少只有一个目标。更常见的是:

maximize business value
maximize customer outcome
maximize model quality
minimize cost
minimize latency
minimize compliance / conduct risk
minimize operational burden

6.1 Pareto Frontier 语言

Pareto frontier 的产品意义:

一个方案如果在不牺牲另一个目标的情况下无法继续改进某个目标，它就是 Pareto-efficient candidate。

示例:

成熟团队不会说“C 分数最高所以全量上线”，而是选择:

high-value segment: A
mass channel: B
fallback mode: D
human-assisted premium workflow: C with review

6.2 多目标建模方式

6.3 金融零售多目标案例

---

7. Constrained BO 与 Safe Experimentation

7.1 Constrained BO

Constrained BO 把“候选点是否安全可行”作为模型的一部分，而不是试验结束后的补救动作。

maximize objective f(x)
subject to constraints g1(x) <= threshold1, g2(x) <= threshold2, ...

在 AI 产品中:

7.2 Safe Experimentation 分层

7.3 Human Review

Human review 不是形式审批，而是 BO 系统的安全传感器。

高级原则:

Human review should be sampled, risk-weighted, auditable, and fed back into the surrogate or constraint model.

---

8. 产品 / 平台决策场景

8.1 Prompt / Model / RAG Tuning

推荐设计:

Offline BO for prompt / RAG candidates
-> human review for high-risk samples
-> shadow comparison
-> constrained online pilot
-> segment-specific champion selection

8.2 Pricing and Offer Parameter Tuning

金融零售的 pricing and offer parameter tuning 不应被简化为“哪个折扣转化率最高”。

BO 的用法:

• 用历史 campaign 和 offline uplift model 作为初始观测。
• 用 constrained BO 排除不满足毛利、预算、公平性和合规约束的 offer。
• 用 multi-objective optimization 同时看 conversion、margin、retention、complaint、unsubscribe。
• 对高风险 segment 使用 human review 和更小 exposure cap。

8.3 Capacity / Cost Optimization

核心架构动作:

Cost and capacity are first-class objective / constraint values in the BO observation store.

8.4 AutoML / HPO

AutoML / HPO 是 Bayesian optimization 的经典落地场景，但企业级落地要超出 notebook:

工具取舍:

---

9. 治理与 Operating Model

9.1 NIST AI RMF 映射

9.2 决策权责

9.3 Release Gate

---

10. 模板

10.1 BO Experiment Card

10.2 Search Space Contract

10.3 Acquisition Policy Memo

Experiment:
Champion:
Current best feasible candidate:
Remaining budget:
Observed regret trend:
Primary acquisition:
Exploration setting:
Constraint handling:
Batch size:
Human review trigger:
Traffic cap:
Reason this next batch is worth running:
Reason this next batch is safe enough to run:

10.4 Human Review Rubric

10.5 Decision Memo

Decision:
Selected candidate:
Rejected candidates:
Evidence summary:
Objective improvement:
Constraint status:
Regret and uncertainty:
Segment findings:
Human review findings:
Cost and capacity impact:
Risk acceptance:
Rollback plan:
Post-release monitoring:
Sign-off:

---

11. 30 天训练计划

---

12. 面试答案

12.1 什么是 Bayesian optimization，为什么适合 AI 产品调优？

30 秒回答:

Bayesian optimization 是一种面向昂贵黑盒函数的 sequential experiment design。它用 surrogate model 学习目标函数和不确定性，再用 acquisition function 决定下一次最值得试验的参数组合。对 AI 产品而言，它适合 prompt、model、RAG、HPO、定价和容量配置，因为这些试验往往成本高、有噪声、多目标且有安全约束。

2 分钟回答:

Bayesian optimization 的关键不是“自动调参”，而是把每次实验当成信息资产。系统先用 champion、历史 trial、专家 seed 和少量初始设计建立 surrogate，例如 Gaussian Process surrogate。然后通过 EI、UCB、PI 或多目标 / 约束 acquisition 选择下一批 candidate。每次试验完成后，质量、成本、延迟、风险、人工复核结果都会写入 observation store，再更新 posterior。

在金融零售 AI 中，我不会只优化一个 accuracy 或 conversion 指标，而会把投诉率、误拒率、人工升级率、合规风险、token cost、p95 latency 和 capacity 一起建模。高风险 candidate 需要 safe experimentation，从 offline eval、replay、shadow、human-in-the-loop pilot 到 canary 分层推进。最终输出不是一个神秘最优参数，而是可审计的 champion、Pareto frontier、约束状态、regret 趋势和 release decision memo。

12.2 Gaussian Process surrogate 的产品价值是什么？

30 秒回答:

GP surrogate 的价值是同时给出预测均值和不确定性。均值告诉我们哪个配置看起来更好，不确定性告诉我们哪里还值得探索。对受监管 AI 产品来说，不确定性直接影响试验预算、风险暴露和 human review 策略。

高级补充:

如果一个 RAG 配置在普通样本上表现好，但在少数语种、投诉类问题、信用产品问题上样本很少，GP 的 uncertainty 可以提醒团队不要过早全量上线。我们可以对高不确定且高风险区域增加人工复核，或用 constrained acquisition 限制线上暴露。这样 BO 不只是追求高分，而是在风险可控下学习。

12.3 EI、UCB、PI 怎么选？

30 秒回答:

EI 关注期望改进，适合持续提升 champion；UCB 显式奖励不确定性，适合探索新模型或新策略；PI 关注超过当前 best 的概率，适合目标明确、风险较低的局部优化。金融零售线上实验通常还要叠加 constrained acquisition 和 safe gate。

场景化回答:

prompt / RAG 离线调优可以从 EI 开始；新模型族探索可以提高 UCB 的探索权重；预算接近耗尽时可以偏向 exploitation；线上客户暴露场景要使用 constrained EI 或 expected feasible improvement，并且通过 human review 和 traffic cap 控制风险。

12.4 如何把 BO 用在 prompt / model / RAG tuning？

回答:

我会先把 search space 产品化: model family、temperature、max tokens、system prompt、few-shot set、retrieval top_k、chunk size、reranker、query rewrite、citation policy、escalation threshold。然后定义多目标: correctness、groundedness、resolution rate、cost、latency、human escalation、complaint risk。硬约束包括 PII、受监管建议边界、引用来源、禁止工具调用。

执行上先做 offline eval 和 replay，用 BO 选择候选；高风险样本进入 human review；通过 shadow 比较延迟、引用和错误类型；再用 constrained online pilot 做小流量验证。最终按 segment 选择 champion，而不是强行全渠道一个配置。

12.5 如何用 BO 做 pricing and offer parameter tuning？

回答:

我会避免把目标定义成“最高转化率”。金融零售 offer 需要优化 risk-adjusted margin、incremental lift、retention、customer value，同时约束预算、毛利、营销同意、退订、投诉、公平性和监管边界。BO 可以用历史 campaign 和 uplift model 做初始观测，再通过 constrained multi-objective optimization 找 Pareto frontier。

关键治理点是 exposure cap 和 human review。对高风险客群、信用类 offer、可能影响公平性的 eligibility rule，需要更严格的 policy gate。最终决策不是“哪个折扣最大”，而是哪组参数在预算、风险和客户体验边界内给出最好的增量收益。

12.6 BoTorch 和 Optuna 怎么选？

回答:

Optuna 更适合快速 HPO 和工程化 trial 管理，它的 study / trial、define-by-run search space、sampler、pruner 对多数 AutoML / HPO 场景非常实用。BoTorch 更适合需要深度定制 surrogate、acquisition、多目标、约束和 batch BO 的 AI 平台团队。如果只是让业务团队低摩擦做 adaptive experimentation，可以考虑在上层平台封装 Ax / Optuna，在底层高级场景使用 BoTorch。

我的架构建议是分层: 业务用户看到 experiment card、budget、constraints、decision cockpit；平台层负责任务调度、observation store、lineage、review；算法层可以按场景切换 Optuna、BoTorch 或自定义 surrogate。

12.7 什么是 safe experimentation？

回答:

Safe experimentation 是在不确定性仍然存在时控制客户、员工、成本和合规风险的实验体系。对 BO 来说，它包括 constrained BO、safe candidate filtering、offline / replay / shadow / pilot / canary 分层、traffic cap、human review、kill switch、rollback 和 evidence binder。

我会把安全设计放在 acquisition 前后两层: 前面通过 search space 和 policy 排除禁止组合，后面通过 constraint surrogate 和 risk gate 决定候选是否可运行。上线前还要有人工复核和 release review，确保优化系统没有把单一业务指标推到风险边界之外。

---

13. 作品集 Capstone: 金融零售 BO 实验平台

一个可展示的高级作品集可以这样组织:

最终表达:

I do not treat AI tuning as ad hoc parameter tweaking.
I design it as a governed sequential learning system with budget, constraints, evidence, human review, and release accountability.