返回 Papers
AI 扩展计划 / Playbooks

AI Personalization / Recommender Product Architecture Playbook

重要说明:本文是学习、作品集和架构训练材料,不构成法律意见、投资建议、合规结论、模型验证报告或审计意见。涉及财富管理、信贷、保险、广告营销、客户同意、隐私、反歧视、公平信贷和适当性要求时,正式项目必须由 Legal、Compliance、Model Risk、Privacy、Security、Fair Lending、Sales Supervision、Business Owner 和 Data

1,061AI_PERSONALIZATION_RECOMMENDER_PRODUCT_ARCHITECTURE_PLAYBOOK.md

AI Personalization & Recommender Product Architecture Playbook

适用对象:AI Product Architect、AI PM、Data Product Manager、Risk Product Manager、Solution Architect、Retail Banking / Wealth / Lending / Fraud 产品负责人。 核心问题:如何把个性化、推荐系统、next-best-action、客户适当性、隐私同意、风险控制和实验评估组织成一套可上线、可治理、可审计的产品架构。 高级定位:本文不讲 BA 入门需求收集,也不把推荐系统简化成“猜你喜欢”。重点是训练产品架构判断:目标函数怎么定、候选集怎么生成、排序和重排如何受治理约束、反馈闭环如何避免自我强化、金融零售场景如何守住 suitability / advice boundary。 作品集定位:本文可直接转化为推荐系统 PRD、策略治理清单、特征 contract、实验设计、指标树、风险控制矩阵、治理评审表和面试答题素材。

重要说明:本文是学习、作品集和架构训练材料,不构成法律意见、投资建议、合规结论、模型验证报告或审计意见。涉及财富管理、信贷、保险、广告营销、客户同意、隐私、反歧视、公平信贷和适当性要求时,正式项目必须由 Legal、Compliance、Model Risk、Privacy、Security、Fair Lending、Sales Supervision、Business Owner 和 Data Owner 审查。


Source Anchors

AnchorOfficial / primary source在本文中的用法
TensorFlow Recommendershttps://www.tensorflow.org/recommenders用 retrieval、ranking、multi-task、feature preprocessing 和 production-oriented recommender 语言组织系统组件。
TensorFlow Recommenders retrieval tutorialhttps://www.tensorflow.org/recommenders/examples/basic_retrieval用 two-tower retrieval 解释 query tower、candidate tower、embedding retrieval 和候选生成。
TensorFlow Recommenders ranking tutorialhttps://www.tensorflow.org/recommenders/examples/basic_ranking用 ranking model 解释评分、损失函数、训练标签和排序目标。
Google Machine Learning: Recommendation Systemshttps://developers.google.com/machine-learning/recommendation用 candidate generation、scoring、re-ranking 和 recommendation pipeline 建立产品架构分层。
Deep Neural Networks for YouTube Recommendationshttps://research.google/pubs/deep-neural-networks-for-youtube-recommendations/用 YouTube DNN 的 candidate generation / ranking 两阶段架构、implicit feedback、freshness 和 serving 约束校准大规模推荐系统设计。
Wide & Deep Learning for Recommender Systemshttps://research.google/pubs/wide-deep-learning-for-recommender-systems/用 memorization + generalization 的组合解释规则特征、交叉特征、深度泛化和业务可控性。
NIST AI RMF 1.0https://www.nist.gov/itl/ai-risk-management-framework用 Govern、Map、Measure、Manage 和 trustworthy AI 特征组织风险、治理、监控和评估。
FINRA Rule 2111 Suitabilityhttps://www.finra.org/rules-guidance/rulebooks/finra-rules/2111用于财富推荐中的 suitability 心智模型:客户画像、产品风险、推荐依据和监督边界。
SEC Regulation Best Interesthttps://www.sec.gov/regulation-best-interest用于区分产品信息、推荐、建议和交易执行中的客户利益、披露、冲突和记录要求。
CFPB Circular 2022-03https://www.consumerfinance.gov/compliance/circulars/circular-2022-03-adverse-action-notification-requirements-in-connection-with-credit-decisions-based-on-complex-algorithms/用于信贷相关个性化和模型解释边界:复杂算法不能成为无法提供具体、准确理由的借口。

1. 一句话定位:推荐系统是决策基础设施

金融零售中的 personalization / recommender system 不是一个前端模块,而是一套持续运行的决策基础设施:

Customer context
  -> consent and eligibility
  -> candidate generation / retrieval
  -> ranking
  -> re-ranking and policy constraints
  -> next-best-action surface
  -> customer / staff interaction
  -> feedback, experiment, monitoring and governance

高级产品架构关注的不是“模型能不能预测点击”,而是:

  • 推荐目标是否和业务价值、客户利益、风险边界一致。
  • 候选集是否已经被资格、同意、库存、产品约束和监管边界过滤。
  • 排序模型优化的标签是否真实代表长期价值,而不是短期诱导点击。
  • 重排层是否能执行多样性、公平性、频控、适当性、冲突披露和合规策略。
  • 反馈闭环是否会把历史偏差、曝光偏差、销售压力和风险误判放大。
  • 实验评估是否包含客户伤害、投诉、投诉升级、拒绝率、手动覆盖和弱势群体影响。
  • 生产系统是否能解释“为什么给这个客户、在这个时点、通过这个渠道、推荐了这个动作”。

1.1 推荐系统的产品本质

传统理解高级产品架构理解
推荐一个产品或内容在约束条件下选择下一步最合适的客户互动动作
提高点击率优化长期价值、客户结果、风险、信任和运营效率的组合目标
用模型替代规则用模型负责预测,用规则和治理负责边界,用实验验证真实增量
推荐越个性化越好个性化必须服从同意、目的限制、适当性、公平和可解释边界
A/B 测出提升就上线实验必须同时通过 guardrail、分群、公平性、投诉和长期效果检查

1.2 金融零售中的推荐对象

推荐对象例子主要风险
Product信用卡、储蓄账户、贷款、基金、保险、商户服务适当性、销售合规、误导性营销、冲突披露
Action补充资料、设置自动还款、降低额度使用率、预约顾问客户干预边界、过度打扰、行动责任
Content金融教育、风险提示、产品说明、政策解释内容准确性、过期知识、过度简化
Offer费率、优惠、积分、额度、费用减免差别待遇、公平性、资格解释、投诉
Risk intervention交易验证、欺诈提醒、贷后提醒、异常行为提示误伤客户、账户访问限制、解释和补救
Staff task客服下一步、RM follow-up、underwriter checklist员工过度依赖、监督责任、操作风险

2. 为什么重要:从 Engagement Optimization 到 Governed Decisioning

推荐系统在互联网产品里常被理解为 engagement engine;在金融零售里,它更接近 governed decisioning layer。它连接客户体验、增长、风险、合规、运营和数据产品。

2.1 业务价值不只来自转化率

价值类型推荐系统如何创造价值金融零售例子证明方式
Customer value降低客户决策成本,减少信息过载在客户旅行前提醒外币手续费和卡权益任务完成率、投诉下降、客户反馈
Revenue quality把产品匹配到更合适的客户和时点基于现金流和风险偏好推荐储蓄或投资教育路径增量收入、留存、退订、投诉和长期活跃
Risk reduction在风险发生前触发正确干预高额度使用率客户收到预算工具和自动还款建议逾期率、欺诈损失、误报率、客户覆盖
Operational leverage给员工推荐下一步动作客服看到最可能解决客户问题的流程和知识AHT、一次解决率、人工覆盖质量
Trust building用透明、可解释、不过度销售的建议建立信任财富客户看到“为什么不推荐高风险产品”信任评分、拒绝建议后的满意度、审计抽样

2.2 推荐系统失败通常不是模型单点失败

失败模式表面现象根因通常在哪里
点击率高但投诉增加客户觉得被诱导或被频繁打扰目标函数只看短期互动,缺少 frequency cap、投诉 guardrail 和销售边界
高价值客户总被推荐高佣金产品短期收入提升候选集和排序目标没有处理 conflict、suitability、客户利益和产品风险
新客户推荐质量差cold start 被解释成“数据不够”没有设计 onboarding signals、contextual fallback、segment prior 和人工引导
某些群体推荐机会少模型看似整体表现不错曝光数据带有历史偏差,评估没有分群 fairness 和 counterfactual 分析
推荐理由无法解释业务无法通过审查数据、特征、候选过滤、排序、重排、策略版本和日志没有形成证据链

3. 核心架构:Personalization Decisioning Stack

3.1 端到端架构视图

Customer, staff and channel events
  -> event collection and identity resolution
  -> consent, privacy and purpose policy
  -> customer, product, content, offer and risk data products
  -> feature engineering and feature store
  -> candidate generation / retrieval
  -> ranking model
  -> re-ranking, policy engine and guardrails
  -> decision API / next-best-action service
  -> channel surfaces and staff workflow
  -> exposure, action, outcome and complaint logging
  -> offline evaluation, online experiments and monitoring
  -> governance review, model / strategy change management

3.2 架构层职责

Layer目标关键组件产品责任
Data foundation把客户、产品、行为、上下文、风险和同意变成可消费资产Event stream、profile store、catalog、consent store、feature store定义 source-of-truth、数据 contract、刷新频率、权限和质量 SLO
Candidate generation / retrieval从巨大空间中快速找出可能相关的候选Two-tower retrieval、ANN index、rules pre-filter、segment pool确保候选可推荐、可持有、可购买、可展示且符合资格
Ranking对候选打分并预测业务目标DNN、Wide & Deep、GBDT、learning-to-rank、多任务模型定义目标函数、标签、训练窗口、长期价值和风险权重
Re-ranking / policy把模型分数转成可执行推荐列表或动作Constraint solver、policy engine、diversity、frequency cap、fairness adjustment执行 suitability、advice boundary、冲突披露、渠道限制和客户保护
Serving把推荐作为稳定产品能力对外提供Low-latency API、cache、fallback、decision log管理 SLA、降级、幂等、版本、解释和渠道一致性
Experiment and eval证明推荐带来真实增量并控制风险Offline eval、A/B test、holdout、guardrail dashboard避免指标陷阱,建立上线门槛和 stop rule
Governance让策略、模型、数据和变更可审查Strategy inventory、model inventory、approval workflow、audit log明确 owner、审批、风险接受、监控和事件响应

3.3 推荐服务的最小生产能力

能力没有它的风险生产要求
Strategy inventory不知道线上有哪些推荐策略每个策略有 owner、目标、适用人群、渠道、版本、风险等级
Candidate eligibility service排序前已混入不可推荐对象产品资格、地域、客户状态、同意、风险限制在候选阶段过滤
Decision log无法复盘推荐原因记录候选、分数、过滤原因、策略版本、特征版本、展示和客户反应
Feature parity check离线训练和线上 serving 特征不一致离线/线上特征有 contract、监控和漂移告警
Guardrail dashboard上线后只看转化同时监控投诉、退订、误伤、公平性、风险、延迟、成本
Human override path员工无法处理错误推荐员工可覆盖、标记原因、升级审查,并进入反馈闭环

4. Candidate Generation / Retrieval / Ranking / Re-ranking

推荐架构要把“找得到、排得准、控得住、解释得清”分层处理。混在一个模型里做,产品和治理都会失去控制点。

4.1 Candidate Generation:先解决规模和召回

Candidate generation 的目标不是最终排序,而是在可接受延迟内从百万级对象中找出几百或几千个可能相关的候选。

方法适用场景产品关注点风险
Rule-based pools强资格、强合规、强业务策略资格、库存、地域、渠道、客户状态规则过多导致候选贫瘠,长期无法探索
Segment-based retrieval数据较少或早期产品可解释、易运营、适合冷启动过度粗糙,无法捕捉个体偏好
Two-tower retrieval大规模用户-物品匹配可扩展、低延迟、支持 ANN 搜索embedding 偏差、可解释性弱,需要过滤和日志
Content-based retrieval新物品、教育内容、文档推荐利用 item metadata,缓解 item cold start元数据质量决定效果
Collaborative filtering行为数据丰富捕捉相似用户/物品模式曝光偏差、热门物品垄断、新客弱
Hybrid retrieval金融零售主流选择结合资格、语义、行为、规则、业务主题架构复杂,需要统一候选合并和去重

候选生成阶段必须处理的硬边界:

  • 客户是否同意用于该目的的个性化。
  • 客户是否属于允许推荐该产品或动作的人群。
  • 产品是否可售、可持有、可服务、可披露。
  • 渠道是否具备必要披露、确认和人工升级能力。
  • 推荐是否可能构成受监管建议、信贷影响或高风险干预。

4.2 Retrieval:Two-Tower 作为大规模召回模式

Two-tower 模型把用户上下文和候选对象分别编码到同一向量空间:

User / context tower:
  customer profile + behavior sequence + channel context + consent state
  -> query embedding

Candidate tower:
  product / content / offer / action metadata + historical outcome
  -> candidate embedding

Approximate nearest neighbor search:
  query embedding x candidate embedding
  -> top K candidates
设计项产品架构问题
Query definition推荐是基于客户长期画像、当前会话、生命周期阶段,还是具体任务意图?
Candidate object被召回的是产品、内容、动作、员工任务、优惠,还是组合包?
Positive label什么算“成功匹配”:点击、申请、完成、留存、风险下降、人工采纳?
Negative sampling未点击是否真是不喜欢,还是没有曝光、看不见、时点不对?
ANN freshness新产品、新政策、新风险信号多久进入索引?
Eligibility filtering先过滤再召回,还是召回后过滤?高风险场景优先先过滤。

4.3 Ranking:从候选到业务目标

Ranking 阶段对候选进行更精细评分。这里可以引入更多特征、更复杂模型和多目标训练,但它仍然不能直接决定最终展示。

排序目标可用标签产品风险
CTR / engagement点击、停留、打开容易优化好奇心和短期互动,不代表客户利益
Conversion申请、购买、完成可能鼓励过度销售或忽略长期风险
Long-term value留存、活跃、收入质量归因窗口长,实验周期更复杂
Risk reduction逾期下降、欺诈损失下降、误报下降需要严格 counterfactual 和分群评估
Staff adoption员工采纳、覆盖、处理时间员工可能被 KPI 影响,标签要审查
Customer outcome任务成功、投诉下降、财务健康改善指标定义难,但最接近金融零售价值

4.4 Re-ranking:把模型分数变成合规可执行策略

Re-ranking 是产品治理最重要的控制层。它把模型分数、业务目标和风险边界组合成最终列表或 next-best-action。

Re-ranking 约束目的金融零售例子
Eligibility排除不可推荐候选未完成 KYC 的客户不展示投资产品交易入口
Suitability避免不适合客户的产品推荐低风险承受能力客户不推荐高复杂度产品
Diversity防止同类内容或产品过度集中同一页面不连续推多个信用产品
Frequency cap控制打扰和销售压力7 天内同一贷款 offer 不重复 push
Freshness平衡新信息和稳定性近期政策变更内容优先于旧教育文章
Fairness防止群体机会不均优惠、额度、教育内容的曝光按受保护特征代理变量监控
Conflict control管理佣金、促销和机构利益冲突高佣金产品不得仅因收入权重上浮
Channel policy匹配渠道能力复杂投资产品只在可完成风险披露和人工支持渠道展示
Human review高影响推荐进入人工确认大额财富产品或信贷例外推荐由 RM / underwriter 审核

4.5 推荐流水线的 ADR 示例

ADR 项决策
决策对财富教育内容采用 hybrid retrieval + ranking + suitability re-ranking,而不是单一 deep ranking。
理由财富场景同时需要语义相关、客户阶段匹配、产品风险边界和合规披露;单一排序模型难以表达硬约束。
替代方案纯规则推荐、纯 collaborative filtering、端到端排序模型。
后果架构复杂度上升,但可获得候选召回、排序优化和治理控制的清晰边界。
监控分别监控候选覆盖、ranking quality、re-ranking filter reason、投诉、退订和适当性抽样结果。

5. 模型模式:Two-Tower、Wide & Deep、YouTube DNN 与金融零售取舍

5.1 模式对比

模式核心能力适合不适合单独承担
Two-tower retrieval大规模候选召回、低延迟 ANN 搜索内容、产品、offer、动作候选池很大高精度排序、复杂合规约束、最终解释
Wide & Deep记忆高价值交叉特征,同时泛化到新组合金融零售中规则特征和深度特征并存的排序需要强时序理解或超大规模候选召回的场景
YouTube DNN two-stage候选生成 + ranking 的工业化分层大规模、多反馈、强 freshness、低延迟场景直接复制到高监管决策,不加 suitability 和 governance
Gradient boosted trees / LTR强结构化特征、可解释性较好员工推荐、信贷运营、next-best-action 排序海量语义召回和冷内容理解
Sequence model捕捉最近行为和会话意图客户旅程、浏览序列、交易序列、流失预警数据稀疏或隐私限制强时
Contextual bandit在线探索和 exploitation 平衡内容、offer、渠道时点优化高影响金融建议和不可逆动作
Rules + model hybrid保留业务边界和可控性金融零售主流生产架构只有规则没有学习能力时容易僵化

5.2 Two-Tower 产品决策

决策高级问题
Embedding space用户偏好、任务意图、风险阶段、生命周期阶段是否应该在同一个空间表达?
Training objective召回点击、完成、风险改善还是员工采纳?不同目标会产生不同候选世界。
Candidate freshness新 offer、新政策、新内容、新风险信号如何进入 ANN index?
Retrieval explainability如何把 embedding 相似转成可审查的业务原因?需要候选元数据和 reason code。
Bias control历史曝光少的候选是否永远没有机会被召回?需要 exploration pool 和 coverage metric。

5.3 Wide & Deep 在金融零售中的价值

Wide & Deep 的产品意义在于把“已知强规则”和“深度泛化”放在同一个系统里:

Wide 部分Deep 部分金融零售解释
客户生命周期 x 产品资格行为序列和语义偏好既记住高价值业务交叉,又允许模型发现新组合
风险等级 x 渠道 x offer 类型客户近期行为 embedding既保留风险边界,又提升时点相关性
产品类型 x 资产水平 x 目标期限内容和客户 embedding适合财富教育和产品信息排序,但最终还需 suitability re-ranking

关键产品判断:Wide 特征不是“手工补模型不足”,而是把业务语义、政策边界和高置信交叉显式注入排序层。

5.4 YouTube DNN 的可迁移与不可迁移

可迁移设计金融零售用法
两阶段架构用 candidate generation 扩召回,用 ranking 精排序,用 re-ranking 控治理。
Implicit feedback点击、查看、停留、跳出、采纳、忽略都可作为弱信号,但要校正曝光偏差。
Freshness新内容、新 offer、新风险信号要有快速进入候选和排序的机制。
Serving latency推荐 API 必须满足渠道 SLA,并有 cache 和 fallback。
不可直接迁移原因
只用 watch time / engagement 类目标金融场景必须加入客户利益、投诉、风险、适当性和公平性 guardrails。
把用户长期沉浸作为成功金融产品不应以诱导长时间互动为目标。
用推荐系统驱动所有高影响动作信贷、财富、账户限制和投诉处理需要人工、规则、正式流程和审计证据。

6. 特征与数据架构

推荐系统的数据架构比模型选择更决定上线质量。金融零售要把“可用数据”升级为“可被推荐决策安全消费的数据产品”。

6.1 核心数据域

数据域示例推荐用途治理重点
Customer profile生命周期、家庭关系、地区、产品持有分群、资格、个性化PII、目的限制、访问控制
Behavior events点击、浏览、申请、搜索、客服咨询偏好、意图、反馈标签事件口径、曝光日志、bot 过滤
Product / item catalog产品属性、费用、风险等级、适用客户候选、过滤、解释产品 owner、版本、有效期
Offer inventory优惠、额度、费率、渠道、有效期offer 推荐库存、资格、公平性
Risk signals欺诈风险、逾期风险、投诉风险、客户脆弱性推荐降级、风险干预高敏感、解释、误伤
Consent and preference营销同意、渠道偏好、数据使用授权允许个性化的边界同意来源、撤回、同步
Context渠道、时间、设备、位置、会话意图时点和渠道匹配最小化、用途限制
Outcome labels申请完成、购买、留存、投诉、违约训练和评估归因、滞后、偏差

6.2 Feature Store 不是简单特征仓库

能力推荐系统要求
Offline / online parity离线训练和线上 serving 的特征定义、窗口和转换一致。
Point-in-time correctness训练时不能看到未来信息,尤其是信贷和风险场景。
Feature lineage每个推荐分数能追踪到特征版本、数据源和刷新时间。
Access control不同模型、渠道、团队只能消费被批准特征。
Quality SLOfreshness、completeness、distribution drift、missing rate 有门槛。
Sensitive feature policy受保护特征、代理变量、敏感风险信号有单独审批和监控。
Consent propagation客户撤回同意后,线上特征、缓存、索引、训练集和日志都能处理。

6.3 Label 设计:别把短期行为误当客户价值

标签优点陷阱修正方式
Click快速、丰富容易优化噱头和好奇心配合 dwell、bounce、complaint、unsubscribe
Conversion接近业务价值可能鼓励不适合销售加入退订、投诉、冷静期、长期留存
Revenue直接容易偏向高佣金或高余额客户加入 customer outcome、fairness、conflict guardrail
Risk improvement价值高归因难、滞后长使用 holdout、causal / uplift、风险分群
Staff adoption便于内部流程员工可能被 KPI 或界面位置影响采样质检、原因码、人工覆盖分析
Customer satisfaction贴近体验样本偏、反馈率低分群、投诉、人工升级和文本分析结合

6.4 数据血缘到推荐证据链

Source system
  -> curated data product
  -> feature transformation
  -> offline training set
  -> model version
  -> online feature vector
  -> candidate list
  -> ranking score
  -> re-ranking filter / adjustment
  -> final recommendation
  -> exposure and outcome log

推荐证据链必须回答:

  • 当时客户是否有有效同意。
  • 哪些候选被纳入,哪些因为资格或策略被过滤。
  • 排序使用了哪些特征版本和模型版本。
  • 重排层应用了哪些规则、阈值、频控、公平性或适当性调整。
  • 最终给客户或员工展示了什么,客户如何反应。
  • 后续投诉、覆盖、转化、撤回和风险结果是否回流评估。

7. 产品决策框架:从 Recommendation 到 Next-Best-Action

7.1 Recommendation vs Next-Best-Action

类型输出决策边界例子
Recommendation推荐一个对象用户可选择是否查看或点击内容、产品页、教育文章
Next-best-offer推荐一个商业 offer必须处理资格、披露、公平、频控信用卡优惠、存款利率活动
Next-best-action推荐下一步动作可能影响流程、客户权益或员工操作要求补资料、提醒还款、升级人工
Decision support给员工决策建议员工 accountable,系统提供证据RM follow-up、贷审 memo、客服脚本
Automated action系统直接执行高风险,需要严格审批和控制自动冻结账户、自动拒绝申请,通常应极度谨慎

7.2 产品决策问题清单

决策域高级问题
Surface推荐出现在哪个渠道、哪个流程节点、客户是否有足够上下文?
Objective优化点击、完成、收入、风险下降、客户结果还是员工效率?权重如何确定?
Decision unit推荐对象是客户、账户、家庭、商户、案例、交易还是员工任务?
Inventory候选对象是否有 owner、状态、有效期、风险等级、披露材料和资格规则?
Eligibility哪些客户永远不能看到某类推荐,哪些需要额外确认或人工处理?
Explanation客户、员工、风险、合规分别需要什么级别的解释?
Consent个性化是否需要明确同意?撤回后如何在缓存、索引和日志中体现?
Frequency多久推荐一次,哪些信号触发暂停,如何尊重客户偏好?
Human role员工是推荐接收者、审查者、批准者还是责任决策者?
Exit path推荐错误、客户拒绝、低信心、策略冲突时如何降级?

7.3 决策边界分级

LevelAI / 推荐系统角色适用场景控制要求
L0 Curate排序公开信息教育内容、FAQ、公开产品说明来源、有效期、基础监控
L1 Suggest给客户或员工建议可选动作自动还款、预算工具、资料补充同意、频控、解释、退订
L2 Guide引导进入受控流程贷款预审、财富风险评估、投诉创建明确非最终决策,正式流程接管
L3 Recommend with review生成个性化建议但需人工或系统复核RM 推荐、信贷运营、复杂产品适当性、审批、记录、抽样
L4 Decide / act自动决定或执行高影响场景原则上避免,低风险可逆动作可考虑强治理、验证、客户救济、kill switch

8. 金融零售场景架构

8.1 Retail Banking

场景推荐目标架构重点Guardrails
现金流健康建议帮客户减少透支和费用交易分类、现金流预测、NBA不羞辱客户,避免过度干预,提供人工和教育路径
自动还款 / 账单提醒降低逾期和费用事件触发 + 风险分群 + 渠道偏好频控、可退订、清楚说明后果
产品教育内容提升金融素养和自助能力内容 catalog + retrieval + ranking不把教育内容伪装成个性化建议
Branch / contact center next action帮员工处理客户问题客户 360 + case context + staff workflow员工可覆盖,输出进入日志和质检

8.2 Wealth / Investment

场景推荐目标架构重点Guardrails
投资教育按客户阶段推荐知识内容内容标签、风险主题、客户目标不直接推荐具体产品,不暗示适合性
Portfolio review prompt提醒客户或顾问复核组合资产配置、风险偏好、市场事件顾问复核,披露,记录
Advisor next-best-action给 RM / advisor 推荐沟通主题客户目标、持仓、生命周期事件suitability、conflict、supervision
Personalized fund recommendation如机构允许,进入正式建议流程KYC/KYP、产品风险、适当性引擎持牌/授权流程、记录、冲突披露、人工或系统审批

8.3 Lending / Credit

场景推荐目标架构重点Guardrails
贷前教育帮客户理解材料和资格内容推荐 + 客户旅程不能承诺批准或费率
Application completion NBA推荐补充材料或下一步申请状态、缺失项、渠道任务不改变正式审批标准
Credit line management prompt提醒客户风险或可选动作风险信号 + 客户权益公平信贷监控、解释、客户救济
Adverse action support解释正式通知和下一步reason code、政策知识库不编造原因,不替代正式通知

8.4 Fraud / Risk Product

场景推荐目标架构重点Guardrails
Fraud alert prioritization给运营团队排优先级异常检测 + case ranking误伤监控、人工复核、客户影响
Customer verification prompt推荐验证方式风险等级、渠道能力、客户偏好不过度摩擦,保护弱势客户
Scam education在高风险信号下推荐防骗教育事件触发 + 内容匹配不暴露检测逻辑,不恐吓客户
Case next action推荐调查步骤图谱、历史案例、规则操作可追溯,员工 accountable

8.5 Merchant / Commerce / Loyalty

场景推荐目标架构重点Guardrails
Merchant offer推荐优惠或商户地理、偏好、库存、合作关系广告披露、频控、隐私同意
Loyalty redemption推荐积分使用方式价值、偏好、到期提醒不隐藏费用和限制
Card-linked offer个性化权益和折扣交易类别、商户 catalog、consent数据用途限制、退订、广告透明

9. Suitability / Advice Boundary

个性化推荐最容易越界的地方,是把“排序信息”变成“建议客户做某个受监管决定”。金融零售必须把教育、产品信息、推荐、建议和交易执行分层。

9.1 边界分层

层级客户问题系统可做系统不可做控制
Education“债券基金和货币基金有什么区别?”推荐教育内容、解释一般风险暗示某产品适合客户批准内容库、有效期、来源
General product information“你们有哪些储蓄产品?”展示公开属性、费用、资格入口根据客户画像说“最适合你”产品 catalog、披露、更新时间
Guided decision support“我想为买房准备资金,怎么了解选项?”引导客户澄清目标,进入正式评估或人工未评估前推荐具体投资产品目标收集、风险提示、人工/正式流程
Personalized recommendation“根据我的账户推荐一个产品”在机构允许且完成适当性控制后给建议绕过 KYC/KYP、风险承受能力和披露Suitability engine、supervision、记录
Transaction execution“帮我买这只基金/申请这笔贷款”跳转正式交易或申请流程用聊天推荐直接替代确认、披露和审批多步确认、审计、冷静期或人工复核

9.2 Suitability control architecture

Customer request
  -> intent and advice-boundary classifier
  -> customer profile freshness check
  -> product risk and restriction lookup
  -> eligibility and suitability policy engine
  -> recommendation / handoff / refusal
  -> disclosure and evidence logging
  -> supervision sampling and complaint monitoring

9.3 Advice boundary 策略

设计点要求
Intent classifier识别教育、比较、个性化建议、交易、投诉和拒绝解释。
Profile freshness过期风险偏好、收入资产、投资目标不能用于个性化建议。
Product risk tags产品 catalog 必须包含风险等级、复杂度、流动性、费用、限制和目标客群。
Reason codes推荐理由要能映射到客户目标、产品属性和适当性规则。
Conflict policy佣金、促销、关联产品和商业优先级不能隐藏。
Supervision高风险推荐要可抽样、可回放、可覆盖、可追责。

10. Feedback Loop、Exploration vs Exploitation、Cold Start

10.1 Feedback loop 的三种风险

风险机制结果控制
Exposure bias只学习被展示过的对象热门产品越推越热,长尾无机会Randomized logging、exploration bucket、coverage metric
Selection bias只有某些客户互动或反馈模型误判沉默客户分群评估、非响应建模、渠道校正
Self-reinforcing bias推荐改变了未来数据系统把自己的历史选择当成真实偏好Holdout、counterfactual eval、policy replay

10.2 显性反馈和隐性反馈

反馈类型示例产品解释
Explicit positive收藏、点赞、选择“有帮助”信号清晰但样本少
Explicit negative不感兴趣、退订、投诉高价值风险信号,要进入 guardrail
Implicit positive点击、停留、申请、完成丰富但含噪,需要结合后续结果
Implicit negative忽略、快速关闭、重复跳过不一定代表不喜欢,可能是时点或渠道问题
Staff feedback采纳、覆盖、修改、原因码适合内部 NBA,但要防 KPI 偏差
Risk feedback逾期、欺诈、投诉、争议滞后强,需要长期评估和分群

10.3 Exploration vs Exploitation

机制适用不适用
Epsilon-greedy低风险内容和 offer 测试高影响金融建议、信贷和财富交易
Contextual bandit渠道、时点、教育内容、低风险下一步需要正式审批或不可逆动作
Thompson sampling多 offer / 多内容在线学习样本小且风险不对称场景
Diversity injection防止同质推荐和热门垄断强资格或合规候选极少时
Exploration holdout长期评估真实增量客户权益不能被剥夺的关键服务

探索策略的产品原则:

  • 探索只能发生在允许探索的候选空间内。
  • 高风险客户、弱势客户、投诉客户、欺诈/信贷/财富高影响流程默认不做无监督探索。
  • 探索流量要有独立监控、上限、kill switch 和分群保护。
  • 探索结果不能只用短期点击判断成功。

10.4 Cold start 策略

Cold start 类型策略关键控制
New customerOnboarding preference、contextual signals、segment prior、教育内容优先避免过度推断敏感偏好
New product / contentMetadata-based retrieval、editorial boost、controlled exploration产品 catalog 必须有风险标签和有效期
New channel使用渠道能力和客户意图做 fallback不把其他渠道行为简单复制
New market / segment分群 pilot、人工审核、conservative ranking公平性和文化/语言适配检查
Sparse feedbackMulti-task learning、proxy outcomes、staff review明确 proxy 与真实价值差距

11. Fairness、Privacy、Consent 与客户信任

11.1 Fairness 不是一个后处理指标

推荐系统公平性要覆盖机会、结果、解释、打扰和补救。

公平性维度推荐系统问题检查方式
Exposure fairness某些群体是否更少看到有价值机会曝光率、资格后曝光率、排名分布
Outcome fairness推荐是否导致不同群体转化、损失或投诉差异分群转化、退订、投诉、违约、误伤
Error fairness哪些群体更容易收到错误或不合适推荐人工抽样、覆盖原因、错误分类
Burden fairness哪些群体被更频繁打扰或要求更多验证频次、摩擦、验证失败、客服升级
Explanation fairness不同群体是否得到同等清晰解释reason coverage、客户理解、投诉文本
Consent capture
  -> consent state service
  -> purpose-based data access
  -> feature eligibility
  -> model / index consumption policy
  -> recommendation serving decision
  -> exposure and audit log
  -> withdrawal propagation
控制产品要求
Purpose limitation数据用于营销、服务、风险、财富建议、训练、eval 的目的要机器可读。
Consent withdrawal撤回后影响线上推荐、缓存、索引、训练样本、日志和第三方处理。
Data minimization推荐任务不需要的敏感字段不进入特征、prompt、日志或实验分析。
Sensitive inference不从行为推断敏感属性并用于销售,除非有明确合法基础和审批。
Preference center客户能管理推荐类型、渠道、频率和退出方式。
Transparency客户能理解为什么收到推荐,以及如何停止或调整。
Vendor control第三方模型、CDP、营销平台和实验平台的数据使用边界必须审查。

11.3 客户信任设计

信任机制推荐系统实现
Why this recommendation用简短原因解释,不暴露敏感推断或风控规则。
Control提供“不感兴趣”“减少此类推荐”“管理偏好”。
Recourse高影响推荐或拒绝相关说明要有人工渠道和正式流程。
Respectful timing避免在财务压力、投诉、欺诈事件后触发不合适销售。
No dark pattern不用个性化操纵客户做高费用、高风险或不适合选择。

12. 指标树、评估与 Guardrails

12.1 指标树

North Star: Governed customer value from personalized decisions
  -> Customer outcome
     -> task completion, useful recommendation rate, satisfaction, trust, complaint reduction
  -> Business value
     -> incremental conversion, revenue quality, retention, cost-to-serve reduction
  -> Risk and compliance
     -> suitability pass rate, adverse outcome monitoring, complaint rate, unsubscribe rate
  -> Model and decision quality
     -> recall@K, NDCG, calibration, uplift, coverage, diversity
  -> Operational quality
     -> latency, availability, fallback rate, staff override quality, incident count
  -> Fairness and privacy
     -> exposure parity, outcome disparity, consent compliance, data minimization breaches

12.2 Offline evaluation

评估类型指标使用方式
Retrieval qualityRecall@K、coverage、candidate eligibility pass rate验证候选池能覆盖相关对象且不混入禁推对象
Ranking qualityNDCG、MAP、AUC、log loss、calibration验证排序与标签一致,但不能替代线上实验
Re-ranking qualityConstraint pass rate、diversity、frequency compliance验证策略层是否执行治理要求
Counterfactual / replayIPS、doubly robust、policy replay缓解曝光偏差,比较策略变更
Segment analysiscohort metric、protected proxy analysis找出整体指标掩盖的群体差异
Stress testsextreme customer states、rare products、policy edge cases发现高风险边界失败

12.3 Online experiments

实验设计适用注意事项
A/B test大多数 UI、排序、内容和 offer 实验必须有 guardrails 和分群检查
Holdout评估长期增量和反馈闭环高价值服务不能不公平剥夺,需伦理和业务审查
Switchback渠道或运营队列级实验适合客服、branch、运营任务
Multi-armed bandit低风险内容/offer 优化高影响金融建议不宜无边界使用
Shadow mode员工或系统不采用推荐,仅收集表现适合高风险策略上线前验证
Champion / challenger已上线策略持续挑战需要版本化、审批和回滚

12.4 Guardrail 指标

Guardrail触发处置
Complaint rate 上升暂停相关策略,审查推荐内容、频次、分群和客户影响。
Unsubscribe / opt-out 上升降低频控阈值,检查渠道和推荐解释。
Suitability exception 上升停止财富或复杂产品推荐,进入监督审查。
Fairness disparity 超阈值启动公平性评审,冻结扩量,调整候选、排序或重排策略。
Latency / fallback 异常切换 fallback 策略,保护渠道体验。
Policy violation立即 kill switch,保留证据,进入 incident review。
Revenue uplift 伴随投诉或风险上升不通过 scale gate,重设目标函数或约束。

12.5 指标陷阱

陷阱表现高级处理
CTR worship点击提升但客户价值下降使用任务完成、投诉、退订、长期结果和客户信任指标
Conversion without suitability转化高但后悔、退订或投诉增加加入 suitability、cooling-off、long-term retention
Average hides harm整体提升但某些群体受损强制 cohort 和 fairness slice
Proxy becomes target员工采纳率被当成质量用质检、客户结果、人工覆盖原因校正
Short window bias实验周期太短看不到风险对信贷、财富、风险干预使用长期 holdout 和滞后指标
No exposure logging无法判断未点击原因记录曝光、位置、候选、过滤和展示上下文
Ignoring inventory模型推荐不可售、过期或不适合产品产品 catalog 和 eligibility 成为上线门禁

13. 推荐策略治理

13.1 Recommendation Strategy Inventory

每个推荐策略都要登记为可治理对象,而不是埋在代码、模型配置或营销平台里。

字段说明
Strategy ID推荐策略唯一编号
Business owner对业务结果和客户影响负责的人
Technical owner对模型、服务、数据和运行负责的人
Risk tier低 / 中 / 高风险,带理由
SurfaceAPP、Web、Email、SMS、客服桌面、RM 工作台、分行系统
Target audience纳入人群和排除人群
Candidate source产品、内容、offer、动作、任务的来源
Objective function排序或优化目标
Eligibility rules资格、合规、地域、产品、客户状态规则
Re-ranking rules多样性、频控、公平、适当性、业务约束
Advice boundary是否涉及个性化建议、销售、信贷或财富边界
Consent basis使用哪些客户数据,基于哪类同意或合法基础
Experiment statusShadow、pilot、A/B、production、retired
Guardrails投诉、退订、公平、风险、延迟、成本阈值
Change process模型、特征、规则、文案、渠道变更的审批路径
Evidence locationPRD、ADR、实验报告、监控、审批、审计证据

13.2 治理节奏

节奏参与方产出
Intake reviewAI PM、Business、Data、Risk、Privacy风险分级、适用边界、数据可用性判断
Design reviewProduct Architect、ML、Data、Compliance、Security架构、数据 contract、candidate/ranking/re-ranking 设计
Pre-launch gateModel Risk、Legal、Fairness、Ops、Channel OwnerEval report、实验设计、guardrail、fallback、kill switch
Production reviewStrategy owner、RiskOps、Data owner、ML Ops监控、投诉、分群、公平、覆盖、特征漂移
Quarterly portfolio reviewExecutive sponsor、AI governance、Audit as neededScale / stop / merge / retire 决策

13.3 Change management

变更审批强度
文案微调且不影响承诺低风险内容审批 + 版本记录
候选过滤规则调整Product + Risk + Compliance review
Ranking model 更新Offline eval + shadow / A/B + model review
新特征加入Data owner + Privacy + Risk review
Advice boundary 变化Legal / Compliance / Supervision 正式审查
高风险渠道扩展Full release gate + incident readiness

14. 可落地交付物模板

14.1 推荐系统产品 PRD 骨架

# [产品 / 场景名称] Recommendation / Personalization PRD

## 1. Business Intent
- 业务目标:
- 客户结果:
- 不进入范围的场景:
- 风险等级和理由:

## 2. Users and Surfaces
- 目标客户 / 员工:
- 渠道和触点:
- 使用时点:
- 人工介入角色:

## 3. Recommendation Object
- 推荐对象类型:
- 候选来源:
- 产品 / 内容 / offer / action owner:
- 有效期、库存和状态规则:

## 4. Decision Boundary
- 系统可做:
- 系统不可做:
- 是否涉及 advice / suitability / credit / complaint / fraud:
- 需要升级人工或正式流程的触发条件:

## 5. Data and Features
- Source-of-truth:
- 事件和曝光日志:
- 客户同意和偏好:
- 特征列表和敏感特征政策:
- 数据质量 SLO:

## 6. Architecture
- Candidate generation / retrieval:
- Ranking:
- Re-ranking / policy engine:
- Serving API:
- Fallback:
- Decision log:

## 7. Metrics and Evaluation
- North star:
- Offline metrics:
- Online experiment:
- Guardrails:
- Fairness / privacy metrics:

## 8. Governance
- Owner / RACI:
- Approval gates:
- Monitoring:
- Incident and kill switch:
- Change management:

## 9. Launch Plan
- Shadow mode:
- Pilot cohort:
- Scale criteria:
- Stop criteria:
- Evidence pack:

14.2 推荐策略清单模板

Strategy IDSurfaceAudienceCandidate sourceObjectiveHard filtersRe-rankingRisk tierOwnerStatus
NBA-CARD-001Mobile appExisting card customersCard action catalogReduce late paymentConsent, account status, no active complaintFrequency cap, risk priorityMediumCard PMPilot
WLT-EDU-002Wealth portalSelf-directed investorsApproved education contentImprove education completionConsent, jurisdiction, content effective dateDiversity, advice boundaryMediumWealth PMProduction
OPS-FRAUD-003Fraud ops desktopFraud analystsCase action libraryReduce investigation timeAnalyst entitlement, case statusSeverity, workload, explainabilityHighRisk ProductShadow

14.3 指标树模板

LevelMetricDefinitionSegmentDecision rule
North starGoverned customer value推荐带来的客户结果和业务价值组合全量 + 关键人群必须伴随 guardrail 通过
CustomerUseful recommendation rate客户认为推荐有帮助或完成任务比例新客、老客、脆弱客户低于阈值不扩量
BusinessIncremental conversion相对对照组的真实增量渠道、产品、人群必须扣除退订和投诉
RiskSuitability pass rate抽样或规则检查通过率财富、复杂产品低于阈值暂停
FairnessExposure parity after eligibility资格过滤后不同群体曝光差异受保护特征代理变量超阈值治理评审
OpsStaff override quality员工覆盖比例和原因队列、团队异常上升触发复盘

14.4 实验设计模板

内容
Hypothesis新 ranking + re-ranking 策略能提升有用推荐率,并不增加投诉、退订或群体差异。
Population具有有效同意、符合资格、无活跃投诉、渠道可展示推荐的客户。
Exclusions高风险投诉客户、人工处理中的客户、适当性资料过期客户、监管限制客户。
TreatmentHybrid candidate retrieval + model ranking + suitability / frequency re-ranking。
Control现有规则策略或人工 curated 策略。
Primary metricUseful recommendation rate 或 incremental completed action。
Guardrails投诉率、退订率、fairness disparity、latency、fallback、policy violation。
Duration覆盖完整业务周期,并包含滞后风险观察窗口。
AnalysisOverall + cohort + channel + risk tier + exposure-adjusted analysis。
Stop rule任一高风险 guardrail 触发即暂停扩量并进入 review。
Evidence实验配置、随机化、曝光日志、统计报告、风险复核、上线批准。

14.5 数据 / 特征 Contract 模板

Contract field内容
Data product nameCustomer Recommendation Feature Product
Business owner客户增长 / 风险 / 财富对应 owner
Data owner数据产品负责人
Consuming strategies允许使用该数据的 Strategy ID
Source-of-truthCRM、core banking、product catalog、consent service、event stream
Schema字段、类型、枚举、必填性
Semantics字段含义、时间窗口、聚合口径、单位
Freshness SLO线上特征最大延迟、批处理窗口
Completeness SLO关键字段完整率目标
Point-in-time rule训练集构造时的时间穿越防护
Sensitive feature policy受保护特征、代理变量、敏感推断的允许/禁止范围
Consent / purpose允许用途、禁止用途、撤回处理
Access control模型、服务、分析师、实验平台权限
Logging policy哪些字段可进入 decision log、model log、eval report
Change processschema、口径、来源、刷新变更审批
Incident trigger质量或权限异常的停用和通知规则

14.6 风险控制矩阵模板

RiskFailure modeControlMetric / evidenceOwner
Unsuitable recommendation客户收到不适合风险等级的财富产品Suitability engine + re-ranking hard filterSuitability pass rate、抽样记录Wealth Risk
Consent violation撤回营销同意后仍被个性化推荐Consent state service + cache invalidationConsent compliance auditPrivacy
Fairness disparity某群体资格后曝光显著偏低Cohort monitoring + fairness reviewExposure parity dashboardFair Lending / Analytics
Feedback loop热门产品长期垄断推荐位Exploration pool + diversity constraintCatalog coverage、Gini indexAI PM
Over-selling收入目标压过客户结果Multi-objective optimization + complaint guardrailComplaint / opt-out / cooling-offProduct Governance
Explanation failure无法说明推荐原因Reason code mapping + decision logExplanation coverageProduct Architect
Data drift特征分布变化导致推荐失效Feature monitoring + fallbackDrift alert、fallback rateML Ops
Channel mismatch高风险产品在不具备披露渠道展示Channel policy engineChannel compliance reportChannel Owner

14.7 治理评审表模板

Review questionEvidence requiredPass criteria
目标函数是否符合客户结果和业务价值PRD、metric tree、实验设计不只优化短期点击或收入
候选集是否经过资格和同意过滤Candidate design、policy rules、测试报告禁推对象无法进入候选或最终展示
是否触及 advice / suitability / credit boundaryBoundary assessment、Legal / Compliance review高风险边界有正式流程和控制
特征是否有 contract 和敏感数据政策Feature contract、privacy review用途、权限、撤回和日志清晰
实验是否有 guardrails 和 stop ruleExperiment spec、dashboard风险指标可自动监控
是否能复盘每一次推荐Decision log sample能还原候选、分数、规则、版本和展示
是否有 fairness 分群评估Cohort report、threshold差异有解释、处置和 owner
是否有 fallback 和 kill switchRunbook、演练记录生产异常可快速降级
变更是否受控Change log、approval record模型、规则、特征、渠道变更有审批

14.8 面试回答模板

## 问题:[推荐系统 / 个性化产品架构问题]

### 30 秒版本
我的核心观点是:金融零售推荐系统不是单纯排序模型,而是带有资格、同意、适当性、风险、评估和治理的 decisioning stack。

### 2 分钟版本
1. 先定义业务目标和客户结果,避免只优化 CTR。
2. 架构上分成 candidate generation / retrieval、ranking、re-ranking、serving、feedback 和 governance。
3. 候选阶段处理资格、同意、库存和监管边界;ranking 阶段预测相关性或价值;re-ranking 阶段执行 suitability、frequency cap、fairness 和渠道策略。
4. 评估不能只看离线 NDCG 或线上转化,还要看投诉、退订、群体差异、长期结果、人工覆盖和策略可解释性。
5. 在财富、信贷和风控场景中,要把 recommendation、advice、decision support 和 automated action 分层,确保人工、正式流程和审计证据存在。

### 追问准备
- 如果面试官问 cold start:我会用 onboarding signals、metadata retrieval、segment prior、受控 exploration 和 conservative fallback,而不是等数据自然积累。
- 如果问 fairness:我会区分资格后曝光公平、结果公平、错误公平和打扰公平,并把它们放进 guardrail dashboard。
- 如果问模型选择:我会用 two-tower 做大规模召回,用 Wide & Deep 或 LTR 做排序,用规则/策略引擎做重排和治理。

15. 30 天训练计划

Day训练主题产出
1选定一个金融零售推荐场景:财富教育、信用卡 NBA、贷前补件、欺诈运营或客服 next action场景一页纸:目标、用户、渠道、风险等级
2绘制端到端 personalization decisioning stack架构图文字版 + 组件责任表
3定义 recommendation object 和 candidate inventory候选对象 catalog 字段表
4设计候选资格和同意过滤Eligibility / consent rules
5设计 two-tower retrieval 方案Query tower、candidate tower、label、ANN 更新策略
6设计 ranking 目标函数标签表、训练窗口、负样本策略
7设计 re-ranking 策略频控、多样性、适当性、公平、渠道约束
8建立特征域和 source-of-truthFeature domain map
9写数据 / 特征 contract可用于 PRD 的 contract 表
10设计曝光、展示、点击、采纳和结果日志Event taxonomy
11设计 feedback loop 和偏差控制Feedback-to-eval loop
12制定 cold start 策略New customer / new item / sparse feedback 策略表
13制定 exploration policy探索范围、流量上限、保护人群、kill switch
14建立指标树North star + offline + online + risk + fairness
15设计 offline evaluationRetrieval、ranking、re-ranking、stress test 指标
16设计 online experimentA/B 或 shadow mode 实验说明
17设计 guardrail dashboard投诉、退订、fairness、latency、policy violation
18做 suitability / advice boundary 评审边界分层表 + 触发人工规则
19做 privacy / consent 评审目的限制、撤回、日志、第三方处理
20做 fairness 评审Exposure、outcome、error、burden fairness
21写推荐策略 inventory3 条策略登记样例
22写 PRD 初稿完整 PRD 骨架填充
23写 ADR:模型和架构选择Two-tower / Wide & Deep / hybrid 决策记录
24写风险控制矩阵8 类风险、控制、证据、owner
25写治理评审表Pre-launch gate checklist
26设计监控和 incident runbook触发阈值、降级、沟通、复盘
27准备 portfolio case一页 executive summary
28准备面试 30 秒回答5 个高频问题短答
29准备面试 2 分钟回答5 个深挖问题结构化回答
30组合成作品集包PRD、架构图、指标树、实验设计、治理包

16. 面试题与参考回答

Q1:如何设计一个金融 APP 的 next-best-action 推荐系统?

30 秒版本:我会把它设计成 governed decisioning stack,而不是单一模型。候选阶段处理资格、同意和场景;排序阶段预测相关性和价值;重排阶段执行适当性、频控、公平和渠道策略;上线用实验和 guardrails 验证客户结果、风险和长期增量。

2 分钟版本

  • 先定义 NBA 的业务目标:减少客户摩擦、提升任务完成、降低风险,还是提高交叉销售。
  • 明确推荐对象:产品、内容、offer、操作步骤或员工任务。
  • 架构分层:candidate generation / retrieval、ranking、re-ranking、decision API、exposure logging、feedback loop。
  • 金融场景必须在候选和重排层加入 consent、eligibility、suitability、complaint suppression、frequency cap 和人工升级。
  • 评估同时看 useful recommendation rate、incremental conversion、complaint、opt-out、fairness slice、long-term retention 和风险结果。

Q2:candidate generation 和 ranking 为什么要分开?

30 秒版本:两者解决不同问题。Candidate generation 解决大规模召回和延迟,ranking 解决精细排序和目标优化。分开后,产品可以在候选阶段做硬边界过滤,在排序阶段优化相关性,在重排阶段执行治理。

2 分钟版本

  • 候选生成面对百万级产品、内容或动作,常用 two-tower、ANN、规则池、语义检索和混合召回。
  • Ranking 面对几百或几千个候选,可以用更重的特征和模型预测点击、完成、长期价值或风险改善。
  • 金融零售不能把所有约束交给模型学习;资格、同意、地域、产品状态、适当性等必须有显式控制。
  • 分层后能分别监控 recall、ranking quality、filter reason、latency、coverage 和策略合规。

Q3:Two-tower 模型适合什么,不适合什么?

30 秒版本:Two-tower 适合大规模召回,把用户上下文和候选对象编码到同一 embedding space,用 ANN 快速找 top K。它不适合单独承担最终排序、合规约束和高风险解释。

2 分钟版本

  • 适合候选空间很大、需要低延迟召回、item metadata 和用户行为都比较丰富的场景。
  • 产品要定义 query tower 输入、candidate tower 输入、positive label、negative sampling、索引刷新和冷启动策略。
  • 风险在于 embedding 相似性难解释、历史曝光偏差会被学习、少曝光候选难进入召回。
  • 在金融零售中,我会把 two-tower 放在 retrieval 层,后面接 ranking、policy engine 和 decision log。

Q4:Wide & Deep 对推荐系统有什么产品意义?

30 秒版本:Wide & Deep 的价值是把 memorization 和 generalization 结合。金融零售里,wide 部分可以显式保留业务规则、强交叉特征和政策语义,deep 部分学习更复杂的偏好和上下文。

2 分钟版本

  • Wide 部分适合客户阶段 x 产品类型、风险等级 x 渠道、资格 x offer 等高置信交叉。
  • Deep 部分适合从行为序列、内容 embedding、产品 metadata 中泛化。
  • 它不是为了替代治理,而是让排序层更好地表达业务语义。
  • 最终仍需要 re-ranking 执行 suitability、frequency、fairness、channel policy 和 disclosure。

Q5:如何避免推荐系统 feedback loop 放大偏差?

30 秒版本:要记录曝光,不只记录点击;要设置探索流量、holdout 和分群评估;要用 counterfactual / replay 方法校正历史策略偏差;还要监控 coverage、fairness、投诉和长期结果。

2 分钟版本

  • 曝光偏差会让模型只学习自己曾经展示过的结果。
  • 热门产品、主流客户和高佣金候选容易被持续放大。
  • 我会建立 exposure log、randomized bucket、exploration pool、coverage metric、cohort analysis 和 policy replay。
  • 高风险场景中探索要非常保守,只能在已通过资格和风险审查的候选空间内进行。

Q6:金融财富推荐如何守住 advice boundary?

30 秒版本:我会把教育、一般产品信息、引导评估、个性化建议和交易执行分层。未完成 KYC/KYP、风险承受能力、产品风险和必要披露前,系统不能把排序结果包装成“适合你的投资建议”。

2 分钟版本

  • 教育内容可以推荐,但要来自批准知识库。
  • 产品比较可以展示公开属性、费用和风险,但不能暗示适合某客户。
  • 一旦客户提供个人目标、期限、资金和风险偏好并要求建议,就进入适当性或持牌顾问流程。
  • 个性化建议需要 profile freshness、product risk tags、suitability engine、conflict disclosure、supervision 和记录保留。
  • 交易执行必须进入正式交易界面和确认流程。

Q7:推荐系统的指标树怎么设计?

30 秒版本:我不会只设 CTR。顶层是受治理的客户价值,下面分客户结果、业务价值、风险合规、模型质量、运营质量、公平和隐私。

2 分钟版本

  • 客户结果:任务完成、有用率、满意度、投诉下降。
  • 业务价值:增量转化、留存、收入质量、服务成本下降。
  • 模型质量:Recall@K、NDCG、calibration、coverage、diversity。
  • 风险合规:适当性通过率、投诉、退订、policy violation。
  • 公平隐私:资格后曝光差异、结果差异、同意合规。
  • 实验上线必须同时通过主指标和 guardrails。

Q8:如何处理 cold start?

30 秒版本:我会按 new customer、new item、new channel 和 sparse feedback 分别处理,用 onboarding signals、metadata retrieval、segment prior、editorial boost、受控探索和 conservative fallback,而不是等模型自然学会。

2 分钟版本

  • 新客户:用当前意图、渠道、生命周期和客户主动偏好,优先推荐教育和低风险动作。
  • 新产品:依赖产品 metadata、风险标签、内容相似性和受控曝光。
  • 新渠道:先按渠道能力和用户任务设计 conservative fallback。
  • 稀疏反馈:用多任务学习和 proxy label,但要承认 proxy 与真实价值的差距。

Q9:推荐系统如何做公平性治理?

30 秒版本:公平性要看资格后的曝光、结果、错误、打扰和解释,不只是整体转化。治理上要把 fairness slice 放进实验、监控、上线门槛和季度策略复盘。

2 分钟版本

  • 先确认哪些特征不能直接使用,哪些代理变量需要监控。
  • 再定义 eligibility-adjusted exposure,避免把资格差异和模型偏差混在一起。
  • 监控不同群体的推荐机会、转化、投诉、退订、误伤和人工覆盖。
  • 如果发现差异,要分析来源:候选池、排序模型、重排规则、渠道可达性还是产品资格。
  • 处置可以是约束调整、候选扩展、目标函数修正、人工审查或策略暂停。

Q10:如何向高管解释推荐系统上线风险?

30 秒版本:我会用风险分层解释:低风险内容推荐可以快速实验,高风险财富、信贷和风控推荐必须有同意、适当性、公平、解释、人工、监控和 kill switch。上线不是模型审批,而是整个决策系统的治理审批。

2 分钟版本

  • 高管关心的不只是模型准确率,而是客户影响、监管风险、收入质量和可运营性。
  • 我会展示 strategy inventory、架构分层、数据 contract、指标树、实验结果、guardrail dashboard、风险控制矩阵和治理评审记录。
  • 同时给出 scale / stop rule:哪些指标达标扩量,哪些风险触发暂停。
  • 这样推荐系统不是黑盒增长工具,而是可审计、可复盘、可调整的客户决策能力。

17. 作品集交付包

Artifact证明的能力面试表达
Recommendation PRD能把业务目标、客户结果、架构和治理写成产品规格“我不是只写用户故事,而是把推荐系统作为 decisioning product 设计。”
Architecture diagram能拆解 retrieval、ranking、re-ranking、serving 和 feedback“我能解释每层为什么存在,以及风险控制点在哪里。”
Candidate and strategy inventory能治理推荐对象和策略“线上策略不是散落配置,而是可登记、可审查、可退役资产。”
Data / feature contract能把数据产品化给 AI 消费“推荐质量由特征契约、同意、血缘和 SLO 支撑。”
Metric tree and experiment design能评估真实增量和风险“我不会只用 CTR 做上线决策。”
Risk control matrix能连接产品、模型、隐私、合规和运营风险“每个风险都有控制、证据和 owner。”
Governance review pack能把 AI 推荐系统带入正式生产治理“我能组织 pre-launch gate、变更管理和季度 portfolio review。”
Interview answer bank能把复杂架构压缩成清晰表达“我能同时讲产品价值、模型架构、治理边界和金融监管敏感点。”

References