1. 题目与适用场景
一款 SaaS 产品准备把月费从 49 元提高到 59 元。团队预计短期收入会上升，但担心转化、退款和续费率下降。请设计一个价格实验，说明实验对象、分组、核心指标、长期护栏、样本量、停止条件、客户沟通和实验结束后的 rollout。假设企业客户和个人客户的合同周期不同。
2. 面试官考察点
- 是否把价格变量与包装、功能、营销活动和支付流程隔离。
- 是否同时衡量转化、ARPU、净收入、毛利和留存，而非只看付款率。
- 是否能为退款、投诉、续费和流失定义有业务意义的护栏阈值。
- 是否理解样本量、显著性、分群、网络效应和长期观察窗口的限制。
3. 回答前需要澄清的问题
- 实验面向新用户、续费用户，还是现有客户的合同更新？
- 价格变化是否同时改变功能、折扣、账期或税费展示？
- 企业合同、地区、币种和销售谈判是否需要排除或分层？
- 用户看到价格后多久会购买、续费或流失，最短观察窗口多长？
4. 30 秒回答框架
先提出可证伪假设，例如提高价格 20% 后，净收入提升至少 8%，且 90 天续费率下降不超过 2 个百分点。随机把符合条件的用户分到控制价和实验价，保持功能、结账和营销一致。核心指标同时看净收入或每访客收入、转化、ARPU 和毛利；留存、退款、投诉和支付失败作为护栏。上线前做功效分析，预设明显回归的自动停止阈值；除严重故障外不因早期波动提前下结论，结束后按分群和长期结果决定 rollout。
5. 分步骤深入解答
第一步：定义假设与实验单位
价格实验的变量应尽量只有价格。明确实验单位是用户、账户、合同还是会话，避免同一账户的成员看到不同价格。对企业客户，按合同或续费事件分配通常比按页面会话更稳定；对新用户，可以按稳定的用户 ID 分配并保持整个购买流程一致。
第二步：设计控制组和实验组
控制组继续看到 49 元，实验组看到 59 元。随机分配应在定价页之前完成，并把分组结果写入报价、结账、发票和客服上下文，避免刷新或跨设备导致漂移。对地区、币种、税费和折扣规则使用预先确定的分层，不能在结果出来后临时挑选有利群体。
eligible user -> stable assignment -> price_id
control -> 49 CNY -> control checkout -> invoice
treatment -> 59 CNY -> treatment checkout -> invoice第三步：建立指标树与护栏
主指标应对应假设，例如每个合格访客的净收入，或每个账户在观察窗口内的毛利。辅助指标包括转化率、ARPU、折扣使用和支付成功率。护栏关注长期健康：续费率、退款率、投诉率、客服工单、活跃度和流失率。每个护栏都要有最小可检测变化和停止阈值，避免堆几十个噪声指标造成误判。
第四步：估算样本量与观察窗口
先指定基线、最小可检测变化、显著性水平、统计功效和分组比例，再计算所需样本。价格对续费的影响可能滞后于首次转化，因此至少覆盖一个完整续费周期；如果企业合同周期更长，应把续费队列作为后续分析，而不是把短期结果当成最终答案。实验期间持续监控明显支付故障，主指标按预设时长读取。
第五步：控制风险、沟通与 rollout
先用小流量验证价格 ID、税费、优惠、发票和客服脚本，再扩大比例。不要让同一市场的用户因截图或链接产生无法解释的不公平感；必要时限制实验对象、使用明确的试用或续费规则，并准备支持团队的话术。实验结束后先锁定分析脚本和数据版本，再按总体与关键分群结果决定全量、局部 rollout 或回滚。
6. 高质量示范回答
我会先把问题写成可证伪假设：59 元是否让每个合格访客的净收入提升，同时把 90 天续费下降控制在阈值内。按稳定用户或账户随机分组，只改变价格，保证结账、发票和折扣逻辑一致。主指标看净收入或毛利，转化、ARPU 和支付成功率做辅助，续费、退款、投诉、流失和客服负担做护栏。上线前完成功效分析和最短观察窗口，严重故障触发自动停止，普通波动不提前窥视。结束后按预先登记的分群和长期结果决定 rollout，并记录价格、样本、估计区间和未决风险。
7. 常见错误
- 只看短期收入 → 把折扣猎手或提前购买当成长期价值 → 加入续费、退款和流失护栏。
- 同时改价格和功能 → 无法归因 → 一次只改变一个主要变量。
- 按会话随机且不持久化 → 用户刷新后价格漂移 → 使用稳定用户或账户分配。
- 看见早期显著就停止 → 放大噪声和季节性 → 预先规定时长，只有故障阈值可提前停止。
- 添加过多护栏 → 噪声指标触发错误回滚 → 选择少量关键指标并做功效评估。
8. 追问及应对
追问一：如何处理现有客户与新客户？
分开定义人群和假设。新客户实验关注购买和早期激活，现有客户应按续费或合同更新事件分配，避免打破已承诺价格；两者不能直接合并为一个平均效果。
追问二：如果转化下降但净收入上升，如何决策？
先检查毛利、退款、续费和关键分群。如果净收入提升来自短期高价购买，却伴随超阈值的留存或信任损失，不能直接全量；可以缩小人群、调整包装或继续观察完整续费周期。
追问三：什么时候允许提前停止？
支付故障、错误计费、投诉激增或明显超过预设护栏的回归可以触发安全停止。普通主指标波动应继续按设计运行；若要持续监控并频繁读取结果，应事先采用支持序贯检验的方法。
追问四：怎样避免价格实验污染账单系统？
给每个变体稳定的 price ID，在报价、结账、发票、退款和分析中传递实验分组。做端到端回归，验证刷新、跨设备、升级、降级、优惠和续费都不会跨组或错误计费。