题干与适用场景
一次 A/B 实验让核心转化率显著上涨，但页面加载时间和客服投诉率下降。你会如何判断实验是否可信，并决定继续、暂停、回滚或扩大发布？
Microsoft 的实验平台实践把成功指标、护栏指标和数据质量指标分开持续监控；护栏回归不应被单一主指标的上涨掩盖。题目考察预先定义规则、诊断因果和承担用户风险的能力。
面试官考察点
候选人应先确认实验随机化、样本比、埋点和统计功效，再区分护栏的严重性、持续时间和用户影响。答案需要给出停止阈值、调查动作、利益相关者沟通和后续实验设计，而不是只说“看更多数据”。
30 秒回答框架
“我不会直接发布。先检查 SRM、埋点丢失、样本量、分层和时间窗口，确认护栏回归是真实且集中在处理组。若加载和投诉超过预设硬阈值，立即暂停或回滚；若是轻微且不确定，缩小流量并延长预先承诺的观察期，同时做分群和机制分析。只有主指标收益在可接受护栏范围内、数据质量可信且风险可逆，才逐步扩大。”
分步骤深入解答
第一步：回到实验协议
检查假设、主要指标、护栏、最小可检测差异、样本量、运行时长、随机化单位和停止规则。实验开始后不能因为看到结果才修改成功标准，否则会产生选择偏差。
第二步：先验证数据质量
检查样本比例不匹配、曝光日志、事件丢失、版本混流、机器人流量和埋点变更。若数据质量指标异常，先标记结果不可决策，不能把“显著”当成真实效果。
第三步：判断护栏严重性
为加载时间、错误率、投诉和退款等护栏定义硬阈值、软阈值和持续时间。性能或安全硬阈值越界时自动暂停；轻微噪声可进入调查，但不能无限延长风险暴露。
第四步：做分层与机制分析
按设备、网络、地区、用户新旧和关键流程分层，寻找回归集中位置。检查页面性能、漏斗摩擦、客服触发原因和功能使用路径，判断主指标上涨是否来自短期诱导或牺牲长期体验。
第五步：选择动作
硬阈值越界：停止实验并回滚。中等风险且证据不确定：降低流量、修复问题后重启。护栏稳定且收益可复现：按预设阶段逐步扩大。每个动作写入实验决策记录，避免口头改变规则。
第六步：处理多指标统计
主指标、护栏和质量指标用途不同，不要把所有指标简单平均。对护栏可使用非劣效或阈值判断，对主指标使用预先指定的置信区间和效应大小，同时报告不确定性和多重比较风险。
第七步：沟通用户与团队风险
向工程、设计、客服和合规说明影响范围、证据、停止条件和恢复计划。若收益来自伤害少数分群，应把分群结果和补救方案写清楚，而不是只汇报总体平均值。
第八步：沉淀后续实验
修复性能或体验问题后重新注册实验，保留原实验不可变结果。必要时拆分机制实验、增加长期留存和投诉护栏，并为自动告警、暂停和回滚建立责任人。
设计取舍与边界
立即回滚还是继续收集证据
硬阈值和不可逆伤害要求立即停止；轻微且可逆的回归可以在缩小流量下收集证据。关键是阈值在实验前确定，不能事后迎合结果。
统计显著还是业务重要
大样本能让微小差异显著，产品决策还要看效应大小、成本和分群影响。护栏的“非显著下降”也可能值得关注，尤其当样本不足或风险高时。
总体收益还是分群公平
总体主指标上涨不代表每个群体受益。对关键群体设置独立护栏和最小效果要求，避免平均数掩盖集中伤害。
失败演练与演进计划
SRM 或埋点丢失
故意改变曝光日志，确认质量告警阻止自动发布，并保留实验状态供修复后重新分析。
低端网络性能恶化
让低端设备流量的加载时间超过硬阈值，验证自动暂停或回滚而不是继续扩大流量。
护栏轻微下降但持续
设置软阈值和最长观察期，确认到期前若无机制解释就停止或重做实验。
常见误区与追问
误区一：主指标显著就发布
追问：哪些护栏是硬停止条件？分群是否出现相反结果？
误区二：把所有指标平均成一个分数
追问：为什么性能、安全和投诉不能被转化率简单抵消？
误区三：发现结果后才改样本量或终点
追问：如何避免提前停止和选择性报告？
误区四：只看总体平均
追问：低端设备、新用户或关键地区是否有集中回归？
误区五：没有责任人和回滚路径
追问：谁在夜间暂停实验，多久能恢复到安全版本？
延伸追问与参考答案
什么时候允许继续实验？
数据质量通过、护栏未越硬阈值、风险可逆且已降低流量时，可以按预先承诺的观察期继续。
如何解释“主指标涨、投诉涨”？
先验证数据和分群，再判断体验摩擦是否换来了短期转化。若用户伤害超过护栏，应暂停并修复，而不是只优化主指标。
如何让规则可执行？
把阈值、告警、暂停、回滚、审批人和记录模板写入实验平台，减少依赖个人临场判断。