数据科学面试：如何用 CUPED 降低实验方差而不改变因果估计？

面试官考察点

这道题考察实验设计、因果估计和数据质量边界。面试官希望看到你能区分“降低估计方差”和“改变业务指标”，能说明协变量必须来自处理前，能推导校正后的均值差，并提出 A/A、随机分配和敏感性分析来验证结果。Microsoft 将 CUPED 描述为利用处理前数据移除可解释波动的方差缩减方法；这支持方法的工程代表性，但不能推出任何公司的固定面试频率。

• 是否明确随机化仍是无偏性的基础。
• 是否解释协变量与结果指标的相关性如何影响方差。
• 是否识别处理后特征、缺失值和样本选择造成的泄漏。
• 是否给出上线前后可复现的统计验证，而非只报一个显著性数值。

30 秒回答框架

先说边界：CUPED 只用处理前协变量做调整，不替代随机化，也不把处理后行为放进模型。对每个实验单位计算结果指标 Y、处理前协变量 X，在全体随机化样本上估计 theta = Cov(Y, X) / Var(X)，再用 Y' = Y - theta * (X - mean(X)) 比较处理组和对照组。若 X 与 Y 相关，Y' 的方差会下降；因为 X 在处理前且与处理独立，平均处理效应仍保持目标含义。最后用 A/A、预先固定分析规则、置信区间和原始指标对照验证。

回答前需要澄清的问题

1. 实验单位是用户、账户、设备还是市场？随机化层级决定标准误和协变量聚合方式。
2. 结果指标是均值、比例、比率还是分位数？估计量不同，校正和置信区间不能直接套用。
3. 协变量是否在分流前冻结，是否覆盖所有随机化单位？缺失值如何处理？
4. 是否存在网络干扰、触发条件或实验中途换桶？这些会破坏简单的独立同分布假设。
5. 目标是缩短实验时长、检测更小效应，还是降低报告波动？验收指标应先写清楚。

分步骤深入解答

第一步：先固定随机化和分析单位

把单位、分流键、触发规则和主要指标写入实验协议。CUPED 是估计阶段的方差缩减，不能修复处理组与对照组分配错误、样本比率偏差或网络干扰。协变量应在处理发生前取得，并按同一实验单位聚合；如果一个账户有多台设备，不能把设备级协变量直接当成账户级独立样本。

第二步：构造处理前协变量

选择与结果指标相关、但不会被处理影响的历史行为，例如实验前固定窗口内的活跃次数。先在实验开始前锁定窗口和计算逻辑，再把协变量与实验单位连接。对缺失值、极端值和新用户设定预先规则；不能看到结果后再挑选“最相关”的特征，否则会把分析变成事后模型选择。

第三步：推导校正量

theta = Cov(Y, X) / Var(X)
Y_prime = Y - theta * (X - mean(X))
ATE_prime = mean(Y_prime | T=1) - mean(Y_prime | T=0)

当 X 与 Y 正相关时，校正会移除两组共同的可解释波动。theta 可以用实验前历史数据估计，也可以按预先冻结的全体实验样本估计；关键是不能让处理结果反过来决定协变量或校正规则。对比例、比率和重尾指标，应明确采用适配的估计量与稳健标准误。

第四步：证明估计目标未改变

随机化使处理指派与处理前 X 独立。校正项的期望在两组相同，因此处理组和对照组的均值差仍针对同一个平均处理效应；变化主要体现在估计方差。回答时要强调，这是在设计和假设成立时的结论，不代表任何回归调整都自动无偏。若触发率不同、协变量缺失与处理相关，需回到实验单位和估计目标重新定义。

第五步：用对照实验和敏感性分析验收

先做 A/A 或历史回放，检查校正后处理效应是否围绕零、置信区间覆盖率是否合理、协变量是否平衡。上线实验同时报告原始指标和校正指标、方差缩减比例、样本数、分流比例和缺失率。对 theta 的估计窗口、协变量截断、不同用户层级做敏感性分析；如果结论只在一个任意规则下成立，就不能把结果作为稳健证据。

高质量示范回答

我会先确认实验单位和随机化层级，再把主要结果 Y 与处理前冻结的协变量 X 写入分析协议。CUPED 的校正是 Y' = Y - theta * (X - mean(X))，其中 theta 来自协方差除以协变量方差。随机化保证 X 与处理独立，所以在没有泄漏、分流正确且估计量匹配的前提下，处理组与对照组的期望差仍是同一处理效应；相关性越强，估计方差通常越低。

我不会使用实验开始后的点击、订单或留存作为协变量，也不会看到结果后反复挑特征。上线前冻结时间窗口、缺失和极端值规则，做 A/A 验证校正后的假阳性率与置信区间。上线时同时发布原始和校正结果，监控分流比例、触发率、协变量平衡、方差缩减和结论敏感性。若网络干扰或单位跨层级聚合存在，我会先修正实验设计，再讨论 CUPED。

常见错误

• 把 CUPED 说成“让指标变好”，忽略它只改变估计精度。
• 使用处理后的行为作为协变量，造成 post-treatment leakage。
• 只报告方差下降百分比，不报告原始指标、效应区间和 A/A 结果。
• 在看到结果后自由选择协变量、截断规则或分析窗口。
• 忽略随机化层级，把用户级实验当成设备级独立样本。
• 对比率、分位数或重尾指标直接套用均值公式，却没有说明标准误估计。

实现取舍

根据实验规模、协变量质量与上线风险决定是否采用 CUPED，并用模拟与护栏指标验证。

追问及应对

如果协变量与结果几乎不相关，还要用 CUPED 吗？

收益会接近于零，甚至因估计噪声带来复杂度。先用预实验数据估计相关性和方差收益，再决定是否启用；不能为了使用方法而制造报告指标。

可以用多个协变量吗？

可以把单变量投影扩展为多变量回归调整，但要冻结特征、处理共线性并使用与实验设计匹配的标准误。协变量越多不等于越好，必须用交叉验证或预注册规则限制过拟合。

为什么不能用实验中的点击次数？

点击可能已经被处理影响，调整它会切掉处理效应的一部分或引入碰撞偏差。只有明确位于处理之前、且不会被处理改变的变量才可作为 CUPED 协变量。

方差下降但处理效应方向改变，怎么办？

先检查指标口径、样本连接、缺失和极端值，再比较原始与校正结果的置信区间。若方向改变且不是抽样波动，应停用该分析版本，查找泄漏或估计量不匹配原因。

如何把 CUPED 结果交给产品决策？

同时给出业务效应、置信区间、原始指标、校正指标、方差收益、实验持续时间和假设限制。产品决策依赖最小有意义效应与风险边界，不应只看校正后的显著性。

评分标准

如果候选人能把方差缩减、因果边界、数据质量和产品决策连成可复现流程，可评为强通过；如果只会调用库函数、无法解释泄漏和随机化，则应继续追问。