データサイエンス面接：CUPEDは因果推定対象（estimand）を変えずにどのように分散を削減するのか？

面接官が評価するポイント

この質問は、実験設計、因果推論、データ品質の境界をテストします。面接官は、ビジネス指標そのものの変更と推定量分散の低減を明確に区別できているか、共変量を介入前に保っているか、調整後の平均差を導出できるか、そしてA/Aテスト、ランダム化チェック、感度分析を提案できるかを確認しようとしています。Microsoftは、CUPEDを「実験前のデータを使用して説明可能な変動を取り除く分散削減手法」と説明しています。これは手法のエンジニアリング上の重要性を裏付けるものですが、特定の企業における面接での出題頻度を保証するものではありません。

• ランダム化が不偏性の根拠として維持されているか。
• 共変量の相関が推定量の分散にどのように影響するかを説明できるか。
• 介入後の特徴量、欠損値、またはサンプル選択によるリークを特定できるか。
• 単一の有意性数値だけでなく、再現可能な統計的チェックを提供できるか。

30秒の回答フレームワーク

境界から始めます：CUPEDは介入前の共変量を用いて調整を行います。ランダム化を置き換えるものではなく、介入後の行動を使用することもありません。各実験単位について、アウトカム Y と介入前共変量 X を計算し、ランダム化されたサンプル上で theta = Cov(Y, X) / Var(X) を推定し、Y' = Y - theta * (X - mean(X)) を用いてグループ間を比較します。X が Y と相関している場合、調整済みのアウトカムは分散を低減できます。X は介入前に測定され、割り当てから独立しているため、平均トリートメント効果（ATE）は本来の目標の意味を維持します。最後に、A/Aチェック、分析ルールの事前凍結、信頼区間、および未調整の生指標との比較で締めくくります。

回答前の明確化のための質問

1. 実験単位はユーザー、アカウント、デバイス、それとも市場ですか？ランダム化のレベルによって標準誤差と共変量の集約方法が決まります。
2. アウトカムは平均値、比率、割合（レシオ）、またはパーセンタイルですか？推定量と信頼区間の算出方法はこれに一致する必要があります。
3. 共変量は割り当て前に凍結され、すべてのランダム化単位で観測されていますか？欠損値はどのように処理されますか？
4. 単純な独立性を侵害する干渉（SUTVA違反）、トリガー条件、または実験途中のバケット再配置の問題はありますか？
5. 目的は実験期間の短縮、検出可能な効果（MDE）の縮小、それともレポートのノイズ削減ですか？まず合格基準となる指標を定義してください。

ステップ別の詳細解説

ステップ 1：ランダム化単位と分析単位を固定する

実験プロトコルに、単位、割り当てキー、トリガールール、プライマリ指標を明記します。CUPEDは推定段階における分散削減手法であり、割り当てエラー、サンプル比率の不一致（SRM）、または干渉を修復することはできません。介入前に共変量を測定し、同じ実験単位で集約します。1つのアカウントが複数のデバイスを持つ場合、デバイスレベルの共変量は自動的にアカウントレベルの独立した観測値にはなりません。

ステップ 2：介入前共変量を構築する

アウトカムと相関があり、かつ介入の影響を受けない過去の行動（実験前の固定期間におけるアクティビティなど）を選択します。実験開始前にその期間と計算ロジックを凍結し、実験単位に共変量を結合（join）します。欠損値、外れ値、新規ユーザーに関するルールを事前に定義します。結果を確認した後に特徴量を選択すると、その分析は事後的なモデル選択（p-hacking）になってしまいます。

ステップ 3：調整を導出する

theta = Cov(Y, X) / Var(X)
Y_prime = Y - theta * (X - mean(X))
ATE_prime = mean(Y_prime | T=1) - mean(Y_prime | T=0)

X と Y に正の相関がある場合、この調整によって共通の説明可能な変動が除去されます。theta は実験前の履歴データ、または事前登録された全サンプルルールから推定します。介入結果に基づいて共変量や調整ルールを選択してはなりません。比率指標、パーセンタイル、裾の重いアウトカムについては、推定量とロバスト標準誤差の手法を明示してください。

ステップ 4：推定対象（estimand）が変わらないことを示す

ランダム化により、割り当ては介入前の X から独立します。調整項の期待値は両グループで等しくなるため、平均差は依然として同じ平均トリートメント効果をターゲットとします。主な変化は推定量の分散です。この結論は設計と仮定に依存します。すべての回帰調整が自動的に不偏になるわけではありません。トリガー率が異なる場合や、欠損が介入に依存する場合は、分析単位と推定対象を再検討してください。

ステップ 5：対照実験と感度分析で検証する

まずA/Aテストまたは過去データのリプレイを実行します。調整後の効果がゼロ付近を中心とし、区間カバレッジが妥当であり、共変量のバランスが維持されていることを確認します。本番の実験では、生指標と調整後指標、分散削減率、サンプルサイズ、割り当て比率、欠損値をレポートします。感度分析として、凍結した推定期間、共変量のトリミング、ユーザーレベルの集約方法を変化させて検証します。単一の恣意的なルールでのみ成立する結論は、堅牢なエビデンスとは言えません。

模範解答の例

まず実験単位とランダム化レベルを確認し、次にプライマリアウトカム Y と事前凍結した介入前共変量 X を分析計画に組み込みます。CUPEDは Y' = Y - theta * (X - mean(X)) を使用し、theta は共分散を共変量の分散で割って推定します。ランダム化により X は介入から独立しているため、リークがなく、正しい割り当てが行われ、適切な推定量を使用していれば、グループ間の期待差は依然として同じトリートメント効果をターゲットとします。相関が強ければ通常、推定量の分散は低下します。

介入後に観測されたクリック、注文、リテンションを共変量として使用することはせず、結果を見た後に特徴量を繰り返し選択することも避けます。実験開始前に期間、欠損値、外れ値のルールを凍結し、偽陽性率と区間カバレッジに関するA/Aチェックを実行します。本番環境では生の結果と調整後の結果を両方公開し、割り当て、トリガー率、共変量バランス、分散削減率、感度を監視します。干渉や異なるレベル間の集約が存在する場合は、CUPEDを検討する前に実験設計自体を修正します。

よくある間違い

• CUPEDが推定精度を向上させるのではなく、指標そのものを改善すると述べる。
• 介入後の行動を共変量として使用し、ポストトリートメント・リークを引き起こす。
• 生の効果、信頼区間、A/Aのエビデンスを示さず、分散削減率のみをレポートする。
• 結果を見てから共変量、トリミング、期間を選択する。
• ランダム化レベルを無視し、デバイス単位の行を独立したユーザーサンプルとして扱う。
• 標準誤差を指定せずに、比率、パーセンタイル、または裾の重いアウトカムに単純な平均の公式を適用する。

実装におけるトレードオフ

実験規模、共変量の品質、リリースリスクに基づいてCUPEDを採用し、シミュレーションとガードレール指標を用いて検証します。

フォローアップ質問と回答

共変量とアウトカムの相関がほとんどない場合はどうなりますか？

得られる効果はほぼゼロになり、推定ノイズによって複雑さが増す可能性があります。手法を適用する前に、実験前データから相関と期待される分散削減量を推定してください。単に手法を使うためだけにレポート指標を作成してはなりません。

複数の共変量を使用できますか？

はい、多変量回帰調整へと射影を拡張できます。ただし、特徴量を事前に凍結し、多重共線性を処理し、実験設計に一致する標準誤差を使用してください。共変量を増やせば自動的に良くなるわけではありません。事前登録や交差検証によって過学習を抑制すべきです。

なぜ実験中のクリック数を使用してはいけないのですか？

介入がクリック数に影響を与える可能性があるためです。それらを調整すると、トリートメント効果の一部が取り除かれたり、合流点バイアス（collider bias）が導入されたりする可能性があります。CUPEDの共変量は介入前に測定され、割り当ての影響を受けないものでなければなりません。

分散は減少したものの、効果の方向性が逆転した場合はどうしますか？

指標の定義、テーブル結合、欠損値、外れ値を確認し、生指標と調整後指標の信頼区間を比較します。方向の変化がサンプリングノイズでない場合は、その分析バージョンを停止し、リークや推定量の不一致を調査します。

プロダクトの意思決定者にCUPEDをどのように説明しますか？

ビジネス効果、信頼区間、生指標、調整後指標、分散の改善度、実験期間、前提条件をセットで提示します。意思決定は、調整後の有意性だけでなく、最小有意検出効果（MDE）とリスク境界に基づいて行われます。

評価基準（ルーブリック）

優れた候補者は、分散削減、因果の境界、データ品質、プロダクトの意思決定を再現可能なワークフローへと結びつけます。ライブラリ関数を呼び出すだけで、リークやランダム化について説明できない候補者には、さらなる深掘り質問が必要です。