課題と状況設定
目に見える結果は、観測されたアウトカムを持つユーザーの間でのみ測定されています。この面接では、解約したユーザー、テレメトリに失敗したユーザー、またはフィルタリングされたユーザーに系統的な違いがあるかどうか、そしてどのようにして妥当な意思決定母集団を復元するかについて問われています。
面接官がテストしていること
- 生存者バイアスを選択された生存者による条件付けとして認識できるか。
- アウトカム率を確認する前に割り当て分母を再構築できるか。
- 欠損、曝露（exposure）、および処置効果（treatment effects）を明確に区別できるか。
回答前に確認すべき質問
- 主な推定対象（estimand）は、割り当てられた全ユーザーを対象とする ITT（intent-to-treat）ですか、それともプロトコル準拠（per-protocol）効果ですか？
- ユーザーはいつ、なぜ離脱したり、テレメトリを無効化したり、対象外になったりする可能性がありますか？
- アーム別およびセグメント別の割り当て数、曝露数、アウトカム数は利用可能ですか？
- リテンションフィルターは実験開始前に定義されていましたか、それとも結果を見てから導入されましたか？
30秒の回答フレームワーク
私なら意思決定を一旦保留し、割り当てから曝露、アウトカムに至るファネルを再構築した上で、アーム間の離脱率（attrition）を比較します。主要分析では、ランダム化されたすべてのユーザーを分母に残し、欠損アウトカムを明示的に処理する必要があります。サンプル比率の不一致（sample-ratio mismatch）、テレメトリの欠落、および処置前セグメントを調査し、妥当な欠損アウトカムを考慮した感度境界（sensitivity bounds）を報告します。生存者のみにおけるアップリフトは記述的な意味を持ち得ますが、より強い仮定がなければローンチ判定の効果として扱うことはできません。
ステップ別の詳細解説
1. 母集団を定義する
分析単位、割り当てのタイミング、適格性ルール、および測定期間を指定します。ITT 母集団に割り当てられたすべてのユーザーを保持し、機能を開いたユーザーやアクティブのまま残ったユーザーに暗黙のうちに置き換えないようにします。
2. ファネルを再構築する
アームごとに、割り当てユーザー数、曝露ユーザー数、アクティブユーザー数、観測されたアウトカム数、および欠損アウトカム数を集計します。割合と絶対数の両方を追加します。処置によって早期離脱が増加する場合、生存者間のコンバージョン率の上昇と全体のコンバージョンの悪化が同時に発生する可能性があります。
3. 選択メカニズムを診断する
サンプル比率の不一致（sample-ratio mismatch）、ロールアウトルール、クライアントのバージョン、地域、デバイス、レイテンシ、イベント配信状況を確認します。残存ユーザーと欠損ユーザーの処置前行動を比較します。欠損が処置やアウトカムのリスクに依存している場合、完全ケース分析（complete-case analysis）にはバイアスが生じます。
4. 主要な推定値を選択する
ローンチ判断には ITT を使用し、欠損アウトカムは事前指定されたルールまたは境界によって処理します。プロトコル準拠（per-protocol）または生存者のみの結果は副次的なものとして報告し、その前提条件を明記します。ランダム化やテレメトリに問題がある場合は、無理に勝者のストーリーを作るのではなく、パイプラインを修正するか実験を再実行します。
5. 不確実性を伝える
アーム別の件数、離脱の差、信頼区間、および感度シナリオを提示します。セグメンテーションは処置前変数のみに基づいて行い、分析を事前指定します。妥当な欠損アウトカムの仮定によって結論が変わる場合は、エスカレーションを行います。
高品質な回答例
「私ならローンチを一時停止し、両アームの割り当てからアウトカムに至るファネルを再構築します。私の主要な推定ではランダム化されたすべてのユーザーを維持し、生存者のみのコンバージョンは副次的なものと位置づけます。サンプル比率の不一致、テレメトリの損失、アーム固有の離脱をテストし、観測されたユーザーと欠損ユーザーの間で処置前のリスクを比較します。ITT の区間推定に加えて感度境界を提示し、もし結論が検証不可能な欠損アウトカムや不具合のあるランダム化パスに依存している場合は、実験を修正するか再実行します。」
よくある間違い
- アクティブユーザーのみを使用する → 処置に関連する解約が見えなくなる → ITT のために割り当てられたすべてのユーザーを保持する。
- 欠損イベントをランダムとして扱う → テレメトリの損失はアームやアウトカムに依存する可能性がある → 欠損性を診断し、感度を報告する。
- 曝露を自動的に分母と呼ぶ → 曝露は処置後の事象である可能性がある → フィルタリングを行う前に推定対象（estimand）を明確にする。
- 離脱をパーセンテージの中に隠す → カウントの不均衡が意思決定を逆転させる可能性がある → 絶対数とアーム間の差を表示する。
フォローアップの質問と回答
欠損したアウトカムは単に補完（impute）できますか？
明確なモデルと感度分析がある場合に限られます。多重代入法は Missing at Random（MAR）の仮定のもとでは有用ですが、その仮定自体を証明するものではありません。ワーストケース境界やティッピングポイント境界を設定することで、意思決定の脆弱性を浮き彫りにすることができます。
プロトコル準拠（per-protocol）の結果はどのような場合に役立ちますか？
定義されたプロトコルに従ったユーザーにおける効果を説明することはできますが、遵守（adherence）は処置後に発生することが多いです。副次的なものとして扱い、前提条件を説明するか、処置遵守のために設計された因果推論手法を使用してください。
生存者バイアスとサンプル比率の不一致（sample-ratio mismatch）をどのように区別しますか？
サンプル比率の不一致は、割り当て数が計画された分割比率から逸脱することに関係します。生存者バイアスは、割り当て後に選択されたサブセットで条件付けることに関係します。これらは同時に発生する可能性があるため、ランダム化の分母と下流のリテンションの両方を監査してください。