題目與情境
總體指標與重要子組矛盾。需要判斷分層構成失衡、混雜、選擇規則或抽樣誤差是否造成反轉，並在調整前先定義估計目標。
面試官考察什麼
- 識別辛普森悖論是聚合後的關係反轉，不是數學矛盾。
- 檢查處理分配、分層平衡、分母和預註冊分析方案。
- 區分描述性關聯與因果處理效果。
作答前的釐清問題
- 哪些分層在處理前定義，哪些是事後發現？
- 分配是否隨機，曝光和缺失結果率是否平衡？
- 決策針對總體、目標分層，還是標準化後的政策效果？
- 是否有稀疏單元、重複使用者或被條件化的處理後變數？
30 秒回答框架
我會用分母重建總體與分層表，核驗隨機化和曝光平衡，找出改變分層權重的變數。先預先定義估計目標，再報告帶不確定性的分層或標準化效果。若隨機化失敗就修復或重跑實驗；若分層是真實的效果修飾，就不能壓縮成一個標題數字。
分步深入
1. 重算每個比例
每個分層展示處理人數、對照人數、轉換數和轉換率。聚合率是加權平均，不同權重會讓總體比較反轉，即使每個分層都偏向處理組。檢查儀表板分母使用曝光、展示，還是所有分配使用者。
2. 審計分配與曝光
在觀察結果前比較處理機率和分層比例。檢查發布規則、裝置資格、地區、時間窗口、機器人和缺失事件。處理組集中在基線轉換低的分層時，可能總體落後但分層都為正。
3. 定義估計目標
總體意向治療效果回答全量發布問題；分層效果回答裝置是否改變處理效果；標準化效果把分層估計重新加權到指定目標人群。先說清決策問題，沒有通用唯一調整。
4. 選擇修復方法
隨機化有效且單元充足時，報告帶信賴區間的分層或回歸調整效果，並謹慎檢驗交互。分配失衡時修復隨機化或重跑。觀察資料要畫因果圖，只調整處理前混雜，並配合加權或匹配敏感度分析。不能為消除反轉而調整處理後中介。
5. 溝通發布決定
在發布備忘錄同時展示總體、分層和標準化估計、區間與樣本量。目標估計量和風險容忍度支持時全量發布，否則按分層灰度、補充資料或暫停。記錄分析方案，避免反覆尋找支持結論的子組。
高品質示範回答
「我會先用處理和對照分母重算兩類比例，核驗分配、曝光、資格和缺失事件平衡。然後找出造成權重差異的分層，並明確要的是總體意向治療效果還是分層效果。隨機化可靠時報告帶區間的分層和標準化估計並檢查交互；失衡時修復或重跑實驗。發布備忘錄展示所有視角，避免處理後調整和事後挑選子組。」
常見誤區
- 直接相信總體儀表板 → 權重會反轉訊號 → 重算分層分子、分母和權重。
- 看到分層獲勝就斷言因果 → 分配或曝光可能有偏 → 先審計隨機化和缺失結果。
- 調整所有變數 → 處理後偏差可能增大 → 只調整有依據的處理前混雜。
- 挑支持發布的結果 → 估計目標被悄悄改變 → 預先定義目標人群和分析方案。
追問與回答
辛普森悖論總是問題嗎？
不一定。它說明總體問題與條件問題不同。總體結果可能適合發布決策，分層效果可能適合定向策略；關鍵是說清目標。
很小的分層怎麼辦？
展示不確定性，不要過度解讀噪聲反轉。可以使用階層模型或預先定義的合併規則，並在分層承諾前收集更多觀察。
分層變數是處理後變數怎麼辦？
不要在主要因果估計中對其條件化。可做描述性報告，或在明確假設下做中介分析；條件化可能產生碰撞點或中介偏差。