題干與適用場景
產品團隊只在部分地區上線新的結帳流程。上線前處理地區轉化率為 10%，對照地區為 8%；上線後分別為 14% 和 9%。你會如何用雙重差分評估改動效果？
這是資料科學、產品分析與實驗平台職位的因果推斷題。四個百分比是面試假設，不是實際業務結果。回答要區分描述性變化與因果識別，說明處理分配、時間視窗、平行趨勢與分期上線風險。
面試官考察點
強回答會先寫出估計量，再檢查識別假設，而不是直接說「轉化率增加了 3 個百分點」。面試官也會看你是否識別選擇偏差、同期衝擊、溢出效應、重複觀測、標準誤叢集，以及多期或錯峰處理下簡單雙向固定效果可能失真。
回答前需要澄清的問題
- 地區如何進入處理組，是否由業務團隊按預期成長選擇？
- 是否有多個上線前週期可畫趨勢，處理組與對照組走勢是否近似平行？
- 上線期間是否發生價格、行銷、季節或流量來源變化？
- 使用者會跨地區存取或遷移，是否存在處理向對照的溢出？
- 是一次同時上線，還是不同地區在不同日期上線？
- 結果單位是使用者、訂單還是地區，標準誤應在哪個層級叢集？
30 秒回答框架
「先把變化寫成雙重差分：處理組變化減去對照組變化，本題點估計是 3 個百分點。但這只有在處理前趨勢相近、沒有差異化同期衝擊與明顯溢出的條件下才有因果含義。我會畫多期事件研究圖，檢查前趨勢，控制已知共變數，並按處理分配層級叢集標準誤。若是錯峰上線，我會使用適合分期處理的估計器和穩健性比較，而不是直接依賴樸素的雙向固定效果。」
分步驟深入解答
第一步：計算描述性估計
處理地區從 10% 到 14%，變化為 4 個百分點；對照地區從 8% 到 9%，變化為 1 個百分點。因此雙重差分為 (14%-10%) - (9%-8%) = 3 個百分點。這個數字描述相對變化，尚未證明產品改動造成它。
第二步：確認識別假設
核心是平行趨勢：如果沒有改動，處理組與對照組的結果差距應按相近趨勢變化。用多個上線前週期畫原始平均值和差值，檢查是否已經分叉。還要確認沒有地區特定行銷、物流變化、宏觀衝擊或使用者遷移同時發生。平行趨勢不能只靠一次上線前後比較證明，必須結合業務機制和多期資料。
第三步：選擇估計與推斷方法
同時上線且只有一個處理時，可用地區與時間固定效果的 DiD，並按地區叢集標準誤。處理組很少時，常規漸近標準誤可能不可靠，應考慮隨機化推斷或小樣本方法。錯峰上線時，先識別各批次的動態效果；NBER 的分期處理指南提醒，簡單雙向固定效果在效果隨時間或批次變化時可能混合不同權重，需比較適用於分期處理的估計器。
第四步：做反事實與穩健性檢查
做偽上線日期、偽處理地區與不同視窗；加入已知共變數並比較結果；檢查負向結果和留存是否出現不合理變化。若存在溢出，縮小到不相鄰地區或改用市場層級處理。報告點估計、信賴區間、樣本量、叢集層級與缺失資料處理，不能只報 3 個百分點。
高品質示範回答
「先做算術：處理地區上升 4 個百分點，對照地區上升 1 個百分點，所以 DiD 點估計是 3 個百分點。它只是相對變化，只有在沒有改動時兩組會有相近趨勢、沒有地區特定同期衝擊、沒有明顯跨地區溢出時，才可以解釋為結帳流程的因果效果。
我會先取多個上線前週期，畫兩組轉化率和差值，檢查前趨勢；再核對處理分配是否由成長預期決定，排查行銷、價格、流量與節假日變化。若是同時上線，我會使用地區和時間固定效果，並按地區叢集標準誤。若地區數量少，我會補充隨機化或小樣本推斷。
若各地區錯峰上線，我不會直接使用樸素雙向固定效果，而會按上線批次估計動態效果，並用適合分期處理的方法做比較。最後做偽日期、偽地區、不同視窗與負向結果檢查，報告區間與假設。若前趨勢明顯不平行或溢出無法控制，我會把結論降級為相關性，建議重新設計隨機實驗或分層 rollout。」
常見錯誤
- 把 3 個百分點當因果事實 → 只計算了相對變化 → 明確寫出識別假設與不確定性。
- 只看一個上線前點 → 無法檢查平行趨勢 → 使用多個週期與事件研究圖。
- 忽略處理分配偏差 → 高成長地區可能主動獲得改動 → 分析分配機制並控制可比共變數。
- 錯峰上線仍套樸素 TWFE → 批次效果可能互相污染 → 使用分期處理估計器並做敏感性比較。
- 標準誤按使用者叢集 → 處理在地區層級，相關性被低估 → 按處理分配層級叢集或採用穩健推斷。
- 不檢查溢出 → 對照組也受到改動影響 → 換不相鄰對照或改用更高層級處理。
- 只報告點估計 → 讀者不知道精度與樣本邊界 → 報告區間、樣本量、缺失與視窗。
追問及應對
追問一：上線前兩組趨勢已經分叉，是否還能用 DiD？
先尋找機制與可比對照。可加入有依據的共變數或縮小視窗，但不能用迴歸「修平」無法解釋的分叉；若平行趨勢不可信，應改做隨機實驗或明確降級為相關性。
追問二：處理組只有三個地區，如何做推斷？
避免依賴大樣本近似。考慮隨機化推斷、野 bootstrap 或合成控制等適合小叢集的方法，並把地區級結果與不確定性完整報告。
追問三：使用者跨地區移動怎麼辦？
定義處理暴露，例如按首次穩定地區或帳戶歸屬分配；剔除明顯遷移者做敏感性分析，同時測量遷移率。若溢出很強，地區 DiD 的對照反事實已被破壞。
追問四：結果顯著但收入沒有變化，如何解釋？
把轉化提升拆成訂單價值、退款、留存與獲客成本，檢查是否出現負向結果。DiD 識別的是目標指標變化，不自動代表整體商業價值；建議把收入與體驗指標納入後續評估。