Konteks dan cakupan
Sebuah tim produk meluncurkan alur checkout baru hanya di beberapa wilayah. Sebelum peluncuran, konversi adalah 10% di wilayah perlakuan dan 8% di wilayah kontrol; setelahnya menjadi 14% dan 9%. Bagaimana Anda mengevaluasi perubahan tersebut dengan difference-in-differences?
Ini adalah pertanyaan inferensi kausal untuk peran data science, analitik produk, dan platform eksperimen. Keempat persentase tersebut merupakan asumsi wawancara, bukan hasil bisnis yang diamati secara riil. Pisahkan pergerakan deskriptif dari identifikasi kausal dan diskusikan penetapan (assignment), jendela waktu, tren paralel, dan risiko staggered rollout.
Apa yang dievaluasi oleh pewawancara
Jawaban yang kuat mendefinisikan estimand sebelum memeriksa asumsi; tidak langsung menyimpulkan bahwa “konversi naik tiga poin”. Pewawancara juga menilai pemahaman tentang bias seleksi, guncangan konkuren (concurrent shocks), spillover, observasi berulang, clustered standard errors, dan risiko bahwa model two-way fixed-effects yang naif akan mencampuradukkan efek di bawah adopsi bertahap (staggered adoption).
Pertanyaan klarifikasi
- Bagaimana wilayah ditetapkan ke dalam perlakuan, dan apakah bisnis sengaja memilih wilayah yang diperkirakan berpertumbuhan tinggi?
- Apakah ada beberapa periode sebelum peluncuran untuk memeriksa tren?
- Apakah harga, pemasaran, musiman, atau bauran lalu lintas (traffic mix) berubah pada saat yang sama?
- Bisakah pengguna berpindah wilayah atau bermigrasi, sehingga menciptakan spillover ke kelompok kontrol?
- Apakah peluncuran dilakukan secara serentak atau bertahap (staggered) berdasarkan tanggal?
- Apakah unit analisisnya adalah pengguna, pesanan, atau wilayah, dan pada tingkat apa kesalahan (errors) harus dikelompokkan (clustered)?
Jawaban 30 detik
“Pertama, saya akan menuliskan perubahan tersebut sebagai difference-in-differences: perubahan kelompok perlakuan dikurangi perubahan kelompok kontrol. Estimasi titik di sini adalah tiga poin persentase. Ini memiliki interpretasi kausal hanya jika tren pra-perlakuan sebanding dan tidak ada guncangan konkuren diferensial atau spillover yang material. Saya akan memplot beberapa periode pra-peluncuran, mengontrol kovariat yang dapat dijustifikasi, dan mengelompokkan galat pada tingkat penugasan. Untuk staggered rollout, saya akan menggunakan estimator yang dirancang untuk perlakuan bertahap dan membandingkan ketahanannya (robustness) daripada mengandalkan two-way fixed effects yang naif.”
Pembahasan mendalam langkah demi langkah
Langkah 1: Hitung estimasi deskriptif
Wilayah perlakuan bergerak dari 10% ke 14%, peningkatan sebesar empat poin. Kelompok kontrol bergerak dari 8% ke 9%, peningkatan sebesar satu poin. Nilai DiD adalah (14%-10%) - (9%-8%) = 3 poin persentase. Itu adalah perubahan relatif, belum menjadi bukti bahwa produk yang menyebabkannya.
Langkah 2: Periksa asumsi identifikasi
Asumsi kuncinya adalah tren paralel (parallel trends): tanpa adanya perubahan, kesenjangan hasil akan berkembang secara serupa. Plot beberapa nilai rata-rata dan kesenjangan sebelum peluncuran untuk melihat apakah kelompok-kelompok tersebut sudah mulai menyimpang sebelumnya. Periksa adanya kampanye khusus wilayah, perubahan logistik, guncangan makro, dan migrasi. Tren paralel tidak dapat dipastikan hanya dengan satu perbandingan sebelum-dan-sesudah; gabungkan beberapa periode dengan penjelasan bisnis yang masuk akal.
Langkah 3: Pilih metode estimasi dan inferensi
Dengan perlakuan serentak dan satu tanggal adopsi, gunakan fixed effects wilayah dan waktu, serta kelompokkan galat berdasarkan wilayah. Dengan jumlah wilayah perlakuan yang sedikit, standard errors asimptotik mungkin tidak dapat diandalkan, jadi tambahkan inferensi pengacakan (randomization inference) atau metode small-cluster. Untuk adopsi bertahap, perkirakan dinamika spesifik kohor terlebih dahulu. Panduan staggered-adoption dari NBER memperingatkan bahwa two-way fixed effects sederhana dapat menggabungkan efek dengan pembobotan yang bermasalah ketika efek bervariasi menurut kohor atau waktu; bandingkan estimator yang sesuai untuk perlakuan bertahap.
Langkah 4: Jalankan uji kontrafaktual dan ketahanan (robustness checks)
Cobalah tanggal peluncuran plasebo, wilayah plasebo, dan jendela waktu alternatif. Tambahkan kovariat yang dapat dijustifikasi dan bandingkan estimasinya; periksa hasil negatif dan retensi untuk melihat apakah ada perubahan yang tidak masuk akal. Jika spillover bersifat material, gunakan kontrol yang tidak berdekatan secara geografis atau perlakuan tingkat yang lebih tinggi. Laporkan estimasi titik, interval, ukuran sampel, tingkat klaster, dan penanganan data yang hilang, bukan hanya tiga poin persentase.
Contoh jawaban berkualitas tinggi
“Perhitungan aritmetikanya adalah empat poin pertumbuhan di wilayah perlakuan dikurangi satu poin di kontrol, sehingga estimasi titik DiD adalah tiga poin persentase. Itu hanyalah perubahan relatif. Hal ini menjadi efek kausal alur checkout jika, tanpa adanya peluncuran, kelompok-kelompok tersebut akan mengikuti tren yang sebanding, tidak ada guncangan spesifik wilayah yang bertepatan dengan peluncuran, dan spillover terbatas.
Saya akan menggunakan beberapa periode pra-peluncuran untuk memplot konversi dan kesenjangannya, memverifikasi bagaimana perlakuan ditetapkan, dan menyelidiki perubahan pemasaran, harga, lalu lintas, serta hari libur. Untuk peluncuran serentak, saya akan menggunakan fixed effects wilayah dan waktu dengan galat yang dikelompokkan berdasarkan wilayah. Dengan wilayah yang sedikit, saya akan menambahkan inferensi pengacakan atau small-cluster.
Untuk peluncuran bertahap, saya akan memperkirakan efek kohor dinamis dan membandingkan estimator yang dirancang untuk perlakuan bertahap alih-alih mengandalkan two-way fixed effects yang naif. Saya akan menjalankan tanggal plasebo, wilayah plasebo, jendela alternatif, dan pemeriksaan hasil negatif, lalu melaporkan interval serta asumsinya. Jika tren awal jelas tidak paralel atau spillover tidak dapat dikendalikan, saya akan menurunkan status hasilnya menjadi sekadar asosiasi dan merekomendasikan peluncuran yang diacak atau diisolasi dengan lebih baik.”
Kesalahan umum
- Menyebut tiga poin sebagai hubungan kausal → hanya perubahan relatif yang dihitung → nyatakan asumsi identifikasi dan ketidakpastian.
- Hanya memeriksa satu titik periode sebelum peluncuran → tren paralel tidak dapat dinilai → gunakan beberapa periode dan plot event-study.
- Mengabaikan bias penugasan → wilayah dengan pertumbuhan tinggi mungkin sengaja dipilih → analisis penetapan dan berikan justifikasi untuk kovariat.
- Menerapkan TWFE naif pada staggered rollout → efek kohor dapat saling mengontaminasi → gunakan estimator perlakuan bertahap dan uji sensitivitas.
- Mengelompokkan klaster berdasarkan pengguna → perlakuan ditetapkan berdasarkan wilayah → kelompokkan pada tingkat penugasan atau gunakan inferensi yang kuat (robust).
- Mengabaikan spillover → kontrol mungkin menerima perlakuan secara tidak langsung → gunakan kontrol yang tidak berdekatan atau peluncuran tingkat lebih tinggi.
- Hanya melaporkan estimasi titik → presisi dan batas sampel menjadi tersembunyi → laporkan interval, jumlah sampel, data yang hilang, dan jendela waktu.
Pertanyaan lanjutan
Pertanyaan lanjutan 1: Tren awal sudah menyimpang. Apakah Anda masih dapat menggunakan DiD?
Cari mekanismenya dan cari kelompok kontrol yang lebih sebanding. Kovariat yang dapat dijustifikasi atau jendela waktu yang lebih sempit dapat membantu, tetapi regresi tidak boleh digunakan hanya untuk meratakan divergensi yang tidak dapat dijelaskan secara artifisial. Jika tren paralel tidak kredibel, gunakan pengacakan atau beri label hasilnya sebagai asosiatif.
Pertanyaan lanjutan 2: Hanya ada tiga wilayah perlakuan. Bagaimana Anda menyimpulkan ketidakpastian?
Jangan mengandalkan asimtotik klaster besar. Pertimbangkan inferensi pengacakan, wild bootstrap, atau desain kontrol sintetik yang cocok untuk sedikit klaster, dan laporkan ketidakpastian tingkat wilayah secara transparan.
Pertanyaan lanjutan 3: Pengguna berpindah antar wilayah. Apa yang berubah?
Definisikan paparan (exposure), seperti wilayah stabil pertama atau wilayah domisili akun. Keluarkan pengguna yang jelas-jelas berpindah untuk analisis sensitivitas dan ukur tingkat migrasi. Spillover yang kuat merusak kontrafaktual tingkat wilayah.
Pertanyaan lanjutan 4: Hasilnya signifikan tetapi pendapatan stagnan. Bagaimana Anda menjelaskannya?
Dekomposisi konversi menjadi nilai pesanan, pengembalian dana (refunds), retensi, dan biaya akuisisi, serta periksa hasil negatifnya. DiD mengidentifikasi perubahan pada metrik target; DiD tidak secara otomatis membuktikan nilai bisnis secara keseluruhan.