Gesaan dan skop
Pasukan produk melancarkan aliran checkout baharu di beberapa wilayah sahaja. Sebelum pelancaran, penukaran (conversion) adalah 10% di wilayah rawatan dan 8% di wilayah kawalan; selepas itu ia menjadi 14% dan 9%. Bagaimanakah anda menilai perubahan tersebut dengan difference-in-differences?
Ini adalah gesaan inferens kausal untuk peranan sains data, analitik produk dan platform eksperimen. Keempat-empat peratusan tersebut adalah andaian temu duga, bukan hasil perniagaan yang diperhatikan. Asingkan pergerakan deskriptif daripada pengenalpastian kausal dan bincangkan penetapan, tetingkap masa, trend selari dan risiko pelancaran berperingkat (staggered rollout).
Perkara yang dinilai oleh penemu duga
Jawapan yang mantap menyatakan estimand sebelum menyemak andaian; ia tidak terus membuat kesimpulan bahawa “penukaran meningkat sebanyak tiga mata”. Penemu duga juga melihat kepada bias pemilihan, kejutan serentak (concurrent shocks), limpahan (spillovers), pemerhatian berulang, ralat piawai berkelompok (clustered standard errors), dan risiko bahawa model two-way fixed-effects yang naif mencampurkan kesan di bawah penerimaan berperingkat (staggered adoption).
Soalan penjelasan
- Bagaimanakah wilayah diagihkan kepada rawatan, dan adakah perniagaan memilih wilayah yang dijangka mengalami pertumbuhan tinggi?
- Adakah terdapat beberapa tempoh pra-pelancaran untuk semakan trend?
- Adakah penetapan harga, pemasaran, kemusiman atau campuran trafik berubah pada masa yang sama?
- Bolehkah pengguna merentasi wilayah atau berhijrah, mewujudkan limpahan ke dalam kumpulan kawalan?
- Adakah pelancaran dilakukan secara serentak atau berperingkat mengikut tarikh?
- Adakah unit analisis merupakan pengguna, pesanan atau wilayah, dan pada tahap manakah ralat perlu dikelompokkan?
Jawapan 30 saat
“Mula-mula saya akan menulis perubahan tersebut sebagai difference-in-differences: perubahan rawatan tolak perubahan kawalan. Anggaran titik di sini ialah tiga mata peratusan. Ia mempunyai tafsiran kausal hanya jika trend pra-rawatan adalah setanding dan tiada kejutan serentak yang berbeza atau limpahan yang ketara. Saya akan memplotkan beberapa tempoh pra-pelancaran, mengawal kovariat yang wajar, dan mengelompokkan ralat pada tahap penetapan. Untuk pelancaran berperingkat, saya akan menggunakan penganggar yang direka untuk rawatan berperingkat dan membandingkan keteguhan (robustness) daripada bergantung pada two-way fixed effects yang naif.”
Analisis mendalam langkah demi langkah
Langkah 1: Kira anggaran deskriptif
Wilayah rawatan meningkat daripada 10% kepada 14%, peningkatan sebanyak empat mata. Kumpulan kawalan meningkat daripada 8% kepada 9%, peningkatan sebanyak satu mata. DiD ialah (14%-10%) - (9%-8%) = 3 mata peratusan. Itu adalah perubahan relatif, belum lagi menjadi bukti bahawa produk yang menyebabkannya.
Langkah 2: Semak andaian pengenalpastian
Andaian utama ialah trend selari (parallel trends): tanpa perubahan tersebut, jurang hasil akan berkembang secara serupa. Plot beberapa purata dan jurang pra-pelancaran untuk melihat sama ada kumpulan sudah mula mencapah. Semak kempen khusus wilayah, perubahan logistik, kejutan makro dan migrasi. Trend selari tidak boleh dibuktikan dengan hanya satu perbandingan sebelum-dan-selepas; gabungkan beberapa tempoh dengan penjelasan perniagaan.
Langkah 3: Pilih kaedah anggaran dan inferens
Dengan rawatan serentak dan satu tarikh pelaksanaan, gunakan kesan tetap wilayah dan masa serta kelompokkan ralat mengikut wilayah. Dengan bilangan wilayah rawatan yang sedikit, ralat piawai asimptotik mungkin tidak boleh dipercayai, jadi tambahkan inferens rawak (randomization inference) atau kaedah kelompok kecil (small-cluster). Bagi penerimaan berperingkat, anggarkan dinamik khusus kohort terlebih dahulu. Panduan penerimaan berperingkat NBER memberi amaran bahawa two-way fixed effects mudah boleh menggabungkan kesan dengan pemberat yang bermasalah apabila kesan berbeza mengikut kohort atau masa; bandingkan penganggar yang sesuai untuk rawatan berperingkat.
Langkah 4: Jalankan semakan kontrafaktual dan keteguhan
Cuba tarikh pelancaran plasebo, wilayah plasebo dan tetingkap alternatif. Tambah kovariat yang wajar dan bandingkan anggaran; periksa hasil negatif dan pengekalan (retention) untuk perubahan yang tidak munasabah. Jika limpahan adalah ketara, gunakan kawalan yang tidak bersebelahan atau rawatan peringkat lebih tinggi. Laporkan anggaran titik, selang keyakinan, saiz sampel, tahap kelompok dan pengendalian data yang hilang, bukan hanya tiga mata peratusan.
Contoh jawapan berkualiti tinggi
“Pengiraan aritmetik ialah empat mata pertumbuhan dalam wilayah rawatan tolak satu mata dalam kawalan, jadi anggaran titik DiD ialah tiga mata peratusan. Itu hanyalah perubahan relatif. Ia menjadi kesan kausal aliran checkout jika, tanpa pelancaran tersebut, kumpulan-kumpulan ini akan mengikuti trend yang setanding, tiada kejutan khusus wilayah yang berlaku serentak dengan pelancaran, dan limpahan adalah terhad.
Saya akan menggunakan beberapa tempoh pra-pelancaran untuk memplot penukaran dan jurangnya, mengesahkan cara rawatan ditetapkan, dan menyiasat perubahan pemasaran, harga, trafik serta cuti umum. Untuk pelancaran serentak, saya akan menggunakan kesan tetap wilayah dan masa dengan ralat yang dikelompokkan mengikut wilayah. Dengan wilayah yang sedikit, saya akan menambah inferens rawak atau kelompok kecil.
Untuk pelancaran berperingkat, saya akan menganggarkan kesan kohort dinamik dan membandingkan penganggar yang direka untuk rawatan berperingkat dan bukannya bergantung pada two-way fixed effects yang naif. Saya akan menjalankan tarikh plasebo, wilayah plasebo, tetingkap alternatif dan semakan hasil negatif, kemudian melaporkan selang keyakinan dan andaian. Jika trend pra-pelancaran jelas tidak selari atau limpahan tidak dapat dikawal, saya akan menurunkan taraf hasil kepada persatuan (association) sahaja dan mengesyorkan pelancaran secara rawak atau yang diasingkan dengan lebih baik.”
Kesilapan lazim
- Menyatakan tiga mata sebagai kausal → hanya perubahan relatif yang dikira → nyatakan andaian pengenalpastian dan ketidakpastian.
- Menyemak satu titik tempoh pra-pelancaran sahaja → trend selari tidak dapat dinilai → gunakan beberapa tempoh dan plot kajian peristiwa (event-study plot).
- Mengabaikan bias penetapan → wilayah pertumbuhan tinggi mungkin telah dipilih → analisis penetapan dan berikan justifikasi untuk kovariat.
- Mengaplikasikan TWFE naif kepada pelancaran berperingkat → kesan kohort boleh mencemari satu sama lain → gunakan penganggar rawatan berperingkat dan semakan kepekaan.
- Mengelompokkan mengikut pengguna → rawatan ditetapkan mengikut wilayah → kelompokkan pada tahap penetapan atau gunakan inferens teguh.
- Mengabaikan limpahan → kawalan mungkin menerima rawatan secara tidak langsung → gunakan kawalan tidak bersebelahan atau pelancaran peringkat lebih tinggi.
- Melaporkan anggaran titik sahaja → kejituan dan sempadan sampel disembunyikan → laporkan selang keyakinan, jumlah kiraan, data hilang dan tetingkap masa.
Soalan susulan
Soalan susulan 1: Trend pra-pelancaran sudah mencapah. Bolehkah anda masih menggunakan DiD?
Cari mekanisme dan kumpulan kawalan yang lebih setanding. Kovariat yang wajar atau tetingkap yang lebih sempit boleh membantu, tetapi regresi tidak sepatutnya meratakan pencapahan yang tidak dapat dijelaskan secara kosmetik semata-mata. Jika trend selari tidak boleh dipercayai, gunakan rawak atau labelkan hasilnya sebagai bersekutu (associative).
Soalan susulan 2: Hanya terdapat tiga wilayah rawatan. Bagaimanakah anda menyimpulkan ketidakpastian?
Jangan bergantung pada asimptotik kelompok besar. Pertimbangkan inferens rawak, wild bootstrap, atau reka bentuk kawalan sintetik yang sesuai untuk kelompok yang sedikit, dan laporkan ketidakpastian peringkat wilayah secara telus.
Soalan susulan 3: Pengguna berpindah antara wilayah. Apakah yang berubah?
Tentukan pendedahan (exposure), seperti wilayah stabil pertama atau wilayah asal akaun. Keluarkan pengguna yang jelas berpindah untuk analisis kepekaan dan ukur migrasi. Limpahan yang kuat memecahkan kontrafaktual peringkat wilayah.
Soalan susulan 4: Hasilnya signifikan tetapi pendapatan mendatar. Bagaimanakah anda menjelaskannya?
Huraikan penukaran kepada nilai pesanan, bayaran balik, pengekalan dan kos pemerolehan, serta periksa hasil negatif. DiD mengenal pasti perubahan metrik sasaran; ia tidak secara automatik membuktikan nilai perniagaan keseluruhan.