Gesaan dan persekitaran
Metrik agregat bercanggah dengan setiap subkumpulan penting. Tugasnya adalah untuk menentukan sama ada ketidakseimbangan campuran segmen, pemboleh ubah pengacau (confounder), peraturan pemilihan atau ralat persampelan yang menghasilkan pembalikan tersebut, dan memilih estimand sebelum menggunakan pembetulan statistik.
Perkara yang diuji oleh penemu bual
- Mengenal pasti paradoks Simpson sebagai pembalikan pengagregatan, bukan percanggahan matematik.
- Memeriksa penetapan rawatan, keseimbangan segmen, penyebut dan pelan analisis yang telah ditetapkan terlebih dahulu.
- Memisahkan perkaitan deskriptif daripada kesan rawatan sebab-akibat (causal).
Soalan penjelasan sebelum menjawab
- Segmen manakah yang ditakrifkan sebelum rawatan dan manakah yang ditemui selepasnya?
- Adakah penetapan dirawakkan, dan adakah kadar pendedahan serta kadar hasil yang hilang seimbang?
- Adakah keputusan ini mengenai populasi keseluruhan, segmen sasaran, atau kesan dasar selepas penyeragaman?
- Adakah terdapat sel yang jarang (sparse cells), pengguna berulang, atau pemboleh ubah pasca-rawatan yang dikondisikan?
Kerangka jawapan 30 saat
Saya akan menghasilkan semula jadual agregat dan segmen bersama penyebutnya, mengesahkan perawakan dan keseimbangan pendedahan, serta mengenal pasti pemboleh ubah yang mengubah campuran segmen. Saya akan menetapkan estimand sasaran terlebih dahulu, kemudian melaporkan kesan yang diseragamkan atau distratifikasikan berserta ketidakpastian. Jika perawakan gagal, saya akan menjalankan semula atau membaiki eksperimen; jika segmen tersebut ialah pengubah suai kesan yang tulen, saya tidak akan menggabungkannya menjadi satu nombor tajuk utama sahaja.
Huraian mendalam langkah demi langkah
1. Bina semula pengiraan aritmetik
Bagi setiap segmen, tunjukkan pengguna rawatan, pengguna kawalan, penukaran dan kadar. Kadar agregat ialah purata wajaran; wajaran yang berbeza boleh menterbalikkan perbandingan walaupun setiap segmen memihak kepada rawatan. Semak sama ada papan pemuka menggunakan teraan (impressions), pengguna yang terdedah, atau semua pengguna yang ditetapkan sebagai penyebutnya.
2. Audit penetapan dan pendedahan
Bandingkan kebarangkalian rawatan dan perkadaran segmen sebelum hasil diperhatikan. Semak peraturan pelancaran berperingkat, kelayakan peranti, geografi, tetingkap masa, bot dan peristiwa yang hilang. Kumpulan rawatan yang tertumpu dalam segmen penukaran garis dasar rendah boleh kalah secara agregat tanpa bercanggah dengan kesan positif dalam segmen.
3. Takrifkan estimand
Kesan intent-to-treat keseluruhan menjawab soalan pelancaran populasi. Kesan khusus segmen menjawab sama ada rawatan berfungsi secara berbeza mengikut peranti. Kesan yang diseragamkan mewajarkan semula anggaran khusus segmen kepada populasi sasaran yang dipilih. Nyatakan soalan mana yang diperlukan untuk keputusan tersebut; tiada pelarasan yang betul secara sejagat.
4. Pilih remedi
Dengan perawakan yang sah dan sel yang mencukupi, laporkan anggaran yang distratifikasikan atau diselaraskan dengan regresi berserta selang keyakinan dan uji interaksi secara berhati-hati. Dengan ketidakseimbangan penetapan, baiki perawakan atau jalankan semula eksperimen. Untuk data pemerhatian, lakarkan graf sebab-akibat, laraskan hanya untuk pemboleh ubah pengacau pra-rawatan, dan gunakan pewajaran atau pemadanan (matching) berserta analisis kepekaan. Jangan sesekali melaraskan untuk perantara (mediator) pasca-rawatan semata-mata untuk membuang pembalikan tersebut.
5. Sampaikan keputusan pelancaran
Tunjukkan anggaran agregat, segmen dan yang diseragamkan secara bersama, termasuk ketidakpastian dan saiz segmen. Lancarkan secara global hanya apabila estimand sasaran dan toleransi risiko menyokongnya; jika tidak, lancarkan mengikut segmen, kumpulkan lebih banyak data, atau jeda seketika. Dokumentasikan pelan analisis supaya pencarian subkumpulan berulang kali tidak meningkatkan positif palsu.
Contoh jawapan berkualiti tinggi
"Saya akan membina semula kedua-dua kadar terlebih dahulu dengan penyebut rawatan dan kawalan serta mengesahkan penetapan, pendedahan, kelayakan dan keseimbangan peristiwa yang hilang. Kemudian, saya akan mengenal pasti segmen yang mendorong perbezaan wajaran dan mentakrifkan sama ada kita memerlukan kesan populasi intent-to-treat atau kesan khusus segmen. Dengan perawakan yang kukuh, saya akan melaporkan anggaran yang distratifikasikan dan diseragamkan berserta selang keyakinan serta memeriksa interaksi; sekiranya terdapat ketidakseimbangan, saya akan menjalankan semula atau membaiki eksperimen. Saya akan membentangkan semua sudut pandangan dalam memo pelancaran dan mengelakkan pelarasan pasca-rawatan atau pencarian subkumpulan tanpa perancangan."
Kesilapan biasa
- Mempercayai agregat papan pemuka → pewajaran boleh menterbalikkan isyarat → kira semula pengangka, penyebut dan wajaran segmen.
- Mengisytiharkan keputusan segmen sebagai sebab-akibat secara automatik → penetapan atau pendedahan mungkin berat sebelah → audit perawakan dan hasil yang hilang terlebih dahulu.
- Melaraskan untuk setiap pemboleh ubah yang tersedia → berat sebelah pasca-rawatan boleh meningkat → laraskan hanya untuk pemboleh ubah pengacau pra-rawatan yang wajar.
- Memilih mana-mana keputusan yang menyokong pelancaran → estimand berubah secara senyap → tetapkan populasi sasaran dan analisis terlebih dahulu.
Soalan susulan dan respons
Adakah paradoks Simpson sentiasa menjadi masalah?
Tidak. Ia menandakan bahawa soalan agregat dan bersyarat adalah berbeza. Agregat mungkin merupakan estimand pelancaran yang betul, manakala kesan segmen mungkin merupakan keputusan penyasaran yang betul; masalahnya timbul apabila gagal menyatakan yang mana satu dimaksudkan.
Bagaimanakah anda mengendalikan segmen yang amat kecil?
Tunjukkan ketidakpastiannya dan elakkan daripada mentafsir secara berlebihan pembalikan yang bising (noisy). Pertimbangkan model berhierarki atau peraturan penggabungan yang telah ditetapkan terlebih dahulu, dan kumpulkan lebih banyak pemerhatian sebelum membuat komitmen khusus segmen.
Bagaimana jika pemboleh ubah segmen berlaku selepas rawatan?
Jangan mengkondisikan padanya untuk anggaran sebab-akibat utama. Laporkannya secara deskriptif atau gunakan analisis perantaraan (mediation analysis) dengan andaian yang jelas; pengkondisian boleh mewujudkan berat sebelah pengabai (collider) atau berat sebelah perantara.