Gesaan dan latar keadaan
Keputusan yang kelihatan diukur hanya dalam kalangan pengguna dengan hasil yang diperhatikan. Temu duga ini bertanyakan sama ada pengguna yang berhenti melanggan (churned), gagal telemetri, atau ditapis keluar berbeza secara sistematik, dan cara memulihkan populasi keputusan yang sah.
Perkara yang diuji oleh penemu duga
- Mengenal pasti survivorship bias sebagai pensyartan terhadap mangsa yang terselamat (survivors) terpilih.
- Membina semula penyebut penetapan sebelum membaca kadar hasil.
- Memisahkan kesan kehilangan data (missingness), pendedahan (exposure), dan rawatan (treatment).
Soalan penjelasan sebelum menjawab
- Adakah estimand utama merupakan intent-to-treat ke atas semua pengguna yang ditetapkan atau kesan per-protocol?
- Bilakah dan mengapakah pengguna boleh keluar, melumpuhkan telemetri, atau menjadi tidak layak?
- Adakah kiraan penetapan, kiraan pendedahan, dan kiraan hasil tersedia mengikut cabang (arm) dan segmen?
- Adakah penapis pengekalan ditentukan sebelum pelancaran, atau diperkenalkan selepas melihat keputusan?
Rangka kerja jawapan 30 saat
Saya akan membekukan keputusan, membina semula corong daripada penetapan kepada pendedahan hingga kepada hasil, dan membandingkan pengurangan (attrition) mengikut cabang. Analisis utama harus mengekalkan semua pengguna yang dirawakkan dalam penyebut, dengan mengendalikan hasil yang hilang secara eksplisit. Saya akan memeriksa ketakpadanan nisbah sampel (sample-ratio mismatch), kehilangan telemetri, dan segmen pra-rawatan, kemudian melaporkan batas kepekaan untuk hasil hilang yang munasabah. Peningkatan (uplift) yang hanya melibatkan mangsa terselamat boleh bersifat deskriptif, tetapi ia tidak boleh menjadi kesan pelancaran tanpa andaian yang lebih kukuh.
Penyelaman mendalam langkah demi langkah
1. Tentukan populasi
Namakan unit, masa penetapan, peraturan kelayakan, dan tetingkap pengukuran. Kekalkan setiap pengguna yang ditetapkan dalam populasi intent-to-treat; jangan menggantikannya secara senyap dengan pengguna yang membuka ciri atau kekal aktif.
2. Bina semula corong
Bagi setiap cabang, kira pengguna yang ditetapkan, pengguna yang terdedah, pengguna aktif, hasil yang diperhatikan, dan hasil yang hilang. Tambahkan kadar dan kiraan mutlak. Kadar penukaran yang lebih tinggi dalam kalangan mangsa yang terselamat boleh wujud bersama dengan penukaran keseluruhan yang lebih teruk jika rawatan menyebabkan lebih banyak pengguna keluar awal.
3. Diagnosis mekanisme pemilihan
Periksa sample-ratio mismatch, peraturan pelancaran, versi klien, geografi, peranti, kependaman, dan penghantaran peristiwa. Bandingkan tingkah laku pra-rawatan bagi pengguna yang dikekalkan dan pengguna yang hilang. Jika kehilangan data bergantung pada rawatan atau risiko hasil, analisis kes lengkap (complete-case analysis) adalah berat sebelah (biased).
4. Pilih anggaran utama
Gunakan intent-to-treat untuk keputusan pelancaran, dengan hasil yang hilang dikendalikan oleh peraturan atau batas yang telah dipratentukan. Laporkan keputusan per-protocol atau mangsa terselamat sahaja sebagai sekunder dan labelkan andaian mereka. Jika perawakan atau telemetri rosak, baiki saluran paip atau jalankan semula eksperimen dan bukannya mereka-reka naratif pemenang.
5. Sampaikan ketidakpastian
Tunjukkan kiraan cabang, perbezaan pengurangan pengguna (attrition), selang, dan senario kepekaan. Segmentasikan hanya pada pemboleh ubah pra-rawatan dan pratetapkan analisis. Buat eskalasi apabila keputusan berubah merentas andaian hasil hilang yang munasabah.
Contoh jawapan berkualiti tinggi
"Saya akan menjeda pelancaran dan membina semula corong penetapan-ke-hasil untuk kedua-dua cabang. Anggaran utama saya mengekalkan setiap pengguna yang dirawakkan, manakala penukaran mangsa terselamat sahaja adalah sekunder. Saya akan menguji sample-ratio mismatch, kehilangan telemetri, dan pengurangan khusus cabang, kemudian membandingkan risiko pra-rawatan merentas pengguna yang diperhatikan dan yang hilang. Saya akan menerbitkan selang intent-to-treat serta batas kepekaan; jika kesimpulan bergantung pada hasil hilang yang tidak dapat diuji atau laluan perawakan yang rosak, saya akan membaiki eksperimen atau menjalankannya semula."
Kesilapan lazim
- Hanya menggunakan pengguna aktif → kehilangan pengguna yang berkaitan dengan rawatan lenyap → kekalkan semua pengguna yang ditetapkan untuk intent-to-treat.
- Menganggap peristiwa yang hilang sebagai rawak → kehilangan telemetri boleh bergantung pada cabang atau hasil → diagnosis kehilangan data dan laporkan kepekaan.
- Memanggil pendedahan sebagai penyebut secara automatik → pendedahan mungkin berlaku pasca-rawatan → nyatakan estimand sebelum menapis.
- Menyembunyikan pengurangan pengguna dalam peratusan → kiraan yang tidak sama rata boleh menterbalikkan keputusan → tunjukkan kiraan mutlak dan perbezaan cabang.
Soalan susulan dan respons
Bolehkah hasil yang hilang diimputasikan begitu sahaja?
Hanya dengan model yang dinyatakan dan analisis kepekaan. Imputasi berganda (multiple imputation) mungkin berguna di bawah andaian missing-at-random, tetapi ia tidak membuktikan andaian tersebut; batas kes terburuk (worst-case) atau titik tip (tipping-point) boleh mendedahkan kerapuhan keputusan.
Bilakah keputusan per-protocol berguna?
Ia boleh menerangkan kesan dalam kalangan pengguna yang mengikut protokol yang ditetapkan, tetapi pematuhan selalunya berlaku pasca-rawatan. Anggap ia sebagai sekunder dan jelaskan andaian atau gunakan kaedah kausal yang direka untuk pematuhan rawatan.
Bagaimanakah anda membezakan survivorship bias daripada sample-ratio mismatch?
Sample-ratio mismatch melibatkan kiraan penetapan yang menyimpang daripada pembahagian yang dirancang. Survivorship bias melibatkan pensyartan terhadap subset terpilih selepas penetapan. Kedua-duanya boleh wujud bersama, jadi audit kedua-dua penyebut perawakan dan pengekalan hiliran.