Pertanyaan dan latar belakang
Hasil yang terlihat hanya diukur di antara pengguna dengan hasil (outcome) yang teramati. Wawancara ini menanyakan apakah pengguna yang churn, gagal dalam telemetri, atau terfilter berbeda secara sistematis, dan bagaimana cara memulihkan populasi keputusan yang valid.
Hal yang diuji oleh pewawancara
- Mengenali survivorship bias sebagai pengkondisian pada penyintas (survivors) yang terpilih.
- Merekonstruksi penyebut alokasi sebelum membaca tingkat hasil.
- Memisahkan efek data yang hilang (missingness), paparan (exposure), dan perlakuan (treatment).
Pertanyaan klarifikasi sebelum menjawab
- Apakah estimand utama adalah intent-to-treat di seluruh pengguna yang dialokasikan atau efek per-protocol?
- Kapan dan mengapa pengguna dapat pergi, menonaktifkan telemetri, atau menjadi tidak memenuhi syarat?
- Apakah jumlah alokasi, jumlah paparan, dan jumlah hasil tersedia berdasarkan varian (arm) dan segmen?
- Apakah filter retensi ditentukan sebelum peluncuran, atau diperkenalkan setelah melihat hasil?
Kerangka jawaban 30 detik
Saya akan menunda keputusan, merekonstruksi funnel mulai dari alokasi ke paparan hingga ke hasil, dan membandingkan atrisi berdasarkan varian. Analisis utama harus mempertahankan semua pengguna yang diacak dalam penyebut, memperlakukan hasil yang hilang secara eksplisit. Saya akan memeriksa sample-ratio mismatch, kehilangan telemetri, dan segmen pra-perlakuan, lalu melaporkan batas sensitivitas untuk hasil hilang yang masuk akal. Kenaikan (uplift) yang hanya terjadi pada penyintas dapat bersifat deskriptif, tetapi tidak dapat menjadi efek peluncuran tanpa asumsi yang lebih kuat.
Pembahasan mendalam langkah demi langkah
1. Tentukan populasi
Sebutkan unit, waktu alokasi, aturan kelayakan, dan jendela pengukuran. Pertahankan setiap pengguna yang dialokasikan dalam populasi intent-to-treat; jangan menggantinya secara diam-diam dengan pengguna yang membuka fitur atau tetap aktif.
2. Rekonstruksi funnel
Untuk setiap varian, hitung pengguna yang dialokasikan, pengguna yang terpapar, pengguna aktif, hasil yang teramati, dan hasil yang hilang. Sertakan tingkat persentase dan jumlah absolut. Tingkat konversi yang lebih tinggi di antara penyintas dapat terjadi bersamaan dengan konversi total yang lebih buruk jika perlakuan menyebabkan lebih banyak pengguna keluar lebih awal.
3. Diagnosis mekanisme seleksi
Periksa sample-ratio mismatch, aturan peluncuran, versi klien, geografi, perangkat, latensi, dan pengiriman event. Bandingkan perilaku pra-perlakuan untuk pengguna yang bertahan dan yang hilang. Jika hilangnya data bergantung pada perlakuan atau risiko hasil, complete-case analysis akan menjadi bias.
4. Pilih estimasi utama
Gunakan intent-to-treat untuk keputusan peluncuran, dengan hasil yang hilang ditangani oleh aturan atau batasan yang telah ditentukan sebelumnya. Laporkan hasil per-protocol atau khusus penyintas sebagai data sekunder dan beri label pada asumsinya. Jika pengacakan atau telemetri rusak, perbaiki pipeline atau jalankan ulang eksperimen daripada mengarang narasi pemenang.
5. Komunikasikan ketidakpastian
Tunjukkan jumlah per varian, perbedaan atrisi, interval, dan skenario sensitivitas. Buat segmentasi hanya pada variabel pra-perlakuan dan tentukan analisisnya terlebih dahulu. Lakukan eskalasi ketika keputusan berubah di berbagai asumsi hasil hilang yang masuk akal.
Contoh jawaban berkualitas tinggi
"Saya akan menjeda peluncuran dan merekonstruksi funnel dari alokasi hingga hasil untuk kedua varian. Estimasi utama saya mempertahankan setiap pengguna yang diacak, sementara konversi khusus penyintas bersifat sekunder. Saya akan menguji sample-ratio mismatch, kehilangan telemetri, dan atrisi khusus varian, lalu membandingkan risiko pra-perlakuan di antara pengguna yang teramati dan yang hilang. Saya akan memublikasikan interval intent-to-treat beserta batas sensitivitasnya; jika kesimpulan bergantung pada hasil hilang yang tidak dapat diuji atau jalur pengacakan yang rusak, saya akan memperbaiki eksperimen atau menjalankannya kembali."
Kesalahan umum
- Hanya menggunakan pengguna aktif → churn yang terkait perlakuan hilang dari pantauan → pertahankan semua pengguna yang dialokasikan untuk intent-to-treat.
- Memperlakukan event yang hilang sebagai acak → kehilangan telemetri dapat bergantung pada varian atau hasil → diagnosis data yang hilang dan laporkan sensitivitasnya.
- Menyebut paparan sebagai penyebut secara otomatis → paparan mungkin terjadi pasca-perlakuan → nyatakan estimand sebelum memfilter.
- Menyembunyikan atrisi dalam persentase → jumlah hitungan yang tidak seimbang dapat membalikkan keputusan → tampilkan jumlah absolut dan perbedaan antar-varian.
Pertanyaan lanjutan dan tanggapan
Bisakah hasil yang hilang diimputasi begitu saja?
Hanya dengan model yang dinyatakan secara jelas dan analisis sensitivitas. Imputasi berganda (multiple imputation) dapat berguna di bawah asumsi missing-at-random, tetapi tidak membuktikan asumsi tersebut; batas worst-case atau tipping-point dapat mengungkap kerapuhan keputusan.
Kapan hasil per-protocol berguna?
Hasil ini dapat menggambarkan efek di antara pengguna yang mengikuti protokol yang ditentukan, tetapi kepatuhan sering kali terjadi pasca-perlakuan. Perlakukan ini sebagai sekunder dan jelaskan asumsinya atau gunakan metode kausal yang dirancang untuk kepatuhan perlakuan.
Bagaimana Anda membedakan survivorship bias dari sample-ratio mismatch?
Sample-ratio mismatch berkaitan dengan jumlah alokasi yang menyimpang dari pembagian yang direncanakan. Survivorship bias berkaitan dengan pengkondisian pada subset terpilih setelah alokasi. Keduanya dapat terjadi secara bersamaan, jadi lakukan audit pada penyebut pengacakan sekaligus retensi di tahap hilir.