Pertanyaan dan latar masalah
Metrik agregat bertentangan dengan setiap subkelompok penting. Tugasnya adalah menentukan apakah ketidakseimbangan bauran segmen, variabel pengganggu (confounder), aturan seleksi, atau kesalahan pengambilan sampel yang menyebabkan pembalikan tersebut, serta memilih estimand sebelum menerapkan perbaikan statistik.
Apa yang diuji oleh pewawancara
- Mengenali paradoks Simpson sebagai pembalikan akibat agregasi, bukan kontradiksi matematis.
- Memeriksa penetapan perlakuan, keseimbangan segmen, penyebut, dan rencana analisis yang telah ditentukan sebelumnya.
- Memisahkan asosiasi deskriptif dari efek perlakuan kausal.
Pertanyaan klarifikasi sebelum menjawab
- Segmen mana yang ditentukan sebelum perlakuan dan mana yang ditemukan setelahnya?
- Apakah penetapan dilakukan secara acak, dan apakah tingkat paparan serta tingkat hasil yang hilang seimbang?
- Apakah keputusan ini mengenai populasi keseluruhan, segmen target, atau efek kebijakan setelah standarisasi?
- Apakah terdapat sel yang jarang (sparse cells), pengguna berulang, atau variabel pasca-perlakuan yang dikondisikan?
Kerangka jawaban 30 detik
Saya akan mereproduksi tabel agregat dan segmen beserta penyebutnya, memverifikasi pengacakan dan keseimbangan paparan, serta mengidentifikasi variabel yang mengubah bauran segmen. Saya akan menentukan estimand target terlebih dahulu, lalu melaporkan efek terstandarisasi atau terstratifikasi beserta ketidakpastiannya. Jika pengacakan gagal, saya akan menjalankan ulang atau memperbaiki eksperimen; jika segmen tersebut merupakan pengubah efek (effect modifier) yang sebenarnya, saya tidak akan menggabungkannya menjadi satu angka utama saja.
Pembahasan mendalam langkah demi langkah
1. Membangun kembali perhitungan aritmetika
Untuk setiap segmen, tampilkan pengguna perlakuan, pengguna kontrol, konversi, dan tingkatannya. Tingkat agregat adalah rata-rata tertimbang; bobot yang berbeda dapat membalikkan perbandingan meskipun setiap segmen mendukung perlakuan. Periksa apakah dasbor menggunakan impresi, pengguna yang terpapar, atau semua pengguna yang ditetapkan sebagai penyebutnya.
2. Mengaudit penetapan dan paparan
Bandingkan probabilitas perlakuan dan proporsi segmen sebelum hasil diamati. Periksa aturan peluncuran, kelayakan perangkat, geografi, jendela waktu, bot, dan peristiwa yang hilang. Kelompok perlakuan yang terkonsentrasi pada segmen dengan konversi dasar rendah dapat kalah secara agregat tanpa bertentangan dengan efek positif di dalam setiap segmen.
3. Menentukan estimand
Efek intent-to-treat keseluruhan menjawab pertanyaan peluncuran tingkat populasi. Efek spesifik segmen menjawab apakah perlakuan bekerja secara berbeda menurut perangkat. Efek terstandarisasi membobotkan ulang estimasi spesifik segmen ke populasi target yang dipilih. Nyatakan pertanyaan mana yang dibutuhkan untuk pengambilan keputusan; tidak ada penyesuaian yang benar secara universal.
4. Memilih solusi perbaikan
Dengan pengacakan yang valid dan jumlah sel yang memadai, laporkan estimasi terstratifikasi atau estimasi yang disesuaikan dengan regresi beserta interval kepercayaan, dan uji interaksi secara hati-hati. Jika terjadi ketidakseimbangan penetapan, perbaiki pengacakan atau jalankan ulang eksperimen. Untuk data observasional, buat diagram kausal, sesuaikan hanya untuk variabel pengganggu pra-perlakuan, dan gunakan pembobotan atau pencocokan (matching) dengan analisis sensitivitas. Jangan pernah menyesuaikan untuk mediator pasca-perlakuan hanya untuk menghilangkan pembalikan tersebut.
5. Mengomunikasikan keputusan peluncuran
Tampilkan estimasi agregat, segmen, dan terstandarisasi secara bersamaan, termasuk ketidakpastian dan ukuran segmen. Luncurkan secara global hanya jika estimand target dan toleransi risiko mendukungnya; jika tidak, luncurkan berdasarkan segmen, kumpulkan lebih banyak data, atau jeda terlebih dahulu. Dokumentasikan rencana analisis agar pencarian subkelompok yang berulang-ulang tidak meningkatkan positif palsu.
Contoh jawaban berkualitas tinggi
"Pertama, saya akan membangun kembali kedua tingkat konversi dengan penyebut perlakuan dan kontrol serta memverifikasi penetapan, paparan, kelayakan, dan keseimbangan peristiwa yang hilang. Kemudian, saya akan mengidentifikasi segmen yang mendorong perbedaan bobot dan menentukan apakah kita memerlukan efek populasi intent-to-treat atau efek spesifik segmen. Dengan pengacakan yang baik, saya akan melaporkan estimasi terstratifikasi dan terstandarisasi dengan interval serta memeriksa interaksi; jika terjadi ketidakseimbangan, saya akan menjalankan ulang atau memperbaiki eksperimen. Saya akan menampilkan semua sudut pandang dalam memo peluncuran dan menghindari penyesuaian pasca-perlakuan atau pencarian subkelompok tanpa rencana."
Kesalahan umum
- Mempercayai agregat dasbor → pembobotan dapat membalikkan sinyal → hitung ulang pembilang, penyebut, dan bobot segmen.
- Menyatakan hasil segmen sebagai kausal secara otomatis → penetapan atau paparan mungkin bias → audit pengacakan dan hasil yang hilang terlebih dahulu.
- Menyesuaikan untuk setiap variabel yang tersedia → bias pasca-perlakuan dapat meningkat → sesuaikan hanya untuk variabel pengganggu pra-perlakuan yang dapat dibenarkan.
- Memilih hasil mana saja yang mendukung peluncuran → estimand berubah secara diam-diam → tentukan populasi target dan analisis sebelumnya.
Pertanyaan lanjutan dan respons
Apakah paradoks Simpson selalu menjadi masalah?
Tidak. Ini menandakan bahwa pertanyaan agregat dan pertanyaan kondisional berbeda. Agregat mungkin merupakan estimand peluncuran yang tepat, sementara efek segmen mungkin merupakan keputusan penargetan yang tepat; masalahnya muncul ketika tidak menyatakan mana yang sebenarnya dimaksudkan.
Bagaimana Anda menangani segmen yang sangat kecil?
Tampilkan ketidakpastiannya dan hindari menginterpretasikan secara berlebihan pembalikan yang bersifat bising (noisy). Pertimbangkan model hierarkis atau aturan penggabungan (pooling) yang telah ditentukan sebelumnya, dan kumpulkan lebih banyak observasi sebelum membuat komitmen spesifik untuk segmen tersebut.
Bagaimana jika variabel segmen terjadi setelah perlakuan?
Jangan mengondisikan variabel tersebut untuk estimasi kausal utama. Laporkan secara deskriptif atau gunakan analisis mediasi dengan asumsi eksplisit; mengondisikannya dapat menciptakan bias kolider (collider bias) atau bias mediator.