Permintaan dan konteks
Klik diamati setelah penetapan (assignment) dan dipengaruhi oleh perlakuan. Membatasi analisis hanya pada pengguna yang mengklik mungkin tampak seperti perbandingan subgrup yang berguna, tetapi hal ini dapat merusak pengacakan (randomization) yang mengidentifikasi efek perlakuan secara keseluruhan.
Hal yang diuji oleh pewawancara
- Membedakan moderator pra-perlakuan dari mediator pasca-perlakuan.
- Menjelaskan bias collider dan seleksi menggunakan grafik kausal.
- Memilih estimand yang sesuai dengan keputusan produk.
Pertanyaan klarifikasi sebelum menjawab
- Apakah klik diukur sebelum penetapan, setelah penetapan, atau keduanya?
- Apakah keputusan ini mengenai dampak total, efek di antara pematuh (compliers), atau mekanisme melalui panel?
- Apakah ada variabel pra-perlakuan yang memprediksi aktivitas mengklik dan membeli?
- Apakah filter klik direncanakan sebelum eksperimen dan didukung oleh strategi identifikasi yang valid?
Kerangka jawaban 30 detik
Saya tidak akan membandingkan pembeli hanya di antara pengguna yang mengklik sebagai hasil utama. Mengklik adalah mediator pasca-perlakuan dan mungkin juga dipengaruhi oleh karakteristik yang tidak terukur yang memprediksi pembelian. Mengkondisikan pada variabel ini dapat membuka jalur non-kausal dan merusak pengacakan pada kelompok uji. Saya akan melaporkan intent-to-treat untuk semua pengguna yang ditetapkan, lalu menggunakan analisis mediasi atau stratifikasi utama (principal stratification) yang telah ditentukan sebelumnya hanya dengan asumsi-asumsi yang eksplisit.
Pembahasan mendalam langkah demi langkah
1. Gambarkan urutan waktu
Penetapan mendahului klik, dan klik mendahului pembelian. Karakteristik dasar (baseline) dapat memengaruhi klik dan pembelian. Perlakuan juga memengaruhi klik, sehingga subset pengguna yang mengklik dipilih menggunakan variabel di hilir perlakuan.
2. Nyatakan pertanyaan kausal
Efek total menanyakan apa yang akan terjadi jika produk diluncurkan ke seluruh populasi yang ditetapkan. Pertanyaan mekanisme menanyakan berapa banyak efek yang tersalurkan melalui panel. Pertanyaan responder menanyakan tentang pengguna yang perilaku kliknya akan sama di bawah kelompok mana pun. Ini adalah estimand yang berbeda.
3. Tunjukkan mengapa pemfilteran gagal
Di dalam subset pengguna yang mengklik, pengguna pada kelompok perlakuan dan kontrol dapat berbeda dalam kecenderungan laten untuk membeli karena perlakuan mengubah siapa yang masuk ke dalam subset tersebut. Pengacakan awal melindungi seluruh populasi yang ditetapkan, bukan potongan pasca-perlakuan yang arbitrer.
4. Pilih analisis yang dapat dipertahankan
Gunakan intent-to-treat sebagai estimasi peluncuran. Untuk mediasi, tentukan kovariat dasar sebelumnya, tentukan jendela waktu mediator dan hasil (outcome), serta nyatakan asumsi tentang perancu (confounding) mediator-hasil. Untuk pertanyaan kepatuhan, pertimbangkan stratifikasi utama atau metode variabel instrumental ketika asumsi-asumsinya kredibel.
5. Komunikasikan keterbatasan
Tampilkan estimasi keseluruhan, tingkat klik berdasarkan kelompok, dan analisis sekunder secara terpisah. Jangan menyebut perbandingan pengguna yang mengklik sebagai kausal hanya karena ukuran sampelnya besar atau peristiwa klik dapat diamati. Jelaskan kesimpulan mana yang teridentifikasi dan mana yang bergantung pada asumsi.
Contoh jawaban berkualitas tinggi
“Klik terjadi setelah penetapan dan diubah oleh perlakuan, sehingga memfilter ke pengguna yang mengklik berarti mengkondisikan pada mediator. Hal itu dapat memilih kecenderungan laten untuk membeli yang berbeda pada kelompok perlakuan dan kontrol serta merusak perlindungan pengacakan. Saya akan menggunakan intent-to-treat untuk keputusan peluncuran, menampilkan tingkat klik dan efek pembelian secara keseluruhan, dan memperlakukan analisis mekanisme atau responder sebagai analisis sekunder. Saya akan menentukan grafik kausal dan asumsi terlebih dahulu sebelum menggunakan metode mediasi atau stratifikasi utama.”
Kesalahan umum
- Hanya membandingkan pengguna yang mengklik → perlakuan mengubah siapa yang disertakan → pertahankan intent-to-treat sebagai yang utama.
- Menyebut klik sebagai segmen dasar (baseline) → hal itu diukur setelah penetapan → catat urutan waktunya.
- Menyesuaikan untuk setiap perilaku yang diamati → pengkondisian pasca-perlakuan dapat membuka jalur bias → gunakan kovariat pra-perlakuan yang dapat dijustifikasi.
- Menganggap subgrup besar sebagai kausal → presisi tidak memulihkan identifikasi → nyatakan estimand dan asumsi.
Pertanyaan lanjutan dan tanggapan
Apakah saya masih dapat melaporkan hasil pengguna yang mengklik?
Ya, sebagai hasil sekunder yang bersifat deskriptif atau yang secara eksplisit bergantung pada asumsi. Beri label sebagai asosiasi di antara pengguna yang diamati mengklik dan tunjukkan bagaimana filter mengubah komposisi kelompok.
Mengapa tidak mengontrol klik secara sederhana dalam regresi?
Penyesuaian regresi tidak mengubah variabel pasca-perlakuan menjadi pra-perlakuan. Hal itu dapat memblokir sebagian dari efek perlakuan dan menciptakan bias collider ketika penyebab yang tidak terukur memengaruhi klik dan pembelian.
Bagaimana jika keputusan produk ditujukan khusus untuk pengguna yang mengklik?
Definisikan target sebagai stratum utama (principal stratum), seperti pengguna yang akan mengklik di bawah kelompok mana pun, dan gunakan metode identifikasi yang asumsinya dapat Anda pertahankan. Pengguna yang diamati mengklik tidak secara otomatis menjadi stratum tersebut.