Wawancara Data Science: Bagaimana Cara Merancang Uji A/B di Bawah Interferensi Jaringan?

Pertanyaan dan Konteks

Sebuah marketplace on-demand delivery ingin menguji algoritma dispatch baru di 24 zona operasional. Pesanan treatment dapat mengklaim kurir yang seharusnya dialokasikan untuk pesanan control, dan kurir dapat berpindah antar-zona yang bersebelahan. Rancang eksperimen untuk mengestimasi efek peluncuran algoritma ini ke seluruh pasar. Jelaskan estimand, unit pengacakan, kontrol spillover dan carryover, kalkulasi power, analisis, guardrail, serta keputusan peluncuran (launch decision).

Sebanyak 24 zona, intervensi, dan detail operasional adalah asumsi kasus wawancara, bukan fakta mengenai platform nyata. Asumsikan algoritma bersifat reversibel dan dapat dipilih oleh layanan eksperimen. Jangan mengasumsikan jendela switchback atau periode washout begitu saja; hal-hal tersebut harus dijustifikasi dari dinamika pesanan dan kurir.

Ini adalah pertanyaan perancangan eksperimen tingkat lanjut untuk data scientist, experimentation scientist, ekonom, dan product analyst. Halaman pertanyaan wawancara publik mengklasifikasikan eksperimen jaringan sebagai kasus data-science dan data-analyst yang sulit serta mencatat tanggal penanyaan pada 7 April 2026. LinkedIn telah mendokumentasikan eksperimen cluster untuk mendeteksi interferensi jaringan sosial. DoorDash telah mendokumentasikan switchback wilayah-waktu (region-time) untuk dispatch dan, dalam kasus marketplace-ads tahun 2025, menjelaskan mengapa carryover dan power yang rendah dapat membuat switchback menjadi pilihan yang buruk ketika suatu sumber daya sebenarnya dapat diisolasi. Sebuah makalah ICLR 2026 terus mempelajari masalah bias-variance dalam eksperimen jaringan teracak cluster (cluster-randomized). Secara bersama-sama, sumber-sumber ini mendukung representasi terkini dan relevansi teknisnya. Sumber-sumber tersebut tidak menetapkan seberapa sering perusahaan tertentu menanyakan pertanyaan ini atau membenarkan pengaitannya dengan perusahaan bernama tertentu.

Kegagalan fatal yang umum terjadi adalah mengacak pesanan begitu saja dan membandingkan dua nilai rata-rata tingkat pengguna. Algoritma ini mengubah akses ke kumpulan (pool) kurir bersama, sehingga treatment pada satu pesanan dapat mengubah hasil (outcome) pesanan lainnya. Hal tersebut melanggar kondisi tanpa interferensi (no-interference assumption) di balik interpretasi uji A/B biasa. Jawaban yang kuat mendefinisikan efek yang ditargetkan terlebih dahulu, memetakan bagaimana perlakuan treatment merambat melalui ruang dan waktu, kemudian memastikan penugasan (assignment), estimator, kalkulasi ketidakpastian, dan keputusan peluncuran menjawab pertanyaan yang sama persis.

Apa yang Dievaluasi oleh Pewawancara

Pertama, apakah kandidat dapat mendefinisikan pertanyaan kausal? “Apakah treatment mengalahkan control?” belumlah lengkap. Keputusan produk menyangkut efek penerapan algoritma baru ke seluruh pasar, yang dapat berbeda dari efek langsung pada satu pesanan yang diberi treatment sementara pesanan di sekitarnya tetap berada dalam kondisi campuran.

Kedua, apakah kandidat dapat menjelaskan interferensi sebagai sebuah mekanisme? Kurir bersama menciptakan persaingan antar-pesanan; pergerakan kurir menghubungkan zona-zona yang bersebelahan; pengantaran yang sedang berjalan serta respons perilaku menciptakan efek carryover lintas waktu. Menyebut “network effects” tanpa mengidentifikasi keterhubungan (edges) ini tidak akan menghasilkan desain eksperimen yang tepat.

Ketiga, apakah kandidat dapat memilih di antara berbagai opsi desain daripada sekadar menghafal “pengacakan cluster”? Cluster geografis mengurangi persaingan antar-kelompok treatment-control namun dapat menyisakan sedikit unit independen. Switchback menghasilkan lebih banyak unit wilayah-waktu tetapi dapat bias oleh carryover. Desain saturasi dua tahap dapat memisahkan efek langsung dan spillover dalam graf sosial. Pemisahan sumber daya (resource splitting) dapat menciptakan semesta terisolasi (isolated universes) ketika anggaran atau inventaris yang langka benar-benar dapat dipartisi.

Keempat, apakah kandidat dapat menyelaraskan analisis dengan metode penugasan? Jutaan pesanan tidak serta-merta menciptakan jutaan observasi independen ketika treatment ditugaskan ke beberapa blok waktu-pasar (market-time blocks). Power, pembobotan, standar error, dan pemeriksaan pengacakan harus mencerminkan unit dan probabilitas penugasan dalam desain tersebut.

Terakhir, apakah kandidat dapat menolak hasil yang menyesatkan? Jawaban yang kuat memeriksa penugasan, paparan (exposure), penyeberangan batas wilayah (boundary crossings), persistensi, eksperimen yang berjalan bersamaan (concurrent experiments), dan maturitas metrik sebelum membaca lift. Jawaban tersebut juga menyatakan kapan switchback hanya mengestimasi efek kebijakan jangka pendek namun tidak dapat mendukung klaim tentang ekuilibrium jangka panjang atau perilaku kurir yang telah beradaptasi (learned courier behavior).

Pertanyaan Klarifikasi yang Perlu Diajukan

Efek mana yang mendorong pengambilan keputusan? Apakah targetnya adalah efek per pesanan yang memenuhi syarat jika setiap zona menggunakan kebijakan baru, efek rata-rata per blok waktu-pasar, efek langsung pada pesanan yang mendapat treatment, atau spillover ke pesanan yang tidak mendapat treatment? Estimator dan pembobotan bergantung pada pilihan ini.
Ke mana interferensi merambat? Bisakah satu kurir melayani beberapa zona? Bisakah pesanan dicocokkan melintasi batas zona? Apakah penetapan harga (pricing), insentif, batching, atau prioritas antrean juga menghubungkan zona-zona tersebut? Jawabannya menentukan graf interferensi.
Berapa lama treatment dapat memengaruhi hasil berikutnya? Bagaimana distribusi waktu penugasan, penjemputan, penyelesaian, reposisi kurir, dan kembalinya kurir ke status siap menerima pesanan (return-to-supply)? Jalur kode yang reversibel tidak berarti status marketplace dapat langsung berbalik saat itu juga.
Berapa banyak pasar independen yang ada? Apakah ke-24 zona tersebut merupakan kumpulan tenaga kerja terpisah atau subdivisi dari empat kota yang saling terhubung erat? Dua puluh empat label zona mungkin hanya merepresentasikan empat cluster geografis yang berguna.
Bisakah sumber daya yang langka diisolasi? Anggaran, inventaris kandidat, atau kuota mungkin dapat dibagi menjadi kumpulan independen. Kurir biasanya tidak dapat diduplikasi, sehingga pengacakan berbasis semesta sumber daya (resource-universe randomization) mungkin tidak layak untuk dispatch.
Apa metrik hasil utama dan penyebutnya (denominator)? Pengantaran yang selesai per pesanan yang memenuhi syarat, waktu penjemputan, utilisasi kurir, dan gross bookings menjawab pertanyaan yang berbeda. Kelayakan (eligibility) harus ditetapkan sebelum treatment dapat mengubah masuknya pesanan ke antrean atau penyelesaiannya.
Guardrail dua sisi dan tertunda apa yang penting? Kandidat guardrail mencakup pembatalan, pengantaran terlambat, pendapatan kurir per jam aktif, waktu menganggur (idle time), tingkat penerimaan, keluhan pelanggan, dan perpindahan kurir antar-zona.
Kebijakan bersamaan apa yang mengubah pasar yang sama? Promosi, harga, respons cuaca, dan eksperimen dispatch lainnya dapat berinteraksi dengan penugasan treatment. Hal tersebut mungkin memerlukan pemblokiran (blocking), eksklusi, atau desain faktorial secara eksplisit.
Log penugasan dan paparan apa yang tersedia? Tim membutuhkan varian terjadwal, algoritma aktual, cluster pasar, blok waktu, waktu kelayakan pesanan, transisi kurir, fallback, dan maturitas metrik untuk membedakan kegagalan desain dari efek produk yang sebenarnya.

Kerangka Jawaban 30 Detik

“Pertama-tama saya akan mendefinisikan estimand sebagai perubahan per pesanan yang memenuhi syarat jika seluruh target pasar menggunakan kebijakan dispatch baru. Pengacakan tingkat pesanan tidak valid karena treatment dan control bersaing memperebutkan kurir yang sama. Saya akan membangun graf pergerakan dan pencocokan, menggabungkan zona dengan lalu lintas lintas-batas yang padat, dan, karena kebijakan ini bersifat reversibel, mengevaluasi switchback cluster-berdasarkan-waktu yang teracak. Blok waktu dan jendela transisi tetap apa pun akan ditentukan dari carryover yang terobservasi, bukan durasi default. Saya akan merencanakan power dari varians dan autokorelasi historis blok-cluster, menganalisis intention-to-treat menggunakan jadwal penugasan, dan menggunakan estimator serta metode ketidakpastian yang cocok dengan estimand per-pesanan dan desain ter-cluster. Sebelum membaca lift, saya akan memverifikasi penugasan, paparan aktual, kontaminasi, dan maturitas metrik. Saya akan merilis fitur melalui peluncuran bertahap regional yang persisten (persistent regional ramp) hanya jika tingkat penyelesaian meningkat serta guardrail pelanggan dan kurir terpenuhi; pembelajaran perilaku jangka panjang atau spillover yang belum terselesaikan akan memerlukan peluncuran cluster yang lebih panjang.”

Pembahasan Mendalam Langkah demi Langkah

Langkah 1: Tentukan estimand sebelum memilih kelompok eksperimen

Tuliskan kontras target dalam kata-kata: “Bagi pesanan yang memenuhi syarat di bawah salah satu kebijakan, berapakah perubahan pada metrik hasil utama ketika setiap unit di pasar sasaran mengikuti algoritma baru dibandingkan dengan algoritma saat ini?” Ini adalah efek kebijakan peluncuran penuh (full-rollout policy effect).

Di bawah interferensi, hasil suatu pesanan bergantung pada penugasan dirinya sendiri dan penugasan unit-unit di sekitarnya. Pengujian tingkat pengguna di pasar campuran (mixed-market) terutama mengestimasi efek langsung di bawah saturasi parsial; ini tidak selalu sama dengan kontras semua-treatment versus semua-control. Jika bisnis menginginkan efek langsung sekaligus efek spillover, nyatakan keduanya sebagai estimand terpisah daripada mengharapkan satu perbedaan treatment-control dapat mengidentifikasi keduanya.

Bekukan kelayakan (eligibility) sebelum kebijakan dapat memengaruhinya. Sebagai contoh, definisikan pesanan yang memenuhi syarat berdasarkan validitas permintaan, area layanan, dan stempel waktu yang dicatat sebelum proses dispatch. Metrik hasil seperti pengantaran yang selesai per pesanan yang memenuhi syarat tetap memperhitungkan kegagalan dan pesanan yang tidak cocok. Metrik “rata-rata waktu pengantaran di antara pesanan treatment yang selesai” mengondisikan analisis pada peristiwa pasca-treatment dan dapat membuat kebijakan yang mengabaikan pesanan-pesanan sulit tampak seolah-olah lebih cepat.

Langkah 2: Ubah “efek jaringan” menjadi peta interferensi

Buat keterhubungan (edges) dari data operasional dan aturan produk:

pesanan terhubung ketika mereka bersaing untuk mendapatkan kurir yang sama selama interval waktu yang tumpang tindih;
zona terhubung melalui pencocokan lintas-zona dan pergerakan kurir;
blok waktu terhubung selama pengantaran yang ditugaskan masih berjalan atau kurir masih berada di luar posisi semula;
kebijakan terhubung ketika penetapan harga, batching, insentif, atau eksperimen lain mengubah kapasitas yang sama.

Gunakan data pra-eksperimen untuk peta ini. Jangan membangun cluster dari perilaku yang diciptakan oleh treatment. Kuantifikasi proporsi pencocokan dan transisi kurir yang melintasi setiap batas yang diusulkan. Pengelompokan cluster yang baik mempertahankan sebagian besar edge yang kuat di dalam cluster sambil tetap menyisakan cukup banyak cluster untuk kebutuhan statistical power. Pendekatan yang dipublikasikan oleh LinkedIn memperjelas trade-off yang sama: lebih banyak cluster menyediakan lebih banyak unit pengacakan, sementara cluster yang lebih besar mengurangi edge yang melintasi kelompok treatment dan control.

Peta ini juga mengidentifikasi hasil yang tidak dapat diisolasi oleh desain tersebut. Jika kurir secara teratur melintasi setiap batas zona, penugasan di tingkat zona hanya memberi label ulang pada pasar yang sebenarnya terhubung. Tim mungkin perlu melakukan pengacakan di tingkat seluruh kota lintas waktu, menggunakan pasar persisten yang terpisah, atau menerima klaim kausal yang lebih lemah.

Langkah 3: Bandingkan alternatif desain terhadap mekanisme interferensi

Pengacakan Bernoulli individual memiliki ukuran sampel nominal yang besar dan berguna ketika unit-unit tidak saling memengaruhi. Ini tidak tepat untuk kebijakan dispatch ini karena pesanan treatment mengonsumsi kapasitas bersama dan mengontaminasi control.

Pengacakan cluster geografis persisten menugaskan semua lalu lintas yang memenuhi syarat dalam cluster pasar yang cukup terisolasi ke satu kebijakan selama durasi penuh eksperimen. Pendekatan ini menangani carryover panjang dan adaptasi perilaku dengan lebih baik daripada pergantian cepat, tetapi 24 zona mungkin menciut menjadi hanya beberapa pasar yang saling terhubung. Keseimbangan, power, dan generalisasi kemudian menjadi sulit dicapai.

Pengacakan switchback ter-cluster menugaskan cluster geografis yang terhubung ke satu kebijakan untuk satu blok waktu, lalu mengacak ulang untuk blok-blok berikutnya. Pendekatan ini cocok untuk algoritma dispatch reversibel yang efek pentingnya meluruh dalam periode yang terukur. Desain dispatch yang dipublikasikan DoorDash menggunakan unit wilayah-waktu karena alasan ini. Ini menghasilkan lebih banyak unit eksperimen, tetapi blok-blok yang bertetangga masih terhubung ketika pesanan terbuka, kurir yang berpindah tempat, atau perubahan perilaku masih bertahan.

Pengacakan dua tahap atau saturasi pertama-tama menetapkan tingkat saturasi treatment pada cluster jaringan, kemudian menugaskan anggota di dalamnya. Ini dapat mengidentifikasi bagaimana hasil berubah seiring paparan tetangga dan berguna untuk fitur sosial atau referral. Desain ini lebih kompleks dan kurang alami ketika satu kebijakan dispatch harus mengatur kumpulan kurir bersama yang sama pada satu waktu.

Pengacakan semesta terisolasi (isolated-universe) mempartisi sumber daya yang mengalami interferensi itu sendiri. Contoh periklanan DoorDash tahun 2025 membagi anggaran kampanye sehingga varian tidak dapat saling mengonsumsi anggaran satu sama lain. Ini bisa lebih kuat daripada switchback ketika sumber daya dapat dibagi dan setiap semesta dapat beroperasi secara normal. Namun, ini bukan solusi yang valid jika hanya berpura-pura bahwa kurir yang sama berada di dua kumpulan independen.

Untuk kasus yang disebutkan, pilih switchback ter-cluster hanya setelah mengonfirmasi bahwa efek utama meluruh cukup cepat. Kelompokkan zona bersebelahan yang sangat terhubung menjadi cluster pasar, lalu acak unit-unit cluster pasar × blok waktu. Jika efek mencakup adaptasi kurir selama berminggu-minggu atau reposisi yang persisten, gunakan peluncuran cluster persisten sebagai gantinya.

Langkah 4: Rancang jadwal switchback dan aturan transisi

Estimasi carryover dari masa hidup pesanan pra-eksperimen, transisi kurir, dan simulasi operasional, lalu uji kandidat jadwal dengan data A/A. Blok waktu harus cukup panjang agar sebagian besar status operasional yang relevan terselesaikan, tetapi blok yang lebih pendek menghasilkan lebih banyak unit dan biasanya power yang lebih tinggi. Ukuran wilayah menciptakan trade-off yang sama: wilayah yang lebih besar mengurangi kebocoran spasial tetapi mengurangi jumlah unit independen.

Acak setiap blok dalam strata yang telah ditentukan sebelumnya seperti cluster pasar, hari dalam seminggu, dan rentang waktu dalam sehari. Jangan menggilir treatment dan control secara deterministik, karena urutan tetap dapat bertepatan dengan tren permintaan. Seimbangkan urutan dan cegah sebuah cluster hanya menerima satu varian selama rentang waktu kritis.

Definisikan transisi sebelum data hasil diperoleh. Analisis primer dapat mengatribusikan setiap pesanan yang memenuhi syarat ke kebijakan yang dijadwalkan pada waktu kelayakannya dan melacaknya hingga tuntas (maturity). Jika protokol menggunakan boundary washout, jadikan interval tersebut tetap berdasarkan jadwal, kecualikan dari kedua kelompok, jelaskan perubahan estimand-nya, dan perhitungkan penurunan power-nya. Jangan menghapus pesanan yang “tampak terkontaminasi” setelah memeriksa hasil.

Catatan penugasan ringkas yang dideklarasikan sebelumnya dapat berupa:

text

experimental unit = market cluster × time block
assignment = randomized within market cluster × time-of-week stratum
eligibility time = recorded before dispatch policy selection
primary outcome = completed delivery within the fixed maturity horizon per eligible order
primary estimand = full-rollout effect per eligible order
transition rule = fixed before exposure; no outcome-based exclusions

Langkah 5: Rencanakan power dari unit efektif, bukan jumlah pesanan

Gunakan periode A/A historis atau simulasi ulang jadwal penugasan untuk mengestimasi varians antar blok-cluster, korelasi serial dalam pasar, time shock bersama, lalu lintas yang tidak merata, dan penyesuaian kovariat yang direncanakan. Acak ulang jadwal yang diusulkan berkali-kali dan ukur seberapa sering jadwal tersebut mendeteksi efek minimum yang ditentukan sebelumnya di bawah asumsi carryover yang realistis.

Sampel efektif ditentukan oleh informasi penugasan yang independen, bukan oleh jumlah mentah pengantaran yang bersarang di dalam suatu blok. Memperpendek blok dapat menambah unit tetapi meningkatkan bias carryover. Memperbesar cluster dapat mengurangi kebocoran spasial tetapi menghilangkan unit. Perencanaan power harus memperlihatkan batas bias-variance ini dan memilih efek terkecil yang sepadan dengan biaya operasional, bukan mencari jadwal yang memaksakan signifikansi statistik.

Tentukan durasi, alokasi, aturan penghentian (stopping rules), dan pengurangan varians apa pun terlebih dahulu hanya menggunakan kovariat pra-treatment. Jika cluster yang tersedia tidak dapat mengidentifikasi efek minimum yang layak untuk pengambilan keputusan, nyatakan batasan tersebut sebelum eksperimen dimulai. Jumlah pesanan yang sangat besar tidak dapat memperbaiki keterbatasan dari hanya empat pasar independen.

Langkah 6: Analisis sesuai dengan desain dan estimand

Gunakan penugasan intention-to-treat dari jadwal yang diacak. Laporkan kepatuhan (compliance) dan paparan algoritma aktual secara terpisah; jangan menghapus pesanan fallback dari kelompok treatment. Agregasikan diagnostik pada tingkat blok-cluster, karena di sanalah penugasan treatment berubah.

Sesuaikan pembobotan dengan estimand. Nilai rata-rata tanpa pembobotan di seluruh blok-cluster mengestimasi efek rata-rata blok. Jika target keputusan adalah efek per pesanan yang memenuhi syarat di bawah peluncuran penuh dan ukuran cluster bervariasi, gunakan estimator yang konsisten terhadap desain seperti Horvitz-Thompson atau pendekatan Hájek berdasarkan probabilitas penugasan yang diketahui, dan nyatakan populasi targetnya. Laporkan efek rata-rata blok sebagai pandangan sekunder daripada diam-diam mengganti estimand.

Untuk kalkulasi ketidakpastian, utamakan randomization inference di atas skema penugasan aktual jika memungkinkan. Alternatif berbasis model harus memperhitungkan observasi berulang di dalam pasar, ketergantungan serial, time shock bersama, dan stratifikasi. Memperlakukan setiap pesanan sebagai observasi independen menghasilkan interval kepercayaan yang sempit secara artifisial. Laporkan estimasi, interval, efek minimum yang layak untuk keputusan, dan sensitivitas terhadap aturan transisi yang telah ditentukan sebelumnya.

Sebelum membaca dampak, jalankan pemeriksaan kesehatan:

proporsi treatment terjadwal dan keseimbangannya dalam setiap stratum;
persistensi penugasan dan paparan algoritma aktual;
tingkat pesanan yang memenuhi syarat, fallback, dan kejadian yang hilang per kelompok eksperimen;
pencocokan lintas-cluster dan pergerakan kurir;
maturitas hasil dan pembatalan yang tertunda;
tumpang tindih eksperimen dan kebijakan yang berjalan bersamaan;
kalibrasi A/A terhadap false-positive rate di bawah pipeline yang sama.

Langkah 7: Hubungkan hasil dengan keputusan peluncuran

Pilih satu metrik hasil utama yang terikat dengan tujuan dispatch, seperti pengantaran yang selesai dalam batas waktu tertentu per pesanan yang memenuhi syarat. Tambahkan guardrail pelanggan seperti pembatalan, keterlambatan, tingkat keluhan, dan waktu tunggu penjemputan; guardrail kurir dapat mencakup pendapatan per jam aktif, waktu menganggur, tingkat penerimaan, dan konsentrasi beban kerja yang tidak aman. Definisikan batas bahaya (harm margins) dan ambang batas rollback sebelum paparan dilakukan.

Hasil switchback yang positif mendukung efek kebijakan pasar jangka pendek di bawah blok yang diuji. Hasil ini mungkin tidak mencakup pasokan ekuilibrium, adaptasi perilaku kurir, atau retensi selama berminggu-minggu. Tindak lanjuti dengan peluncuran bertahap regional yang persisten atau kelompok holdout ketika dinamika tersebut penting. Bandingkan arah dan besaran efek dengan hasil switchback, pantau batas-batas wilayah, dan hentikan ekspansi jika guardrail atau kontaminasi melampaui batas yang dideklarasikan sebelumnya.

Jika eksperimen cluster dan eksperimen individual tidak sejalan, jangan merata-ratakannya menjadi satu angka. Perbedaan tersebut dapat menjadi bukti adanya interferensi, sebagaimana diilustrasikan oleh meta-eksperimen yang dipublikasikan oleh LinkedIn. Tinjau kembali setiap estimand, kebocoran cluster, kesehatan penugasan, dan power sebelum memutuskan desain mana yang lebih mencerminkan peluncuran penuh.

Contoh Jawaban Berkualitas Tinggi

“Saya akan mulai dengan memperjelas pertanyaan kausalnya. Keputusan peluncuran didasarkan pada perubahan pengantaran yang selesai per pesanan yang memenuhi syarat jika seluruh target pasar menggunakan algoritma dispatch baru. Itu berbeda dari memberi treatment pada satu pesanan sementara pesanan di sekitarnya tetap berada di control. Saya akan mendefinisikan kelayakan sebelum dispatch sehingga treatment tidak dapat memanipulasi penyebutnya sendiri, dan saya akan melacak setiap pesanan yang ditugaskan hingga batas waktu maturitas tetap.

Pengacakan tingkat pesanan tidak valid di sini. Pesanan treatment dapat mengambil satu-satunya kurir yang cocok dan mengubah waktu tunggu atau penyelesaian pesanan control, sementara pergerakan kurir menyebarkan efek tersebut melintasi batas zona dan periode waktu berikutnya. Saya akan menggunakan data pencocokan dan pergerakan pra-eksperimen untuk membangun graf interferensi, kemudian menggabungkan zona-zona yang bersebelahan hingga pencocokan lintas-cluster dan pergerakan kurir turun di bawah ambang batas diagnostik yang ditentukan sebelumnya. Jika ke-24 zona tersebut menciut menjadi hanya beberapa pasar yang terhubung, saya akan menyatakannya secara terbuka daripada mengklaim memiliki 24 cluster independen.

Karena kode dispatch bersifat reversibel, kandidat pertama saya adalah switchback ter-cluster. Setiap cluster pasar yang terhubung menerima satu algoritma untuk satu blok waktu yang diacak. Saya akan mengacak blok dalam strata pasar dan hari/waktu dalam seminggu, bukan menggilirnya secara deterministik. Panjang jendela waktu ditentukan dari data penyelesaian pesanan dan reposisi kurir ditambah simulasi jadwal A/A. Jendela pendek memberikan lebih banyak unit tetapi meningkatkan carryover; jendela panjang mengurangi kebocoran tetapi kehilangan power. Jika kebijakan tersebut mengubah perilaku kurir selama berminggu-minggu, saya akan menolak switchback dan menggunakan peluncuran persisten tingkat pasar.

Analisis utamanya adalah intention-to-treat menggunakan algoritma yang dijadwalkan pada waktu kelayakan pra-dispatch pesanan. Saya akan mempertahankan pesanan fallback dan penugasan yang gagal di kelompok aslinya. Karena penugasan terjadi di tingkat blok-pasar, power dan ketidakpastian berasal dari unit-unit tersebut serta ketergantungan serialnya, bukan dari jutaan pesanan. Saya akan mensimulasikan jadwal yang diusulkan pada data A/A historis, menentukan efek minimum, durasi, dan aturan transisi terlebih dahulu, serta menggunakan randomization inference berbasis desain jika memungkinkan. Karena metrik keputusan dihitung per pesanan yang memenuhi syarat, saya akan menggunakan weighted estimator yang konsisten terhadap desain dengan probabilitas penugasan yang diketahui dan juga melaporkan efek blok-pasar rata-rata tanpa pembobotan.

Sebelum membaca lift, saya akan memeriksa keseimbangan treatment dalam strata, paparan kebijakan aktual, tingkat fallback dan kejadian hilang, pencocokan lintas-cluster, transisi kurir, maturitas hasil, dan eksperimen yang tumpang tindih. Metrik hasil utama saya adalah pengantaran yang selesai dalam batas waktu tetap per pesanan yang memenuhi syarat. Pembatalan pelanggan, keterlambatan, keluhan, waktu tunggu penjemputan, serta pendapatan kurir, waktu menganggur, dan tingkat penerimaan akan memiliki harm margin yang ditentukan sebelumnya.

Jika estimasi melampaui efek minimum yang berguna dan semua guardrail terpenuhi, saya akan menjalankan peluncuran bertahap regional yang persisten untuk memverifikasi bahwa hasil switchback jangka pendek bertahan dari perubahan ekuilibrium dan proses adaptasi kurir. Jika carryover tetap signifikan, jumlah cluster terlalu sedikit untuk efek yang direncanakan, atau estimasi individual dan cluster tidak sejalan tanpa mekanisme yang jelas, saya tidak akan menyajikan hasil tingkat pengguna sebagai efek peluncuran. Saya akan merancang ulang eksperimen atau mempersempit klaim kausalnya.”

Kesalahan Umum

Mengacak jutaan pesanan secara independen → Kelompok treatment dan control mengonsumsi pasokan kurir yang sama, sehingga ukuran sampel nominal menyembunyikan adanya interferensi → Acak unit yang mencakup interaksi utama atau isolasi sumber daya itu sendiri.
Mengatakan “gunakan cluster” tanpa mendefinisikan batas keterhubungannya (edges) → Geografi mungkin tidak membatasi pergerakan kurir, interaksi sosial, persaingan anggaran, atau carryover temporal → Bangun peta interferensi dari mekanisme aktual dan data pra-treatment.
Memilih switchback standar 30 menit begitu saja → Jendela waktu yang praktis mungkin lebih pendek daripada efek pengantaran dan reposisi atau lebih panjang dari yang dibutuhkan → Estimasi carryover dan kalibrasi kandidat jadwal dengan data A/A dan simulasi.
Menggilir varian secara deterministik → Treatment dapat bertepatan dengan periode sibuk, hari kerja tertentu, atau tren musiman → Acak ulang blok di dalam strata waktu dan pasar yang telah ditentukan.
Menghitung setiap pesanan sebagai unit independen → Penugasan terjadi pada unit yang lebih besar, menghasilkan estimasi ketidakpastian yang terlalu rendah dan kepercayaan semu → Dasarkan kalkulasi power dan inferensi pada struktur teracak yang sebenarnya.
Melaporkan rata-rata blok tanpa pembobotan sebagai efek peluncuran per pesanan → Ukuran blok yang tidak sama mengubah populasi target → Definisikan estimand dan gunakan estimator yang konsisten terhadap desain dengan pembobotan eksplisit.
Menghapus pesanan batas wilayah setelah melihat hasil → Pengecualian yang didorong oleh hasil merusak perbandingan acak → Deklarasikan kelayakan, penanganan transisi, dan maturitas sejak awal, lalu pertahankan penugasan intention-to-treat.
Menganggap switchback selalu tepat untuk segala situasi → Carryover, adaptasi perilaku, power rendah, dan time shock bersama dapat membatalkan atau melemahkannya → Gunakan cluster persisten, saturasi, atau semesta terisolasi ketika asumsinya lebih cocok.
Merilis fitur hanya berdasarkan lift jangka pendek → Ekuilibrium marketplace dan perilaku kurir dapat berubah di bawah peluncuran persisten → Validasi dengan peluncuran bertahap persisten dan guardrail dua sisi.

Pertanyaan Lanjutan dan Tanggapan

Pertanyaan Lanjutan 1: Bagaimana jika 24 zona menciut menjadi hanya empat pasar independen?

Empat cluster pasar memberikan informasi yang lemah untuk eksperimen cluster persisten, dan banyaknya pesanan di dalamnya tidak menyelesaikan masalah tersebut. Jika efek meluruh dengan cepat, pengulangan blok waktu-pasar yang teracak dapat menambah informasi, asalkan ketergantungan serial dan carryover dimodelkan. Jika efek bertahan selama berminggu-minggu, opsi yang jujur adalah peluncuran bertahap berpasangan yang lebih lama, penyesuaian kovariat pra-treatment yang lebih kuat, simulasi untuk risiko operasional, atau menunggu hingga tersedia lebih banyak pasar independen. Laporkan interval ketidakpastian yang lebar dan persempit klaimnya; jangan memanipulasi independensi dengan memecah zona-zona yang saling terhubung.

Pertanyaan Lanjutan 2: Bagaimana jika treatment mengubah perilaku kurir selama beberapa minggu?

Switchback cepat akan mengestimasi campuran antara kebijakan saat ini dan riwayat masa lalu, menjadikannya desain yang buruk untuk mengukur efek jangka panjang. Gunakan penugasan cluster persisten atau peluncuran bertahap teracak, ukur aktivasi, jam kerja yang diberikan, pendapatan, retensi, dan hasil pelanggan di seluruh rentang perilaku penuh, dan pertahankan penugasan pada tingkat pasar. Switchback masih dapat menyaring efek algoritmik langsung, tetapi tidak dapat menggantikan eksperimen dengan horizon jangka panjang.

Pertanyaan Lanjutan 3: Bagaimana desain eksperimen berubah untuk fitur social sharing?

Bangun graf dari hubungan pertemanan atau edge interaksi pra-treatment. Pengacakan cluster dapat mendekati kontras jaringan semua-treatment versus semua-control ketika sebagian besar edge tetap berada di dalam cluster. Jika tujuannya mencakup efek langsung dan spillover, acak cluster ke tingkat saturasi treatment yang berbeda, lalu acak pengguna di dalam cluster tersebut. Tentukan pemetaan paparan sebelumnya seperti proporsi tetangga relevan yang mendapat treatment, dan antisipasi power yang lebih rendah serta tumpang tindih antar-komunitas.

Pertanyaan Lanjutan 4: Bagaimana jika saluran interferensinya berupa anggaran iklan yang dapat dibagi?

Bagi anggaran atau inventaris menjadi semesta independen dan berikan setiap varian akses eksklusif ke kumpulannya sendiri. Ini menghilangkan kanibalisasi langsung sambil mempertahankan penugasan di tingkat pengguna dan dapat meningkatkan statistical power. Validasi bahwa kumpulan anggaran tidak dapat saling meminjam, pacing dan lelang tidak menghubungkannya kembali, dan pemisahan tersebut merepresentasikan kebijakan peluncuran penuh. Jika isolasi tidak lengkap, ukur kebocoran dan batasi klaim kausalnya.

Pertanyaan Lanjutan 5: Bagaimana jika eksperimen tingkat individu dan tingkat cluster memberikan hasil yang bertentangan?

Pertama, verifikasi penugasan, paparan, definisi metrik, maturitas, dan power pada keduanya. Kemudian bandingkan estimand-nya: pengujian individual mengukur treatment dalam lingkungan campuran, sementara pengujian cluster menggerakkan lebih banyak unit tetangga secara bersamaan dan mungkin lebih mendekati kondisi peluncuran penuh. Kuantifikasi edge lintas-cluster dan tingkat saturasi, serta gunakan meta-eksperimen atau uji pengacakan yang ditentukan sebelumnya jika memungkinkan. Perbedaan yang bermakna adalah bukti untuk menyelidiki interferensi, bukan alasan untuk langsung memilih nilai lift yang lebih besar.

Pertanyaan Lanjutan 6: Bagaimana Anda memilih jendela switchback dalam praktiknya?

Gambarkan grafik peluruhan pesanan yang masih berjalan, perpindahan posisi kurir, dan metrik utama setelah transisi kebijakan menggunakan data pra-eksperimen atau pilot yang aman. Simulasikan beberapa jadwal teracak pada periode A/A, ukur kalibrasi false-positive, varians, dan sensitivitas terhadap fixed boundary buffer. Pilih jendela terpendek yang carryover residualnya tetap berada di bawah batas toleransi yang dideklarasikan sebelumnya sementara power tetap memadai, kemudian jalankan analisis sensitivitas pada pilihan jendela dan transisi di sekitarnya.