Temu Duga Sains Data: Bagaimana Anda Mereka Bentuk Ujian A/B di Bawah Gangguan Rangkaian?

Soalan dan Konteks

Sebuah pasaran penghantaran atas permintaan ingin menguji algoritma penghantaran (dispatch) baharu merentas 24 zon operasi. Pesanan rawatan boleh menuntut kurier yang sebaliknya akan diterima oleh pesanan kawalan, dan kurier boleh bergerak antara zon bersebelahan. Reka bentuk eksperimen untuk menganggarkan kesan pelancaran algoritma tersebut ke seluruh pasaran. Terangkan estimand, unit rawakan, kawalan limpahan (spillover) dan kesan bawaan (carryover), pengiraan kuasa statistik, analisis, pagar pelindung (guardrails), serta keputusan pelancaran.

24 zon, intervensi, dan butiran operasi ini merupakan andaian kes temu duga, bukan fakta tentang platform sebenar. Andaikan algoritma ini boleh diterbalikkan (reversible) dan boleh dipilih oleh perkhidmatan eksperimen. Jangan andaikan tetingkap switchback atau tempoh pembersihan (washout) sedia ada; perkara tersebut mesti dijustifikasikan daripada dinamik pesanan dan kurier.

Ini ialah soalan reka bentuk eksperimen yang sukar untuk saintis data, saintis eksperimentasi, ahli ekonomi, dan penganalisis produk. Halaman soalan temu duga awam mengklasifikasikan eksperimen rangkaian sebagai kes sains data dan penganalisis data yang sukar serta merekodkan tarikh pertanyaan pada 7 April 2026. LinkedIn telah mendokumentasikan eksperimen kelompok untuk mengesan gangguan rangkaian sosial. DoorDash telah mendokumentasikan switchback kawasan-masa untuk penghantaran dan, dalam kes iklan pasaran 2025, menjelaskan sebab kesan bawaan dan kuasa yang rendah boleh menjadikan switchback pilihan yang lemah apabila sesuatu sumber sebaliknya boleh diasingkan. Kertas kerja ICLR 2026 terus mengkaji masalah bias-varians dalam eksperimen rangkaian rawakan kelompok. Bersama-sama, sumber ini menyokong keterwakilan semasa dan perkaitan teknikal. Sumber ini tidak membuktikan kekerapan mana-mana syarikat bertanyakan soalan ini atau mewajarkan penetapannya kepada syarikat yang dinamakan.

Kegagalan utama adalah merawakkan pesanan dan membandingkan dua min peringkat pengguna. Algoritma ini mengubah akses kepada kumpulan kurier yang dikongsi bersama, jadi rawatan bagi satu pesanan boleh mengubah hasil pesanan lain. Ini melanggar syarat tiada gangguan (no-interference) di sebalik tafsiran A/B biasa. Jawapan yang mantap mentakrifkan kesan yang ingin diketahui terlebih dahulu, memetakan cara rawatan merambat merentasi ruang dan masa, dan kemudian memastikan penetapan, penganggar, pengiraan ketidakpastian, serta keputusan pelancaran menjawab persoalan yang sama tersebut.

Perkara yang Dinilai oleh Penemu Duga

Pertama, bolehkah calon mentakrifkan persoalan kausal? “Adakah rawatan mengatasi kawalan?” adalah tidak lengkap. Keputusan produk melibatkan kesan penggunaan algoritma baharu ke atas keseluruhan pasaran, yang boleh berbeza daripada kesan langsung ke atas satu pesanan yang dirawat sementara pesanan jiran kekal bercampur.

Kedua, bolehkah calon menerangkan gangguan sebagai satu mekanisme? Kurier yang dikongsi mewujudkan persaingan antara pesanan; pergerakan kurier menghubungkan zon yang bersebelahan; penghantaran terbuka dan tindak balas tingkah laku mewujudkan kesan bawaan merentas masa. Menyebut “kesan rangkaian” tanpa mengenal pasti hubungan (edges) ini tidak dapat menentukan sesuatu reka bentuk.

Ketiga, bolehkah calon memilih antara reka bentuk dan bukannya sekadar menghafal “rawakan kelompok”? Kelompok geografi mengurangkan persaingan rentas cabang tetapi boleh menyebabkan unit bebas menjadi sedikit. Switchback mencipta lebih banyak unit kawasan-masa tetapi boleh dibiaskan oleh kesan bawaan. Reka bentuk ketepuan dua peringkat boleh memisahkan kesan langsung dan limpahan dalam graf sosial. Pemisahan sumber boleh mencipta alam semesta terpencil apabila bajet atau inventori yang terhad benar-benar boleh dibahagikan.

Keempat, bolehkah calon menyelaraskan analisis dengan penetapan? Berjuta-juta pesanan tidak mencipta berjuta-juta pemerhatian bebas apabila rawatan ditetapkan kepada beberapa blok pasaran-masa. Kuasa, pemberatan, ralat piawai, dan semakan rawakan mesti mencerminkan unit dan kebarangkalian penetapan dalam reka bentuk tersebut.

Akhir sekali, bolehkah calon menolak hasil yang mengelirukan? Jawapan yang mantap menyemak penetapan, pendedahan, lintasan sempadan, ketahanan (persistence), eksperimen serentak, dan kematangan metrik sebelum membaca peningkatan (lift). Ia juga menyatakan bila switchback menganggarkan kesan dasar jangka pendek tetapi tidak boleh menyokong tuntutan tentang keseimbangan jangka panjang atau tingkah laku kurier yang dipelajari.

Soalan Penjelasan untuk Ditanya

Kesan manakah yang mendorong keputusan? Adakah sasarannya merupakan kesan bagi setiap pesanan yang layak jika setiap zon menggunakan dasar baharu, kesan purata bagi setiap blok pasaran-masa, kesan langsung ke atas pesanan yang dirawat, atau limpahan ke atas pesanan yang tidak dirawat? Penganggar dan pemberatan bergantung pada pilihan ini.
Ke manakah gangguan merambat? Bolehkah seorang kurier melayani pelbagai zon? Bolehkah pesanan dipadankan merentasi sempadan? Adakah penetapan harga, insentif, kelompokan (batching), atau keutamaan giliran turut menghubungkan zon-zon tersebut? Jawapan ini mentakrifkan graf gangguan.
Berapa lamakah rawatan boleh menjejaskan hasil yang terkemudian? Apakah taburan masa bagi penetapan, pengambilan, penyempurnaan, kedudukan semula kurier, dan kepulangan kepada bekalan? Laluan kod yang boleh diterbalikkan tidak membayangkan keadaan pasaran yang boleh diterbalikkan serta-merta.
Berapa banyakkah pasaran bebas yang wujud? Adakah 24 zon tersebut merupakan kumpulan tenaga kerja yang berasingan atau subbahagian daripada empat bandar yang terhubung rapat? Dua puluh empat label mungkin hanya mewakili empat kelompok geografi yang berguna.
Bolehkah sumber yang terhad diasingkan? Bajet, inventori calon, atau kuota mungkin boleh dibahagikan kepada kumpulan bebas. Kurier biasanya tidak boleh diduplikasi, jadi rawakan alam semesta sumber mungkin tidak boleh dilaksanakan untuk penghantaran.
Apakah hasil utama dan penyebutnya? Penghantaran yang diselesaikan bagi setiap pesanan yang layak, masa pengambilan, penggunaan kurier, dan tempahan kasar menjawab soalan yang berbeza. Kelayakan mesti ditetapkan sebelum rawatan boleh mengubah kemasukan giliran atau penyempurnaan.
Pagar pelindung tertangguh dan dua sisi yang manakah penting? Calon pagar pelindung termasuk pembatalan, penghantaran lewat, pendapatan kurier bagi setiap jam aktif, masa melahu, penerimaan, aduan pelanggan, dan anjakan rentas zon.
Apakah dasar serentak yang mengubah pasaran yang sama? Promosi, penetapan harga, tindak balas cuaca, dan eksperimen penghantaran lain boleh berinteraksi dengan penetapan. Perkara ini mungkin memerlukan penyekatan (blocking), pengecualian, atau reka bentuk faktorial yang eksplisit.
Apakah log penetapan dan pendedahan yang wujud? Pasukan memerlukan varian yang dijadualkan, algoritma sebenar, kelompok pasaran, blok masa, masa kelayakan pesanan, peralihan kurier, sandaran (fallback), dan kematangan hasil untuk membezakan kegagalan reka bentuk daripada kesan produk.

Rangka Kerja Jawapan 30 Saat

“Saya akan terlebih dahulu mentakrifkan estimand sebagai perubahan bagi setiap pesanan yang layak jika seluruh pasaran sasaran menggunakan dasar penghantaran baharu. Rawakan peringkat pesanan adalah tidak sah kerana rawatan dan kawalan bersaing untuk kurier yang sama. Saya akan membina graf pergerakan dan pemadanan, menggabungkan zon yang mempunyai trafik rentas sempadan yang tinggi, dan, oleh sebab dasar ini boleh diterbalikkan, menilai switchback kelompok-mengikut-masa yang dirawakkan. Blok dan sebarang tetingkap peralihan tetap akan diperoleh daripada kesan bawaan yang diperhatikan, bukan tempoh lalai. Saya akan merancang kuasa daripada varians dan autokorelasi kelompok-blok sejarah, menganalisis niat untuk merawat (intention to treat) menggunakan jadual penetapan, dan menggunakan penganggar serta kaedah ketidakpastian yang sepadan dengan estimand setiap pesanan dan reka bentuk berkelompok. Sebelum membaca peningkatan, saya akan mengesahkan penetapan, pendedahan sebenar, pencemaran, dan kematangan metrik. Saya akan melancarkan melalui peningkatan wilayah yang berterusan hanya jika penyempurnaan bertambah baik dan pagar pelindung pelanggan serta kurier lulus; pembelajaran jangka panjang atau limpahan yang tidak dapat diselesaikan sebaliknya memerlukan pelancaran kelompok yang lebih lama.”

Perbincangan Mendalam Langkah Demi Langkah

Langkah 1: Tentukan estimand sebelum memilih baldi (bucket)

Tulis kontras sasaran dalam bentuk perkataan: “Bagi pesanan yang layak di bawah mana-mana dasar, apakah perubahan dalam hasil utama apabila setiap unit dalam pasaran sasaran mengikut algoritma baharu berbanding algoritma semasa?” Ini ialah kesan dasar pelancaran penuh.

Di bawah gangguan, hasil pesanan bergantung pada penetapannya sendiri dan penetapan di sekelilingnya. Ujian peringkat pengguna pasaran bercampur terutamanya menganggarkan kesan langsung di bawah ketepuan separa; ia tidak semestinya sama dengan kontras semua-rawatan berbanding semua-kawalan. Jika perniagaan mahukan kedua-dua kesan langsung dan limpahan, namakannya sebagai estimand yang berasingan daripada mengharapkan satu perbezaan rawatan-kawalan dapat mengenal pasti kedua-duanya.

Bekukan kelayakan sebelum dasar boleh menjejaskannya. Sebagai contoh, tentukan pesanan yang layak daripada kesahihan permintaan, kawasan perkhidmatan, dan cap masa yang direkodkan sebelum penghantaran. Hasil seperti penghantaran yang diselesaikan bagi setiap pesanan yang layak mengekalkan kegagalan dan pesanan yang tidak dipadankan. “Purata masa penghantaran dalam kalangan pesanan rawatan yang selesai” bergantung pada peristiwa pasca-rawatan dan boleh menjadikan dasar yang menggugurkan pesanan sukar kelihatan lebih pantas.

Langkah 2: Tukarkan “kesan rangkaian” kepada peta gangguan

Cipta hubungan (edges) daripada data operasi dan peraturan produk:

pesanan disambungkan apabila ia bersaing untuk kurier yang sama semasa selang masa yang bertindih;
zon disambungkan melalui pemadanan rentas zon dan pergerakan kurier;
blok masa disambungkan selagi penghantaran yang ditetapkan kekal terbuka atau kurier kekal berganjak;
dasar disambungkan apabila penetapan harga, kelompokan, insentif, atau eksperimen lain mengubah kapasiti yang sama.

Gunakan data pra-eksperimen untuk peta ini. Jangan bina kelompok daripada tingkah laku yang dicipta oleh rawatan. Kuantifikasikan bahagian pemadanan dan peralihan kurier yang melintasi setiap sempadan yang dicadangkan. Pengelompokan yang berguna mengekalkan kebanyakan hubungan yang kuat dalam kelompok sambil mengekalkan kelompok yang mencukupi untuk kuasa statistik. Pendekatan LinkedIn yang diterbitkan membuat pertukaran (trade-off) yang sama secara eksplisit: lebih banyak kelompok menyediakan lebih banyak unit rawakan, manakala kelompok yang lebih besar mengurangkan hubungan yang melintasi antara rawatan dan kawalan.

Peta ini juga mengenal pasti hasil yang tidak dapat diasingkan oleh reka bentuk. Jika kurier kerap melintasi setiap sempadan zon, penetapan peringkat zon hanya melabel semula pasaran yang terhubung. Pasukan mungkin perlu merawakkan pada peringkat seluruh bandar mengikut masa, menggunakan pasaran berterusan yang berasingan, atau menerima tuntutan kausal yang lebih lemah.

Langkah 3: Bandingkan reka bentuk dengan mekanisme

Rawakan Bernoulli individu mempunyai saiz sampel nominal yang tinggi dan berguna apabila unit tidak menjejaskan satu sama lain. Ia tidak sesuai untuk dasar penghantaran ini kerana pesanan rawatan menggunakan kapasiti yang dikongsi dan mencemarkan kawalan.

Rawakan kelompok geografi berterusan menetapkan semua trafik yang layak dalam kelompok pasaran yang cukup terpencil kepada satu dasar untuk keseluruhan eksperimen. Ia mengendalikan kesan bawaan yang panjang dan pembelajaran tingkah laku dengan lebih baik daripada pertukaran yang pantas, tetapi 24 zon mungkin menyusut menjadi beberapa pasaran yang terhubung sahaja. Keseimbangan, kuasa, dan pengitlakan kemudiannya menjadi sukar.

Rawakan switchback berkelompok menetapkan kelompok geografi yang terhubung kepada satu dasar untuk satu blok masa, kemudian merawakkan semula blok masa hadapan. Ia sesuai dengan algoritma penghantaran yang boleh diterbalikkan yang kesan pentingnya menyusut dalam tempoh yang boleh diukur. Reka bentuk penghantaran DoorDash yang diterbitkan menggunakan unit kawasan-masa atas sebab ini. Ia mencipta lebih banyak unit eksperimen, tetapi blok bersebelahan masih terhubung apabila pesanan terbuka, kurier yang berpindah tempat, atau tingkah laku yang berubah berterusan.

Rawakan dua peringkat atau ketepuan mula-mula menetapkan kelompok rangkaian kepada tahap ketepuan rawatan, kemudian menetapkan ahli di dalamnya. Ia boleh mengenal pasti cara hasil berubah mengikut pendedahan jiran dan berguna untuk ciri sosial atau rujukan. Ia lebih kompleks dan kurang semula jadi apabila satu dasar penghantaran mesti mentadbir kumpulan kurier kongsi yang sama pada satu-satu masa.

Rawakan alam semesta terpencil membahagikan sumber yang mengganggu itu sendiri. Contoh iklan 2025 DoorDash membahagikan bajet kempen supaya varian tidak boleh menggunakan bajet antara satu sama lain. Ini boleh menjadi lebih kukuh daripada switchback apabila sumber boleh dibahagikan dan setiap alam semesta boleh beroperasi secara normal. Ia tidak mencipta penyelesaian yang sah dengan berpura-pura kurier yang sama kepunyaan dua kumpulan bebas.

Bagi kes yang dinyatakan, pilih switchback berkelompok hanya selepas mengesahkan bahawa kesan utama menyusut dengan cukup cepat. Kumpulkan zon bersebelahan yang terhubung kuat ke dalam kelompok pasaran, kemudian rawakkan unit kelompok-pasaran × blok-masa. Jika kesannya merangkumi pembelajaran kurier selama berminggu-minggu atau kedudukan semula yang berterusan, gunakan pelancaran kelompok berterusan sebagai ganti.

Langkah 4: Reka bentuk jadual switchback dan peraturan peralihan

Anggarkan kesan bawaan daripada jangka hayat pesanan pra-eksperimen, peralihan kurier, dan simulasi operasi, kemudian uji jadual calon dengan data A/A. Blok tersebut mestilah cukup panjang supaya sebahagian besar keadaan yang berkaitan selesai, tetapi blok yang lebih pendek mencipta lebih banyak unit dan biasanya lebih banyak kuasa. Saiz rantau mencipta pertukaran yang sama: rantau yang lebih besar mengurangkan kebocoran spatial dan mengurangkan bilangan unit bebas.

Rawakkan setiap blok dalam strata yang dipratentukan seperti kelompok pasaran, hari dalam minggu, dan jalur masa (time-of-day band). Jangan selang-selikan rawatan dan kawalan secara deterministik, kerana urutan tetap boleh sejajar dengan trend permintaan. Seimbangkan urutan dan elakkan kelompok daripada menerima hanya satu varian semasa jalur masa yang kritikal.

Tentukan peralihan sebelum hasil diperoleh. Analisis utama boleh mengaitkan setiap pesanan yang layak kepada dasar yang dijadualkan pada masa kelayakannya dan mengikutinya sehingga matang. Jika protokol menggunakan pembersihan sempadan, jadikan selang tersebut tetap mengikut jadual, kecualikannya daripada kedua-dua cabang, terangkan estimand yang diubah, dan sertakan kerugiannya dalam kuasa. Jangan keluarkan pesanan yang “kelihatan tercemar” selepas memeriksa hasil.

Rekod penetapan padat yang diisytiharkan terlebih dahulu boleh menjadi:

text

experimental unit = market cluster × time block
assignment = randomized within market cluster × time-of-week stratum
eligibility time = recorded before dispatch policy selection
primary outcome = completed delivery within the fixed maturity horizon per eligible order
primary estimand = full-rollout effect per eligible order
transition rule = fixed before exposure; no outcome-based exclusions

Langkah 5: Rancang kuasa statistik daripada unit berkesan, bukan bilangan pesanan

Gunakan tempoh A/A sejarah atau jadual penetapan yang dimainkan semula untuk menganggarkan varians merentas kelompok-blok, korelasi bersiri dalam pasaran, kejutan masa biasa, trafik yang tidak sama rata, dan sebarang pelarasan kovariat yang dirancang. Rawakkan semula jadual yang dicadangkan berkali-kali dan ukur kekerapan ia mengesan kesan minimum yang dipratentukan di bawah andaian kesan bawaan yang realistik.

Sampel berkesan didorong oleh maklumat penetapan bebas, bukan oleh bilangan mentah penghantaran yang bersarang di dalam blok. Memendekkan blok boleh menambah unit tetapi meningkatkan bias kesan bawaan. Membesarkan kelompok boleh mengurangkan kebocoran spatial tetapi membuang unit. Perancangan kuasa harus menunjukkan sempadan bias-varians ini dan memilih kesan terkecil yang berbaloi dengan kos operasi, bukan mencari jadual yang menjamin keertian (significance).

Pratentukan tempoh, peruntukan, peraturan penghentian, dan sebarang pengurangan varians menggunakan kovariat pra-rawatan sahaja. Jika kelompok yang tersedia tidak dapat mengenal pasti kesan minimum yang wajar diputuskan, nyatakan kekangan tersebut sebelum pelancaran. Jumlah pesanan yang besar tidak dapat membaiki empat pasaran bebas.

Langkah 6: Analisis mengikut reka bentuk dan estimand

Gunakan penetapan niat untuk merawat (intention-to-treat) daripada jadual yang dirawakkan. Laporkan pematuhan dan pendedahan algoritma sebenar secara berasingan; jangan padamkan pesanan sandaran (fallback) daripada rawatan. Kumpulkan diagnostik pada peringkat kelompok-blok, kerana di situlah penetapan berubah.

Padankan pemberatan dengan estimand. Min tanpa wajaran merentas kelompok-blok menganggarkan kesan blok purata. Jika sasaran keputusan ialah kesan bagi setiap pesanan yang layak di bawah pelancaran dan saiz kelompok berbeza-beza, gunakan penganggar jenis Horvitz-Thompson atau Hájek yang konsisten dengan reka bentuk berdasarkan kebarangkalian penetapan yang diketahui, dan nyatakan populasi sasarannya. Laporkan kesan blok purata sebagai paparan sekunder dan bukannya menukar estimand secara senyap.

Bagi ketidakpastian, utamakan inferens rawakan ke atas skema penetapan sebenar apabila boleh dilaksanakan. Alternatif berasaskan model mesti mengambil kira pemerhatian berulang dalam pasaran, kebergantungan bersiri, kejutan masa yang dikongsi, dan penstrataan. Menganggap setiap pesanan sebagai bebas menghasilkan selang keyakinan yang sempit secara tiruan. Laporkan anggaran, selang, kesan minimum yang wajar diputuskan, dan kepekaan terhadap peraturan peralihan yang dipratentukan.

Sebelum membaca impak, jalankan semakan kesihatan:

bahagian rawatan yang dijadualkan dan keseimbangan dalam setiap strata;
ketahanan penetapan dan pendedahan algoritma sebenar;
kadar pesanan layak, sandaran, dan peristiwa hilang mengikut cabang;
pemadanan rentas kelompok dan pergerakan kurier;
kematangan hasil dan pembatalan tertangguh;
pertindihan eksperimen dan dasar serentak;
penentukuran A/A bagi kadar positif palsu di bawah saluran paip yang sama.

Langkah 7: Hubungkan hasil dengan keputusan pelancaran

Pilih satu hasil utama yang terikat dengan objektif penghantaran, seperti penghantaran yang diselesaikan dalam tempoh tetap bagi setiap pesanan yang layak. Tambahkan pagar pelindung pelanggan seperti pembatalan, kelewatan, kadar aduan, dan masa menunggu pengambilan; pagar pelindung kurier boleh merangkumi pendapatan bagi setiap jam aktif, masa melahu, penerimaan, dan penumpuan beban kerja yang tidak selamat. Tentukan margin kemudaratan dan ambang pengunduran (rollback) sebelum pendedahan.

Hasil switchback yang positif menyokong kesan dasar pasaran jangka pendek di bawah blok yang diuji. Ia mungkin tidak menangkap bekalan keseimbangan, pembelajaran kurier, atau pengekalan selama berminggu-minggu. Susulinya dengan peningkatan wilayah yang berterusan atau holdout apabila dinamik tersebut penting. Bandingkan arah dan magnitud dengan switchback, pantau sempadan, dan hentikan pengembangan jika pagar pelindung atau pencemaran melebihi had yang diisytiharkan terlebih dahulu.

Jika eksperimen kelompok dan individu tidak sehaluan, jangan puratakannya menjadi satu nombor. Perbezaan tersebut boleh menjadi bukti gangguan, seperti yang digambarkan oleh meta-eksperimen LinkedIn yang diterbitkan. Semak semula setiap estimand, kebocoran kelompok, kesihatan penetapan, dan kuasa statistik sebelum memutuskan reka bentuk yang lebih sepadan dengan pelancaran penuh.

Contoh Jawapan Berkualiti Tinggi

“Saya akan mulakan dengan menjelaskan persoalan kausal. Keputusan pelancaran ialah perubahan dalam penghantaran yang diselesaikan bagi setiap pesanan yang layak jika seluruh pasaran sasaran menggunakan algoritma penghantaran baharu. Itu berbeza daripada merawat satu pesanan sementara pesanan jiran kekal pada kawalan. Saya akan mentakrifkan kelayakan sebelum penghantaran supaya rawatan tidak dapat memperbaiki penyebutnya sendiri, dan saya akan mengikuti setiap pesanan yang ditetapkan sehingga tempoh kematangan yang tetap.

Rawakan peringkat pesanan adalah tidak sah di sini. Pesanan yang dirawat boleh mengambil satu-satunya kurier yang sesuai dan mengubah masa menunggu atau penyempurnaan pesanan kawalan, sementara pergerakan kurier menyebarkan kesan tersebut merentasi sempadan zon dan tempoh masa yang terkemudian. Saya akan menggunakan data pemadanan dan pergerakan pra-eksperimen untuk membina graf gangguan, kemudian menggabungkan zon bersebelahan sehingga pemadanan rentas kelompok dan pergerakan kurier jatuh di bawah ambang diagnostik yang diisytiharkan terlebih dahulu. Jika 24 zon tersebut menyusut kepada beberapa pasaran terhubung sahaja, saya akan menyatakannya dan bukannya mendakwa mempunyai 24 kelompok bebas.

Oleh sebab kod penghantaran boleh diterbalikkan, calon pertama saya ialah switchback berkelompok. Setiap kelompok pasaran yang terhubung menerima satu algoritma untuk blok masa yang dirawakkan. Saya akan merawakkan blok dalam strata pasaran dan masa dalam minggu, bukan berselang-seli secara deterministik. Panjang tetingkap diperoleh daripada data penyempurnaan pesanan dan kedudukan semula kurier serta simulasi jadual A/A. Tetingkap pendek menyediakan lebih banyak unit tetapi meningkatkan kesan bawaan; tetingkap panjang mengurangkan kebocoran tetapi kehilangan kuasa statistik. Jika dasar itu mengubah tingkah laku kurier selama berminggu-minggu, saya akan menolak switchback dan menggunakan pelancaran peringkat pasaran yang berterusan.

Analisis utama ialah niat untuk merawat menggunakan algoritma yang dijadualkan pada masa kelayakan pra-penghantaran pesanan. Saya akan mengekalkan penetapan sandaran dan yang gagal dalam cabang asalnya. Oleh sebab penetapan berlaku pada peringkat blok-pasaran, kuasa dan ketidakpastian datang daripada unit tersebut dan kebergantungan bersirinya, bukan berjuta-juta pesanan. Saya akan mensimulasikan jadual yang dicadangkan pada data A/A sejarah, mempratentukan kesan minimum, tempoh, dan peraturan peralihan, serta menggunakan inferens rawakan berasaskan reka bentuk jika boleh dilaksanakan. Memandangkan metrik keputusan adalah bagi setiap pesanan yang layak, saya akan menggunakan penganggar berwajaran yang konsisten dengan reka bentuk dengan kebarangkalian penetapan yang diketahui dan turut melaporkan kesan blok-pasaran purata tanpa wajaran.

Sebelum membaca peningkatan, saya akan menyemak keseimbangan rawatan dalam strata, pendedahan dasar sebenar, kadar sandaran dan peristiwa hilang, padanan rentas kelompok, peralihan kurier, kematangan hasil, dan eksperimen yang bertindih. Hasil utama saya ialah penghantaran yang diselesaikan dalam tempoh tetap bagi setiap pesanan yang layak. Pembatalan pelanggan, kelewatan, aduan, masa menunggu pengambilan, dan pendapatan kurier, masa melahu, serta penerimaan akan mempunyai margin kemudaratan yang diisytiharkan terlebih dahulu.

Jika anggaran melepasi kesan minimum yang berguna dan semua pagar pelindung lulus, saya akan menjalankan peningkatan wilayah yang berterusan untuk mengesahkan bahawa hasil switchback jangka pendek bertahan daripada perubahan pembelajaran dan keseimbangan. Jika kesan bawaan kekal ketara, kelompok terlalu sedikit untuk kesan yang dirancang, atau anggaran individu dan kelompok tidak sehaluan tanpa mekanisme yang jelas, saya tidak akan membentangkan hasil peringkat pengguna sebagai kesan pelancaran. Saya akan mereka bentuk semula eksperimen atau mengecilkan tuntutan kausal.”

Kesilapan Lazim

Merawakkan berjuta-juta pesanan secara bebas → Rawatan dan kawalan menggunakan bekalan kurier yang sama, jadi saiz sampel nominal menyembunyikan gangguan → Rawakkan unit yang mengandungi interaksi utama atau asingkan sumber itu sendiri.
Mengatakan “gunakan kelompok” tanpa mentakrifkan hubungan (edge) → Geografi mungkin tidak membendung pergerakan kurier, interaksi sosial, persaingan bajet, atau kesan bawaan temporal → Bina peta gangguan daripada mekanisme sebenar dan data pra-rawatan.
Memilih switchback standard 30 minit → Tetingkap yang mudah mungkin lebih pendek daripada kesan penghantaran dan kedudukan semula atau lebih lama daripada yang diperlukan → Anggarkan kesan bawaan dan tentukur jadual calon dengan data A/A dan simulasi.
Menyelang-selikan varian secara deterministik → Rawatan boleh sejajar dengan waktu sibuk, hari bekerja, atau trend → Rawakkan semula blok dalam strata masa dan pasaran yang dipratentukan.
Mengira setiap pesanan sebagai bebas → Penetapan berlaku pada unit yang lebih kasar, menghasilkan ketidakpastian yang terkurang anggap dan keyakinan palsu → Asaskan kuasa dan inferens pada struktur rawakan sebenar.
Melaporkan min blok tanpa wajaran sebagai kesan pelancaran setiap pesanan → Saiz blok yang tidak sama mengubah populasi sasaran → Tentukan estimand dan gunakan penganggar yang konsisten dengan reka bentuk berserta pemberatan eksplisit.
Menggugurkan pesanan sempadan selepas melihat hasil → Pengecualian yang didorong oleh hasil merosakkan perbandingan rawakan → Isytiharkan kelayakan, pengendalian peralihan, dan kematangan terlebih dahulu, kemudian kekalkan penetapan niat untuk merawat.
Menganggap switchback sebagai teguh secara universal → Kesan bawaan, pembelajaran, kuasa rendah, dan kejutan masa biasa boleh membatalkan atau melemahkannya → Gunakan kelompok berterusan, ketepuan, atau alam semesta terpencil apabila andaiannya lebih sesuai.
Melancarkan daripada peningkatan jangka pendek semata-mata → Keseimbangan pasaran dan tingkah laku kurier mungkin berubah di bawah pelancaran berterusan → Sahkan dengan peningkatan berterusan secara berperingkat dan pagar pelindung dua sisi.

Soalan Susulan dan Maklum Balas

Susulan 1: Bagaimana jika 24 zon tersebut menyusut kepada empat pasaran bebas sahaja?

Empat kelompok pasaran memberikan maklumat yang lemah untuk eksperimen kelompok berterusan, dan bilangan pesanan yang banyak di dalamnya tidak menyelesaikan masalah itu. Jika kesannya menyusut dengan cepat, blok pasaran-masa rawakan berulang boleh menambah maklumat, dengan syarat kebergantungan bersiri dan kesan bawaan dimodelkan. Jika kesan berlarutan selama berminggu-minggu, pilihan yang jujur ialah pelancaran pasaran berpasangan atau berfasa yang lebih lama, pelarasan kovariat pra-rawatan yang lebih kuat, simulasi untuk risiko operasi, atau menunggu lebih banyak pasaran bebas. Laporkan ketidakpastian yang luas dan kecilkan tuntutan; jangan reka kebebasan palsu dengan memecahkan zon yang terhubung.

Susulan 2: Bagaimana jika rawatan mengubah tingkah laku kurier selama beberapa minggu?

Switchback pantas menganggarkan campuran dasar semasa dan sejarah lalu menjadikannya reka bentuk yang lemah untuk kesan jangka panjang. Gunakan penetapan kelompok berterusan atau pelancaran berfasa yang dirawakkan, ukur pengaktifan, jam dibekalkan, pendapatan, pengekalan, dan hasil pelanggan sepanjang horizon tingkah laku penuh, serta kekalkan penetapan pada peringkat pasaran. Switchback masih boleh menyaring kesan algoritma serta-merta, tetapi ia tidak boleh menggantikan eksperimen berhorizon panjang.

Susulan 3: Bagaimanakah reka bentuk akan berubah untuk ciri perkongsian sosial?

Bina graf daripada hubungan pra-rawatan atau hubungan interaksi. Rawakan kelompok boleh menganggarkan kontras rangkaian semua-rawatan berbanding semua-kawalan apabila kebanyakan hubungan kekal di dalam kelompok. Jika matlamat merangkumi kesan langsung dan limpahan, rawakkan kelompok kepada tahap ketepuan rawatan yang berbeza dan kemudian rawakkan pengguna dalam kelompok. Pratentukan pemetaan pendedahan seperti bahagian jiran berkaitan yang dirawat, dan rancang untuk kuasa yang lebih rendah serta pertindihan antara komuniti.

Susulan 4: Bagaimana jika saluran gangguan ialah bajet pengiklanan yang boleh dibahagikan?

Bahagikan bajet atau inventori kepada alam semesta bebas dan berikan setiap varian akses eksklusif kepada kumpulannya. Ini menghapuskan kanibalisasi langsung sambil mengekalkan penetapan peringkat pengguna dan boleh meningkatkan kuasa statistik. Sahkan bahawa kumpulan tidak boleh meminjam, kadar perbelanjaan (pacing) dan lelongan tidak menghubungkannya semula, serta pembahagian itu mewakili dasar pelancaran penuh. Jika pengasingan tidak lengkap, ukur kebocoran dan pastikan tuntutan kausal dihadkan.

Susulan 5: Bagaimana jika eksperimen peringkat individu dan peringkat kelompok tidak sehaluan?

Mula-mula sahkan penetapan, pendedahan, definisi metrik, kematangan, dan kuasa dalam kedua-duanya. Kemudian bandingkan estimand: ujian individu mengukur rawatan dalam persekitaran bercampur, manakala ujian kelompok menggerakkan lebih ramai jiran bersama-sama dan mungkin lebih mendekati pelancaran sebenar. Kuantifikasikan hubungan rentas kelompok dan ketepuan, serta gunakan meta-eksperimen atau ujian rawakan yang dipratentukan jika boleh. Perbezaan yang bermakna ialah bukti untuk menyiasat gangguan, bukan alasan untuk memilih peningkatan yang lebih besar.

Susulan 6: Bagaimanakah anda memilih tetingkap switchback dalam amalan?

Plotkan penyusutan pesanan terbuka, anjakan kurier, dan metrik utama selepas peralihan dasar menggunakan data pra-eksperimen atau perintis yang selamat. Simulasikan beberapa jadual yang dirawakkan pada tempoh A/A, ukur penentukuran positif palsu, varians, dan kepekaan terhadap penampan (buffer) sempadan tetap. Pilih tetingkap terpendek yang baki kesan bawaannya kekal di bawah toleransi yang diisytiharkan terlebih dahulu sementara kuasa kekal mencukupi, kemudian jalankan analisis kepekaan pada pilihan tetingkap dan peralihan yang berhampiran.