Temu duga reka bentuk sistem: Bagaimanakah anda membina platform A/B yang mengesan kegagalan kualiti eksperimen?

Gesaan dan konteks

Sebuah organisasi produk menjalankan ratusan ujian A/B setiap hari. Platform ini menetapkan pengguna, merekodkan pendedahan, mengira metrik dan memantau kualiti. Eksperimen terdahulu mengalami masalah peruntukan yang tidak sekata, ketidakpadanan nisbah sampel (sample-ratio mismatch atau SRM), dan kesimpulan tidak sah yang disebabkan oleh mengintai keputusan secara berulang kali (repeated peeking). Reka bentuk sistem daripada konfigurasi eksperimen sehingga semakan keputusan, termasuk kelewatan data, statistik, amaran dan kebenaran.

Perkara yang diuji oleh penemu duga

• Sama ada calon menjelaskan unit eksperimen, tahap rawak, satah saling eksklusif (mutual-exclusion planes) dan definisi metrik.
• Sama ada mereka mengasingkan peristiwa penetapan (assignment), pencetus (trigger), pendedahan (exposure) dan hasil (outcome).
• Sama ada mereka mereka bentuk semakan rawak, pengesanan SRM dan amaran kualiti data.
• Sama ada mereka tahu bahawa ujian ufuk tetap (fixed-horizon test) tidak boleh diintai secara bebas dan boleh mencadangkan kaedah berurutan atau anytime-valid.
• Sama ada amaran, audit, larian semula (reruns) dan pintu pelepasan (release gates) membentuk satu aliran kerja yang bersepadu.

Soalan penjelasan untuk ditanya terlebih dahulu

1. Adakah rawak dilakukan mengikut pengguna, peranti, sesi atau permintaan? Bolehkah eksperimen dijalankan secara ortogon?
2. Berapa banyak eksperimen dan pengguna yang berjalan setiap hari, dan apakah kependaman metrik serta tetingkap pengekalan?
3. Bagaimanakah metrik utama, rel adang (guardrails) dan kesan minimum yang boleh dikesan (minimum detectable effects) diisytiharkan?
4. Selepas berlaku SRM atau kehilangan data pendedahan, adakah trafik perlu dijeda, ujian dibatalkan atau dijalankan semula?
5. Siapakah yang boleh memeriksa penetapan, menukar peraturan pemberhentian dan meluluskan pelancaran?

Jawapan 30 saat

“Saya akan membahagikan platform kepada konfigurasi dan rawak, pengumpulan peristiwa, analisis dan pintu keputusan. Penetapan menggunakan cincangan (hash) yang stabil untuk memetakan pengguna ke baldi dan mengasingkan eksperimen saling eksklusif daripada eksperimen ortogon. Laluan peristiwa merekodkan keadaan assigned, triggered, exposed dan outcome. Perkhidmatan kualiti menyemak taburan baldi dan SRM secara berterusan, manakala analisis menggunakan kaedah berurutan atau anytime-valid untuk pemantauan dan pemberhentian. Setiap keputusan membawa versi data, kod dan audit; amaran kualiti akan menyekat pelepasan dan bukannya sekadar menjadi mesej sembang.”

Jawapan mendalam langkah demi langkah

1. Tentukan sempadan eksperimen dan rawak

Konfigurasi merangkumi ID eksperimen, versi, unit, pecahan trafik, satah saling eksklusif, metrik sasaran, rel adang, kesan minimum yang boleh dikesan dan peraturan pemberhentian. Cincangan menggunakan kunci unit yang stabil dan benih (seed) eksperimen supaya seorang pengguna tidak bertukar varian pada setiap permintaan. Ujian saling eksklusif berkongsi satah; ujian ortogon menggunakan satah berasingan dan merekodkan dasar pertembungan (collision policy).

2. Asingkan penetapan daripada peristiwa hasil

Hanya merekodkan penukaran (conversion) tidak dapat membuktikan bahawa pengguna telah melihat varian tersebut. Peristiwa harus merangkumi penetapan, pencetus, pendedahan dan hasil dengan versi eksperimen, varian, masa, cincangan unit tanpa nama dan sumber. Buat versi skema peristiwa, benarkan peristiwa lewat masuk ke dalam tetingkap pengiraan semula dan nyahduplikasi dengan kunci kedap kuasa (idempotency key).

{
  "experiment": "checkout-copy-v3",
  "experimentVersion": 7,
  "unitHash": "u_8f2c",
  "variant": "treatment",
  "event": "exposure",
  "eventTime": "2026-08-01T12:00:03Z",
  "schemaVersion": 2,
  "idempotencyKey": "u_8f2c:checkout-copy-v3:7:exposure"
}

Peristiwa tidak boleh ubah (immutable) dan pengecam versi menghubungkan penetapan kepada analisis, supaya perubahan konfigurasi tidak dapat mentafsir semula data sejarah secara salah.

3. Pantau rawak dan SRM

Semakan rawak membandingkan taburan baldi dengan jangkaan. Semakan SRM membandingkan sampel tercetus yang diperhatikan dengan nisbah yang dikonfigurasikan. Periksa kedua-dua tahap penetapan dan pencetus kerana kelayakan, versi klien atau instrumentasi boleh memperkenalkan bias hanya selepas penetapan. Amaran harus membezakan kelewatan data sementara, kecacatan peruntukan sebenar dan perubahan trafik, sambil mengekalkan hirisan diagnostik (diagnostic slices).

4. Kendalikan pemerhatian berterusan dan pemberhentian

Ujian ufuk tetap yang disemak setiap hari dan dihentikan apabila signifikan akan meningkatkan ralat Jenis I (Type I error). Gunakan kaedah berurutan kumpulan, SPRT atau jujukan keyakinan anytime-valid, serta rekodkan sempadan, alfa, beta, MDE dan masa pemerhatian dalam versi eksperimen. Pemilik produk yang melihat kelebihan awal tidak boleh memintas pintu statistik; kegagalan rel adang atau pelanggaran sempadan keselamatan mesti menghentikan trafik terlebih dahulu.

5. Reka bentuk laluan penstriman dan kelompok (batch)

Laluan penstriman menggunakan peristiwa seperti Kafka dan mengemas kini amaran kualiti peruntukan serta kependaman data dalam masa beberapa minit. Laluan kelompok menyahduplikasi, membaiki data lewat, mengira hirisan dan menghasilkan laporan akhir. Kedua-duanya berkongsi skema, versi eksperimen dan definisi metrik. Keputusan penstriman adalah sementara; hanya tera air (watermark) kelompok menjadikannya bukti pelepasan.

6. Sambungkan keputusan kepada audit dan pintu pelepasan

Keadaan eksperimen merangkumi draft, running, paused, invalid, concluded dan archived. Menukar benih, metrik atau peraturan pemberhentian akan mencipta versi baharu dan membekukan hasil lama. Perkhidmatan keputusan mengeluarkan tera air data, kaedah, saiz sampel, keadaan SRM, keadaan rel adang dan pautan audit. Pelepasan hanya menerima versi berstatus concluded yang telah lulus semakan kualiti.

Contoh jawapan berkualiti tinggi

“Saya akan mengunci unit rawak dan versi eksperimen terlebih dahulu, kemudian mengasingkan peristiwa penetapan, pencetus, pendedahan dan hasil. Rawak menggunakan cincangan stabil serta satah saling eksklusif atau ortogon. Saluran paip peristiwa menggunakan versi skema dan kunci kedap kuasa untuk duplikasi, data lewat dan main semula (replay). Perkhidmatan kualiti menyemak taburan baldi dan SRM pada tahap penetapan dan pencetus serta mendedahkan hirisan punca utama. Ujian ufuk tetap tidak boleh dirosakkan oleh pengintaian sewenang-wenangnya, jadi analisis menggunakan kaedah berurutan atau anytime-valid serta merekodkan sempadan dan masa pemerhatian. Data penstriman memacu amaran, manakala tera air kelompok menghasilkan laporan. Keputusan membawa versi konfigurasi, kod, data dan audit; SRM, ketiadaan pendedahan atau kegagalan rel adang akan menyekat pelepasan.”

Kesilapan lazim

• Menyimpan metrik akhir sahaja → kehilangan peruntukan atau pendedahan tidak dapat dilihat → kekalkan penetapan, pencetus, pendedahan dan hasil.
• Merawak setiap permintaan dan bukannya setiap pengguna → seorang pengguna melihat pelbagai varian → gunakan kunci unit yang stabil dan benih.
• Menyemak nilai p setiap hari dan berhenti awal → andaian ufuk tetap musnah → gunakan kaedah berurutan atau anytime-valid.
• Memanggil SRM sebagai hasil keertian kesudahan → nisbah yang tidak normal boleh membatalkan ujian → jeda keputusan dan buat diagnosis peruntukan serta kelayakan.
• Memacu pelepasan terus daripada data penstriman → peristiwa lewat dan pendua boleh menulis semula kesimpulan → wajibkan tera air kelompok dan pintu pelepasan.

Soalan susulan dan jawapan

Mengapakah perlu menyemak kedua-dua sampel yang ditetapkan dan sampel yang tercetus?

Penetapan boleh jadi seragam manakala hanya pengguna yang layak yang sampai ke halaman akan mencetuskan ujian. Logik kelayakan, versi klien, pemintas (interceptors) atau peristiwa pendedahan yang hilang boleh memesongkan nisbah tercetus. Kedua-dua tahap membezakan kecacatan rawak daripada kecacatan pada laluan pendedahan.

Bagaimanakah anda menyokong ujian saling eksklusif dan ortogon?

Ujian saling eksklusif berkongsi satah trafik dan benih, jadi pengguna hanya menyertai satu ujian di situ. Ujian ortogon menggunakan satah berasingan dan boleh digabungkan, tetapi platform merekodkan matriks pertembungan dan menyahdayakan kombinasi yang berisiko.

Apakah masalah yang diselesaikan oleh kaedah anytime-valid?

Ia membenarkan pemantauan berterusan dan pemberhentian bergantung data sambil menyediakan kawalan ralat seragam masa (time-uniform error control). Platform masih mengisytiharkan kesan sasaran, kuasa, rel adang dan kerugian perniagaan; metrik sewenang-wenangnya dan sebab pemberhentian subjektif tidak bertukar menjadi jaminan statistik.

Patutkah kegagalan SRM mencetuskan larian semula automatik?

Bekukan keputusan dan kekalkan data mentah terlebih dahulu. Buat hirisan mengikut masa, klien, negara, kelayakan dan satah untuk mencari puncanya. Jalankan semula hanya selepas peruntukan atau instrumentasi dibetulkan dan pemilik produk menerima tetingkap analisis yang baharu; larian semula automatik tidak boleh menyembunyikan eksperimen yang tidak sah.