Keperluan dan skop
Satu sistem pesanan menghasilkan 200 juta transaksi sehari. Lejar dalaman merekodkan pesanan, pembayaran, bayaran balik, dan yuran; penyedia pembayaran membekalkan laporan kelompok penyelesaian; bank membekalkan deposit sebenar. Reka bentuk saluran paip T+1 yang selesai pada 06:00 bagi hari sebelumnya, mengenal pasti perbezaan data hilang, pendua, amaun, yuran, dan mata wang, serta menyokong larian semula, semakan manusia, bayaran balik, pelbagai mata wang, dan jejak audit.
Anggap lejar dalaman sebagai punca kebenaran (source of truth) perniagaan, manakala penyedia dan bank adalah punca kebenaran luaran. Penyesuaian tidak boleh menulis ganti lejar atau menyembunyikan perbezaan peringkat baris hanya kerana jumlah keseluruhannya kebetulan sama. Amaun, mata wang, tarikh penyelesaian, kelompok, dan bukti mestilah kekal boleh dikesan.
Perkara yang diuji oleh penemu bual
Pertama, bolehkah anda menentukan fakta, masa, dan invarian sebelum memilih alatan? Bezakan tarikh transaksi, tarikh pengeposan, tarikh penyelesaian, dan tarikh nilai bank. Simpan wang dalam unit kecil (minor units), wajibkan mata wang, dan pastikan import berulang adalah selamat.
Kedua, bolehkah anda menjadikan pemadanan sebagai strategi berlapis dan bukannya cantuman jadual penuh (full-table join)? Mulakan dengan ID transaksi penyedia dan ID kelompok, kemudian gunakan gabungan terhad bagi ID pesanan, amaun, mata wang, dan tetingkap masa. Pemadanan kabur (fuzzy matches) mesti dihantar untuk semakan dan bukannya disahkan secara senyap.
Ketiga, bolehkah anda menutup kitaran percanggahan? Setiap percanggahan memerlukan jenis, tahap keterukan, bukti, pemilik, status, tarikh akhir, dan tindakan pembetulan. Satu pembetulan mencipta versi penyesuaian baharu sambil mengekalkan percanggahan asal.
Soalan untuk dijelaskan sebelum menjawab
- Apakah yang berada dalam skop? Pengesahan (authorization), penangkapan (capture), bayaran balik, yuran, pembayaran keluar (payouts), deposit bank, atau kesemuanya?
- Zon masa manakah yang mentakrifkan 06:00? Bolehkah penyelesaian dan penjanaan laporan merentasi perubahan waktu jimat siang (daylight-saving) atau cuti umum?
- Bolehkah laporan luaran diambil secara bertambah (incrementally)? Adakah nama fail, kursor, versi, dan muat turun yang boleh dicuba semula adalah stabil?
- Bolehkah saluran paip melaraskan lejar secara automatik? Anggap ia mencipta cadangan pelarasan yang diluluskan oleh aliran kerja yang diberi kuasa.
- Polisi FX manakah yang diguna pakai? Kekalkan mata wang transaksi, penyelesaian, dan bank, serta tentukan sumber kadar dan kejituan.
- Apakah SLA penyelesaian? Tentukan peningkatan (escalation) bagi percanggahan bernilai tinggi, pematuhan, dan yang memberi kesan kepada pelanggan.
Rangka jawapan 30 saat
"Saya akan terlebih dahulu mengekalkan ketiga-tiga sumber dalam lapisan mentah yang tidak boleh diubah (immutable), kemudian menormalkan amaun, mata wang, masa, dan ID luaran. Import adalah idempoten mengikut versi laporan; kunci kukuh dipadankan dahulu, kunci komposit terhad kedua, dan hasil yang tidak pasti dimasukkan ke dalam barisan semakan. Setiap kelompok mendapat kawalan peringkat baris, kumpulan, dan jumlah keseluruhan. Percanggahan menggunakan mesin keadaan (state machine) yang boleh diaudit dan dibetulkan melalui entri pelarasan yang diluluskan. Saya menjadualkan secara mengundur dari tarikh akhir, memantau kelengkapan fail, kependaman, kadar pemadanan, amaun terbuka, dan larian semula, serta menguji fail pendua, bayaran balik lewat, penyelesaian separa, dan perubahan FX."
Perbincangan mendalam langkah demi langkah
Langkah 1: Tentukan model fakta dan tetingkap perakaunan
Cipta fakta internal_entry, provider_entry, dan bank_entry yang tidak boleh diubah. Kekalkan cincangan (hash) fail sumber, nombor baris, sumber, masa penyerapan (ingest), versi laporan, tarikh perniagaan, dan tarikh penyelesaian. Simpan wang sebagai unit kecil integer, jangan sekali-kali titik terapung (floating point), dan wajibkan mata wang. Asingkan keadaan pesanan daripada keadaan dana supaya "pembayaran berjaya" tidak dianggap sebagai "tunai telah tiba."
Langkah 2: Serap secara idempoten mengikut versi sumber
Tulis muat turun ke storan objek terlebih dahulu, kemudian sahkan saiz, cincangan, tandatangan, dan kiraan baris yang dijangkakan. Gunakan source + report_id + version + row_number sebagai kunci unik. Muat turun pendua menambah rekod penyerapan tetapi tidak boleh mengepos wang dua kali. Kekalkan versi penyedia lama dan rekodkan hubungan penggantian dan bukannya menulis ganti fail.
unique_key = source + report_id + version + row_number
if unique_key already exists: record_duplicate_download()
else: persist_raw_row()Langkah 3: Bina lapisan penormalan yang boleh dijalankan semula
Petakan status, tanda amaun, zon masa, jenis yuran, dan ID luaran melalui kamus berversi. Setiap transformasi menulis normalization_run_id; snapshot input yang tetap dan versi peraturan menjadikan larian semula bersifat deterministik. Status yang tidak diketahui, semantik amaun negatif, dan mata wang dimasukkan ke kuarantin dan bukannya menjadi sifar secara lalai.
Langkah 4: Gunakan pemadanan berlapis
Lapisan satu menggunakan ID transaksi penyedia, bayaran balik, dan pembayaran keluar yang stabil. Lapisan dua menggunakan ID pesanan, amaun, dan tetingkap masa yang dibenarkan dalam pedagang, mata wang, dan tarikh penyelesaian yang sama. Lapisan tiga menghasilkan calon sahaja; amaun yang sama dalam mata wang berbeza, satu item dalaman dibahagikan kepada beberapa baris luaran, dan satu baris luaran dibahagikan merentasi beberapa penyelesaian semuanya memerlukan semakan.
Langkah 5: Buktikan hasil dengan tiga kawalan
Kawalan baris mengesahkan bahawa setiap fakta dipadankan paling banyak sekali. Kawalan kumpulan membandingkan kiraan dan amaun mengikut kelompok, mata wang, tarikh penyelesaian, dan jenis yuran. Kawalan jumlah keseluruhan membandingkan baki pembukaan, aliran masuk, aliran keluar, yuran, bayaran balik, dan baki penutup merentasi lejar, laporan penyedia, dan deposit bank. Kekalkan bukti bagi setiap lapisan apabila ia tidak bersetuju; jangan hanya tunjukkan satu bendera "lulus".
Langkah 6: Jadikan percanggahan sebagai mesin keadaan
Sekurang-kurangnya kelaskan data hilang, pendua, ketidakpadanan amaun, ketidakpadanan yuran, ketidakpadanan mata wang atau FX, anjakan tarikh, dan keadaan luaran yang tidak diketahui. Keadaan boleh berupa open, investigating, adjustment_pending, resolved, dan accepted, dengan pelaku, sebab, bukti, dan cap masa pada setiap peralihan. Percanggahan bernilai tinggi atau pematuhan memerlukan kelulusan dua orang; automasi hanya boleh membuat cadangan.
Langkah 7: Kendalikan data lewat, bayaran balik, dan penyelesaian separa
Apabila laporan lewat, tutup hanya skop yang diterima dan biarkan kelompok tidak lengkap. Jangan ubah ketiadaan sementara menjadi rekod hilang yang kekal. Bayaran balik dan pertikaian boleh tiba selepas tarikh transaksi, jadi rekodkan tarikh peristiwa dan tarikh penyelesaian secara berasingan. Kekalkan hubungan satu-ke-banyak apabila transaksi dibahagikan merentasi beberapa pembayaran keluar; baki yang sama tidak memadamkan baris yang tidak dipadankan.
Langkah 8: Rancang pemulihan, larian semula, dan audit
Simpan manifes fail input, masa snapshot, versi peraturan, hasil pemadanan, dan percanggahan output bagi setiap larian. Mulakan semula dari peringkat berjaya yang terakhir, asingkan output larian semula mengikut ID larian, dan gabungkan mengikut kunci unik. Kekalkan fail mentah, cincangan, versi laporan, keputusan manusia, dan baucar pelarasan untuk kebolehkesanan mengikut kelompok, transaksi, atau percanggahan. Stripe juga mengasingkan baki, transaksi, dan pembayaran keluar serta mengesyorkan penggunaan ID pembayaran keluar untuk mendapatkan transaksi bakinya, menunjukkan mengapa kelompok penyelesaian luaran tidak boleh diringkaskan kepada satu jumlah sahaja.
Pertukaran (Trade-offs) dan sempadan
Pertukaran 1: Kunci kukuh atau kadar pemadanan lebih tinggi
Automasi kunci kukuh mungkin memadankan lebih sedikit baris, tetapi kos positif palsu (false-positive) dapat dikawal. Tetingkap amaun dan masa yang lebih luas meningkatkan liputan sambil meningkatkan kemungkinan menggabungkan transaksi yang serupa. Versikan ambang, tetingkap, dan sandaran (fallbacks); hantar setiap hasil bukan deterministik untuk semakan.
Pertukaran 2: Kelompok harian atau hampir masa nyata
Kelompok T+1 lebih mudah untuk dihasilkan semula dan diaudit. Strim hampir masa nyata memaparkan isu bernilai tinggi lebih awal tetapi mesti mengendalikan versi laporan, data lewat, dan peristiwa pendua. Gunakan kelompok sebagai kesimpulan perakaunan dan strim sebagai lapisan amaran.
Pertukaran 3: Pelarasan automatik atau kelulusan manusia
Perbezaan kecil, eksplisit, dan boleh berbalik boleh menggunakan automasi terhad. Perbezaan bernilai tinggi, mata wang, caj pendua, dan pematuhan memerlukan kelulusan manusia. Kedua-dua laluan mengekalkan fakta asal dan baucar pelarasan dan bukannya mengedit sejarah.
Latihan kegagalan dan pelan evolusi
Latihan 1: Fail dan baris pendua
Hantar laporan yang sama tiga kali dan sahkan bahawa cincangan fail, versi laporan, dan kunci baris menghalang pengeposan pendua. Letakkan satu transaksi dalam dua versi dan sahkan bahawa hubungan versi dan peraturan pemilihan boleh dijelaskan.
Latihan 2: Bayaran balik lewat dan penyelesaian separa
Hantar bayaran balik dua hari selepas penyelesaian dan bahagikan satu pesanan kepada dua pembayaran keluar. Sahkan bahawa tarikh transaksi, penyelesaian, dan deposit kekal berasingan, dan bahawa larian baharu menutup percanggahan tanpa mengubah larian sejarah.
Latihan 3: Halaman hilang dan kadar FX salah
Keluarkan satu halaman laporan atau gantikan jadual kadar. Kawalan kiraan baris, cincangan, jumlah keseluruhan, dan mata wang harus menyekat penerbitan dan menandakan kelompok menunggu penyelesaian dan bukannya mengisytiharkannya telah disesuaikan.
Kesilapan lazim dan tindakan susulan
Kesilapan 1: Hanya membandingkan tiga jumlah keseluruhan
Jumlah keseluruhan yang sama boleh menyembunyikan satu baris yang hilang dan satu baris pendua. Kekalkan pemadanan baris, kawalan kumpulan, dan kawalan jumlah keseluruhan.
Kesilapan 2: Menyimpan wang sebagai titik terapung
Ralat titik terapung menghasilkan perbezaan palsu. Gunakan unit kecil integer atau perpuluhan tetap dan sentiasa simpan mata wang.
Kesilapan 3: Menulis ganti laporan lama
Menulis ganti memusnahkan bukti audit dan larian semula. Simpan laporan secara tidak boleh diubah dan nyatakan pembetulan sebagai versi.
Kesilapan 4: Mengepos pemadanan kabur secara automatik
Amaun yang sama dan masa yang berdekatan tidak membuktikan identiti transaksi. Masukkan hasil pemadanan kabur ke dalam semakan bersama bukti calon.
Kesilapan 5: Menganggap kejayaan pembayaran sebagai deposit bank
Keadaan pembayaran, penyelesaian penyedia, dan deposit bank adalah fakta yang berbeza. Modelkannya secara berasingan dan sambungkannya melalui hubungan kelompok.
Kesilapan 6: Mengabaikan penjanaan laporan dan zon masa
Laporan mungkin tersedia selepas penyelesaian; zon masa dan cuti umum mewujudkan rekod hilang yang palsu. Jadualkan daripada komitmen ketersediaan sumber dan simpan zon masa secara eksplisit.
Kesilapan 7: Mengedit baris lejar sejarah untuk membetulkan isu
Pengeditan terus memadamkan bukti asal. Gunakan entri pelarasan yang diluluskan yang dipautkan kepada percanggahan dan larian baharu.