Gesaan dan skop
Satu tugas kelompok (batch job) melakukan backfill dimensi pesanan selama 90 hari dan logik transformasinya kemudian didapati salah. Penulisan penstriman berterusan semasa larian tersebut. Reka bentuk cara untuk mengesan snapshot yang salah, menghasilkan semula pertanyaan yang terjejas, mengasingkan pembetulan, mengendalikan konflik komit dan menetapkan pengekalan. Kemahiran teras ialah pemversian format jadual, salasilah data (lineage), dan operasi yang boleh dipulihkan, jadi ini tergolong dalam kejuruteraan data.
Perkara yang dinilai oleh penemu duga
Jawapan harus menjelaskan bahawa snapshot ialah penuding metadata (metadata pointer), bukan sekadar salinan fail biasa, dan bahawa time travel bergantung pada pengekalan. Rangkumi komit serentak, kesan rollback, ketekalan bacaan hiliran (downstream), tamat tempoh snapshot, dan pembersihan fail yatim. Sekadar menyatakan “pulihkan kepada keadaan semalam” tidak menunjukkan keselamatan operasi.
Soalan untuk dijelaskan terlebih dahulu
- Katalog, enjin dan kunci komit manakah yang digunakan, dan bagaimanakah ID snapshot diaudit?
- Partisi, snapshot dan jadual hiliran yang manakah terjejas?
- Adakah tugas penstriman melakukan komit semasa backfill yang salah itu, dan bolehkah ia dijeda atau dimainkan semula daripada snapshot?
- Adakah pihak perniagaan meminta rollback jadual, penulisan semula partisi, atau jadual pengganti untuk pengesahan?
- Berapa lamakah snapshot dan fail data dikekalkan, dan mungkinkah pembersihan memadamkan bukti pemulihan?
Rangka kerja jawapan 30 saat
“Mula-mula saya mengenal pasti komit backfill daripada sejarah jadual dan log tugas, kemudian membandingkan snapshot tersebut dengan induknya (parent) menggunakan pertanyaan time-travel untuk mengehadkan partisi yang terjejas. Saya mengasingkan input yang betul, menjalankan semula pengesahan, dan memilih penulisan semula partisi, snapshot pembaikan, atau rollback hanya apabila tiada komit sah kemudian yang perlu disimpan. Sebelum menukar penuding, saya memeriksa komit serentak dan pembaca; selepas itu saya membina semula jadual hiliran. Tangguhkan tamat tempoh snapshot dan pembersihan fail yatim sehingga tetingkap pemulihan ditutup, dan pantau metrik snapshot, fail serta kualiti data.”
Penyelesaian langkah demi langkah
Baca sejarah jadual, senarai snapshot dan ringkasan komit. Rekodkan ID snapshot, masa komit, ID larian, julat partisi dan versi input. Jangan membuat kesimpulan sasaran daripada waktu jam dinding sahaja kerana komit serentak boleh berselang-seli. Bandingkan snapshot yang salah dengan induknya dalam metadata dan fail data, kemudian gunakan log tugas, amaran kualiti dan statistik partisi untuk mengehadkan impak.
Gunakan pertanyaan time-travel untuk menghasilkan semula metrik perniagaan yang sama sebelum dan selepas penulisan yang salah. Snapshot memberikan paparan bacaan yang konsisten, tetapi ia tidak mengekalkan sejarah tanpa had; selesaikan pertanyaan sebelum tamat tempoh atau eksport sampel pengesahan dan rujukan metadata apabila perlu.
Jika penulisan penstriman masih aktif, jedakan partisi yang berkonflik atau cipta cawangan terasing atau jadual sementara. Baca input yang betul pada snapshot yang sesuai, betulkan transformasi, dan komitkan pembaikan hanya selepas memeriksa bahawa snapshot induk masih versi yang dijangkakan. Sekiranya berlaku konflik, baca semula snapshot terkini dan kira semula dan bukannya menulis ganti secara paksa (force-overwrite) penulisan yang sah.
Rollback seluruh jadual hanya sesuai apabila tiada komit sah yang terkemudian perlu dipelihara dan pembaca menerima regresi sementara. Selalunya, tulis semula partisi yang terjejas atau terbitkan jadual yang telah dibetulkan dan tukar rujukan hiliran. Mengalihkan penuding metadata tidak membaiki data yang telah dimaterialisasikan ke dalam jadual lain.
Selepas pembaikan, jalankan semula semakan keunikan, bilangan, jumlah, kependaman dan penyesuaian (reconciliation) perniagaan. Bandingkan snapshot yang salah, snapshot pembaikan dan peristiwa mentah (raw events). Kira semula jadual hiliran daripada versi pembaikan dan rekodkan snapshot baharu serta versi kod supaya larian tersebut boleh dihasilkan semula.
Pengekalan mesti merangkumi tarikh akhir backfill, semakan, pengiraan semula hiliran dan audit. Menamatkan tempoh snapshot terlalu awal boleh menyebabkan time travel gagal. Hanya fail yang tidak lagi dirujuk oleh snapshot yang dikekalkan patut dipadamkan selepas mengesahkan tiada pembaca memerlukannya; pembersihan fail yatim tidak boleh memadamkan fail yang masih dirujuk oleh tugas yang belum dikomit atau sedang berjalan serentak.
Pantau umur snapshot, konflik komit, kiraan rollback, kiraan fail yatim, kegagalan tamat tempoh, kualiti partisi, kelewatan pengiraan semula hiliran dan jurang penyesuaian. Tulis ID snapshot, ID larian, versi kod dan partisi input ke dalam jadual audit supaya sesuatu hasil boleh dikesan kembali kepada komitnya.
Contoh jawapan berkualiti tinggi
“Saya mengekalkan sejarah jadual, ID snapshot dan ID larian, mengenal pasti komit backfill, dan menggunakan pertanyaan time-travel antara induk dan anaknya untuk mengehadkan partisi yang terjejas. Jika penulisan penstriman berterusan, saya menjeda julat konflik atau menulis pembaikan ke jadual yang terasing, mengesahkan snapshot induk pada masa komit, dan membaca semula apabila berlaku konflik dan bukannya memaksa tulis ganti.
Jika tiada komit sah yang terkemudian perlu dikekalkan, saya boleh melakukan rollback pada penuding metadata; jika tidak, saya menulis semula partisi dan menerbitkan snapshot pembaikan. Rollback tidak membaiki jadual terlaksana (materialized tables) di hiliran, jadi saya mengira semula jadual tersebut daripada versi pembaikan dan menjalankan semula semakan kualiti serta penyesuaian. Tamat tempoh snapshot dan pembersihan fail yatim ditangguhkan melepasi tetingkap audit, dan setiap snapshot, versi kod serta julat input direkodkan.”
Kesilapan lazim
- Meneka snapshot daripada cap masanya → komit serentak boleh berselang-seli → gunakan sejarah, salasilah induk dan ID larian.
- Menganggap snapshot sebagai sandaran fail → rollback mungkin tidak membetulkan jadual hiliran → inventori penuding metadata dan data terbitan.
- Memaksa tulis ganti pada snapshot terkini → kehilangan penulisan serentak yang sah → semak induk dan cuba semula konflik.
- Membersihkan snapshot lama serta-merta → time travel dan bukti audit hilang → kekalkan tetingkap pemulihan.
- Mengesahkan baris sampel sahaja → ralat agregat kekal → semak partisi, metrik, keunikan dan penyesuaian.
- Melakukan rollback pada jadual utama sahaja → hasil hiliran kekal salah → kira semula jadual terbitan daripada versi pembaikan.
- Menganggap pembersihan fail yatim tidak berbahaya → tugas serentak mungkin masih merujuk fail → bersihkan berpandukan status komit dan pembaca.
- Meninggalkan versi kod dan input → pembaikan tidak dapat dihasilkan semula → hubungkan snapshot, larian dan versi dalam data audit.
Soalan susulan dan jawapan
Soalan susulan 1: Bilakah rollback jadual lebih baik daripada penulisan semula partisi?
Hanya apabila tiada komit sah selepas titik rollback perlu disimpan dan pembaca boleh menerima regresi sementara. Jika tidak, tulis semula partisi atau terbitkan jadual yang telah dibetulkan.
Soalan susulan 2: Mengapakah time travel boleh gagal?
Snapshot sasaran mungkin telah tamat tempoh, atau fail-failnya mungkin telah dipadamkan. Pengekalan mesti merangkumi penyiasatan dan pengiraan semula, dan pembersihan mesti dipantau.
Soalan susulan 3: Bagaimanakah anda mengelakkan daripada menulis ganti data penstriman baharu?
Hadkan pembaikan kepada partisi yang terjejas, jedakan penulis yang berkonflik atau asingkan kerja tersebut, sahkan snapshot induk, dan kira semula daripada versi terkini selepas berlaku konflik.
Soalan susulan 4: Adakah rollback membatalkan peristiwa hiliran?
Tidak. Ia hanya mengubah penuding metadata jadual. Peristiwa yang dihantar, jadual termaterialisasi dan kesan luaran memerlukan pampasan atau pengiraan semula yang berasingan.
Soalan susulan 5: Bagaimanakah snapshot berbeza daripada sandaran penuh (full backup)?
Snapshot biasanya merupakan paparan metadata bagi set fail dan bergantung pada pengekalan fail. Sandaran penuh juga memerlukan salinan rentas storan, keadaan katalog dan prosedur pemulihan.
Soalan susulan 6: Bagaimanakah anda membuktikan pembaikan backfill adalah betul?
Semak dan tetapkan snapshot input dan versi kod, jalankan semula partisi, bandingkan peristiwa mentah dan metrik perniagaan, semak keunikan dan jumlah, buat penyesuaian, dan kekalkan snapshot pembaikan untuk semakan.
Soalan susulan 7: Mengapakah konflik komit penting?
Komit Iceberg dikemas kini daripada snapshot induk. Mengabaikan konflik dan memaksa penulisan boleh membuang komit sah tugas lain; konflik sepatutnya mencetuskan bacaan semula, pengiraan semula atau keputusan manusia.