1. Soalan dan Konteks
Soalan ini menguji pertimbangan platform data, kejuruteraan data, dan kejuruteraan analitik. Fokusnya ialah kesihatan dan impak data itu sendiri, bukan sekadar sama ada tugas orkestrasi telah selesai. Jawapan yang kukuh merangkumi dimensi, garis dasar, pemilikan, keterukan amaran, dan pemulihan.
2. Perkara yang Dinilai oleh Penemu Bual
- Sama ada anda menghuraikan kebolehlihatan kepada kesegaran (freshness), volum, skema, kelengkapan, taburan, keunikan, dan integriti hubungan.
- Sama ada peraturan berbeza mengikut penggunaan set data, salasilah (lineage), dan impak perniagaan dan bukannya berkongsi satu ambang yang sama.
- Sama ada pemerhatian mengekalkan versi peraturan dan bukti pelaksanaan, memisahkan kegagalan yang menyekat, amaran, dan keadaan yang tidak diketahui.
- Sama ada amaran membawa kepada kuarantin, pengisian semula (backfill), penyesuaian (reconciliation), dan semakan dan bukannya mesej tanpa pemilik.
Panduan temu bual kejuruteraan data awam MentorCruise bertanya secara langsung maksud kebolehlihatan data dan menyenaraikan kesegaran, volum, anjakan skema (schema drift), nilai nol, pendua, taburan, dan salasilah. Great Expectations mendokumentasikan taburan, kesegaran, integriti, kehilangan data, skema, keunikan, dan volum sebagai kes penggunaan kualiti data, dan mentakrifkan Expectation sebagai pernyataan yang boleh disahkan mengenai data.
3. Soalan Penjelasan Sebelum Anda Menjawab
- Adakah set data digunakan untuk pelaporan, penyelesaian (settlement), pengesyoran, atau latihan model? Apakah impak kependaman dan ralat?
- Adakah sumber data jenis kelompok (batch), penstriman, atau hibrid? Bagaimanakah masa peristiwa dan masa ketibaan ditakrifkan?
- Kegagalan manakah yang menyekat penerbitan, dan yang manakah hanya memberi amaran? Adakah snapshot yang dipercayai (trusted snapshot) tersedia untuk degradasi perkhidmatan?
- Siapakah pemilik aset, salasilah, dan amaran? Bahagian (partition) manakah yang memerlukan backfill dan pengguna manakah yang perlu dimaklumkan?
4. Kerangka Jawapan 30 Saat
Saya akan membahagikan set data mengikut tahap impak perniagaan, kemudian mentakrifkan semakan kesegaran, volum, skema, kelengkapan, taburan, dan hubungan untuk setiap aset kritikal. Setiap pelaksanaan merekodkan versi peraturan, kelompok, pemerhatian, salasilah, dan pemilik; hasil dihalakan sebagai sekatan, amaran, atau maklumat. Pembaca hiliran menggunakan status kualiti, dengan kuarantin atau snapshot dipercayai bercap masa apabila sesuai. Selepas pembaikan, saya menjalankan semula versi semakan yang sama, menyesuaikan rekod input, output, yang ditolak, dan yang digunakan, serta melaraskan ambang semasa semakan semula.
5. Huraian Terperinci Langkah demi Langkah
Langkah 1: Tentukan Aset dan Kekritisan
Berikan identiti yang stabil kepada jadual, topik, fail, dan input model, bersama pemilik, pengguna, tahap kepekaan, dan salasilah. Utamakan aset berimpak tinggi seperti penyelesaian dan metrik yang dihadapi pelanggan terlebih dahulu; jika tidak, kos semakan dan jumlah amaran akan meningkat tanpa kawalan.
Langkah 2: Pilih Isyarat Pelengkap
Kesegaran memeriksa cap masa perniagaan dan ketibaan; volum memeriksa baris, fail, atau bait; skema memeriksa medan, jenis, dan keserasian; kelengkapan memeriksa nilai yang diperlukan, pendua, dan rujukan; taburan memeriksa julat, kuantil, atau kekerapan kategori. Kekalkan saiz sampel, tetingkap masa, ambang, dan versi peraturan untuk setiap metrik supaya satu skor sahaja tidak dapat menyembunyikan dimensi kegagalan.
Langkah 3: Jadikan Semakan Boleh Ditindaklanjuti dan Boleh Diterangkan
Kekalkan pernyataan deklaratif dan pertanyaan tersuai dalam semakan kod dan penggunaan. Berikan tahap keterukan, tindakan kegagalan, dan pemilik kepada peraturan kritikal; gunakan garis dasar dan tetingkap masa berturut-turut untuk aset bervolum rendah atau bermusim. Tulis keputusan ke dalam lejar kualiti (quality ledger) yang dipautkan ke partition, pelaksanaan, perubahan huluan, dan impak hiliran.
Langkah 4: Hubungkan Amaran, Kuarantin, dan Pemulihan
Sekat penerbitan apabila data yang tidak elok boleh mencemari kewangan atau model. Kuarantin anomali setempat dan kekalkan snapshot dipercayai bercap masa apabila sekatan yang lebih luas tidak diperlukan. Amaran merangkumi aset, dimensi, pemerhatian, ambang, salasilah, dan tindakan yang dicadangkan. Selepas pembaikan huluan, lakukan backfill mengikut masa perniagaan dan gunakan penulisan idempoten berserta penyesuaian input/output untuk membuktikan tiada kehilangan atau pertindihan data.
6. Contoh Jawapan Berkualiti Tinggi
Saya akan meletakkan aset mengikut tahap impak perniagaan dan mendaftarkan pemilik, pengguna, serta salasilah untuk aset yang kritikal. Setiap muatan memeriksa masa ketibaan dan perniagaan, volum baris atau bait, skema, medan yang diperlukan, pendua, hubungan, dan taburan nilai utama. Hasil mengekalkan versi peraturan, kelompok, saiz sampel, pemerhatian, dan impak hiliran; tahap keterukan menentukan sama ada penerbitan disekat, diberi amaran, atau sekadar direkodkan.
Jika jadual penyelesaian gagal dalam semakan kelengkapan, saya akan mengkuarantin kelompok tersebut dan menyekat penerbitan. Papan pemuka bebas boleh menggunakan snapshot dipercayai sebelumnya berserta cap masanya. Amaran tersebut menyatakan dimensi yang gagal dan kemungkinan perubahan huluan dan bukannya mendedahkan satu skor yang tidak jelas. Selepas pembaikan, saya melakukan backfill pada partition, menjalankan semula semakan yang sama, menyesuaikan rekod input, output, yang ditolak, dan yang digunakan, serta menutup insiden hanya selepas metrik pulih. Akhir sekali, saya menggunakan penggera palsu, kegagalan pengesanan, dan masa pengendalian untuk melaraskan ambang dan liputan.
7. Mod Kegagalan Biasa
- Hanya menyemak sama ada DAG berjaya, bukan sama ada data itu segar, lengkap, dan boleh digunakan.
- Menggunakan satu ambang untuk setiap aset tanpa menghiraukan pengguna, faktor bermusim, dan saiz sampel.
- Meninggalkan versi peraturan, kelompok, atau salasilah sehingga amaran tidak dapat dihasilkan semula.
- Menyekat keseluruhan platform bagi setiap kegagalan, atau mencuba semula penghantaran data yang tidak elok secara automatik ke sistem hiliran.
- Menulis ganti sejarah selepas pembaikan tanpa merekodkan backfill, penyesuaian, dan perlindungan penulisan pendua.
8. Soalan Susulan dan Maklum Balas
Soalan susulan 1: Bagaimanakah kualiti data berbeza daripada kebolehlihatan data?
Semakan kualiti mengesahkan sesuatu pernyataan. Kebolehlihatan pula menghubungkan isyarat kesihatan dengan konteks pelaksanaan, salasilah, pemilikan, impak, dan tindakan. Kualiti ialah satu isyarat dalam kitaran operasi, bukan keseluruhan kitaran itu sendiri.
Soalan susulan 2: Bagaimanakah anda mengurangkan penggera palsu?
Gunakan garis dasar sejarah mengikut aset dan segmen, kekalkan saiz sampel, tetapkan keperluan tetingkap berturut-turut, dan gunakan tahap keterukan. Perhatikan peraturan baharu dalam mod bayangan (shadow mode) dan kekalkan versi lama semasa menyemak kos penggera palsu.
Soalan susulan 3: Patutkah setiap semakan yang gagal menyekat penerbitan?
Buat keputusan berdasarkan impak dan salasilah. Kegagalan yang boleh mencemari penyelesaian, komitmen pelanggan, atau latihan model harus menyekat penerbitan yang berkaitan; pengguna berisiko rendah boleh membaca snapshot dipercayai yang disertakan amaran. Skop, had masa peningkatan (escalation timeout), dan syarat pelepasan mestilah boleh diaudit.