Temu duga kejuruteraan data: Bagaimanakah anda membuktikan tolakan medan bersarang (nested-field pushdown) DataFusion mengurangkan kos imbasan?

Soalan

DataFusion 53 boleh menolak ungkapan seperti get_field ke dalam sumber data. Bagaimanakah anda mereka bentuk pertanyaan, pelan dan penanda aras untuk membuktikan kos I/O serta penyahkodan yang lebih rendah tanpa mengubah hasil?

Konteks dan batasan

Andaikan jadual Parquet mempunyai lajur struct yang lebar s, manakala pertanyaan hanya memerlukan s['label'] dan menapis pada s['value']. Rangkumi imbasan kelompok, statistik, nilai nol, evolusi skema dan sandaran selamat apabila tolakan tidak boleh digunakan. Jangan anggap "unjuran muncul dalam pelan" sebagai bukti menyeluruh.

Perkara yang diuji oleh penemu duga

Kemahiran ini melibatkan pemisahan ketepatan semantik, penulisan semula pelan, keupayaan sumber data dan faedah yang boleh diperhatikan. DataFusion 53 mengalihkan akses medan bersarang lebih dekat kepada imbasan supaya keseluruhan struktur tidak perlu dibaca; dokumentasi konfigurasinya menerangkan enable_leaf_expression_pushdown mengekstrak get_field daripada ungkapan penapis, isih atau gabung dan menolaknya ke arah nod daun.

Jelaskan perkara ini terlebih dahulu:

• Adakah sumber menyokong unjuran peringkat medan, dan adakah format fail tersebut Parquet?
• Apakah jenis, semantik nol dan peraturan medan yang hilang untuk s['label'] dan s['value']?
• Adakah garis dasar merupakan pengoptimuman yang dinyahdayakan, versi DataFusion yang lebih lama, atau pertanyaan yang membaca keseluruhan struktur?
• Patutkah perbandingan memfokuskan pada bait imbasan, CPU penyahkodan, memori puncak, kependaman, atau permintaan storan objek?

Jawapan 30 saat

Mulakan dengan SQL yang mengandungi unjuran dan penapisan bersarang. Kemudian bandingkan pelan logik dan fizikal serta unjuran pembaca Parquet sebelum dan selepas pengoptimuman. Akhir sekali, gunakan data, keadaan cache dan keserentakan yang serupa untuk mengukur bait imbasan, masa penyahkodan, memori puncak dan semakan hasil, sambil menyatakan masa untuk kembali ke sandaran.

Pecahan terperinci langkah demi langkah

1. Bina data: cipta fail Parquet dengan partition, kumpulan baris dan statistik yang serupa sambil mengawal kelebaran struktur, kadar nol dan kepilihan medan.
2. Tentukan garis dasar: kekalkan versi DataFusion, bilangan bebenang, kependaman storan objek dan keadaan cache secara malar untuk bacaan struktur penuh, tolakan yang dinyahdayakan dan bacaan medan daun.
3. Periksa pelan: sahkan get_field berada berhampiran imbasan dan unjuran hanya mengandungi id, s.label dan medan penapis s.value; teks SQL sahaja tidak mencukupi.
4. Perhatikan sumber: rekod lajur Parquet yang dibaca, pemangkasan kumpulan baris, bait yang diambil dan kelompok penyahkodan, memisahkan faedah unjuran daripada faedah predikat.
5. Semak hasil: bandingkan cincangan atau baris yang diisih, merangkumi medan yang hilang, nilai nol, perubahan jenis, struktur kosong dan baris pendua.
6. Tentukan sandaran: jika sumber tiada tolakan medan, penulisan semula tidak selamat, atau faedah berada di bawah ambang, kekalkan laluan bacaan penuh yang betul dan rekodkan sebabnya.

Jawapan contoh

Saya akan membina tiga garis dasar daripada satu set data Parquet tetap: baca s penuh, nyahdayakan enable_leaf_expression_pushdown, dan dayakan pengoptimuman sambil memilih medan daun. Pertanyaannya ialah:

SELECT id, s['label']
FROM events
WHERE s['value'] > 150;

Saya akan menyimpan pelan logik dan fizikal serta mengesahkan bahawa get_field berada berhampiran imbasan dan unjuran imbasan tidak lagi merangkumi semua s. Saya akan menjalankan beberapa lelaran cache sejuk dan cache hangat, merekodkan bait yang dibaca, permintaan storan objek, CPU penyahkodan Parquet, memori puncak, kependaman menyeluruh dan baris output. Saya akan membandingkan cincangan diisih yang stabil dengan garis dasar struktur penuh, secara eksplisit merangkumi nilai nol, medan yang hilang serta skema lama dan baharu. Jika sumber tidak dapat mengunjurkan medan, saya akan mengekalkan bacaan penuh dan mengeluarkan metrik daripada mengorbankan ketepatan demi pelan yang lebih kemas. Sebelum pelancaran, bait imbasan dan cincangan hasil akan menjadi pintu kawalan regresi.

Kesilapan biasa

• Membandingkan kependaman menyeluruh sahaja tanpa mengawal cache, keserentakan dan susun atur fail.
• Menggabungkan unjuran medan, tolakan predikat dan pemangkasan kumpulan baris menjadi satu nombor yang tidak dapat dijelaskan.
• Menguji nilai biasa sahaja dan mengabaikan nilai nol, medan yang hilang dan evolusi skema.
• Mengisytiharkan kejayaan daripada pelan yang ditulis semula tanpa menyemak lajur dan bait yang sebenarnya digunakan oleh pembaca.
• Memaksa penulisan semula apabila tolakan gagal dan bukannya mengekalkan sandaran yang mengutamakan ketepatan.

Jawapan yang kukuh menghubungkan SQL, pelan, sumber dan metrik; memberikan garis dasar dan semakan hasil yang boleh dihasilkan semula; serta menerangkan atribusi dan sandaran. Jawapan yang lemah hanya mengatakan "tolakan unjuran adalah lebih pantas" tanpa kawalan eksperimen atau bukti ketepatan.

Soalan susulan dan jawapan

Mengapakah bacaan medan daun mungkin masih tidak menunjukkan sebarang faedah?

Fail tersebut mungkin berorientasikan baris, struktur mungkin tidak dapat dipisahkan secara fizikal, permintaan storan objek mungkin mendominasi, atau sumber mungkin tidak melaksanakan unjuran medan. Periksa bait sebenar dan masa penyahkodan dan bukannya pelan sahaja.

Jika s['value'] kebanyakannya bernilai nol, bagaimanakah anda mengekalkan hasil?

Betulkan semantik nol dan jenis SQL terlebih dahulu, kemudian bandingkan baris dengan garis dasar bacaan penuh. Pengoptimuman boleh mengelakkan medan yang tidak diperlukan tetapi tidak boleh menganggap nilai nol sebagai hilang atau salah.

Apakah yang berlaku kepada fail lama selepas medan bersarang ditambah?

Pembaca harus menyelesaikan medan mengikut nama dan menggunakan semantik nol atau lalai yang ditetapkan pada fail lama. Penanda aras mesti menyertakan fail lama dan baharu serta mengesahkan imbasan gabungan.

Senarai semak temu duga

Pengajaran satu ayat

Buktikan tolakan dengan menyemak kedudukan pelan, tingkah laku imbasan sebenar, kesetaraan hasil dan sandaran selamat apabila sumber tidak dapat dioptimumkan.