Temu duga kejuruteraan data: Bagaimanakah anda menggunakan Parquet Page Index untuk imbasan terpilih?

Gesaan dan skop

Jadual ditulis setiap hari sebagai Parquet, dengan banyak halaman data di dalam setiap row group. Pertanyaan biasanya menapis mengikut customer_id dan julat masa, sepadan dengan kurang daripada 1% baris sambil mengimbas hampir keseluruhan jadual. Terangkan cara Page Index pilihan boleh mengurangkan bacaan halaman yang tidak relevan sambil mengekalkan ketepatan bagi pembaca lama, mengawal kos metadata, dan membuktikan bahawa peningkatan prestasi berpunca daripada pemangkasan halaman (page pruning) dan bukannya perubahan cache atau sumber.

Kapasiti, kepilihan (selectivity), dan nisbah imbasan adalah andaian temu duga, bukan penanda aras sejagat. Soalan ini sesuai untuk peranan kejuruteraan data, enjin lakehouse, pengoptimuman pertanyaan dan infrastruktur storan. Kemahiran terasnya ialah reka letak fail lajur (columnar) dan penolakan predikat (predicate pushdown), jadi ia tergolong dalam data.

Perkara yang dinilai oleh penemu duga

Pertama, bolehkah anda membezakan ColumnIndex daripada OffsetIndex? ColumnIndex menggunakan statistik sempadan bagi setiap halaman untuk menentukan halaman mana yang mungkin sepadan; OffsetIndex memetakan julat baris yang sepadan kepada ofset dalam lajur yang diunjurkan.

Kedua, bolehkah anda menerangkan lajur tersusun (ordered) berbanding tidak tersusun (unordered)? Lajur tersusun boleh menggunakan carian binari sempadan; lajur tidak tersusun sering kali memerlukan semakan sempadan halaman secara berurutan. Page Index bukan indeks sekunder umum.

Ketiga, bolehkah anda melindungi ketepatan? Nilai min/max yang dipendekkan (truncated) boleh membesarkan set calon tetapi tidak boleh mengecualikan halaman yang mungkin sepadan. Nilai null, NaN, susunan lajur dan column_orders mengikut definisi format.

Keempat, bolehkah anda mengukur trade-off? Metadata indeks menambah I/O kawasan pengaki (footer) dan beban penulisan, manakala imbasan terpilih boleh mengurangkan I/O halaman data. Ukur dengan beban kerja sebenar dan bukannya menjanjikan peningkatan kelajuan yang tetap.

Kelima, bolehkah anda menyediakan sandaran (fallback)? Pembaca lama boleh mengabaikan Page Index dan masih membaca dengan betul menggunakan statistik row-group atau halaman biasa. Mendayakan indeks tidak boleh mengubah semantik hasil.

Soalan untuk dijelaskan terlebih dahulu

• Adakah enjin dan pembaca melaksanakan ColumnIndex dan OffsetIndex, dan adakah ia membacanya secara lalai?
• Adakah customer_id dikelompokkan mengikut julat (range-clustered) atau diisih semasa menulis, atau adakah ia tidak tersusun?
• Adakah predikat berbentuk kesaksamaan, julat, awalan atau ungkapan kompleks?
• Adakah fail sedia ada mengandungi statistik peringkat halaman, dan apakah pengekodan serta saiz halaman?
• Apakah versi minimum pembaca lama dan matriks keserasian rentas bahasa?
• Adakah kita mengoptimumkan carian titik (point lookups), imbasan julat, atau pengagregatan jadual penuh?

Kerangka jawapan 30 saat

“Saya mula-mula akan mengesahkan sokongan pembaca dan mengambil sampel pengaki fail untuk bilangan halaman, saiz ColumnIndex, susunan dan kepilihan predikat. Bagi customer_id yang diisih, saya akan menggunakan sempadan min/max halaman untuk mencari calon; untuk lajur lain, saya akan menguji sempadan dan menggunakan OffsetIndex untuk memetakan baris yang sepadan kepada lajur yang diunjurkan. Saya akan menukar susunan atau saiz halaman hanya apabila penanda aras menunjukkan nilai, kerana Page Index bukan indeks sekunder. Pembaca lama mesti mengembalikan hasil yang sama sambil mengabaikannya. Akhir sekali, di bawah cache sejuk dan sumber tetap, saya akan membandingkan bait yang diimbas, halaman yang dibaca, masa perancangan, p95 hujung-ke-hujung dan overhed pengaki/indeks berbanding kawalan tanpa indeks.”

Jawapan langkah demi langkah

Langkah 1: Sahkan format dan sokongan pembaca

Page Index ialah metadata ColumnChunk pilihan yang mengandungi ColumnIndex dan OffsetIndex. Periksa metadata fail untuk lokasi dan panjang indeks, susunan lajur, dan column_orders; kemudian dayakan metrik pemangkasan halaman yang jelas dalam enjin sasaran. Jika pembaca hanya menulis indeks tetapi tidak menggunakannya, menulis indeks tidak akan mengurangkan imbasan.

for each row_group:
  read ColumnIndex for predicate columns
  select pages whose min/max may match predicate
  use OffsetIndex to map selected row ranges to projected columns
  read only those page ranges

Langkah 2: Asingkan lajur tersusun dan tidak tersusun

Dokumentasi Parquet menyatakan bahawa sempadan bagi lajur tersusun menyokong carian binari, manakala lajur tidak tersusun secara amnya memerlukan semakan min/max berurutan. Susunan bukanlah keperluan seluruh format. Rekod pertindihan julat nilai bagi setiap row group dan bukannya hanya menggunakan kekardinalan jadual.

Langkah 3: Tafsirkan min/max secara konservatif

Penulis boleh memendekkan rentetan panjang atau menggunakan sempadan yang meliputi julat nilai sebenar. Sempadan sedemikian boleh menyebabkan halaman calon tambahan tetapi tidak boleh mengecualikan padanan yang mungkin. Tafsirkan nilai null, NaN dan perbandingan mengikut column_orders; apabila statistik tidak lengkap, baca halaman dengan selamat.

Langkah 4: Sambungkan bacaan merentas lajur

ColumnIndex mengenal pasti halaman calon hanya untuk lajur predikat. Unjuran masih memerlukan lajur lain, jadi OffsetIndex memetakan julat baris yang sepadan kepada ofset halamannya. Sempadan halaman boleh berbeza merentas lajur; jangan sekali-kali menggunakan semula nombor halaman daripada satu lajur untuk lajur yang lain. Tanpa OffsetIndex, pembaca mungkin menyahkod lebih banyak lajur secara berurutan.

Langkah 5: Ukur kos penulisan dan metadata

Lebih banyak halaman menambah pengepala halaman dan entri indeks; halaman yang lebih besar mengurangkan kekhususan (granularity) pemangkasan. Lakukan penanda aras bagi matriks kepilihan pertanyaan, lebar baris, pemampatan dan saiz halaman. Carian titik mungkin mewajarkan lebih banyak metadata, manakala imbasan luas dan agregat penuh mungkin hanya menanggung kos I/O pengaki tambahan.

Langkah 6: Reka bentuk keserasian dan pelancaran

Sebelum mendayakan penulisan, buat inventori semua pengguna data (consumers). Pembaca lama yang mengabaikan Page Index harus menggunakan statistik row-group atau bacaan halaman biasa dan mengembalikan hasil yang sama. Lancarkan kepada fail baharu dan partisi tetap terlebih dahulu, sambil mengekalkan kawalan tanpa indeks. Rekod cincangan (hash) hasil, bait yang diimbas dan ralat untuk pembaca yang menyokong dan tidak menyokong.

Langkah 7: Tentukan penerimaan yang boleh diulang

Jalankan pertanyaan setara pada snapshot yang sama dengan cache sejuk, konkurensi tetap dan ujian berulang. Rekod bait yang diimbas, halaman yang dibaca, nisbah langkau (skip ratio), bait pengaki/indeks, CPU penyahkodan, kependaman hujung-ke-hujung dan pengesahan hasil. Kekalkan partisi tidak tersusun dengan pertindihan tinggi sebagai kawalan negatif; hentikan jika indeks hanya menambah kos untuk beban kerja berkepilihan rendah.

Jawapan model

“Saya mula-mula akan mengesahkan bahawa pembaca menggunakan ColumnIndex dan OffsetIndex, kemudian mengambil sampel pengaki untuk bilangan halaman, panjang indeks, column_orders dan susunan penulisan. Page Index ialah metadata pilihan, bukan indeks sekunder; ia menyatakan halaman mana yang mungkin sepadan.

Untuk customer_id yang diisih, saya akan melakukan carian binari pada sempadan min/max halaman; untuk lajur tidak tersusun, saya akan menyemak sempadan secara berurutan. Saya akan menggunakan OffsetIndex untuk memetakan baris predikat yang sepadan kepada lajur yang diunjurkan, dan tidak sekali-kali menggunakan semula nombor halaman satu lajur untuk lajur yang lain. Statistik yang dipendekkan boleh meluaskan calon; statistik yang hilang, nilai null atau susunan yang tidak pasti memerlukan bacaan yang selamat.

Semasa menulis, saya akan menanda aras kepilihan, saiz halaman, pemampatan dan pertumbuhan pengaki. Semasa pelancaran, saya akan mengekalkan kawalan pembaca lama dan tanpa indeks, serta memerlukan hasil yang serupa. Dengan cache sejuk dan sumber tetap, saya akan membandingkan bait yang diimbas, nisbah langkau, I/O indeks, CPU, p95 dan cincangan hasil sebelum mengembangkannya.”

Kesilapan biasa

• Menganggap Page Index sebagai indeks sekunder → lajur tidak tersusun mungkin masih mempunyai banyak calon → ukur pertindihan julat nilai dan kepilihan.
• Menulis ColumnIndex sahaja → lajur yang diunjurkan tidak boleh melompat mengikut baris yang sepadan → sahkan pemetaan OffsetIndex.
• Menganggap min/max yang dipendekkan sebagai tepat → padanan sebenar boleh dikecualikan → benarkan hanya peluasan calon yang konservatif.
• Menguji hanya pada cache panas → cache menyembunyikan I/O → ulangi ujian kawalan cache sejuk.
• Menggunakan semula nombor halaman merentas lajur → sempadan halaman berbeza → gunakan julat baris dan ofset.
• Mengabaikan pembaca lama → pelancaran memperkenalkan regresi keserasian → kekalkan matriks pembaca dan sandaran.
• Menyemak kependaman tanpa mengesahkan hasil → pepijat pemangkasan boleh menghilangkan baris data → bandingkan cincangan dan agregat perniagaan.
• Mendayakannya di semua tempat secara lalai → imbasan berkepilihan rendah menanggung kos metadata tanpa faedah → lancarkan mengikut jadual atau mengikut partisi.

Soalan susulan

Soalan susulan 1: Mengapakah lajur tersusun mendapat lebih banyak faedah?

Pengisihan menumpukan nilai dalam halaman bersebelahan, jadi julat sering kali dipetakan kepada selang halaman berdampingan yang menyokong carian binari. Nilai tidak tersusun bertindih lebih banyak dan menghasilkan lebih banyak calon. Saiz halaman dan kepilihan predikat masih menentukan hasilnya.

Soalan susulan 2: Bolehkah halaman dilangkau tanpa OffsetIndex?

Lajur predikat boleh mengenal pasti calon, tetapi lajur yang diunjurkan tidak dapat mengesan julat baris yang sama secara langsung, jadi pembaca mungkin memerlukan lebih banyak bacaan berurutan. Sahkan pembaca sasaran dan bukannya hanya membuat kesimpulan sokongan daripada metadata fail semata-mata.

Soalan susulan 3: Adakah statistik yang dipendekkan selamat?

Penulis yang betul membentangkan sempadan konservatif yang meliputi julat sebenar. Ini boleh menghasilkan positif palsu (false positives) dan bacaan tambahan, tetapi bukan negatif palsu (false negatives). Jika jaminan itu tidak tersedia, kembali kepada bacaan normal.

Soalan susulan 4: Bagaimanakah anda membuktikan tiada baris yang hilang?

Jalankan snapshot yang sama dengan Page Index didayakan dan dinyahdayakan, bandingkan hasil lengkap, kiraan, agregat dan sampel utama, kemudian uji nilai sempadan, nilai null, pendua dan rentetan panjang dengan data sintetik.

Soalan susulan 5: Bilakah Page Index tidak berbaloi untuk ditulis?

Imbasan penuh, predikat berkepilihan rendah, bilangan halaman yang sedikit atau kependaman yang didominasi oleh pengaki mungkin tidak mendapat faedah. Bandingkan bait indeks, CPU penulisan dan kos penyelenggaraan, serta kekalkan suis bagi setiap jadual atau setiap partisi.

Soalan susulan 6: Bagaimana pula dengan perubahan skema atau susunan?

Fail baharu harus ditafsirkan dengan skema dan column_orders miliknya sendiri; jadual tidak boleh mengandaikan satu susunan global yang seragam. Fail sejarah yang bercampur memerlukan pengendalian yang peka terhadap keupayaan dan pemantauan terhadap indeks yang hilang.