Temu duga kejuruteraan data: Lampirkan indeks vektor secara selamat pada snapshot Apache Iceberg

Soalan dan senario

Reka bentuk sambungan carian vektor untuk jadual Iceberg. Fail data menyimpan data baris dan enjin pertanyaan membaca snapshot; indeks vektor berada dalam fail sampingan (sidecar files) Puffin dan dirujuk oleh metadata snapshot. Reka bentuk ini mesti menyokong pertanyaan jiran terdekat anggaran tanpa memecahkan pengasingan snapshot, perjalanan masa, atau penyelenggaraan fail data.

Andaikan penambahan kelompok (batch appends) harian dan kemas kini kecil. Hasil anggaran hanya boleh diterima apabila versi indeks dapat dilihat oleh pemanggil. Bezakan keupayaan format fail Apache Puffin daripada reka letak ANN tertentu yang dicadangkan oleh penyelidikan; reka bentuk graf eksperimen bukanlah tingkah laku Iceberg secara automatik.

Perkara yang diuji oleh penemu duga

Ketekalan snapshot dan indeks

Jawapan yang kukuh mengikat snapshot data, blob Puffin, dan metadata indeks dalam satu komit yang boleh dilihat. Memuat naik fail indeks sahaja tidak menjadikannya boleh ditanya.

Carian anggaran dan pemangkasan fail

Terangkan bahawa indeks vektor mendapatkan calon, manakala semakan jarak akhir dan keterlihatan masih membaca baris data. Kendalikan indeks yang hilang, basi (stale), dan berjumpaan semula (recall) rendah secara eksplisit.

Penyelenggaraan berperingkat dan pemadaman

Kaitkan penambahan, kemas kini, pemadaman, penggabungan, dan pemadatan (compaction). Jangan berhenti pada binaan luar talian sekali sahaja.

Kebolehoperasian dengan pengiraan dan storan yang diasingkan

Nyatakan cara storan objek memegang Puffin, cara penyelaras menjadualkan serpihan (shards), cara sampah dihadkan, dan cara kesegaran serta undur balik dipantau.

Soalan penjelasan sebelum menjawab

Apakah dimensi pembenaman, fungsi jarak, kependaman pertanyaan, dan jumpaan semula minimum?
Adakah pertanyaan mesti menggunakan snapshot terbaharu, atau adakah kelengahan indeks yang terhad boleh diterima?
Adakah kemas kini dan pemadaman merupakan CDC tambah sahaja, pemadaman kesamarataan (equality deletes) Iceberg, atau penulisan semula fail data?
Adakah satu enjin membina indeks itu, atau adakah Spark, Flink, dan Trino mesti berkongsinya?
Adakah vektor bersifat sensitif, dan siapa yang memiliki kawalan akses serta penyulitan?
Adakah pertanyaan perjalanan masa mesti menggunakan semula indeks sejarah, atau adakah pengindeksan hanya diperlukan untuk snapshot semasa?

Rangka kerja jawapan 30 saat

"Saya akan memastikan fail data Iceberg, blob indeks Puffin, dan metadata snapshot dipisahkan, tetapi menerbitkan ikatan tersebut dalam satu komit untuk satu ID snapshot. Pertanyaan memilih snapshot yang boleh dilihat, membaca rujukan indeksnya, melakukan perolehan calon ANN, kemudian mengesahkan versi baris dan jarak tepat daripada fail data. Indeks yang hilang atau basi akan berundur balik ke imbasan partisi atau fail dan mendedahkan status kualiti. Penambahan boleh mencipta indeks delta; kemas kini dan pemadaman ditapis oleh batu nisan (tombstones) atau lapisan pemadaman; pemadatan membina semula garis dasar. Kerja indeks menggunakan komit snapshot optimistik, dan kami memantau kesegaran, sampel jumpaan semula, kadar undur balik, serta sampah Puffin."

Jawapan mendalam langkah demi langkah

Langkah 1: Anggarkan sempadan data dan indeks

Sebagai andaian ilustrasi, 1 bilion vektor dengan 768 dimensi float32 memerlukan 1 bilion kali 768 kali 4 bait, kira-kira 3 TB untuk vektor mentah sebelum pemampatan lajur atau overhed indeks. Anggaran ini menolak kemungkinan meletakkan indeks dalam satu manifes atau memori penyelaras; pecahkannya kepada serpihan dalam storan objek dan muatkan mengikut partisi pertanyaan.

Langkah 2: Ikat Puffin pada snapshot

Puffin menyimpan blob indeks atau statistik yang tidak boleh dibawa secara terus oleh manifes Iceberg. Setiap blob merangkumi metadata seperti jenis, medan, partisi, atau rujukan fail data. Pembina indeks menulis Puffin, kemudian melakukan komit snapshot Iceberg baharu yang ringkasannya merekodkan lokasi indeks, versi, dan liputan. Pembaca menerima rujukan hanya apabila ia boleh dilihat bersama snapshot tersebut.

text

snapshot S42
  data files: D100, D101
  summary:
    vector.index.version = v7
    vector.index.puffin = s3://table/metadata/puffin-v7
    vector.index.covers = D100,D101

Langkah 3: Reka bentuk laluan pertanyaan

Selesaikan cabang semasa atau permintaan perjalanan masa kepada snapshot S, kemudian pilih blob Puffin mengikut liputan. Graf atau serpihan ANN mengembalikan pengecam baris calon dan jarak anggaran. Enjin membaca fail data tersebut, menyemak keterlihatan baris dalam S, menggunakan kebenaran dan predikat, serta mengira semula jarak tepat. Kembalikan snapshotid dan indexversion supaya pemanggil boleh menilai kesegaran.

Langkah 4: Kendalikan penambahan, kemas kini, dan pemadaman

Penambahan boleh menulis indeks Puffin delta dan mengisytiharkan failnya dalam komit snapshot yang sama. Sebelum pembinaan semula, kemas kini atau pemadaman menapis calon lama dengan pemadaman kesamarataan, pemadaman kedudukan, atau batu nisan delta; pertanyaan tidak boleh sesekali mengembalikan baris yang telah dipadam. Gabungkan indeks delta ke dalam garis dasar baharu di latar belakang, kemudian terbitkan ikatan snapshot baharu secara atomik. Sekiranya berlaku kegagalan, kekalkan indeks lama dan laluan undur balik.

Langkah 5: Kendalikan komit serentak dan pemadatan

Kerja indeks membaca garis dasar S42 dan membina v7. Jika komit data memajukan jadual ke S43, keserentakan optimistik menentukan sama ada untuk mencuba semula, menggabungkan delta, atau membatalkan v7. Apabila pemadatan mengubah laluan fail data, indeks lama tidak boleh menuntut liputan ke atas fail baharu. Bina blob baharu yang diikat pada set fail yang ditulis semula, kemudian lakukan kutipan sampah pada blob lama selepas penjejakan rujukan dan tempoh tangguh.

Langkah 6: Kendalikan, asingkan, dan buat undur balik

Storan objek memegang Puffin; penyelaras menjadualkan binaan mengikut partisi atau set fail; nod pertanyaan mengehoskan struktur penghalaan atau sentroid kecil dalam cache. Blob yang hilang, versi yang tidak serasi, kegagalan kebenaran, atau sampel jumpaan semula yang rendah akan mencetuskan undur balik imbasan fail atau respons yang hanya mengandungi calon yang disahkan berserta sebab. Jejaki kesegaran indeks, kelengahan binaan, p95 pertanyaan, sampel jumpaan semula, bait Puffin, kadar undur balik, dan blob yang tidak dirujuk.

Contoh jawapan berkualiti tinggi

"Saya akan mengekalkan lajur vektor dalam fail data Iceberg, menulis struktur ANN ke Puffin, dan menerbitkan rujukannya sebagai sebahagian daripada snapshot. Dengan andaian ilustrasi sebanyak 1 bilion vektor float32 768 dimensi, vektor mentah adalah kira-kira 3 TB, jadi indeks mesti diserpihkan dalam storan objek dan bukannya dipegang oleh penyelaras.

Pembina membaca S42, mencipta Puffin v7 yang meliputi D100 dan D101, dan menggunakan komit optimistik untuk menerbitkan snapshot baharu. Sesuatu pertanyaan menetapkan snapshot untuk permintaan perjalanan masa, membaca hanya indeks yang diisytiharkan untuk snapshot tersebut, dan mengesahkan keterlihatan calon, kebenaran, serta jarak tepat dengan membaca fail data. Semasa indeks basi, penambahan menggunakan indeks delta dan kemas kini atau pemadaman ditapis oleh fail pemadaman atau batu nisan; pemadatan kemudiannya membina semula garis dasar.

Jika jadual telah maju ke S43, v7 tidak boleh dianggap semasa tanpa percubaan semula atau penanda basi yang jelas. Blob yang hilang, format yang tidak serasi, atau jumpaan semula yang rendah mencetuskan undur balik imbasan, dengan snapshotid, indexversion, dan sebab dalam metrik. Tebus guna Puffin lama hanya selepas tiada snapshot atau cabang sejarah yang merujuknya."

Kesilapan lazim

Menganggap Puffin sebagai format jadual utama baharu → pertanyaan tidak dapat membuktikan versi data mana yang diliputi oleh indeks → ikat liputan pada snapshot.
Menjadikan indeks yang dimuat naik boleh dibaca serta-merta → fail data dan indeks mungkin milik snapshot yang berbeza → terbitkan rujukan dalam satu komit optimistik.
Mengembalikan calon ANN secara terus → pemadaman, kebenaran, atau ralat jarak membocorkan baris yang salah → semak semula keterlihatan dan kira semula jarak tepat.
Terus menggunakan graf lama selepas kemas kini → baris yang dipadam boleh diperoleh semula → tapis dengan lapisan pemadaman, gabungkan delta, dan bina semula garis dasar.
Menggunakan semula laluan fail lama selepas pemadatan → indeks menuntut untuk meliputi fail yang tidak lagi wujud → bina blob dan snapshot baharu untuk set yang ditulis semula.
Menganggap reka letak graf penyelidikan sebagai piawaian Puffin → enjin tidak boleh saling beroperasi → gunakan Puffin untuk storan dan metadata, dengan algoritma graf boleh diganti.
Menggagalkan setiap pertanyaan apabila indeks tiada → perkhidmatan tidak tersedia semasa pelancaran partisi baharu → imbas sebagai undur balik dan dedahkan kesegaran serta sebab.
Memadam Puffin tanpa penjejakan rujukan → bacaan perjalanan masa atau cabang rosak → tunggu setiap snapshot, cabang, dan tempoh tangguh untuk melepaskannya.

Soalan susulan dan respons

Soalan susulan 1: Bagaimanakah anda menjamin indeks yang betul untuk perjalanan masa?

Simpan rujukan dalam ringkasan snapshot yang sepadan berserta liputan fail dan versinya. Tetapkan snapshot terlebih dahulu, tolak blob yang meliputi fail terkemudian atau berbeza, dan imbas sekiranya tiada daripada menggunakan indeks semasa secara senyap.

Soalan susulan 2: Adakah aliran kemas kini yang besar akan mencipta indeks delta tanpa had?

Tetapkan had lapisan delta bagi setiap partisi atau set fail dan jadualkan pembinaan semula penggabungan apabila ia melebihi had. Beralih secara atomik ke snapshot baharu selepas penggabungan, dengan mengekalkan delta lama sehingga snapshot sejarah tidak lagi merujuknya.

Soalan susulan 3: Bolehkah dua enjin bertukar ganti indeks ANN mereka?

Hanya apabila jenis blob, fungsi jarak, pengekodan vektor, pengecam baris, dan protokol versi adalah serasi. Puffin mentakrifkan sempadan bekas dan metadata; graf memerlukan pengisytiharan keupayaan. Jika tidak, abaikan dan lakukan undur balik.

Soalan susulan 4: Bagaimanakah anda mengukur jumpaan semula tanpa mengimbas keseluruhan jadual?

Ambil sampel set kecil pertanyaan langsung dan kira kebenaran asas (ground truth) anggaran di luar talian dengan carian tepat atau garis dasar yang dipercayai. Bandingkan recall@k mengikut partisi, versi vektor, dan fungsi jarak. Tandakan indeks sebagai basi apabila sampel jatuh di bawah ambang dan bukannya hanya memerhatikan p95 semata-mata.

Soalan susulan 5: Bagaimana jika fail Puffin atau storan objek tidak tersedia buat sementara waktu?

Sahkan checksum dan metadata blob, cuba semula daripada replika, kemudian imbas atau tolak carian anggaran dengan status eksplisit selepas tamat masa. Jangan sesekali menerbitkan snapshot baharu yang merujuk blob yang rosak.

Sumber 1: Spesifikasi Apache Puffin

Spesifikasi Puffin mentakrifkan format fail untuk indeks dan statistik yang tidak boleh disimpan secara terus dalam manifes Iceberg, termasuk metadata blob dan rujukan fail data. Ini menyokong sempadan fail sampingan, liputan, dan snapshot dalam jawapan ini.

Sumber 2: Penyelidikan indeks vektor bersandarkan Puffin

Kertas kerja 2026 mencadangkan pelampiran struktur jiran terdekat anggaran pada snapshot Iceberg dan membincangkan pengasingan pengiraan-storan, pengurusan indeks peringkat snapshot, dan tetapan berbilion vektor. Jawapan ini menganggapnya sebagai pelaksanaan penyelidikan yang boleh diganti dan menambah sempadan pemadaman, undur balik, dan komit serentak.

Sumber 3: Panduan persediaan temu duga kejuruteraan data

Panduan kejuruteraan data awam menekankan SQL, pemodelan data, saluran paip data, sistem kelompok dan penstriman, serta kebolehpercayaan. Jawapan ini memetakan isyarat tersebut kepada ketekalan snapshot, penyelenggaraan indeks, pemecahan serpihan, pengesahan, dan undur balik kegagalan.