Perintah dan konteks
Komit yang sama menghasilkan digest biner yang berbeda pada mesin pengembang dan di CI. Jelaskan bagaimana Anda akan menemukan perbedaannya, memperbaiki build, dan membuktikan bahwa builder independen dapat mereproduksinya.
Hal ini menguji proses debugging yang sistematis, perancangan eksperimen, dan batas-batas rantai pasokan (supply chain). Tanda tangan atau pernyataan asal-usul (provenance) dapat menunjukkan siapa yang mengklaim telah membangun suatu artifak, tetapi tidak serta-merta membuktikan bahwa dua build menghasilkan byte yang identik.
Hal yang dievaluasi oleh pewawancara
Mempersempit perbedaan
Anda harus membekukan komit, dependensi, toolchain, variabel lingkungan, dan platform target, lalu menemukan input atau output pertama yang berbeda dengan eksperimen minimal.
Mengidentifikasi nondeterminisme
Periksa stempel waktu (timestamp), urutan file, seed acak, jalur (path), nama host, race condition paralel, kompresor, dan kunci penandatanganan alih-alih menjalankan ulang build secara membabi buta.
Membuktikan perbaikan
Gunakan lingkungan independen untuk membangun berulang kali, bandingkan digest, manifes file, serta artifak perantara, dan simpan sampel yang gagal beserta penjelasannya.
Menangani batas kepercayaan (trust boundaries)
Bedakan antara build yang dapat direproduksi, tanda tangan, SBOM, dan asal-usul (provenance); setiap jenis bukti menjawab pertanyaan yang berbeda.
Pertanyaan klarifikasi yang perlu diajukan
- Apakah perbedaannya terjadi pada satu platform atau lintas sistem operasi, arsitektur, dan kompiler?
- Apakah dependensi dikunci dan memiliki checksum, atau diselesaikan dari versi mengambang (floating versions)?
- Apakah outputnya berupa biner, image kontainer, arsip, atau artifak dengan informasi debug?
- Apakah seluruh digest berbeda, atau hanya sebagian kecil metadata?
- Apakah proses build membaca waktu, keacakan, jalur, sumber daya jaringan, atau rahasia (secrets)?
- Apakah identitas byte-per-byte diperlukan, atau hanya asal dan integritas yang dapat diverifikasi?
Kerangka jawaban 30 detik
"Saya akan membekukan komit, lockfile, kompiler, base image, arsitektur target, dan parameter build, serta mempertahankan log lengkap dan manifes artifak. Kemudian saya akan membagi dua (bisect) pipeline: membandingkan input, output preprosesor, file objek, dan pengemasan akhir, dimulai dari stempel waktu, urutan, keacakan, jalur, dan unduhan jaringan. Setelah diperbaiki, lingkungan independen akan membangun ulang berulang kali dan membandingkan digest serta perantara utama; lingkungan dan perintah akan dicatat. Terakhir, saya akan menggunakan tanda tangan atau asal-usul (provenance) untuk membuktikan identitas dan asal builder, tanpa memperlakukannya sebagai pengganti reproduktibilitas."
Pembahasan mendalam langkah demi langkah
Langkah 1: Bekukan eksperimen
Catat digest komit, lockfile, checksum paket, versi kompiler dan linker, base image, arsitektur target, perintah build, variabel lingkungan, dan akses jaringan. Bagi artifak menjadi manifes file, digest, dan metadata.
Langkah 2: Temukan perbedaan pertama
Bangun ulang di lingkungan yang bersih dan bandingkan arsip sumber, pohon dependensi, output preprosesor, file objek, output linker, dan pengemasan akhir. Tahapan yang memuat perbedaan pertama menentukan eksperimen berikutnya.
Langkah 3: Hilangkan variasi waktu dan urutan
Hapus waktu saat ini, waktu modifikasi file, nama host build, dan jalur absolut. Perbaiki urutan arsip, urutan penelusuran hash, pengaturan kompresi, dan locale. Masukkan digest komit ke dalam informasi versi alih-alih menggunakan waktu jam dinding (wall-clock time).
Langkah 4: Periksa keacakan dan paralelisme
Tetapkan seed acak, nonaktifkan sumber acak implisit, dan periksa tugas paralel yang menulis koleksi tidak berurutan atau file yang rentan terhadap race condition. Jika keacakan tidak dapat dihilangkan, catat input acak yang dapat diverifikasi dan nyatakan batas konsistensinya.
Langkah 5: Kunci toolchain dan input
Gunakan kontainer atau toolchain yang terkunci versinya (pinned) dan verifikasi kompiler, dependensi, serta generator yang diunduh. Hindari URL mengambang, paket sistem yang tidak dikunci, atau pengaturan host yang tidak ada dalam catatan build.
Langkah 6: Reproduksi secara independen dan lakukan pemeriksaan gerbang berkelanjutan
Minta ruang kerja atau builder yang berbeda untuk membangun ulang dari input yang sama dan bandingkan digest, manifes, serta perantara utama. Tempatkan pemeriksaan build ganda (dual-build) di CI; simpan sampel yang gagal, deskripsi lingkungan, dan kelas perbedaan untuk mencegah regresi.
Contoh jawaban yang kuat
"Saya akan mempertahankan komit, lockfile, toolchain, base image, dan lingkungan lengkap, lalu menentukan apakah perbedaan hanya ada pada pengemasan akhir. Dua ruang kerja bersih akan membandingkan setiap tahap pipeline hingga file objek atau preprosesor pertama yang berbeda ditemukan.
Jika stempel waktu arsip, urutan file, atau jalur absolut berbeda, saya akan mengganti nilai runtime dengan waktu komit, urutan yang stabil, dan pemetaan jalur. Jika dependensi atau kompiler bergeser, saya akan mengunci digest mereka dan melarang input jaringan yang mengambang. Untuk langkah acak atau paralel, saya akan menetapkan seed, mengurutkan penulisan, atau mengurangi konkurensi.
Setelah diperbaiki, builder independen akan berulang kali membandingkan digest akhir dan manifes perantara sebelum gerbang (gate) masuk ke rilis. Asal-usul build, tanda tangan, dan SBOM akan dicatat secara terpisah untuk menetapkan asal, integritas, dan inventaris komponen, tanpa mengklaim bahwa hal tersebut setara dengan reproduktibilitas tingkat byte."
Kesalahan umum
- Menjalankan ulang build tanpa menyimpan bukti input, toolchain, dan lingkungan.
- Hanya membandingkan digest akhir, yang menyembunyikan tahap penyebab munculnya perbedaan.
- Mengabaikan urutan file, locale, zona waktu, jalur, atau metadata kompresor.
- Mengasumsikan versi dependensi cocok tanpa memeriksa byte yang diunduh dan base image.
- Memperlakukan tanda tangan, SBOM, atau asal-usul (provenance) sebagai bukti output yang dapat direproduksi.
- Mereproduksi hanya pada satu mesin sehingga melewatkan perbedaan lintas-host, arsitektur, atau builder.
- Menghapus perbedaan hanya demi meloloskan pemeriksaan tanpa menjelaskan dampaknya terhadap data atau keamanan.
- Tidak memiliki pemeriksaan build ganda yang berkelanjutan, sehingga perbaikan mengalami regresi.
Pertanyaan lanjutan dan jawabannya
Tindak lanjut 1: Bisakah penandatanganan (signing) menyelesaikan masalah ketidakmampuan direproduksi?
Tidak. Tanda tangan mengikat artifak ke penandatangan, dan asal-usul (provenance) mendeskripsikan klaim build. Keduanya meningkatkan asal dan integritas yang dapat diverifikasi, tetapi tidak menjamin bahwa build ulang independen akan menghasilkan byte yang identik.
Tindak lanjut 2: Haruskah hasilnya identik byte-per-byte?
Pilihlah berdasarkan ancaman dan konsumen. Biner yang dipublikasikan, audit kepatuhan, atau verifikasi independen sering kali memerlukan target tingkat byte; jika tidak, nyatakan variasi yang diizinkan dan berikan asal, manifes, serta penjelasan perbedaan.
Tindak lanjut 3: Bagaimana Anda menangani ketidakpastian kompiler?
Kunci versi dan digest kompiler serta linker dalam toolchain yang terkontrol. Jika proses bootstrapping diperlukan, catat input dan artifak pada setiap tahap serta deklarasikan apa yang tetap berada di luar verifikasi.
Tindak lanjut 4: Bagaimana jika digest kontainer berbeda tetapi filenya cocok?
Uraikan urutan lapisan (layer), stempel waktu, konfigurasi, label, dan metadata kompresi. Normalisasi pengemasan dan bandingkan kembali, sambil tetap mempertahankan digest tingkat file agar variasi pengemasan tidak disalahartikan sebagai variasi sumber atau biner.
Tindak lanjut 5: Bagaimana Anda menjaga agar pemeriksaan reproduktibilitas tidak memperlambat pengiriman?
Jalankan build ganda kecil pada gerbang penggabungan (merge gates) dan verifikasi lintas-builder yang lebih luas pada malam hari atau sebelum rilis. Gunakan kembali hanya input yang telah diperiksa digest-nya di dalam cache, dan simpan artifak perbedaan saat pemeriksaan gagal.