Petunjuk dan konteks
Sebuah tim memiliki dataset klasifikasi yang dibangun dari log perilaku online dan pelabelan manusia. Beberapa model, evaluasi offline, dan proyek analitik akan menggunakannya kembali, tetapi pengguna tidak mengetahui bagaimana sampel dikumpulkan, siapa yang membuat label, kelompok mana yang terwakili, bagaimana nilai yang hilang (missing values) ditangani, atau apakah penggunaan bisnis baru diizinkan. Desain Data Card dan jelaskan bagaimana kartu tersebut tetap dapat diaudit.
Topik ini cocok untuk wawancara rekayasa data, sains data, rekayasa machine learning, dan tata kelola data. Pengujian ini bertujuan untuk melihat apakah Anda dapat mengubah dokumentasi dataset menjadi bukti untuk pengambilan keputusan, alih-alih sekadar membuat daftar kolom atau menghasilkan halaman statistik yang menarik. Cakup asal-usul dan kepemilikan, penggunaan yang ditujukan dan dilarang, kualitas dan representasi, privasi dan lisensi, risiko yang diketahui, pembuatan versi (versioning), serta pemeliharaan.
Hal yang dinilai oleh pewawancara
Jawaban yang kuat berakar dari keputusan yang perlu diambil oleh pembaca dan menyusun kartu berdasarkan bukti. Jawaban tersebut memisahkan fakta, inferensi, dan hal-hal yang belum diketahui; melaporkan ukuran sampel, rentang waktu, kondisi pengumpulan, protokol pelabelan, koreksi data yang hilang, dan segmen-segmen kunci (slices). Jawaban juga menyebutkan penyetuju rilis, mencatat versi, menangani penggunaan baru serta temuan kritis, dan memperbarui kartu berdasarkan pemeriksaan reproduktifitas dan umpan balik pengguna.
Pertanyaan untuk diklarifikasi terlebih dahulu
- Apa satu unit datanya: sebuah peristiwa, pengguna, sesi, atau satu anotasi?
- Apakah dataset ini untuk pelatihan (training), evaluasi, pengambilan (retrieval), pelaporan, atau keputusan keselamatan?
- Periode waktu, wilayah, perangkat, dan saluran apa yang menghasilkan sampel, serta apa populasi targetnya?
- Apa definisi label, kualifikasi anotator, proses penanganan perbedaan pendapat, dan aturan auditnya?
- Apakah dataset mengandung data pribadi, atribut sensitif, lisensi pihak ketiga, atau pembatasan tujuan? Siapa yang menyetujui dan memeliharanya?
Jawaban 30 detik
“Saya akan menyatakan tujuan dataset, audiens, dan penggunaan yang dilarang terlebih dahulu, lalu mencatat asal-usul, jendela pengumpulan, jumlah dan unit sampel, proses pelabelan, versi, serta pemiliknya. Saya akan memvalidasi representasi, kelengkapan, konsistensi, kualitas label, privasi, dan lisensi, serta melaporkan hasilnya berdasarkan segmen kelompok orang dan waktu yang penting. Kartu tersebut akan mencantumkan ketidaktahuan, bias yang diketahui, dan batasan penggunaan. Pemilik menyetujui setiap rilis, sementara snapshot berversi, pemeriksaan reproduktifitas, dan umpan balik penggunaan menjaganya tetap mutakhir. Jika penggunaan baru melampaui bukti yang ada, saya akan menunda persetujuan dan menjalankan validasi tambahan.”
Jawaban langkah demi langkah
Langkah 1: Tentukan penggunaan dan batasan keputusan
Ubah pernyataan “dataset ini bagus” menjadi pertanyaan yang dapat dijawab: siapa yang akan menggunakannya, untuk apa, dan apa akibatnya jika terjadi kesalahan. Buat daftar penggunaan yang disetujui, penggunaan yang memerlukan bukti tambahan, dan penggunaan yang dilarang. Dataset untuk klasifikasi niat pelanggan tidak secara otomatis diizinkan untuk penyaringan rekrutmen karyawan; label perbandingan offline mungkin tidak mendukung keputusan penipuan (fraud) secara real-time.
Langkah 2: Catat asal-usul, unit, dan proses pembuatan
Kartu harus mengidentifikasi sistem sumber, tanggal pengumpulan, versi dan wilayah yang dicakup, unit observasi, serta langkah-langkah pemfilteran, deduplikasi, de-identifikasi, dan derivasi. Untuk setiap koreksi, catat alasannya, siapa yang melakukannya, kapan, dan apa saja yang terpengaruh. Panduan kualitas data Google menyatakan bahwa instrumen pengukuran, alur kerja manusia, dan pembulatan dapat menciptakan celah antara data dan kenyataan; berkas akhir saja bukanlah sebuah bukti.
Langkah 3: Lapisi bukti kualitas
Laporkan jumlah data, tingkat kehilangan (missingness), duplikasi, pemeriksaan tipe dan unit, kesepakatan label, penanganan pencilan (outlier), pemeriksaan kebocoran data (leakage), dan hasil eksekusi ulang. Sertakan jendela waktu, penyebut (denominator), dan ambang batas pada setiap metrik; klaim “nol nilai hilang” harus menyebutkan bidang (fields) mana yang dikecualikan. Simpan contoh yang telah ditinjau dan bukti ajudikasi agar orang lain dapat mereproduksi klaim tersebut.
Langkah 4: Uji representasi dan perbedaan irisan (slices)
Tentukan populasi target, lalu bagi berdasarkan wilayah, bahasa, perangkat, waktu, tahapan siklus hidup, atau dimensi lain yang dapat memengaruhi performa. Laporkan ukuran segmen, distribusi label, dan metrik kualitas utama, lengkap dengan tingkat ketidakpastian untuk sampel kecil. Akurasi keseluruhan yang tinggi tidak boleh menyembunyikan kelompok kritis yang minim bukti, dan perbedaan yang teramati tidak secara otomatis bersifat kausal.
Langkah 5: Deskripsikan label dan keputusan manusia
Tentukan definisi operasional, contoh positif dan negatif, kasus batas (boundary cases), latar belakang anotator, pelatihan, peninjauan ganda, ajudikasi, dan rasio audit. Jika label berasal dari perilaku pengguna, sebut label tersebut sebagai hasil proksi, bukan data kebenaran mutlak (ground truth). Berikan versi pada label dan catat perubahan semantik agar pelatihan model tidak mencampurkan arti yang tidak kompatibel.
Langkah 6: Nyatakan privasi, lisensi, dan akses
Cantumkan bidang data pribadi dan sensitif, metode de-identifikasi, risiko identifikasi ulang, retensi, sumber lisensi, cakupan pembagian data, dan persetujuan. De-identifikasi tidak serta-merta membuat semua penggunaan diizinkan; kombinasi beberapa bidang data masih dapat mengekspos kelompok tertentu. Tautkan kartu ke prosedur akses dan penghapusan data, serta soroti lisensi yang belum diverifikasi atau celah asal-usul data.
Langkah 7: Tautkan versi, pemilik, dan materi reproduksi
Kaitkan setiap rilis dengan snapshot data, revisi kode, konfigurasi pemrosesan, versi dependensi, ringkasan statistik, dan checksum. Tentukan pemilik bisnis, pengelola teknis, dan kontak penanggung jawab risiko, lengkap dengan tanggal peninjauan terakhir dan pemicu untuk peninjauan berikutnya. Penggunaan baru memerlukan perbandingan baru terhadap populasi, segmen data, lisensi, dan risiko yang diketahui; menyalin kartu lama saja tidak cukup.
Langkah 8: Tinjau kartu dengan lima jenis pertanyaan
Tinjau akuntabilitas, utilitas, kualitas, dampak, dan risiko. Panduan Data Cards dari Google menekankan bahwa sebuah kartu harus membantu pembaca memutuskan apakah dataset tersebut sesuai untuk tugas mereka, konsekuensi apa yang mungkin timbul, dan pembatasan apa yang diperlukan. Peninjau harus merujuk pada bukti, ketidaktahuan, dan pemilik data untuk tindak lanjut, alih-alih hanya memberikan satu skor tanpa penjelasan.
Kompromi dan batasan
Detail yang lebih banyak mempermudah penggunaan kembali yang bertanggung jawab, tetapi meningkatkan biaya pemeliharaan. Saya akan mewajibkan pencatatan asal-usul, penggunaan, kualitas, dan risiko di semua proyek, sementara analisis satu kali (ad-hoc) ditempatkan di lampiran. Statistik ringkasan tidak menggantikan peninjauan sampel mentah; metrik keseluruhan tidak menggantikan analisis irisan kritis; pemeriksaan otomatis tidak menggantikan peninjauan manusia atas makna label dan konsekuensi bisnisnya.
Jika bukti tidak tersedia, tulis “tidak diketahui” dan sertakan rencana untuk memperolehnya. Batasi penggunaan hanya untuk eksplorasi atau tunda persetujuan daripada menggunakan angka akurasi yang belum tervalidasi untuk membenarkan keputusan berisiko tinggi.
Rencana peluncuran dan bukti
Mulailah dengan dataset yang cakupan pengguna dan dampaknya terbatas. Pada minggu pertama, daftarkan tujuan, asal-usul, unit observasi, dan pemilik data. Pada minggu kedua, jalankan pemeriksaan kualitas dan irisan data. Pada minggu ketiga, minta perwakilan sains data, privasi, dan bisnis untuk meninjau kartu, lalu jalankan kembali statistik dari snapshot yang telah dipatok dan terbitkan versinya. Catatan uji coba (pilot) harus mencakup temuan, koreksi, hal-hal yang masih belum diketahui, dan tanggal peninjauan berikutnya.
Setelah rilis, kumpulkan kesalahpahaman pengguna, cacat data, permintaan penggunaan baru, dan perbedaan performa model. Jika masalah baru pertama kali ditemukan di tahap downstream, kartu tersebut berarti kekurangan bukti atau sulit ditemukan. Jika tidak ada yang bisa menjelaskan suatu bidang data atau batasannya, kepemilikan dan terminologi masih belum jelas.
Kesalahan umum dan pertanyaan lanjutan
Kamus kolom tanpa batasan penggunaan
Nama dan tipe data tidak menjelaskan bagaimana sampel dibuat, apa arti label, atau penggunaan mana yang dapat menimbulkan kerugian. Tambahkan populasi target, penggunaan yang disetujui dan dilarang, serta tingkat buktinya.
Menyembunyikan kesenjangan irisan di balik rata-rata keseluruhan
Kelompok besar dapat mendominasi metrik agregat. Laporkan ukuran segmen kritis, distribusi, ketidakpastian, dan area di mana bukti tidak mencukupi.
Menganggap output pembersihan sebagai kenyataan
Menghapus pencilan, mengimputasi nilai yang hilang, dan menormalisasi satuan akan mengubah dataset. Catat aturan, dampak, dan masalah yang belum terselesaikan; jangan menganggap nilai yang diproses sebagai ground truth secara default.
Menyalin kartu lama untuk penggunaan baru
Perubahan tujuan akan mengubah risiko, populasi target, dan bukti yang dibutuhkan. Evaluasi ulang lisensi, representasi, kesesuaian label, dan konsekuensinya, lalu catat persetujuan atau penolakan dari pemilik data.
Bagaimana Anda membuktikan bahwa Data Card bermanfaat?
Periksa apakah pengguna menemukan batasan sebelum membuat model dan mengambil keputusan yang lebih aman. Bandingkan di mana masalah pertama kali terdeteksi, keberhasilan reproduktifitas, pengerjaan ulang persetujuan, dan insiden penyalahgunaan berisiko tinggi. Interpretasikan perubahan tersebut bersamaan dengan versi dataset, volume penggunaan, dan upaya peninjauan; berkurangnya insiden saja tidak membuktikan adanya hubungan sebab-akibat.