1. Prompt dan skenario
Tim Anda sedang mempersiapkan fitur AI yang merangkum percakapan dukungan pelanggan. Beberapa versi ringkasan mungkin sama-sama masuk akal, pelabelan manusia berbiaya mahal, dan satu skor otomatis tidak dapat menunjukkan apakah masalah pelanggan benar-benar terpecahkan. Rancang pendekatan evaluasi yang menentukan apakah fitur layak diluncurkan, untuk siapa, dan bagaimana melakukan konvergensi setelah terjadi kegagalan.
2. Hal yang diuji oleh pewawancara
- Apakah Anda mendefinisikan tugas pengguna dan kegagalan yang tidak dapat diterima sebelum menentukan skor model.
- Apakah Anda menggabungkan pengujian offline, tinjauan manusia, perilaku online, dan pemantauan keamanan.
- Apakah Anda memisahkan leading signal, hasil lagging, dan guardrail saat terjadi konflik di antaranya.
- Apakah Anda mengubah set evaluasi, toleransi risiko, eskalasi manusia, dan rollback menjadi mekanisme produk.
3. Pertanyaan klarifikasi yang perlu diajukan
- Apakah output berupa draf, rekomendasi, atau tindakan otomatis yang tidak dapat dibatalkan (irreversible)?
- Apakah keberhasilan berarti waktu penanganan yang lebih singkat, first-contact resolution yang lebih tinggi, atau keluhan yang lebih sedikit?
- Kesalahan apa saja yang dapat merugikan privasi, kepatuhan, atau pelanggan sehingga memerlukan intersepsi?
- Apakah target pengguna, bahasa, industri, dan distribusi data sesuai dengan sampel evaluasi?
4. Kerangka jawaban 30 detik
Saya akan mendefinisikan tugas dan risiko terlebih dahulu, lalu membangun set evaluasi yang representatif. Saya akan mengukur empat lapisan: hasil tugas, kualitas output, kepercayaan dan keamanan, serta biaya dan latensi. Tanpa satu label ground truth, saya akan mengalibrasi sinyal otomatis dengan preferensi berpasangan (pairwise) dari para ahli atau aturan lolos/gagal, kemudian menambahkan eksperimen online, umpan balik pengguna, dan eskalasi manusia ke dalam pemantauan berkelanjutan. Launch gate akan disusun berlapis: kegagalan guardrail mutlak akan menghentikan peluncuran, sedangkan kualitas dan nilai bisnis keduanya harus melewati ambang batas sebelum ekspansi dilakukan.
5. Solusi langkah demi langkah
Langkah satu: Ubah “output yang baik” menjadi tugas yang dapat diobservasi
Tuliskan input, tindakan pengguna, dan hasil yang diinginkan. Tugas perangkuman bukanlah "terlihat mirip dengan jawaban referensi"; melainkan apakah seorang agen dapat menemukan kebutuhan pelanggan, menjanjikan langkah selanjutnya yang tepat, dan menghindari paparan informasi sensitif dalam waktu yang tersedia. Tentukan rentang yang dapat diterima dan contoh kegagalan eksplisit untuk setiap hasil.
Langkah dua: Bangun set evaluasi berlapis
Ambil sampel dari berbagai bahasa, tipe pelanggan, panjang percakapan, dan edge case. Minta pakar domain menggunakan rubrik yang memungkinkan beberapa jawaban valid dan memberikan skor terpisah untuk fakta kunci, kelalaian informasi, nada bicara, serta privasi. Pertahankan set regresi yang dibekukan (frozen) dan sampel terbaru untuk memantau perubahan distribusi. Jika bukti tidak cukup, catat sebagai ketidakpastian alih-alih mengarang label baru.
Langkah tiga: Gabungkan metrik dan guardrail
Metrik utama dapat berupa penyelesaian tugas, first-contact resolution, atau adopsi pasca-edit. Lapisan kualitas memeriksa kebenaran faktual, cakupan, dan kelengkapan sitasi. Guardrail memantau konten berbahaya, kebocoran privasi, bias, eskalasi, dan keluhan. Biaya, latensi, dan jam kerja peninjauan menentukan keberlanjutan. Dokumentasikan penyebut (denominator), jendela pengambilan sampel, dan kondisi kegagalan untuk setiap metrik.
Langkah empat: Hubungkan evaluasi dengan keputusan rilis
Jalankan regresi offline terlebih dahulu, lalu buka akses untuk kohort kecil yang dapat dibatalkan (reversible). Kegagalan pada guardrail mutlak akan menghentikan fitur; kualitas atau hasil bisnis yang lemah memicu diagnosis pada lapisan prompt, retrieval, model, atau antarmuka. Masukkan kegagalan online dan umpan balik manusia ke dalam set evaluasi, lalu periksa apakah metrik masih mewakili risiko nyata. Siapkan konfirmasi manusia dan kill switch untuk tindakan berisiko tinggi.
6. Contoh jawaban model
Saya tidak akan memperlakukan satu skor otomatis sebagai jawaban mutlak. Saya akan mendefinisikan tugas pengguna, kesalahan yang dapat ditoleransi, dan risiko yang tidak dapat dibatalkan, lalu membekukan set evaluasi yang sesuai dengan distribusi nyata. Pakar domain akan menilai fakta, cakupan, nada bicara, dan privasi dengan sebuah rubrik, menggunakan perbandingan berpasangan (pairwise comparison) ketika ada beberapa jawaban yang valid.
>
Sebelum peluncuran, saya akan mengukur hasil tugas, kualitas output, kepercayaan dan keamanan, biaya, serta latensi. Penyelesaian tugas adalah sinyal utama; kebocoran privasi, konten berbahaya, dan kesalahan faktual kritis adalah guardrail mutlak. Saya akan menjalankan regresi offline dan eksperimen kecil dengan konfirmasi manusia untuk tindakan berisiko tinggi. Jika hasil tidak memenuhi batas gerbang kelayakan (gate), saya akan mengklasifikasikan kegagalan di seluruh lapisan data, retrieval, model, dan antarmuka, memperbarui set data, lalu memilih antara ekspansi, rollback, atau penghentian total.
7. Kesalahan umum
- Hanya melaporkan akurasi atau skor rata-rata tanpa mendefinisikan tugas pengguna dan dampak kegagalan.
- Menganggap satu sampel praktis dapat mewakili setiap bahasa, pelanggan, dan edge case.
- Menganggap peningkatan klik sebagai keberhasilan sementara mengabaikan keluhan atau pengerjaan ulang yang disebabkan oleh jawaban yang salah.
- Hanya melakukan evaluasi sebelum peluncuran dan mengabaikan pergeseran (drift) di tahap produksi, umpan balik, serta set evaluasi yang usang.
- Mengeksekusi output yang tidak pasti secara otomatis tanpa eskalasi manusia, rollback, atau kill switch.
8. Pertanyaan lanjutan dan jawaban
Pertanyaan lanjutan satu: Bagaimana jika anggaran pelabelan manusia turun menjadi sepersepuluh?
Lakukan stratifikasi berdasarkan risiko dan alokasikan anggaran untuk kasus-kasus berdampak tinggi dan yang memiliki tingkat ketidaksepakatan tinggi. Gunakan tinjauan berbasis sampel, perbandingan berpasangan, dan umpan balik pengguna untuk kasus-kasus berisiko lebih rendah. Pertahankan label tidak pasti dan lacak kesalahan pengambilan sampel; jumlah label yang lebih sedikit tidak memberikan tingkat kepastian yang sama secara cuma-cuma.
Pertanyaan lanjutan dua: Bagaimana jika penyelesaian tugas meningkat tetapi risiko privasi juga meningkat?
Privasi adalah guardrail dengan prioritas lebih tinggi daripada metrik manfaat. Hentikan ekspansi, isolasi input dan output yang terdampak, serta perbaiki redaksi data, izin retrieval, atau kebijakan prompt. Luncurkan kembali hanya setelah guardrail pulih dan pengujian regresi berhasil dilewati.
Pertanyaan lanjutan tiga: Bagaimana Anda menunjukkan bahwa metrik belum usang?
Masukkan kegagalan produksi, eskalasi manusia, dan banding pengguna kembali ke dalam set evaluasi, yang diiris berdasarkan bahasa, kohort, dan versi. Minta pakar domain meninjau rubrik dan mencatat perbedaan antara metrik dan hasil nyata. Jika perbedaan makin melebar, ubah metriknya atau berhenti bergantung pada gate yang lama.