Perintah dan cakupan
Anda mengelola asisten AI enterprise. Terkadang ia harus menjawab, terkadang meminta klarifikasi, dan terkadang menolak atau melakukan eskalasi. Tentukan kebijakan perutean (routing policy), target pengguna, dan metrik keberhasilan. Jelaskan bagaimana Anda menangani jawaban yang salah, penolakan berlebihan (over-refusal), risiko privasi, kapasitas manusia, dan validasi peluncuran.
Materi wawancara PM Copilot publik terbaru menggabungkan kedalaman AI, penilaian produk, dan desain evaluasi. OpenAI Model Spec juga menghubungkan pengekspresian ketidakpastian dengan bagaimana pengguna dapat bertindak, biaya dari kesalahan, dan informasi yang hilang. Oleh karena itu, tantangan produk ini adalah mengubah ketidakpastian menjadi kebijakan keputusan yang terlihat dan dapat dioperasikan oleh pengguna.
Apa yang sedang diuji oleh pewawancara
- Apakah Anda menentukan tugas pengguna, tingkatan risiko, dan batas kesalahan yang dapat diterima sebelum membahas model.
- Apakah menjawab, meminta klarifikasi, menolak, dan eskalasi merupakan status yang saling lepas (mutually exclusive) dan dapat diobservasi.
- Apakah Anda membedakan sinyal internal model dari kualitas jawaban dan tindakan pengguna yang aman.
- Apakah Anda mengukur kegunaan, kesalahan berbahaya, penolakan berlebihan, biaya manusia, dan waktu tunggu secara bersamaan.
- Apakah Anda memvalidasi dengan peluncuran bertahap, evaluasi offline, dan umpan balik nyata alih-alih hanya mengandalkan satu skor kepuasan rata-rata.
Klarifikasi yang perlu ditanyakan terlebih dahulu
- Siapa pengguna utamanya? Asumsikan seorang karyawan dengan akses ke pengetahuan organisasi, tetapi tidak memiliki wewenang untuk membuat keputusan berisiko tinggi atas nama pengguna.
- Tugas mana yang boleh diotomatisasi? Asumsikan pengambilan data (retrieval) berisiko rendah dan pembuatan draf diizinkan; tindakan berisiko tinggi memerlukan konfirmasi atau tinjauan manusia.
- Berapa kapasitas tim manusia? Asumsikan ada shift kerja dan target respons; tidak semua permintaan yang tidak pasti dapat dieskalasikan.
- Kegagalan mana yang lebih merugikan? Jika tidak ditentukan, kelompokkan jawaban yang salah dan penolakan berlebihan berdasarkan risiko alih-alih mengoptimalkan satu tingkat metrik global.
- Apakah percakapan akan disimpan untuk peningkatan kualitas? Perjelas tentang redaksi data (redaction), akses, retensi, dan opsi penyisihan (opt-out) sebelum melakukan pengukuran.
Jawaban 30 detik
Saya akan merutekan berdasarkan risiko tugas dan bukti: jawab permintaan berisiko rendah dengan bukti yang cukup; ajukan pertanyaan klarifikasi minimal ketika konteks yang hilang dapat mengubah jawaban; tolak dan tawarkan langkah aman berikutnya untuk permintaan berisiko tinggi, tidak sah, atau tidak dapat diverifikasi; eskalasikan ketika penilaian profesional atau kasus yang rumit membutuhkan manusia. Probabilitas yang dilaporkan model hanyalah satu sinyal, bukan jaminan kebenaran. Saya akan mengukur tingkat jawaban benar-membantu, tingkat kesalahan fatal, penyelesaian setelah klarifikasi, penolakan berlebihan, tingkat eskalasi, dan waktu respons berdasarkan tugas dan segmen pengguna, kemudian memvalidasinya dengan peluncuran bertahap.
Pembahasan mendalam langkah demi langkah
Langkah 1: Bangun matriks tugas dan risiko
Klasifikasikan tugas berdasarkan dampaknya dan tandai apakah tugas tersebut memerlukan izin organisasi, fakta terbaru, atau tindakan yang tidak dapat diubah (irreversible). Pengambilan informasi berisiko rendah dapat mentoleransi masalah redaksional kecil; pembayaran, kepatuhan, medis, atau perubahan izin memerlukan ambang batas bukti yang lebih tinggi. Matriks ini mengontrol perutean alih-alih hanya berpegang pada keyakinan samar bahwa model tersebut mampu.
Langkah 2: Tentukan empat kontrak hasil
answer mencakup cakupan bukti, kebaruan data, dan hasil yang dapat diedit. clarify hanya mengajukan pertanyaan yang dapat mengubah jawaban. refuse menyatakan batasan dan alternatif yang aman. escalate menjelaskan alasannya, membawa konteks minimum, dan menyatakan target waktu respons manusia. Setiap hasil mendapatkan kode alasan untuk keperluan evaluasi dan banding.
Langkah 3: Tetapkan sinyal bukti dan ketidakpastian
Bukti dapat berasal dari pengambilan data yang sah, status bisnis terstruktur, atau konfirmasi manusia. Jangan menampilkan skor mandiri model sebagai "persentase kebenaran"; evaluasi kalibrasi, cakupan, dan biaya kesalahan dengan data berlabel untuk setiap tingkatan risiko. Ketika bukti tidak mencukupi, klarifikasi atau eskalasi adalah perilaku produk yang semestinya, bukan kegagalan model yang tersembunyi.
Langkah 4: Kontrol biaya klarifikasi
Setiap pertanyaan harus mengurangi ketidakpastian yang signifikan. Tanyakan tentang objek, rentang waktu, atau cakupan izin sebelum mengajukan pertanyaan terbuka. Tetapkan batas pertanyaan, lalu tawarkan opsi pilihan atau eskalasikan. Lacak jumlah putaran klarifikasi, penyelesaian setelah klarifikasi, dan tingkat pengabaian.
Langkah 5: Rancang penolakan dan eskalasi
Pisahkan penolakan yang disebabkan oleh faktor tidak aman, tidak berizin, spesifikasi kurang jelas, dan kegagalan layanan karena langkah selanjutnya berbeda. Eskalasi membawa konteks minimum yang diperlukan dan perkiraan waktu tunggu. Saat antrean penuh, prioritaskan kasus-kasus berdampak tinggi; permintaan berisiko rendah dapat menerima draf yang dapat diedit atau jalur layanan mandiri.
Langkah 6: Bangun set evaluasi dan pohon metrik
Sertakan permintaan normal, ambigu, bermusuhan (adversarial), batas izin, dan kasus long-tail berisiko tinggi. Tujuan tingkat atas adalah perilaku yang bermanfaat tanpa bahaya yang tidak dapat diterima. Pecah ini menjadi tingkat jawaban benar-membantu, tingkat kesalahan fatal, penolakan berlebihan, penyelesaian klarifikasi, keberhasilan eskalasi, waktu penanganan, dan biaya. Iris setiap metrik berdasarkan tugas, pengguna, bahasa, dan izin.
Langkah 7: Rencanakan peluncuran, rollback, dan banding
Mulailah dengan tugas-tugas berisiko rendah dan pengguna internal. Tentukan ambang batas untuk kesalahan fatal, penolakan berlebihan, dan kapasitas manusia terlebih dahulu. Hentikan ekspansi atau lakukan rollback versi kebijakan ketika ambang batas terlampaui. Izinkan pengguna menandai jawaban sebagai salah, belum terselesaikan, atau ditolak secara keliru; rutekan kasus berdampak tinggi untuk ditinjau dan tambahkan ke set evaluasi.
Langkah 8: Lindungi privasi dan lakukan iterasi
Simpan versi kebijakan, kode alasan, dan hanya bukti teredaksi yang diperlukan. Batasi akses ke percakapan mentah. Data pelatihan dan evaluasi memerlukan aturan retensi, penghapusan, dan audit akses. Bandingkan setiap perubahan kebijakan pada set regresi tetap di seluruh aspek kegunaan, bahaya, penolakan, dan biaya manusia sehingga satu metrik lokal tidak dapat menyembunyikan terjadinya penurunan kualitas (regression).
Contoh jawaban berkualitas tinggi
Saya akan mendefinisikannya sebagai produk keputusan bertingkat risiko. Jawab tugas-tugas berisiko rendah dengan bukti yang terotorisasi; ajukan sesedikit mungkin pertanyaan klarifikasi ketika konteks yang hilang mengubah jawaban; tolak permintaan berisiko tinggi, tidak sah, atau tidak dapat diverifikasi dengan memberikan langkah aman berikutnya; dan eskalasikan penilaian profesional atau perselisihan yang rumit dengan konteks minimum yang diperlukan. Probabilitas internal hanyalah sebuah sinyal, bukan janji akurasi kepada pengguna. Saya akan membangun set evaluasi yang mencakup kasus normal, ambigu, adversarial, dan berisiko tinggi, kemudian melakukan segmentasi pada tingkat jawaban benar-membantu, kesalahan fatal, penolakan berlebihan, penyelesaian pasca-klarifikasi, waktu tunggu eskalasi, dan biaya. Saya akan meluncurkannya pada kohort berisiko rendah dengan ambang batas henti yang jelas, versi rollback, dan jalur banding, sambil tetap menyimpan catatan kebijakan dan bukti di bawah kontrol akses dan retensi.
Kesalahan umum
- Membandingkan ukuran model sebelum mendefinisikan tugas pengguna dan biaya kesalahan.
- Menampilkan skor mandiri model sebagai janji akurasi.
- Mengajukan pertanyaan klarifikasi tanpa henti yang meningkatkan pengabaian pengguna.
- Mengeskalasikan setiap permintaan yang tidak pasti tanpa adanya kebijakan kapasitas manusia.
- Hanya mengukur kepuasan rata-rata alih-alih mengukur kesalahan fatal, penolakan berlebihan, dan analisis segmen.
- Menolak tanpa alasan atau langkah berikutnya, membuat pengguna tidak dapat menyelesaikan tugas atau mengajukan banding.
- Menyimpan percakapan mentah tanpa batas waktu untuk pelatihan tanpa kontrol akses, redaksi, atau penghapusan.
Pertanyaan lanjutan dan jawaban
Bisnis menginginkan tingkat eskalasi serendah mungkin. Bagaimana Anda meresponsnya?
Perjelas apakah tujuannya adalah mengurangi eskalasi yang tidak perlu atau mengurangi semua jenis eskalasi. Perluas otomatisasi untuk tugas-tugas berisiko rendah dan memiliki bukti kuat sambil tetap mempertahankan batas dasar untuk risiko tinggi. Gunakan metrik kesalahan fatal dan biaya perbaikan oleh manusia untuk menunjukkan mengapa hanya mengejar tingkat eskalasi rendah dapat menciptakan kerugian tersembunyi.
Pengguna berkata, "Lewati penjelasannya dan langsung eksekusi untuk saya." Apa yang Anda lakukan?
Pisahkan tindakan yang tidak dapat diubah dari saran yang dapat diedit. Tampilkan ringkasan dan konfirmasi untuk tindakan berisiko rendah; wajibkan otorisasi eksplisit dan auditabilitas untuk pembayaran, izin, atau tindakan pengiriman ke pihak eksternal. Preferensi pengguna tidak boleh mengabaikan otorisasi atau batasan keamanan.
Bagaimana Anda tahu bahwa sebuah pertanyaan klarifikasi bernilai?
Bandingkan kualitas jawaban dan penyelesaian sebelum dan sesudah pertanyaan diajukan pada data offline. Catat perolehan informasi (information gain), putaran percakapan tambahan, dan pengabaian. Hapus pertanyaan yang tidak mengubah perutean atau jawaban; tawarkan pilihan jawaban ketika pertanyaan bernilai tinggi sulit dijawab secara bebas.
Akurasi meningkat setelah peningkatan model, tetapi keluhan justru naik. Bagaimana Anda menyelidikinya?
Iris data berdasarkan risiko, kelompok pengguna, bahasa, izin, dan versi kebijakan untuk memisahkan jawaban yang salah, perubahan nada bahasa, penolakan berlebihan, dan keterlambatan eskalasi. Bekukan ekspansi, putar ulang (replay) kasus berdampak tinggi, bandingkan set evaluasi lama dan baru dengan umpan balik nyata, lalu lakukan rollback, batasi kohort, atau sesuaikan ambang batas perutean.