Mengevaluasi Pengklasifikasi pada Data Tidak Seimbang

Pertanyaan dan kapan menggunakannya

Pengklasifikasi penipuan dievaluasi pada 100.000 transaksi. Dari jumlah tersebut, 1.000 merupakan penipuan, sehingga tingkat positifnya adalah 1%. Model melaporkan akurasi 99%. Tim peninjau dapat memeriksa paling banyak 1.000 peringatan per hari, dan penipuan yang terlewat, pemblokiran salah (false block), serta peninjauan peringatan memiliki biaya yang berbeda. Tentukan apakah model tersebut berguna, pilih ambang batas produksi, dan jelaskan rencana evaluasi offline serta pemantauan produksi.

Pertanyaan ini cocok untuk peran data science, machine learning engineering, dan risiko. Tugasnya bukan sekadar menyebutkan metrik yang konon “bagus untuk data tidak seimbang”. Jawaban yang bermanfaat mengubah confusion matrix, kualitas pemeringkatan, biaya bisnis, kapasitas pemrosesan, dan kualitas probabilitas menjadi satu keputusan operasional. Tingkat positif 1%, 100.000 contoh validasi, dan kapasitas harian 1.000 adalah asumsi wawancara, bukan konstanta industri umum.

Hal yang dievaluasi oleh pewawancara

Sinyal pertama adalah apakah kandidat menyadari jebakan akurasi. Memprediksi setiap transaksi sebagai sah sudah menghasilkan akurasi 99% dan recall nol. Hanya mengganti akurasi dengan F1 belumlah lengkap: F1 secara bawaan memberi bobot yang sama pada presisi dan recall serta tidak memperhitungkan true negative, kapasitas peninjauan, atau biaya kesalahan yang tidak setara.

Sinyal kedua adalah apakah kandidat memisahkan pemeringkatan dari keputusan bisnis. Metrik seperti AUROC dan average precision merangkum pemeringkatan di berbagai ambang batas; sistem produksi tetap harus memilih satu titik operasi. Jawaban yang kuat melaporkan presisi, recall, false-positive rate, volume peringatan, dan biaya dari confusion matrix yang sama, lalu menjelaskan mengapa ambang batas yang dipilih sesuai dengan kapasitas.

Sinyal ketiga adalah eksperimen yang bebas kebocoran (leakage-free). Pengepasan model, kalibrasi probabilitas, pemilihan ambang batas, dan evaluasi akhir tidak boleh berulang kali menggunakan label yang sama. Jawaban yang kuat memilih ambang batas pada validasi silang (cross-validation) atau set validasi terpisah, membiarkan set pengujian akhir tidak tersentuh hingga keputusan dibekukan, dan mempertahankan rasio kelas yang menyerupai produksi dalam data validasi dan pengujian.

Sinyal keempat adalah apakah kandidat dapat mendeteksi kegagalan setelah peluncuran. Base rate kelas, komposisi populasi, distribusi skor, dan keterlambatan label semuanya dapat mengubah hasil titik operasi yang dipilih. Rencana pemantauan harus menggunakan irisan waktu dan segmen penting alih-alih memperlakukan satu skor offline sebagai sesuatu yang permanen.

Pertanyaan klarifikasi sebelum menjawab

• Apa arti dari kelas positif, dan kesalahan mana yang lebih mahal? Melewatkan penipuan biasanya menimbulkan kerugian, sedangkan false positive dapat menambah biaya peninjauan dan friksi pengguna. Melakukan skrining penyakit atau menyaring spam akan menghasilkan makna kesalahan dan tujuan yang berbeda.
• Apakah model menghasilkan skor pemeringkatan atau probabilitas yang dapat dipercaya? Mengambil 1.000 kasus dengan skor tertinggi di bawah kapasitas tetap terutama membutuhkan pemeringkatan yang baik. Menghitung ekspektasi kerugian moneter membutuhkan skor terkalibrasi yang dapat ditafsirkan sebagai probabilitas.
• Apakah kapasitas peninjauan merupakan batas atas mutlak (hard ceiling) atau anggaran rata-rata? Batas atas mutlak mengarah pada top-k, precision@k, dan recall@k. Kapasitas elastis memungkinkan perbandingan langsung antara manfaat inkremental dan biaya dari berbagai ambang batas.
• Berapa lama waktu yang dibutuhkan untuk menerima label? Chargeback mungkin membutuhkan waktu berminggu-minggu hingga matang. Dengan demikian, presisi pada hari yang sama tidak tersedia, sehingga tim memerlukan indikator utama tanpa label dan metrik hasil yang dihitung ulang pada jendela label yang sudah matang.
• Apakah produksi memiliki tingkat positif yang sama dengan validasi? Presisi berubah seiring dengan base rate. Jika data validasi di-oversample atau di-undersample, titik operasi harus dievaluasi kembali pada data yang mempertahankan rasio produksi.
• Apakah biaya kesalahan bervariasi berdasarkan nilai transaksi atau segmen pengguna? Melewatkan penipuan bernilai tinggi tidak sama dengan melewatkan penipuan bernilai rendah. Satu ambang batas global tunggal mungkin kalah dibandingkan kebijakan tersegmentasi atau keputusan ekspektasi biaya per contoh.

Kerangka jawaban 30 detik

“Hasil akurasi 99% tidak membuktikan bahwa model berfungsi. Memprediksi setiap kasus sebagai sah juga mencapai 99% sambil melewatkan semua penipuan. Pada set validasi terpisah dengan base rate produksi, saya akan menyusun jumlah TP, FP, FN, dan TN untuk kandidat ambang batas, lalu melaporkan presisi, recall, false-positive rate, dan volume peringatan. Jika tim hanya dapat meninjau 1.000 peringatan, saya akan mengevaluasi precision@k dan recall@k untuk 1.000 teratas; jika biaya dapat diukur, saya akan meminimalkan gabungan ekspektasi biaya dari luput, false positive, dan peninjauan. AUROC dan precision-recall atau average precision membandingkan pemeringkatan tetapi tidak memilih titik operasi. Saya akan menyetel ambang batas dan kalibrasi hanya pada data di luar pengepasan model, menggunakan set pengujian akhir sekali saja, serta memantau base rate, segmen, kapasitas, dan hasil label matang di produksi.”

Solusi langkah demi langkah

Langkah 1: Tetapkan baseline tanpa keahlian (no-skill) dan confusion matrix lengkap

Memprediksi setiap kasus sebagai sah menghasilkan 99.000 true negative dan 1.000 false negative: akurasi 99% dan recall nol. Baseline ini menunjukkan bahwa akurasi 99% hanya mencerminkan jumlah kelas dan tidak membuktikan bahwa model menemukan penipuan apa pun.

Misalkan dua kandidat ambang batas menghasilkan hasil berikut pada set validasi yang sama:

Menurunkan ambang batas ke 0,50 menangkap 150 penipuan tambahan tetapi menghasilkan 1.350 false positive tambahan dan 1.500 peninjauan tambahan. Ambang batas 0,80 memiliki akurasi dan F1 yang lebih tinggi, sedangkan 0,50 memiliki recall yang lebih tinggi. Perbedaan ini tidak memenangkan satu metrik saja; perbedaan ini mengungkap trade-off bisnis yang harus diselesaikan.

Langkah 2: Evaluasi pemeringkatan, titik operasi, dan kualitas probabilitas secara terpisah

AUROC dapat ditafsirkan sebagai probabilitas bahwa positif acak berperingkat di atas negatif acak, sehingga berguna untuk membandingkan pemeringkatan di berbagai ambang batas. Di bawah ketidakseimbangan parah, jumlah true negative yang besar dapat membuat false-positive rate yang kecil tampak tidak berbahaya meskipun jumlah absolut peringatan palsu besar. Oleh karena itu, kurva precision-recall dan average precision menambahkan sudut pandang tentang berapa banyak peringatan yang diterbitkan benar dan berapa banyak kelas positif yang dipulihkan. Metrik PR masih bergantung pada prevalensi, sehingga tidak boleh dibandingkan tanpa mempertimbangkan distribusi data.

Keputusan bisnis bermuara pada satu ambang batas atau batas top-k. Dengan kapasitas tetap pada 1.000, ambang batas 0,80 secara kebetulan menghasilkan 1.000 peringatan validasi, menghasilkan precision@1000 sebesar 70% dan recall@1000 sebesar 70%. Volume produksi dan distribusi skor berubah. Kebijakan kapasitas yang lebih andal memeringkat kasus setiap hari, mengambil 1.000 teratas, dan terus mengukur kedua metrik daripada berasumsi bahwa 0,80 akan selalu menghasilkan jumlah yang sama.

Kalibrasi penting ketika skor digunakan sebagai probabilitas. Misalnya, 0,8 yang terkalibrasi seharusnya berarti bahwa sekitar 80% dari prediksi serupa adalah positif. Diagram keandalan (reliability diagram) dan skor seperti Brier score dapat memeriksa kalibrasi, dan kalibrator harus dipaskan pada data independen atau prediksi out-of-fold. Kebijakan top-k tetap terutama membutuhkan pemeringkatan yang stabil dan tidak mengharuskan setiap skor terkalibrasi sempurna. Keputusan ekspektasi biaya moneter sangat memerlukan probabilitas yang kredibel.

Langkah 3: Ubah pemilihan ambang batas menjadi aturan biaya

Misalkan C_FN adalah biaya rata-rata karena melewatkan satu penipuan, C_FP adalah biaya friksi pengguna dari satu false positive tidak termasuk peninjauan manual, dan C_R adalah biaya peninjauan satu peringatan. Biaya validasi pada suatu ambang batas adalah FN × C_FN + FP × C_FP + alert count × C_R.

Beralih dari 0,80 ke 0,50 menghindari 150 luput tetapi menambah 1.350 false positive dan 1.500 peninjauan. Dalam skenario ini, menurunkan ambang batas bernilai positif hanya jika 150 × C_FN > 1,350 × C_FP + 1,500 × C_R, yang disederhanakan menjadi C_FN > 9 × C_FP + 10 × C_R. Ini adalah batas keputusan yang diturunkan dari contoh confusion matrix, bukan konstanta universal.

Jika 1.000 peninjauan adalah batas atas yang tidak dapat dilanggar, ambang batas 0,50 tidak dapat langsung diterapkan ke produksi meskipun nilai ekspektasinya lebih tinggi. Pilihannya mencakup meninjau hanya 1.000 teratas, mengotomatiskan subset dengan keyakinan tinggi dan berisiko rendah, atau mengirim nilai dan segmen yang berbeda ke antrean terpisah. Setiap opsi memerlukan analisis kapasitas, kerugian pengguna, dan reversibilitas yang baru.

Langkah 4: Perhitungkan perubahan base-rate

Presisi bergantung pada tingkat positif serta perilaku model. Diberikan true-positive rate TPR, false-positive rate FPR, dan prevalensi p, presisi adalah TPR × p ÷ [TPR × p + FPR × (1 - p)].

Pada ambang batas 0,80, contoh TPR adalah 70% dan FPR adalah 0,303%. Pada prevalensi 1%, rumus tersebut menghasilkan presisi sekitar 70,0%. Jika TPR dan FPR tetap tidak berubah tetapi prevalensi turun menjadi 0,5%, presisi turun menjadi sekitar 53,7%. Oleh karena itu, data pengujian offline harus mempertahankan base rate yang menyerupai produksi, dan pemantauan produksi harus melacak prevalensi serta komposisi segmen. Resampling dapat membantu pelatihan model, tetapi rasio kelas buatannya tidak boleh menjadi distribusi evaluasi.

Langkah 5: Rancang evaluasi bebas kebocoran dan pemantauan produksi

Pisahkan data pelatihan, validasi, dan pengujian akhir berdasarkan waktu, tambahkan pengelompokan pengguna, perangkat, atau peristiwa bila diperlukan untuk mencegah contoh terkait melintasi partisi. Setelah mengepaskan model, gunakan validasi silang atau data validasi terpisah untuk hiperparameter, kalibrasi, dan pemilihan ambang batas. Evaluasi set pengujian akhir sekali setelah keputusan dibekukan. Jika alat penyetelan ambang batas menggunakan validasi silang secara internal, pastikan bahwa alat tersebut tidak menyetel pada data lengkap yang sama yang digunakan untuk mengepaskan model tersebut secara tepat.

Dasbor produksi memerlukan setidaknya dua lapisan. Lapisan langsung melacak distribusi skor, jumlah peringatan, batas cutoff top-k, usia antrean peninjauan, segmen penting, dan kesalahan sistem. Lapisan label matang menghitung ulang precision@k, recall@k, biaya FN, biaya FP, kesalahan kalibrasi, dan penyimpangan dari ekspektasi offline. Perubahan ambang batas harus menggunakan kembali aturan biaya dan kapasitas yang sama serta diulang pada set di luar waktu (out-of-time); fluktuasi satu hari tidak boleh memicu target yang terus berubah.

Contoh jawaban yang kuat

“Saya tidak akan langsung menerima hasil akurasi 99%. Hanya 1% dari set validasi yang merupakan penipuan, sehingga memprediksi setiap transaksi sebagai sah juga menghasilkan akurasi 99% dan recall nol. Saya akan mengklarifikasi definisi kelas positif, ketiga biaya, apakah 1.000 peninjauan harian merupakan batas mutlak, dan keterlambatan label.

Pada ambang batas 0,80, hasil yang diberikan adalah 700 TP, 300 FP, 300 FN, dan 98.700 TN. Presisi dan recall keduanya 70%, dan jumlah peringatan tepat 1.000. Ambang batas 0,50 meningkatkan recall menjadi 85% tetapi menghasilkan 2.500 peringatan, yang melebihi kapasitas. Ini menangkap 150 penipuan tambahan sambil menambah 1.350 false positive dan 1.500 peninjauan. Saya akan menggunakan C_FN > 9 × C_FP + 10 × C_R untuk menguji nilai inkremental dari penurunan ambang batas. Dengan batas kapasitas yang ketat, saya akan mengambil 1.000 skor teratas dan melaporkan precision@1000 dan recall@1000.

Saya akan menggunakan AUROC dan precision-recall atau average precision selama perbandingan model, lalu memilih titik operasi dengan confusion matrix dan biaya. Jika skor mendorong keputusan moneter, saya akan mengkalibrasinya pada data di luar pengepasan model. Jika sistem hanya membutuhkan top-k, saya akan fokus pada stabilitas pemeringkatan. Hiperparameter, kalibrasi, dan ambang batas tetap berada dalam validasi atau validasi silang, sedangkan set pengujian akhir dengan rasio produksi dievaluasi sekali.

Di produksi, saya akan memantau kapasitas peringatan dan metrik label matang secara bersamaan. Bahkan jika TPR dan FPR tetap stabil, menurunkan tingkat positif dari 1% menjadi 0,5% akan mengurangi presisi contoh dari sekitar 70,0% menjadi 53,7%. Itulah mengapa rencana ini juga melacak base rate, distribusi skor, pergeseran kalibrasi, serta performa berdasarkan waktu dan segmen utama.”

Kesalahan umum

• Hanya membandingkan akurasi → Pengklasifikasi yang memprediksi semua negatif sudah mencapai 99%, sehingga metrik tersebut tidak membuktikan bahwa positif ditemukan → Mulailah dengan baseline no-skill, lalu laporkan confusion matrix, presisi, recall, dan jumlah peringatan absolut.
• Secara otomatis memilih F1 untuk ketidakseimbangan → F1 mengimplikasikan bobot presisi-recall yang sama dan mengabaikan kapasitas serta true negative → Pilih F-beta, fungsi biaya, atau metrik kapasitas tetap dari biaya kesalahan aktual.
• Mengklaim PR selalu lebih baik daripada ROC → Keduanya menjawab pertanyaan yang berbeda, dan PR bergantung pada prevalensi → Gunakan AUROC untuk pemeringkatan, PR atau AP untuk kualitas peringatan positif, dan pilih titik operasi secara terpisah.
• Menggunakan ambang batas default 0,5 → Default statistik bukanlah optimum bisnis → Setel ambang batas pada data di luar pengepasan model terhadap biaya dan kapasitas.
• Menyetel ambang batas pada data pelatihan → Ambang batas beradaptasi dengan kesalahan pelatihan dan menghasilkan evaluasi yang terlalu optimis → Gunakan prediksi out-of-fold atau set validasi terpisah, dengan mempertahankan set pengujian akhir.
• Melaporkan presisi pada set pengujian yang di-resample → Rasio kelas buatan mengubah presisi dan volume peringatan → Evaluasi pada base rate yang menyerupai produksi dan batasi resampling hanya pada tahap pelatihan.
• Memperlakukan skor mentah sebagai probabilitas → Nilai 0,8 yang belum terkalibrasi tidak selalu berarti tingkat kejadian 80% → Validasi dan kalibrasi probabilitas untuk keputusan ekspektasi biaya; nyatakan semantik skor jika hanya melakukan pemeringkatan.
• Hanya memantau AUROC setelah peluncuran → Pemeringkatan global yang stabil dapat menyembunyikan kelebihan kapasitas, kegagalan segmen, atau pergeseran base-rate → Pantau juga titik operasi, antrean, biaya, dan hasil label matang.

Pertanyaan lanjutan dan tanggapan

Pertanyaan lanjutan 1: Bagaimana jika kapasitas peninjauan turun dari 1.000 kasus menjadi 500?

Hitung ulang precision@500, recall@500, dan ekspektasi nilai bersih untuk 500 kasus pertama alih-alih mengubah skala ambang batas lama. Jika transaksi bernilai tinggi menawarkan manfaat lebih besar, buat pemeringkatan berdasarkan ekspektasi kerugian per contoh daripada probabilitas penipuan saja. Periksa apakah pemeringkatan tersebut membebankan pemblokiran salah yang tidak proporsional pada segmen pengguna mana pun.

Pertanyaan lanjutan 2: Bagaimana Anda memantau model ketika label membutuhkan 60 hari untuk matang?

Pisahkan proksi langsung dari hasil yang tertunda. Segera lacak input yang hilang, distribusi skor, volume peringatan, keputusan peninjau, dan usia antrean. Bangun jendela kematangan tetap berdasarkan tanggal peristiwa dan hitung ulang presisi, recall, dan biaya untuk kohort yang sama setelah 60 hari. Proksi dapat memicu penyelidikan tetapi tidak boleh disajikan sebagai metrik label akhir.

Pertanyaan lanjutan 3: Bisakah ambang batas yang sama digunakan di pasar baru dengan tingkat penipuan 0,5%?

Presisi 70% di pasar lama bukanlah bukti yang cukup. Bahkan jika TPR 70% dan FPR 0,303% dapat ditransfer, base rate yang lebih rendah mengurangi presisi menjadi sekitar 53,7%; TPR dan FPR aktual juga dapat bergeser bersama populasi. Estimasi ulang confusion matrix, kalibrasi, dan kapasitas pada sampel out-of-time dari pasar baru, lalu terapkan aturan biaya yang sama.

Pertanyaan lanjutan 4: AUROC membaik, tetapi presisi di antara 1.000 teratas turun. Model mana yang menang?

Jika produksi hanya dapat menindaklanjuti 1.000 teratas, kualitas pemeringkatan lokal secara langsung mengendalikan nilai, sehingga precision@1000, recall@1000, dan batasan biaya menjadi prioritas. AUROC mencakup semua ambang batas, dan peningkatannya mungkin terjadi di wilayah yang tidak pernah digunakan oleh bisnis. Interval kepercayaan atau irisan waktu berulang harus memastikan bahwa perbedaan top-k bukan merupakan noise pengambilan sampel.

Pertanyaan lanjutan 5: Haruskah transaksi dengan nilai berbeda berbagi satu ambang batas?

Satu ambang batas tunggal memang sederhana tetapi memperlakukan kesalahan satu unit dan kesalahan sepuluh ribu unit sama. Dengan probabilitas terkalibrasi dan estimasi biaya, gunakan ekspektasi kerugian per transaksi atau rentang nilai dengan ambang batas terpisah, lalu validasi total kapasitas, keadilan segmen, keterinterpretasian, dan rollback. Segmen dengan terlalu sedikit contoh tidak boleh menyetel ambang batasnya sendiri karena akan mengejar noise.