Menilai Pengelas pada Data Tidak Seimbang

Soalan dan bila patut menggunakannya

Satu pengelas penipuan dinilai pada 100,000 transaksi. Daripada jumlah ini, 1,000 adalah penipuan, menjadikan kadar positif 1%. Model ini melaporkan ketepatan 99%. Pasukan semakan boleh menyiasat paling banyak 1,000 amaran sehari, dan penipuan yang terlepas, sekatan palsu, serta semakan amaran mempunyai kos yang berbeza. Tentukan sama ada model ini berguna, pilih ambang pengeluaran, dan huraikan pelan penilaian luar talian serta pemantauan pengeluaran.

Soalan ini sesuai untuk peranan sains data, kejuruteraan pembelajaran mesin, dan risiko. Tugasnya bukan sekadar menamakan metrik yang kononnya “bagus untuk data tidak seimbang.” Jawapan yang berguna menukarkan matriks kekeliruan, kualiti pemeringkatan, kos perniagaan, kapasiti pemprosesan, dan kualiti kebarangkalian menjadi satu keputusan operasi. Kadar positif 1%, 100,000 contoh pengesahan, dan kapasiti harian sebanyak 1,000 adalah andaian temu duga, bukan pemalar industri umum.

Perkara yang dinilai oleh penemu duga

Isyarat pertama ialah sama ada calon menyedari perangkap ketepatan. Meramalkan setiap transaksi sebagai sah sudah menghasilkan ketepatan 99% dan sifar ingat semula (recall). Sekadar menggantikan ketepatan dengan F1 adalah tidak lengkap: F1 memberikan wajaran yang sama kepada kepersisan (precision) dan ingat semula secara lalai serta tidak menyatakan apa-apa tentang negatif sebenar, kapasiti semakan, atau kos ralat yang tidak sama.

Isyarat kedua ialah sama ada calon memisahkan pemeringkatan daripada keputusan perniagaan. Metrik seperti AUROC dan purata kepersisan merumuskan pemeringkatan merentas pelbagai ambang; sistem pengeluaran masih perlu memilih satu titik operasi. Jawapan yang mantap melaporkan kepersisan, ingat semula, kadar positif palsu, volum amaran, dan kos daripada matriks kekeliruan yang sama, kemudian menerangkan sebab ambang yang dipilih menepati kapasiti.

Isyarat ketiga ialah eksperimentasi bebas kebocoran. Pemadanan model, penentukuran kebarangkalian, pemilihan ambang, dan penilaian akhir tidak boleh menggunakan label yang sama berulang kali. Jawapan yang mantap memilih ambang pada pengesahan silang atau set pengesahan yang berasingan, membiarkan set ujian akhir tidak disentuh sehingga keputusan dimuktamadkan, dan mengekalkan nisbah kelas seperti pengeluaran dalam data pengesahan dan ujian.

Isyarat keempat ialah sama ada calon boleh mengesan kegagalan selepas pelancaran. Kadar asas kelas, campuran populasi, taburan skor, dan kelewatan label semuanya boleh mengubah hasil bagi titik operasi yang dipilih. Pelan pemantauan harus menggunakan hirisan masa dan segmen penting dan bukannya menganggap satu skor luar talian sebagai kekal.

Soalan untuk dijelaskan sebelum menjawab

• Apakah maksud kelas positif, dan ralat manakah yang lebih mahal? Terlepas penipuan biasanya mengakibatkan kerugian, manakala positif palsu boleh menambah kos semakan dan geseran pengguna. Penyaringan penyakit atau penapisan spam akan menghasilkan maksud ralat dan objektif yang berbeza.
• Adakah model mengeluarkan skor pemeringkatan atau kebarangkalian yang boleh dipercayai? Mengambil 1,000 kes dengan skor tertinggi di bawah kapasiti tetap terutamanya memerlukan pemeringkatan yang baik. Mengira jangkaan kerugian kewangan memerlukan skor tertentukur yang boleh ditafsirkan sebagai kebarangkalian.
• Adakah kapasiti semakan merupakan had siling yang tegar atau belanjawan purata? Had siling tegar merujuk kepada top-k, precision@k, dan recall@k. Kapasiti anjal membolehkan perbandingan langsung bagi faedah dan kos tambahan untuk ambang yang berbeza.
• Berapa lamakah masa yang diambil untuk menerima label? Caj balik mungkin mengambil masa berminggu-minggu untuk matang. Kepersisan hari yang sama tidak tersedia dalam situasi ini, jadi pasukan memerlukan penunjuk utama tanpa label dan metrik hasil yang dikira semula pada tetingkap label matang.
• Adakah pengeluaran mempunyai kadar positif yang sama seperti pengesahan? Kepersisan berubah mengikut kadar asas. Jika data pengesahan telah terlebih sampel atau terkurang sampel, titik operasi mesti dinilai semula pada data yang mengekalkan nisbah pengeluaran.
• Adakah kos ralat berbeza mengikut nilai transaksi atau segmen pengguna? Terlepas penipuan bernilai tinggi tidak sama dengan terlepas penipuan bernilai rendah. Ambang global tunggal mungkin kalah kepada dasar bersegmen atau keputusan jangkaan kos per contoh.

Rangka kerja jawapan 30 saat

“Hasil ketepatan 99% tidak membuktikan bahawa model itu berfungsi. Meramalkan setiap kes sebagai sah juga mencapai 99% sambil terlepas semua penipuan. Pada set pengesahan berasingan dengan kadar asas pengeluaran, saya akan membina kiraan TP, FP, FN, dan TN untuk ambang calon, kemudian melaporkan kepersisan, ingat semula, kadar positif palsu, dan volum amaran. Jika pasukan hanya boleh menyemak 1,000 amaran, saya akan menilai precision@k dan recall@k untuk 1,000 teratas; jika kos boleh diukur, saya akan meminimumkan gabungan jangkaan kos bagi kes terlepas, positif palsu, dan semakan. AUROC dan kepersisan-ingat semula atau purata kepersisan membandingkan pemeringkatan tetapi tidak memilih titik operasi. Saya akan menala ambang dan penentukuran hanya pada data di luar pemadanan model, menggunakan set ujian akhir sekali sahaja, dan memantau kadar asas, segmen, kapasiti, serta hasil label matang dalam pengeluaran.”

Penyelesaian langkah demi langkah

Langkah 1: Tetapkan garis dasar tanpa kemahiran dan matriks kekeliruan penuh

Meramalkan setiap kes sebagai sah menghasilkan 99,000 negatif sebenar dan 1,000 positif palsu: ketepatan 99% dan sifar ingat semula. Garis dasar ini menunjukkan bahawa ketepatan 99% hanya mencerminkan kiraan kelas dan tidak membuktikan bahawa model tersebut menemui sebarang penipuan.

Katakan dua ambang calon menghasilkan keputusan ini pada set pengesahan yang sama:

Menurunkan ambang kepada 0.50 menangkap 150 penipuan tambahan tetapi menghasilkan 1,350 positif palsu tambahan dan 1,500 semakan tambahan. Ambang 0.80 mempunyai ketepatan dan F1 yang lebih tinggi, manakala 0.50 mempunyai ingat semula yang lebih tinggi. Perbezaan ini tidak menobatkan satu metrik sebagai yang terbaik; ia mendedahkan pertukaran perniagaan yang mesti diselesaikan.

Langkah 2: Nilaikan pemeringkatan, titik operasi, dan kualiti kebarangkalian secara berasingan

AUROC boleh ditafsirkan sebagai kebarangkalian bahawa positif rawak berada pada kedudukan lebih tinggi daripada negatif rawak, jadi ia berguna untuk membandingkan pemeringkatan merentas ambang. Di bawah ketidakseimbangan yang teruk, bilangan negatif sebenar yang besar boleh membuatkan kadar positif palsu yang kecil kelihatan tidak berbahaya walaupun bilangan mutlak amaran palsu adalah besar. Oleh itu, lengkung kepersisan-ingat semula dan purata kepersisan menambah pandangan tentang berapa banyak amaran yang dikeluarkan adalah betul dan berapa banyak kelas positif yang berjaya dipulihkan. Metrik PR masih bergantung pada kelaziman (prevalence), jadi ia tidak sepatutnya dibandingkan tanpa taburan data.

Keputusan perniagaan bergantung pada satu ambang atau had potongan top-k. Dengan kapasiti ditetapkan pada 1,000, ambang 0.80 kebetulan menghasilkan 1,000 amaran pengesahan, untuk precision@1000 sebanyak 70% dan recall@1000 sebanyak 70%. Volum pengeluaran dan taburan skor boleh berubah. Dasar kapasiti yang lebih andal memeringkatkan kes setiap hari, mengambil 1,000 teratas, dan terus mengukur kedua-dua metrik daripada menganggap bahawa 0.80 akan sentiasa menghasilkan kiraan yang sama.

Penentukuran penting apabila skor digunakan sebagai kebarangkalian. Skor tertentukur 0.8, contohnya, sepatutnya bermakna kira-kira 80% daripada ramalan yang setanding adalah positif. Gambar rajah kebolehpercayaan dan skor seperti skor Brier boleh memeriksa penentukuran, dan penentukur harus dipadankan pada data bebas atau ramalan out-of-fold. Dasar top-k tetap terutamanya memerlukan pemeringkatan yang stabil dan tidak memerlukan setiap skor ditentukur dengan sempurna. Keputusan jangkaan kos kewangan sememangnya memerlukan kebarangkalian yang boleh dipercayai.

Langkah 3: Tukarkan pemilihan ambang kepada peraturan kos

Biar C_FN menjadi kos purata bagi satu penipuan yang terlepas, C_FP kos geseran pengguna bagi satu positif palsu tidak termasuk semakan manual, dan C_R kos menyemak satu amaran. Kos pengesahan pada sesuatu ambang ialah FN × C_FN + FP × C_FP + alert count × C_R.

Beralih dari 0.80 ke 0.50 mengelakkan 150 kes terlepas tetapi menambah 1,350 positif palsu dan 1,500 semakan. Di bawah senario ini, menurunkan ambang hanya berbaloi apabila 150 × C_FN > 1,350 × C_FP + 1,500 × C_R, yang dipermudahkan kepada C_FN > 9 × C_FP + 10 × C_R. Ini adalah sempadan keputusan yang diterbitkan daripada contoh matriks kekeliruan, bukan pemalar sejagat.

Jika 1,000 semakan adalah had siling yang tidak boleh dilanggar, ambang 0.50 tidak boleh terus dibawa ke pengeluaran walaupun nilai jangkaannya lebih tinggi. Pilihan termasuk menyemak hanya 1,000 teratas, mengautomasikan subset berkeyakinan tinggi dan berisiko rendah, atau menghantar nilai dan segmen berbeza ke barisan gilir yang berasingan. Setiap pilihan memerlukan analisis kapasiti, kemudaratan pengguna, dan kebolehbalikan yang baharu.

Langkah 4: Ambil kira perubahan kadar asas

Kepersisan bergantung pada kadar positif serta kelakuan model. Diberikan kadar positif sebenar TPR, kadar positif palsu FPR, dan kelaziman p, kepersisan ialah TPR × p ÷ [TPR × p + FPR × (1 - p)].

Pada ambang 0.80, contoh TPR ialah 70% dan FPR ialah 0.303%. Pada kelaziman 1%, formula menghasilkan sekitar 70.0% kepersisan. Jika TPR dan FPR kekal tidak berubah tetapi kelaziman jatuh kepada 0.5%, kepersisan jatuh kepada sekitar 53.7%. Oleh itu, data ujian luar talian mesti mengekalkan kadar asas seperti pengeluaran, dan pemantauan pengeluaran mesti menjejaki kelaziman dan campuran segmen. Persampelan semula boleh membantu latihan model, tetapi nisbah kelas buatannya tidak boleh dijadikan taburan penilaian.

Langkah 5: Reka bentuk penilaian bebas kebocoran dan pemantauan pengeluaran

Pisahkan data latihan, pengesahan, dan ujian akhir mengikut masa, serta tambahkan pengelompokan pengguna, peranti, atau peristiwa apabila perlu untuk mengelakkan contoh berkaitan daripada merentasi pemetakan. Selepas memadankan model, gunakan pengesahan silang atau data pengesahan berasingan untuk hiperparameter, penentukuran, dan pemilihan ambang. Nilaikan set ujian akhir sekali sahaja selepas keputusan dimuktamadkan. Jika alat penalaan ambang menggunakan pengesahan silang secara dalaman, sahkan bahawa ia tidak menala pada data lengkap yang sama yang digunakan untuk memadankan model tersebut.

Papan pemuka pengeluaran memerlukan sekurang-kurangnya dua lapisan. Lapisan serta-merta menjejaki taburan skor, kiraan amaran, potongan top-k, usia barisan gilir semakan, segmen penting, dan ralat sistem. Lapisan label matang mengira semula precision@k, recall@k, kos FN, kos FP, ralat penentukuran, dan sisihan daripada jangkaan luar talian. Perubahan ambang harus menggunakan semula peraturan kos dan kapasiti yang sama serta dimainkan semula pada set di luar masa (out-of-time); turun naik satu hari tidak sepatutnya mencetuskan sasaran yang berubah-ubah.

Contoh jawapan yang mantap

“Saya tidak akan menerima hasil ketepatan 99% terlebih dahulu. Hanya 1% daripada set pengesahan adalah penipuan, jadi meramalkan setiap transaksi sebagai sah juga memberikan ketepatan 99% dan sifar ingat semula. Saya akan menjelaskan definisi kelas positif, tiga jenis kos, sama ada 1,000 semakan harian adalah had tegar, dan kelewatan label.

Pada ambang 0.80, keputusan yang diberikan ialah 700 TP, 300 FP, 300 FN, dan 98,700 TN. Kepersisan dan ingat semula kedua-duanya adalah 70%, dan kiraan amaran adalah tepat 1,000. Ambang 0.50 meningkatkan ingat semula kepada 85% tetapi menghasilkan 2,500 amaran, yang melebihi kapasiti. Ia menangkap 150 penipuan tambahan sambil menambah 1,350 positif palsu dan 1,500 semakan. Saya akan menggunakan C_FN > 9 × C_FP + 10 × C_R untuk menguji nilai tambahan daripada penurunan ambang. Dengan had kapasiti yang tegar, saya sebaliknya akan mengambil 1,000 skor teratas dan melaporkan precision@1000 serta recall@1000.

Saya akan menggunakan kedua-dua AUROC dan kepersisan-ingat semula atau purata kepersisan semasa perbandingan model, kemudian memilih titik operasi menggunakan matriks kekeliruan dan kos. Jika skor mendorong keputusan kewangan, saya akan menentukurnya pada data di luar pemadanan model. Jika sistem hanya memerlukan top-k, saya akan menumpukan pada kestabilan pemeringkatan. Hiperparameter, penentukuran, dan ambang kekal dalam pengesahan atau pengesahan silang, manakala set ujian akhir bernisbah pengeluaran dinilai sekali sahaja.

Dalam pengeluaran, saya akan memantau kapasiti amaran dan metrik label matang bersama-sama. Walaupun TPR dan FPR kekal tetap, penurunan kadar positif daripada 1% kepada 0.5% mengurangkan contoh kepersisan daripada sekitar 70.0% kepada 53.7%. Itulah sebabnya pelan ini juga menjejaki kadar asas, taburan skor, hanyutan penentukuran, dan prestasi mengikut masa serta segmen utama.”

Kesilapan biasa

• Hanya membandingkan ketepatan → Pengelas semua-negatif sudah mencapai 99%, jadi metrik tersebut tidak membuktikan bahawa positif ditemui → Mulakan dengan garis dasar tanpa kemahiran, kemudian laporkan matriks kekeliruan, kepersisan, ingat semula, dan kiraan amaran mutlak.
• Memilih F1 secara automatik untuk ketidakseimbangan → F1 mengandaikan wajaran kepersisan-ingat semula yang sama dan mengabaikan kapasiti serta negatif sebenar → Pilih F-beta, fungsi kos, atau metrik kapasiti tetap daripada kos ralat sebenar.
• Mendakwa PR sentiasa lebih baik daripada ROC → Kedua-duanya menjawab soalan yang berbeza, dan PR bergantung pada kelaziman → Gunakan AUROC untuk pemeringkatan, PR atau AP untuk kualiti amaran positif, dan pilih titik operasi secara berasingan.
• Menggunakan ambang lalai 0.5 → Nilai lalai statistik bukanlah optimum perniagaan → Tala ambang pada data di luar pemadanan model berbanding kos dan kapasiti.
• Menala ambang pada data latihan → Ambang menyesuaikan diri dengan ralat latihan dan menghasilkan penilaian yang optimistik → Gunakan ramalan out-of-fold atau set pengesahan berasingan, sambil mengekalkan set ujian akhir.
• Melaporkan kepersisan pada set ujian yang disampel semula → Nisbah kelas buatan mengubah kepersisan dan volum amaran → Nilaikan pada kadar asas seperti pengeluaran dan kekalkan persampelan semula dalam peringkat latihan.
• Menganggap skor mentah sebagai kebarangkalian → Skor 0.8 yang tidak ditentukur tidak semestinya bermaksud kadar peristiwa 80% → Sahkan dan tentukur kebarangkalian untuk keputusan jangkaan kos; nyatakan semantik skor apabila hanya melakukan pemeringkatan.
• Hanya memantau AUROC selepas pelancaran → Pemeringkatan global yang stabil boleh menyembunyikan limpahan kapasiti, kegagalan segmen, atau anjakan kadar asas → Pantau titik operasi, barisan gilir, kos, dan hasil label matang juga.

Soalan susulan dan jawapan

Susulan 1: Bagaimana jika kapasiti semakan jatuh daripada 1,000 kes kepada 500?

Kira semula precision@500, recall@500, dan jangkaan nilai bersih untuk 500 kes pertama berbanding menskalakan ambang lama. Jika transaksi bernilai tinggi menawarkan faedah yang lebih besar, buat pemeringkatan mengikut jangkaan kerugian per contoh dan bukannya kebarangkalian penipuan semata-mata. Periksa sama ada pemeringkatan tersebut mengenakan sekatan palsu yang tidak seimbang ke atas mana-mana segmen pengguna.

Susulan 2: Bagaimanakah anda memantau model apabila label mengambil masa 60 hari untuk matang?

Pisahkan proksi serta-merta daripada hasil yang tertangguh. Jejaki input yang hilang, taburan skor, volum amaran, keputusan penyemak, dan usia barisan gilir dengan serta-merta. Bina tetingkap kematangan tetap mengikut tarikh peristiwa dan kira semula kepersisan, ingat semula, dan kos untuk kohort yang sama selepas 60 hari. Proksi boleh mencetuskan siasatan tetapi tidak boleh dibentangkan sebagai metrik label akhir.

Susulan 3: Bolehkah ambang yang sama digunakan dalam pasaran baharu dengan kadar penipuan 0.5%?

Kepersisan 70% pasaran lama adalah bukti yang tidak mencukupi. Walaupun 70% TPR dan 0.303% FPR boleh dipindahkan, kadar asas yang lebih rendah mengurangkan kepersisan kepada kira-kira 53.7%; TPR dan FPR sebenar juga mungkin berganjak mengikut populasi. Anggar semula matriks kekeliruan, penentukuran, dan kapasiti pada sampel di luar masa daripada pasaran baharu, kemudian gunakan peraturan kos yang sama.

Susulan 4: AUROC bertambah baik, tetapi kepersisan dalam kalangan 1,000 teratas jatuh. Model mana yang menang?

Jika pengeluaran hanya boleh bertindak ke atas 1,000 teratas, kualiti pemeringkatan tempatan secara langsung mengawal nilai, jadi precision@1000, recall@1000, dan kekangan kos diberi keutamaan. AUROC merangkumi semua ambang, dan peningkatannya mungkin berlaku di kawasan yang tidak pernah digunakan oleh perniagaan. Selang keyakinan atau hirisan masa berulang harus mengesahkan bahawa perbezaan top-k bukan sekadar hingar persampelan.

Susulan 5: Patutkah transaksi dengan nilai berbeza berkongsi satu ambang?

Ambang tunggal adalah mudah tetapi menganggap ralat satu unit dan ralat sepuluh ribu unit sebagai sama. Dengan kebarangkalian tertentukur dan anggaran kos, gunakan jangkaan kerugian per transaksi atau jalur nilai dengan ambang berasingan, kemudian sahkan jumlah kapasiti, keadilan segmen, kebolehbacaan, dan kebolehbalikan. Segmen dengan terlalu sedikit contoh tidak sepatutnya menala ambangnya sendiri kerana ia akan mengejar hingar.