不均衡データにおける分類器の評価

質問と想定される場面

不正検知分類器が100,000件の取引データで評価されています。このうち1,000件が不正であり、陽性率は1%です。モデルは99%の正解率（accuracy）を報告しています。審査チームが1日に調査できるアラート件数は最大1,000件であり、不正の見逃し、誤ブロック、およびアラートの審査にはそれぞれ異なるコストが発生します。モデルが有用であるかを判断し、本番運用の閾値を選択した上で、オフライン評価と本番監視計画を説明してください。

この質問は、データサイエンス、機械学習エンジニアリング、リスク関連の職種に適しています。ここでの課題は、「不均衡データに適している」とされる指標を単に挙げることではありません。有用な回答とは、混同行列、ランキング品質、ビジネスコスト、処理能力、および予測確率の品質を1つの運用上の決定へと落とし込むことです。1%の陽性率、100,000件の検証データ、および1日あたり1,000件の処理能力は面接用の前提条件であり、業界全体の固定値ではありません。

面接官が評価しているポイント

第1のシグナルは、候補者が「正解率の罠（accuracy trap）」に気づいているかどうかです。すべての取引を正常（非不正）と予測するだけでも、99%の正解率と再現率（recall）0%が得られます。単に正解率をF1スコアに置き換えるだけでは不十分です。F1スコアはデフォルトで適合率（precision）と再現率に等しい重みを与えており、真陰性（true negative）、審査処理能力、または不均等なエラーコストについては何も考慮されていません。

第2のシグナルは、候補者がランキングの評価とビジネス上の意思決定を分離して捉えているかどうかです。AUROCやPR-AUC（Average Precision）などの指標は、複数の閾値全体にわたるランキング品質を集約したものです。しかし、本番システムでは特定の運用ポイント（閾値）を1つ選択する必要があります。優れた回答では、同一の混同行列から適合率、再現率、偽陽性率（FPR）、アラート件数、およびコストを報告し、選択された閾値が審査処理能力に合致している理由を説明します。

第3のシグナルは、データリークのない実験設計です。モデルの学習、確率のキャリブレーション（calibration）、閾値の選択、および最終評価において、同じラベル付きデータを繰り返し使い回してはなりません。優れた回答では、交差検証（cross-validation）または独立した検証セットを用いて閾値を選択し、決定が確定するまで最終テストセットには手を触れず、検証データおよびテストデータにおいて本番環境と同様のクラス比率を維持します。

第4のシグナルは、候補者が本番リリース後の不具合や劣化を検知できるかどうかです。クラスのベースレート（base rate）、母集団の構成比、スコア分布、およびラベル確定の遅延（label delay）は、いずれも選択した運用ポイントの結果を変化させる可能性があります。監視計画では、オフラインでの単一スコアが永続するものとみなすのではなく、タイムスライス（時間枠）や重要なセグメントごとの監視を取り入れる必要があります。

回答前に確認すべき明確化のための質問

• 陽性クラス（positive class）は何を意味し、どちらのエラーの方がコストが高いか？ 不正の見逃しは通常直接的な損失につながる一方、偽陽性（false positive）は審査コストとユーザーの不便（フリクション）の両方を引き起こす可能性があります。病気のスクリーニングやスパムフィルタリングでは、エラーの意味や目的が異なります。
• モデルの出力はランキングスコアか、それとも信頼できる予測確率か？ 固定された審査能力の下でスコア上位1,000件を抽出するだけであれば、主に優れたランキング品質が求められます。期待金銭損失を計算するには、確率として解釈可能なキャリブレーションされたスコアが必要です。
• 審査処理能力は厳格な上限（ハードシーリング）か、それとも平均的な予算枠か？ 厳格な上限であれば、top-k、precision@k、およびrecall@kの評価が適切です。処理能力に柔軟性がある場合は、異なる閾値における増分利益とコストを直接比較できます。
• 正解ラベルが確定するまでにどれくらいの期間がかかるか？ チャージバックの確定には数週間かかる場合があります。その場合、当日の適合率は取得できないため、ラベル不要の先行指標と、ラベル確定期間（mature-label window）後に再計算される実績指標が必要になります。
• 本番環境の陽性率は検証環境と同じか？ 適合率はベースレートによって変化します。検証データでオーバーサンプリングやアンダーサンプリングが行われていた場合、本番の比率を維持したデータ上で運用ポイントを再評価する必要があります。
• エラーコストは取引金額やユーザーセグメントによって異なるか？ 高額取引の不正見逃しと少額取引の見逃しは同等ではありません。単一のグローバル閾値よりも、セグメントごとのポリシーや取引ごとの期待コストに基づく決定の方が優れている場合があります。

30秒の回答フレームワーク

「正解率99%という結果だけでは、モデルが有効に機能しているとは判断できません。すべての案件を正常と予測した場合でも正解率99%に達しますが、不正はすべて見逃すことになります。本番環境のベースレートを維持した独立した検証セット上で、候補となる閾値ごとにTP、FP、FN、TNの件数を算出し、適合率、再現率、偽陽性率、およびアラート件数を把握します。審査チームが1日1,000件しか対応できない場合は、上位1,000件に対するprecision@kとrecall@kを評価します。各コストが数値化可能であれば、見逃し、偽陽性、および審査にかかる合計期待コストを最小化します。AUROCやPR曲線（またはAP）はランキングの比較には有用ですが、具体的な運用ポイントを決定するものではありません。閾値調整やキャリブレーションはモデル学習以外のデータでのみ行い、最終テストセットは1回だけ評価に使用します。本番環境では、ベースレート、セグメント、審査能力、およびラベル確定後の実績値を監視します。」

ステップごとの解説

ステップ 1: ベースライン（no-skill baseline）の確認と混同行列全体の作成

すべての取引を正常と予測した場合、99,000件の真陰性（TN）と1,000件の偽陰性（FN）が発生し、正解率は99%、再現率は0%となります。このベースラインから、99%の正解率は単にクラスの構成比を反映しているに過ぎず、モデルが不正を検知できている証拠にはならないことがわかります。

同一の検証セットにおいて、2つの候補閾値が以下の結果をもたらしたと仮定します。

閾値を0.50に下げると、不正をさらに150件検知できますが、偽陽性が1,350件増加し、審査対象が1,500件増えます。閾値0.80は正解率とF1スコアが高く、0.50は再現率が高くなります。これらの差異はいずれかの指標を最良とするものではなく、解決すべきビジネス上のトレードオフを示しています。

ステップ 2: ランキング、運用ポイント、および予測確率の品質を個別に評価

AUROCは、無作為に選んだ陽性例が陰性例よりも上位にランクされる確率として解釈できるため、複数の閾値にわたるランキング品質を比較するのに適しています。極端な不均衡データでは、真陰性の数が膨大であるため、偽アラートの絶対数が多くても偽陽性率（FPR）が低く見えてしまうことがあります。そのため、PR曲線（Precision-Recall curve）やAP（Average Precision）を用いて、発行されたアラートのうち何割が正しく、陽性クラス全体のうちどれだけをカバーできているかを確認します。ただし、PR指標は有病率（prevalence / 陽性率）に依存するため、データ分布を無視して比較することはできません。

ビジネス上の決定では、特定の1つの閾値またはtop-kカットオフを選択します。審査能力が1,000件に固定されている場合、閾値0.80は検証データ上でちょうど1,000件のアラートを生成し、precision@1000は70%、recall@1000は70%となります。本番環境の件数やスコア分布は変動します。そのため、閾値0.80が常に同じ件数をもたらすと仮定するのではなく、毎日案件をスコア順にランク付けして上位1,000件を抽出し、両方の指標を継続的に計測するポリシーの方が、審査能力管理の観点で信頼性が高くなります。

スコアを確率として使用する場合、キャリブレーションが重要になります。たとえば、キャリブレーションされた0.8という値は、同様の予測のうち約80%が実際に陽性であることを意味するべきです。信頼性ダイアグラム（reliability diagram）やBrierスコアなどの指標でキャリブレーションを確認できます。キャリブレータは独立したデータまたはout-of-fold予測に対して学習させる必要があります。固定top-kポリシーでは主にランキングの安定性が求められ、すべてのスコアが完全にキャリブレーションされている必要はありません。一方、金銭的な期待コストに基づく決定には、信頼できる確率値が不可欠です。

ステップ 3: 閾値選択をコストルールへと変換

C_FN を不正1件の見逃しによる平均コスト、C_FP を手動審査を除く偽陽性1件あたりのユーザーフリクションコスト、C_R をアラート1件の審査コストとします。ある閾値における検証コストは FN × C_FN + FP × C_FP + alert count × C_R と表されます。

閾値を0.80から0.50に変更すると、見逃しが150件減少しますが、偽陽性が1,350件、審査が1,500件増加します。このシナリオにおいて閾値を下げる価値があるのは、150 × C_FN > 1,350 × C_FP + 1,500 × C_R の場合のみであり、これは C_FN > 9 × C_FP + 10 × C_R に簡約されます。これは例示の混同行列から導出された決定境界であり、普遍的な定数ではありません。

1,000件の審査が厳格な上限である場合、期待値が高くても閾値0.50をそのまま本番適用することはできません。選択肢としては、上位1,000件のみを審査する、高信頼度かつ低リスクのサブセットを自動処理する、あるいは取引額やセグメントごとに別々のキューに振り分けるなどが挙げられます。いずれの選択肢も、処理能力、ユーザーへの影響、および取り消し可能性（reversibility）の再分析が必要です。

ステップ 4: ベースレート（陽性率）の変動への対処

適合率は、モデルの挙動だけでなく陽性率（ベースレート）にも依存します。真陽性率（TPR）を TPR、偽陽性率（FPR）を FPR、ベースレートを p とすると、適合率は TPR × p ÷ [TPR × p + FPR × (1 - p)] となります。

閾値0.80において、例示のTPRは70%、FPRは0.303%です。ベースレートが1%の場合、この式による適合率は約70.0%になります。TPRとFPRが変わらないままベースレートが0.5%に低下すると、適合率は約53.7%まで低下します。したがって、オフラインのテストデータは本番環境に近いベースレートを維持する必要があり、本番監視ではベースレートとセグメント構成比を追跡しなければなりません。リサンプリングはモデル学習には有効ですが、その人工的なクラス比率を評価用データセットに持ち込んではいけません。

ステップ 5: データリークのない評価と本番監視の設計

学習データ、検証データ、最終テストデータを時間軸で分割（time-based split）し、必要に応じてユーザー、デバイス、イベントによるグループ化を追加して、関連データが分割をまたがないようにします。モデル学習後、ハイパーパラメータ調整、キャリブレーション、および閾値選択には交差検証または独立した検証データを使用します。最終テストセットの評価は、決定事項が確定した後に1度だけ行います。閾値調整ツールが内部で交差検証を使用している場合は、そのモデル自体の学習に使用した全データと同じデータ上で調整が行われていないか確認します。

本番ダッシュボードには少なくとも2つの階層が必要です。即時レイヤーでは、スコア分布、アラート件数、top-kカットオフ値、審査キューの滞留時間（age）、重要セグメント、およびシステムエラーを追跡します。ラベル確定後レイヤーでは、precision@k、recall@k、FNコスト、FPコスト、キャリブレーション誤差、およびオフライン予測値からの乖離を再計算します。閾値の変更は同じコスト・処理能力ルールを再利用し、時間外（out-of-time）データセット上でリプレイ検証を行うべきであり、単日の変動で安易に閾値を動かしてはなりません。

優れた回答例

「まず、正解率99%という結果をそのまま受け入れることはしません。検証セットの不正率はわずか1%であるため、すべての取引を正常と予測した場合でも正解率99%、再現率0%となります。陽性クラスの定義、3種類のエラーコスト、1日1,000件の審査枠が厳格な上限かどうか、そしてラベル確定までの遅延期間を確認します。

閾値0.80の場合、与えられた結果はTPが700件、FPが300件、FNが300件、TNが98,700件となります。適合率と再現率はともに70%で、アラート数はちょうど1,000件です。閾値0.50では再現率は85%に上昇しますが、アラート数が2,500件となり、処理能力を超過します。これにより不正をさらに150件検知できますが、偽陽性が1,350件、審査が1,500件増加します。閾値を下げることによる増分価値を検証するために、C_FN > 9 × C_FP + 10 × C_R という条件式を用います。厳格な処理能力上限がある場合は、スコア上位1,000件を抽出し、precision@1000とrecall@1000を報告します。

モデル比較の段階ではAUROCとPR曲線（またはAP）の両方を使用し、実際の運用ポイントは混同行列とコストに基づいて選択します。スコアが金銭的な意思決定に直結する場合は、モデル学習とは別のデータでキャリブレーションを行います。システムがtop-k抽出のみを必要とする場合は、ランキングの安定性を重視します。ハイパーパラメータ、キャリブレーション、閾値の調整は検証データまたは交差検証内にとどめ、本番と同じ比率の最終テストセットは1回のみ評価します。

本番環境では、アラート処理能力とラベル確定後の指標を合わせて監視します。TPRとFPRが一定であっても、陽性率が1%から0.5%に低下すると、この例の適合率は約70.0%から53.7%に低下します。そのため、ベースレート、スコア分布、キャリブレーションドリフト、および時系列や主要セグメント別のパフォーマンスも監視計画に含めます。」

よくある落とし穴

• 正解率（accuracy）のみを比較する → すべて陰性と予測する分類器でも99%に達するため、陽性を検知できている証拠にはならない → ベースライン（no-skill baseline）の確認から始め、混同行列、適合率、再現率、およびアラートの実数を報告する。
• 不均衡データに対して無条件にF1スコアを選択する → F1スコアは適合率と再現率を同等に扱い、審査能力や真陰性を無視している → 実際のエラーコストに基づいてF-beta、コスト関数、または固定処理能力指標を選択する。
• PR曲線は常にROC曲線より優れていると主張する → これらは異なる問いに答えるものであり、PRはベースレートに依存する → ランキングにはAUROCを、陽性アラートの品質にはPRまたはAPを使用し、運用ポイントは個別に選択する。
• デフォルトの閾値0.5をそのまま使用する → 統計的なデフォルト値はビジネス上の最適解ではない → モデル学習外のデータを用い、コストと処理能力に合わせて閾値を調整する。
• 学習データ上で閾値を調整する → 閾値が学習誤差に過剰適合し、楽観的すぎる評価になる → out-of-fold予測または独立した検証セットを使用し、最終テストセットは分離しておく。
• リサンプリングされたテストセットで適合率を報告する → 人工的なクラス比率によって適合率やアラート件数が歪められる → 本番環境に近いベースレートで評価を行い、リサンプリングは学習段階のみに留める。
• 生のスコアを確率として扱う → キャリブレーションされていない0.8というスコアは、必ずしも80%の発生確率を意味しない → 期待コストに基づく決定を行う場合は確率を検証・キャリブレーションし、ランキングのみの場合はスコアの定義を明確にする。
• 本番リリース後にAUROCのみを監視する → 全体的なランキングが安定していても、審査能力の超過、セグメント単位の障害、またはベースレートの変動を見逃す可能性がある → 運用ポイント、キュー滞留状況、コスト、およびラベル確定後の実績値も監視する。

フォローアップの質問と回答

フォローアップ 1: 審査能力が1,000件から500件に減少した場合はどうするか？

従来の閾値を単にスライドさせるのではなく、上位500件に対するprecision@500、recall@500、および期待純価値を再計算します。高額取引の方が便益が大きい場合は、不正確率単体ではなく、案件ごとの期待損失額でランク付けします。そのランキングによって、特定のユーザーセグメントに対して不均衡な誤ブロックが発生していないか確認します。

フォローアップ 2: ラベル確定に60日かかる場合、どのようにモデルを監視するか？

即時取得可能なプロキシ指標と、遅延して確定する実績指標を分離します。入力データの欠落、スコア分布、アラート件数、審査担当者の判断、およびキューの滞留時間は即座に追跡します。イベント発生日ごとに固定の確定期間を設定し、60日後に同一コホートに対して適合率、再現率、コストを再計算します。プロキシ指標は調査のトリガーとして使用できますが、最終的な確定指標として扱ってはなりません。

フォローアップ 3: 不正率が0.5%の新規市場で同じ閾値を使用できるか？

既存市場での適合率70%という実績は根拠として不十分です。TPR 70%とFPR 0.303%がそのまま維持されたとしても、ベースレートの低下によって適合率は約53.7%に下がります。また、母集団の違いによって実際のTPRやFPR自体が変化する可能性もあります。新規市場の時間外サンプルを用いて混同行列、キャリブレーション、処理能力を再推定し、同様のコストルールを適用します。

フォローアップ 4: AUROCは向上したが、上位1,000件における適合率が低下した。どちらのモデルを採用すべきか？

本番環境が上位1,000件のみを処理する運用である場合、局所的なランキング品質がビジネス価値に直結するため、precision@1000、recall@1000、およびコスト制約が優先されます。AUROCはすべての閾値を包括した指標であり、その向上がビジネス上使用しない領域で発生している可能性があります。信頼区間や時系列スライスでの検証を行い、top-kの差異がサンプリングノイズによるものでないことを確認する必要があります。

フォローアップ 5: 異なる取引額の取引で同一の閾値を共有すべきか？

単一の閾値はシンプルですが、1単位の損失エラーと10,000単位の損失エラーを同等に扱うことになります。キャリブレーションされた確率と推定コストを用いて、取引ごとの期待損失額を基準にするか、取引額バンドごとに個別の閾値を設定します。その上で、全体の処理能力、セグメント間の公平性、解釈性、およびロールバック手順を検証します。サンプル数が少なすぎるセグメントでは、ノイズに過剰適合するため個別の閾値調整を行うべきではありません。