Bagaimana cara membangun interval prediksi konformal untuk model regresi?

1. Pertanyaan

Anda memiliki prediktor titik f(x), tetapi produk memerlukan interval seperti [lower, upper] dengan target cakupan 1 - alpha. Rancang alur kerja split conformal prediction dan jelaskan bagaimana set pelatihan, set kalibrasi, dan titik uji digunakan.

2. Batasan dan klarifikasi

• Mulai dengan regresi dan skor residu absolut; set klasifikasi, kalibrasi daring (online), dan cakupan bersyarat merupakan ekstensi.
• Latih model terlebih dahulu lalu bekukan; jangan gunakan kembali set kalibrasi untuk melatih prediktor titik.
• Cakupan adalah jaminan marginal atas batch yang dapat dipertukarkan (exchangeable), bukan janji bahwa setiap subkelompok atau titik memiliki tingkat cakupan yang sama.
• Bedakan data mirip-i.i.d., deret waktu, dan pergeseran kovariat saat mendiskusikan validitas.

3. Pendekatan utama

Bagi data menjadi set pelatihan dan kalibrasi. Latih prediktor titik pada data pelatihan, lalu hitung skor ketidaksesuaian kalibrasi s_i = |y_i - f(x_i)|. Untuk target cakupan 1 - alpha, ambil kuantil konformal sampel-hingga q; untuk x baru, kembalikan [f(x) - q, f(x) + q].

Di bawah asumsi pertukaran (exchangeability), konstruksi ini memberikan jaminan cakupan marginal: label baru berada di dalam interval dengan probabilitas setidaknya mendekati 1 - alpha, dengan statistik urutan konservatif untuk set kalibrasi berhingga. Model titik tidak harus benar secara sempurna, tetapi residu dan derau di dalamnya menentukan lebar interval.

4. Implementasi referensi

def fit_split_conformal(train, calibration, alpha):
    model = fit_point_predictor(train.x, train.y)
    scores = sorted(
        abs(y - model.predict(x))
        for x, y in zip(calibration.x, calibration.y)
    )
    # Use the finite-sample conformal quantile, not a naive percentile.
    rank = ceil((len(scores) + 1) * (1 - alpha))
    q = scores[min(rank, len(scores)) - 1]

    def predict_interval(x):
        center = model.predict(x)
        return center - q, center + q

    return predict_interval

5. Kebenaran dan evaluasi

Evaluasi cakupan dan rata-rata lebar interval pada set uji independen, lalu bagi berdasarkan waktu, wilayah, atau kelompok pengguna. Cakupan di bawah target dapat berasal dari data yang tidak dapat dipertukarkan, set kalibrasi yang kecil, pergeseran distribusi, atau bug implementasi; tingkat agregat dapat menyembunyikan kegagalan sistematis untuk satu subkelompok.

Lebar interval bergantung pada skornya. Residu absolut menghasilkan interval simetris, sedangkan regresi kuantil atau skor skala lokal dapat menghasilkan interval asimetris atau adaptif. Interval yang lebih sempit tidak secara otomatis lebih baik; bandingkan secara bersamaan dengan cakupan dan kerugian bisnis.

6. Tindak lanjut dan jebakan

• “Bebas distribusi” bukan berarti jaminan tanpa syarat untuk setiap distribusi; jaminan klasik bergantung pada asumsi pertukaran antara sampel kalibrasi dan sampel baru.
• Ketergantungan temporal dapat membatalkan split konformal yang naif. Gunakan kalibrasi bergulir (rolling calibration), metode berbobot, atau persempit jaminan secara eksplisit.
• Di bawah pergeseran kovariat, pembobotan rasio kepadatan (density-ratio weighting) dapat membantu, tetapi bobot yang salah memengaruhi cakupan; jangan mengklaim bahwa jaminan asli tetap tidak berubah.
• Cakupan marginal bukanlah cakupan bersyarat. Kelompok kecil atau input ekstrem masih dapat menerima interval yang sangat lebar atau sangat sempit.

7. Bacaan lebih lanjut

Bandingkan metode konformal split, cross-conformal, daring (online), dan berbobot: mereka menyeimbangkan penggunaan kembali data, biaya komputasi, adaptasi pergeseran, dan jaminan teoretis. Sistem produksi harus memantau cakupan, lebar interval, pergeseran residu, kesegaran kalibrasi, serta tingkat penolakan atau tinjauan manusia.

8. Poin penilaian wawancara

Mampu memisahkan pelatihan dan kalibrasi

Kandidat harus melatih prediktor titik hanya pada data pelatihan, menghitung skor pada data kalibrasi yang disisihkan (held-out), dan menggunakan kuantil sampel-hingga.

Mampu menyatakan asumsi cakupan

Mereka harus membedakan pertukaran (exchangeability), cakupan marginal, dan cakupan bersyarat, tanpa menyajikan hasilnya sebagai jaminan deterministik untuk setiap titik.

Mampu menangani pergeseran dan ketergantungan temporal

Mereka harus mengusulkan kalibrasi bergulir, berbobot, atau daring, serta menjelaskan asumsi tambahan dan jaminan yang berubah.

Mampu menyeimbangkan lebar interval

Mereka harus melaporkan cakupan dan lebar secara bersamaan, memantau kegagalan subkelompok, dan menghubungkan metrik statistik dengan kerugian bisnis.