Bagaimanakah anda membina selang ramalan konformal untuk model regresi?

1. Soalan

Anda mempunyai peramal titik f(x), tetapi produk memerlukan selang seperti [lower, upper] dengan sasaran liputan sebanyak 1 - alpha. Reka bentuk aliran kerja ramalan konformal terpisah dan jelaskan cara set latihan, set penentukuran, dan titik ujian digunakan.

2. Kekangan dan penjelasan

• Mulakan dengan regresi dan skor reja mutlak; set klasifikasi, penentukuran dalam talian, dan liputan bersyarat merupakan lanjutan.
• Padankan model terlebih dahulu dan bekukannya; jangan guna semula set penentukuran untuk memadankan peramal titik.
• Liputan ialah jaminan marginal ke atas kelompok yang boleh ditukar ganti, bukan janji bahawa setiap subkumpulan atau titik mempunyai kadar yang sama.
• Bezakan data seperti i.i.d., siri masa, dan anjakan kovariat semasa membincangkan kesahihan.

3. Pendekatan teras

Pisahkan data kepada set latihan dan penentukuran. Padankan peramal titik pada data latihan, kemudian hitung skor ketidakpatuhan penentukuran s_i = |y_i - f(x_i)|. Untuk sasaran liputan 1 - alpha, ambil kuantil konformal sampel terhingga q; untuk x baharu, kembalikan [f(x) - q, f(x) + q].

Di bawah andaian kebolehtukarbilangan, pembinaan ini memberikan jaminan liputan marginal: label baharu berada di dalam selang dengan kebarangkalian sekurang-kurangnya kira-kira 1 - alpha, dengan statistik tertib yang konservatif untuk set penentukuran terhingga. Model titik tidak semestinya betul, tetapi reja dan hingarannya menentukan lebar selang.

4. Pelaksanaan rujukan

def fit_split_conformal(train, calibration, alpha):
    model = fit_point_predictor(train.x, train.y)
    scores = sorted(
        abs(y - model.predict(x))
        for x, y in zip(calibration.x, calibration.y)
    )
    # Use the finite-sample conformal quantile, not a naive percentile.
    rank = ceil((len(scores) + 1) * (1 - alpha))
    q = scores[min(rank, len(scores)) - 1]

    def predict_interval(x):
        center = model.predict(x)
        return center - q, center + q

    return predict_interval

5. Ketepatan dan penilaian

Nilai liputan dan min lebar selang pada set ujian bebas, kemudian hiris mengikut masa, wilayah, atau kumpulan pengguna. Liputan di bawah sasaran boleh berpunca daripada data yang tidak boleh ditukar ganti, set penentukuran yang kecil, anjakan taburan, atau pepijat pelaksanaan; kadar agregat boleh menyembunyikan kegagalan sistematik bagi satu subkumpulan.

Lebar bergantung pada skor. Reja mutlak menghasilkan selang simetri, manakala regresi kuantil atau skor skala setempat boleh menghasilkan selang asimetri atau adaptif. Selang yang lebih sempit tidak semestinya lebih baik secara automatik; bandingkannya bersama-sama liputan dan kerugian perniagaan.

6. Tindakan susulan dan perangkap

• "Bebas taburan" tidak bermaksud jaminan tanpa syarat bagi setiap taburan; jaminan klasik bergantung pada kebolehtukarbilangan antara sampel penentukuran dan sampel baharu.
• Kebergantungan temporal boleh membatalkan kesahihan konformal terpisah yang naif. Gunakan penentukuran bergolek, kaedah berwajaran, atau sempitkan jaminan secara eksplisit.
• Di bawah anjakan kovariat, pemberat nisbah ketumpatan boleh membantu, tetapi pemberat yang salah mempengaruhi liputan; jangan mendakwa bahawa jaminan asal kekal tidak berubah.
• Liputan marginal bukanlah liputan bersyarat. Kumpulan kecil atau input ekstrem masih boleh menerima selang yang sangat lebar atau sangat sempit.

7. Bacaan lanjut

Bandingkan kaedah konformal terpisah, silang, dalam talian, dan berwajaran: kaedah-kaedah ini mengimbangi guna semula data, kos pengiraan, penyesuaian anjakan, dan jaminan teori. Sistem pengeluaran harus memantau liputan, lebar selang, anjakan reja, kesegaran penentukuran, serta kadar penolakan atau semakan manusia.

8. Mata pemarkahan temu duga

Boleh memisahkan latihan dan penentukuran

Calon harus memadankan peramal titik hanya pada data latihan, menghitung skor pada data penentukuran yang diasingkan, dan menggunakan kuantil sampel terhingga.

Boleh menyatakan andaian liputan

Mereka harus membezakan kebolehtukarbilangan, liputan marginal, dan liputan bersyarat, tanpa membentangkan hasilnya sebagai jaminan deterministik untuk setiap titik.

Boleh mengendalikan anjakan dan kebergantungan temporal

Mereka harus mencadangkan penentukuran bergolek, berwajaran, atau dalam talian dan menerangkan andaian tambahan serta jaminan yang berubah.

Boleh mengimbangi lebar selang

Mereka harus melaporkan liputan dan lebar bersama-sama, memantau kegagalan subkumpulan, dan menghubungkan metrik statistik dengan kerugian perniagaan.