आप किसी रिग्रेशन मॉडल के लिए कन्फ़ॉर्मल प्रिडिक्शन अंतराल (conformal prediction intervals) कैसे बनाते हैं?

1. प्रश्न

आपके पास एक पॉइंट प्रिडिक्टर f(x) है, लेकिन उत्पाद को 1 - alpha के लक्षित कवरेज के साथ [lower, upper] जैसा एक अंतराल चाहिए। एक स्प्लिट कन्फ़ॉर्मल प्रिडिक्शन वर्कफ़्लो डिज़ाइन करें और समझाएं कि ट्रेनिंग सेट, कैलिब्रेशन सेट और टेस्ट पॉइंट का उपयोग कैसे किया जाता है।

2. सीमाएं और स्पष्टीकरण

• रिग्रेशन और एब्सोल्यूट-रेसिडुअल (absolute-residual) स्कोर्स से शुरुआत करें; वर्गीकरण सेट (classification sets), ऑनलाइन कैलिब्रेशन और सशर्त कवरेज (conditional coverage) इसके विस्तार हैं।
• मॉडल को पहले फ़िट करें और फ़्रीज़ कर दें; पॉइंट प्रिडिक्टर को फ़िट करने के लिए कैलिब्रेशन सेट का दोबारा उपयोग न करें।
• कवरेज एक विनिमेय (exchangeable) बैच पर मार्जिनल गारंटी है, यह कोई ऐसा वादा नहीं है कि प्रत्येक उपसमूह या बिंदु की दर समान होगी।
• वैधता पर चर्चा करते समय i.i.d.-जैसे डेटा, समय श्रृंखला और कोवेरिएट शिफ्ट में अंतर स्पष्ट करें।

3. मुख्य दृष्टिकोण

डेटा को ट्रेनिंग और कैलिब्रेशन सेट में विभाजित करें। ट्रेनिंग डेटा पर पॉइंट प्रिडिक्टर को फ़िट करें, फिर कैलिब्रेशन नॉन-कन्फ़ॉर्मिटी स्कोर्स s_i = |y_i - f(x_i)| की गणना करें। लक्षित कवरेज 1 - alpha के लिए, एक फ़ाइनाइट-सैंपल कन्फ़ॉर्मल क्वांटाइल q लें; एक नए x के लिए, [f(x) - q, f(x) + q] लौटाएं।

विनिमेयता के तहत, यह संरचना एक मार्जिनल कवरेज गारंटी प्रदान करती है: नया लेबल कम से कम लगभग 1 - alpha की प्रायिकता के साथ अंतराल के अंदर आता है, जिसमें परिमित कैलिब्रेशन सेट के लिए एक कंजर्वेटिव ऑर्डर स्टैटिस्टिक होता है। पॉइंट मॉडल का सही होना आवश्यक नहीं है, लेकिन इसके रेसिडुअल्स और नॉइज़ अंतराल की चौड़ाई निर्धारित करते हैं।

4. संदर्भ कार्यान्वयन

def fit_split_conformal(train, calibration, alpha):
    model = fit_point_predictor(train.x, train.y)
    scores = sorted(
        abs(y - model.predict(x))
        for x, y in zip(calibration.x, calibration.y)
    )
    # Use the finite-sample conformal quantile, not a naive percentile.
    rank = ceil((len(scores) + 1) * (1 - alpha))
    q = scores[min(rank, len(scores)) - 1]

    def predict_interval(x):
        center = model.predict(x)
        return center - q, center + q

    return predict_interval

5. शुद्धता और मूल्यांकन

एक स्वतंत्र टेस्ट सेट पर कवरेज और औसत अंतराल चौड़ाई का मूल्यांकन करें, फिर समय, क्षेत्र या उपयोगकर्ता समूह द्वारा स्लाइस करें। लक्ष्य से कम कवरेज गैर-विनिमेय डेटा, एक छोटे कैलिब्रेशन सेट, डिस्ट्रीब्यूशन शिफ्ट, या एक कार्यान्वयन बग से आ सकता है; एक समग्र दर किसी एक उपसमूह के लिए व्यवस्थित विफलता को छिपा सकती है।

चौड़ाई स्कोर पर निर्भर करती है। एब्सोल्यूट रेसिडुअल्स सममित (symmetric) अंतराल उत्पन्न करते हैं, जबकि क्वांटाइल रिग्रेशन या लोकल-स्केल स्कोर्स असममित (asymmetric) या अनुकूली (adaptive) अंतराल उत्पन्न कर सकते हैं। एक संकरा अंतराल स्वतः बेहतर नहीं होता; इसकी तुलना कवरेज और व्यावसायिक नुकसान के साथ संयुक्त रूप से करें।

6. फ़ॉलो-अप और संभावित ख़ामियां

• “डिस्ट्रीब्यूशन-फ्री” का अर्थ प्रत्येक डिस्ट्रीब्यूशन के लिए बिना शर्त गारंटी नहीं है; शास्त्रीय गारंटी कैलिब्रेशन और नए नमूनों के बीच विनिमेयता (exchangeability) पर निर्भर करती है।
• लौकिक निर्भरता (temporal dependence) सरल स्प्लिट कन्फ़ॉर्मल को अमान्य कर सकती है। रोलिंग कैलिब्रेशन, भारित (weighted) विधियों का उपयोग करें, या गारंटी को स्पष्ट रूप से संकीर्ण करें।
• कोवेरिएट शिफ्ट के तहत, डेंसिटी-रेशियो वेटिंग मदद कर सकती है, लेकिन गलत वज़न कवरेज को प्रभावित करते हैं; यह दावा न करें कि मूल गारंटी अपरिवर्तित है।
• मार्जिनल कवरेज, कंडीशनल कवरेज नहीं है। छोटे समूहों या चरम इनपुट को अभी भी बहुत चौड़े या बहुत संकीर्ण अंतराल प्राप्त हो सकते हैं।

7. आगे पढ़ने के लिए

स्प्लिट, क्रॉस-कन्फ़ॉर्मल, ऑनलाइन और वेटेड कन्फ़ॉर्मल विधियों की तुलना करें: वे डेटा के पुन: उपयोग, कम्प्यूट लागत, शिफ्ट अनुकूलन और सैद्धांतिक गारंटियों के बीच संतुलन बनाती हैं। एक प्रोडक्शन सिस्टम को कवरेज, अंतराल की चौड़ाई, रेसिडुअल ड्रिफ्ट, कैलिब्रेशन ताजगी (freshness), और अस्वीकृति या मानव-समीक्षा दरों की निगरानी करनी चाहिए।

8. साक्षात्कार स्कोरिंग बिंदु

ट्रेनिंग और कैलिब्रेशन को अलग कर सकते हैं

उम्मीदवार को केवल ट्रेनिंग डेटा पर पॉइंट प्रिडिक्टर फ़िट करना चाहिए, रोके गए (held-out) कैलिब्रेशन डेटा पर स्कोर की गणना करनी चाहिए, और फ़ाइनाइट-सैंपल क्वांटाइल का उपयोग करना चाहिए।

कवरेज मान्यताओं को बता सकते हैं

उन्हें विनिमेयता, मार्जिनल कवरेज और कंडीशनल कवरेज में अंतर करना चाहिए, बिना परिणाम को प्रत्येक बिंदु के लिए एक नियतात्मक (deterministic) गारंटी के रूप में प्रस्तुत किए।

ड्रिफ्ट और लौकिक निर्भरता को संभाल सकते हैं

उन्हें रोलिंग, वेटेड, या ऑनलाइन कैलिब्रेशन का प्रस्ताव देना चाहिए और अतिरिक्त मान्यताओं व बदली हुई गारंटियों की व्याख्या करनी चाहिए।

अंतराल चौड़ाई को संतुलित कर सकते हैं

उन्हें कवरेज और चौड़ाई को एक साथ रिपोर्ट करना चाहिए, उपसमूह विफलताओं की निगरानी करनी चाहिए, और सांख्यिकीय मेट्रिक्स को व्यावसायिक नुकसान से जोड़ना चाहिए।