डेटा साइंस इंटरव्यू: CUPED कॉज़ल एस्टिमैंड (causal estimand) को बदले बिना वेरिएंस को कैसे कम करता है?

इंटरव्यूअर क्या मूल्यांकन करता है

यह प्रश्न एक्सपेरिमेंट डिज़ाइन, कॉज़ल एस्टीमेशन और डेटा-क्वालिटी की सीमाओं का परीक्षण करता है। इंटरव्यूअर यह देखना चाहता है कि क्या आप एस्टीमेटर वेरिएंस को कम करने और बिज़नेस मेट्रिक को बदलने के बीच अंतर समझते हैं, कोवेरिएट्स को प्री-ट्रीटमेंट रखते हैं, एडजस्टेड मीन डिफरेंस निकालते हैं, और A/A टेस्ट्स, रैंडमाइजेशन चेक और सेंसिटिविटी एनालिसिस का प्रस्ताव देते हैं। Microsoft CUPED को वेरिएंस रिडक्शन के रूप में वर्णित करता है जो प्री-एक्सपेरिमेंट डेटा का उपयोग करके व्याख्या योग्य वेरिएशन को हटाता है। यह इस पद्धति की इंजीनियरिंग प्रासंगिकता का समर्थन करता है लेकिन किसी भी कंपनी में एक निश्चित इंटरव्यू फ्रीक्वेंसी स्थापित नहीं करता है।

• क्या रैंडमाइजेशन निष्पक्षता (unbiasedness) का आधार बना रहता है।
• क्या आप बताते हैं कि कोवेरिएट कोरिलेशन एस्टीमेटर वेरिएंस को कैसे प्रभावित करता है।
• क्या आप पोस्ट-ट्रीटमेंट फीचर्स, मिसिंग डेटा या सैंपल चयन से होने वाले लीकेज की पहचान करते हैं।
• क्या आप केवल एक सिग्निफिकेंस नंबर के बजाय दोबारा पेश करने योग्य (reproducible) सांख्यिकीय जांच प्रदान करते हैं।

30-सेकंड उत्तर का फ्रेमवर्क

सीमा से शुरुआत करें: CUPED प्री-ट्रीटमेंट कोवेरिएट्स के साथ एडजस्ट करता है; यह रैंडमाइजेशन की जगह नहीं लेता है और न ही पोस्ट-ट्रीटमेंट व्यवहार का उपयोग करता है। प्रत्येक एक्सपेरिमेंटल यूनिट के लिए, आउटकम Y और प्री-ट्रीटमेंट कोवेरिएट X की गणना करें, रैंडमाइज़्ड सैंपल पर theta = Cov(Y, X) / Var(X) का अनुमान लगाएं, और Y' = Y - theta * (X - mean(X)) का उपयोग करके ग्रुप्स की तुलना करें। यदि X का संबंध Y से है, तो एडजस्टेड आउटकम का वेरिएंस कम हो सकता है। क्योंकि X को ट्रीटमेंट से पहले मापा जाता है और यह असाइनमेंट से स्वतंत्र होता है, इसलिए एवरेज ट्रीटमेंट इफेक्ट अपने लक्षित अर्थ को बनाए रखता है। A/A चेक, फ्रोजन एनालिसिस रूल्स, कॉन्फिडेंस इंटरवल्स और रॉ मेट्रिक के साथ तुलना के साथ समाप्त करें।

उत्तर देने से पहले स्पष्टीकरण के लिए प्रश्न

1. क्या यूनिट एक यूज़र, अकाउंट, डिवाइस या मार्केट है? रैंडमाइजेशन का स्तर स्टैंडर्ड एरर्स और कोवेरिएट एग्रीगेशन को नियंत्रित करता है।
2. क्या आउटकम एक मीन, प्रोपोर्शन, रेश्यो या परसेंटाइल है? एस्टीमेटर और इंटरवल मेथड का मेल खाना ज़रूरी है।
3. क्या कोवेरिएट को असाइनमेंट से पहले फ्रीज किया गया था और प्रत्येक रैंडमाइज़्ड यूनिट के लिए देखा गया था? मिसिंग वैल्यूज़ को कैसे हैंडल किया जाता है?
4. क्या कोई इंटरफेरेंस, ट्रिगर या मिड-एक्सपेरिमेंट बकेटिंग की समस्याएं हैं जो साधारण स्वतंत्रता (independence) का उल्लंघन करती हैं?
5. क्या लक्ष्य एक छोटा रन, एक छोटा डिटेक्टेबल इफेक्ट, या कम रिपोर्टिंग नॉइज़ है? पहले स्वीकृति मेट्रिक को परिभाषित करें।

स्टेप-बाय-स्टेप डीप डाइव

स्टेप 1: रैंडमाइजेशन और एनालिसिस यूनिट तय करें

यूनिट, असाइनमेंट की, ट्रिगर रूल और प्राइमरी मेट्रिक को एक्सपेरिमेंट प्रोटोकॉल में रखें। CUPED एस्टीमेशन-स्टेज वेरिएंस रिडक्शन है; यह एलोकेशन एरर्स, सैंपल-रेश्यो मिसमैच (SRM) या इंटरफेरेंस को ठीक नहीं कर सकता है। ट्रीटमेंट से पहले कोवेरिएट को मापें और उसी एक्सपेरिमेंटल यूनिट पर इसे एग्रीगेट करें। यदि एक अकाउंट में कई डिवाइस हैं, तो डिवाइस-लेवल कोवेरिएट्स अपने आप इंडिपेंडेंट अकाउंट-लेवल ऑब्जर्वेशन्स नहीं बन जाते हैं।

स्टेप 2: प्री-ट्रीटमेंट कोवेरिएट बनाएं

ऐसे ऐतिहासिक व्यवहार को चुनें जो आउटकम से संबंधित हो लेकिन ट्रीटमेंट से अप्रभावित हो, जैसे कि एक निश्चित प्री-एक्सपेरिमेंट विंडो में गतिविधि। लॉन्च से पहले विंडो और कैलकुलेशन को फ्रीज करें, फिर कोवेरिएट को एक्सपेरिमेंटल यूनिट्स से जोड़ें। मिसिंग वैल्यूज़, एक्सट्रीम वैल्यूज़ और नए यूज़र्स के लिए नियम पहले से तय करें। आउटकम्स देखने के बाद फीचर्स का चयन करना एनालिसिस को पोस्ट-हॉक मॉडल सेलेक्शन में बदल देता है।

स्टेप 3: एडजस्टमेंट निकालें (Derive)

theta = Cov(Y, X) / Var(X)
Y_prime = Y - theta * (X - mean(X))
ATE_prime = mean(Y_prime | T=1) - mean(Y_prime | T=0)

जब X और Y पॉजिटिव रूप से कोरिलेटेड होते हैं, तो एडजस्टमेंट शेयर्ड एक्सप्लेनेबल वेरिएशन को हटा देता है। प्री-एक्सपेरिमेंट हिस्ट्री से या प्री-रजिस्टर्ड फुल-सैंपल रूल से theta का अनुमान लगाएं; ट्रीटमेंट आउटकम्स को कोवेरिएट या एडजस्टमेंट रूल चुनने न दें। रेश्यो, परसेंटाइल और हैवी-टेल्ड आउटकम्स के लिए, एस्टीमेटर और रोबस्ट स्टैंडर्ड-एरर मेथड को स्पष्ट रूप से बताएं।

स्टेप 4: दिखाएं कि एस्टिमैंड अपरिवर्तित है

रैंडमाइजेशन असाइनमेंट को प्री-ट्रीटमेंट X से स्वतंत्र बनाता है। दोनों ग्रुप्स में एडजस्टमेंट टर्म की एक्सपेक्टेशन समान होती है, इसलिए मीन डिफरेंस अभी भी उसी एवरेज ट्रीटमेंट इफेक्ट को लक्षित करता है; मुख्य बदलाव एस्टीमेटर वेरिएंस में होता है। यह निष्कर्ष डिज़ाइन और मान्यताओं पर निर्भर करता है। इसका मतलब यह नहीं है कि हर रिग्रेशन एडजस्टमेंट अपने आप निष्पक्ष (unbiased) हो जाता है। यदि ट्रिगर रेट्स अलग हैं या मिसिंग वैल्यू ट्रीटमेंट पर निर्भर करती है, तो यूनिट और एस्टिमैंड पर दोबारा विचार करें।

स्टेप 5: कंट्रोल्स और सेंसिटिविटी एनालिसिस के साथ वैलिडेट करें

पहले एक A/A टेस्ट या ऐतिहासिक रीप्ले चलाएं। जांचें कि एडजस्टेड इफेक्ट्स शून्य के करीब केंद्रित हैं, इंटरवल कवरेज उचित है, और कोवेरिएट्स बैलेंस्ड रहते हैं। लाइव एक्सपेरिमेंट में रॉ और एडजस्टेड मेट्रिक्स, वेरिएंस रिडक्शन, सैंपल साइज, एलोकेशन और मिसिंग डेटा की रिपोर्ट करें। सेंसिटिविटी एनालिसिस में फ्रोजन एस्टीमेशन विंडो, कोवेरिएट ट्रिमिंग और यूज़र-लेवल एग्रीगेशन को बदलें। जो निष्कर्ष केवल एक मनमाने नियम पर टिकता है वह मजबूत प्रमाण नहीं है।

मॉडल हाई-क्वालिटी उत्तर

मैं पहले एक्सपेरिमेंटल यूनिट और रैंडमाइजेशन लेवल की पुष्टि करूंगा, फिर प्राइमरी आउटकम Y और एक फ्रोजन प्री-ट्रीटमेंट कोवेरिएट X को एनालिसिस प्लान में शामिल करूंगा। CUPED Y' = Y - theta * (X - mean(X)) का उपयोग करता है, जिसमें theta का अनुमान कोवेरिएंस को कोवेरिएट वेरिएंस से विभाजित करके लगाया जाता है। रैंडमाइजेशन X को ट्रीटमेंट से स्वतंत्र बनाता है, इसलिए बिना किसी लीकेज, सही एलोकेशन और मैचिंग एस्टीमेटर के साथ, एक्सपेक्टेड ग्रुप डिफरेंस अभी भी उसी ट्रीटमेंट इफेक्ट को लक्षित करता है; मजबूत कोरिलेशन आमतौर पर एस्टीमेटर वेरिएंस को कम करता है।

मैं ट्रीटमेंट के बाद देखे गए क्लिक, ऑर्डर या रिटेंशन को कोवेरिएट्स के रूप में उपयोग नहीं करूंगा, और परिणाम देखने के बाद बार-बार फीचर्स का चयन नहीं करूंगा। लॉन्च से पहले मैं टाइम विंडो, मिसिंग वैल्यू और एक्सट्रीम-वैल्यू रूल्स को फ्रीज करूंगा और फॉल्स पॉजिटिव्स और इंटरवल कवरेज के लिए A/A चेक चलाऊंगा। प्रोडक्शन में मैं रॉ और एडजस्टेड परिणाम प्रकाशित करूंगा, एलोकेशन, ट्रिगर रेट, कोवेरिएट बैलेंस, वेरिएंस रिडक्शन और सेंसिटिविटी की निगरानी करूंगा। यदि इंटरफेरेंस या क्रॉस-लेवल एग्रीगेशन मौजूद है, तो मैं CUPED पर चर्चा करने से पहले एक्सपेरिमेंट डिज़ाइन को ठीक करूंगा।

सामान्य गलतियां

• यह कहना कि CUPED एस्टीमेशन प्रिसिजन में सुधार करने के बजाय मेट्रिक को बेहतर बनाता है।
• पोस्ट-ट्रीटमेंट व्यवहार को कोवेरिएट के रूप में उपयोग करना और पोस्ट-ट्रीटमेंट लीकेज बनाना।
• रॉ इफेक्ट्स, इंटरवल्स और A/A साक्ष्यों के बिना केवल वेरिएंस-रिडक्शन प्रतिशत की रिपोर्ट करना।
• परिणाम देखने के बाद कोवेरिएट्स, ट्रिमिंग या विंडोज का चयन करना।
• रैंडमाइजेशन लेवल को अनदेखा करना और डिवाइस की पंक्तियों को स्वतंत्र यूज़र सैंपल्स मानना।
• स्टैंडर्ड एरर्स को निर्दिष्ट किए बिना रेश्यो, परसेंटाइल या हैवी-टेल्ड आउटकम्स पर मीन फॉर्मूला लागू करना।

इम्प्लीमेंटेशन ट्रेड-ऑफ

एक्सपेरिमेंट स्केल, कोवेरिएट क्वालिटी और लॉन्च रिस्क के आधार पर CUPED चुनें, फिर सिमुलेशन और गार्डरेल मेट्रिक्स के साथ इसे वैलिडेट करें।

फॉलो-अप प्रश्न और उत्तर

क्या होगा यदि कोवेरिएट आउटकम के साथ शायद ही कोरिलेटेड हो?

लाभ शून्य के करीब होगा, और एस्टीमेशन नॉइज़ जटिलता जोड़ सकता है। इसे सक्षम करने से पहले प्री-एक्सपेरिमेंट डेटा से कोरिलेशन और अपेक्षित वेरिएंस रिडक्शन का अनुमान लगाएं; केवल विधि का उपयोग करने के लिए रिपोर्टिंग मेट्रिक न बनाएं।

क्या आप एकाधिक (multiple) कोवेरिएट्स का उपयोग कर सकते हैं?

हाँ, प्रोजेक्शन को मल्टीवेरिएट रिग्रेशन एडजस्टमेंट तक बढ़ाएं, लेकिन फीचर्स को फ्रीज करें, कोलिनियरिटी को संभालें और एक्सपेरिमेंट डिज़ाइन से मेल खाने वाले स्टैंडर्ड एरर्स का उपयोग करें। अधिक कोवेरिएट्स अपने आप बेहतर नहीं होते हैं; प्री-रजिस्ट्रेशन या क्रॉस-वैलिडेशन को ओवरफिटिंग को सीमित करना चाहिए।

एक्सपेरिमेंट के दौरान क्लिक्स का उपयोग क्यों न करें?

ट्रीटमेंट क्लिक्स को प्रभावित कर सकता है। उनके लिए एडजस्ट करने से ट्रीटमेंट इफेक्ट का हिस्सा हट सकता है या कोलाइडर बायस (collider bias) आ सकता है। CUPED कोवेरिएट को ट्रीटमेंट से पहले मापा जाना चाहिए और इसे असाइनमेंट से अप्रभावित रहना चाहिए।

क्या होगा यदि वेरिएंस कम हो जाए लेकिन इफेक्ट की दिशा बदल जाए?

मेट्रिक डेफिनिशन्स, जॉइन्स, मिसिंग वैल्यूज़ और एक्सट्रीम वैल्यूज़ की जांच करें, फिर रॉ और एडजस्टेड इंटरवल्स की तुलना करें। यदि दिशा परिवर्तन सैंपलिंग नॉइज़ नहीं है, तो उस एनालिसिस वर्शन को रोकें और लीकेज या एस्टीमेटर मिसमैच की जांच करें।

आप प्रोडक्ट डिसीजन-मेकर्स के साथ CUPED का संचार कैसे करते हैं?

बिज़नेस इफेक्ट, इंटरवल, रॉ मेट्रिक, एडजस्टेड मेट्रिक, वेरिएंस गेन, रन ड्यूरेशन और मान्यताओं को एक साथ प्रदान करें। एक निर्णय केवल एडजस्टेड सिग्निफिकेंस पर नहीं, बल्कि मिनिमम मीनिंगफुल इफेक्ट और रिस्क बाउंड्री पर निर्भर करता है।

स्कोरिंग रूब्रिक

एक मजबूत उम्मीदवार वेरिएंस रिडक्शन, कॉज़ल सीमाओं, डेटा क्वालिटी और प्रोडक्ट निर्णयों को एक दोबारा पेश करने योग्य (reproducible) वर्कफ्लो में जोड़ता है। एक उम्मीदवार जो केवल लाइब्रेरी फ़ंक्शन को कॉल करता है और लीकेज या रैंडमाइजेशन की व्याख्या नहीं कर सकता है, उसे और अधिक जांच की आवश्यकता होती है।