संकेत और पृष्ठभूमि
एक समग्र मीट्रिक प्रत्येक महत्वपूर्ण उपसमूह (subgroup) का खंडन करता है। इसका कार्य यह निर्धारित करना है कि क्या सेगमेंट-मिश्रण असंतुलन, कन्फ़ाउंडर (confounder), चयन नियम या सैंपलिंग त्रुटि के कारण यह उलटफेर हुआ है, और सांख्यिकीय सुधार लागू करने से पहले एक एस्टिमैंड (estimand) का चयन करना है।
साक्षात्कारकर्ता क्या जांचता है
- सिम्पसन के विरोधाभास को एक गणितीय विरोधाभास के रूप में नहीं, बल्कि एक एकत्रीकरण उलटफेर (aggregation reversal) के रूप में पहचानना।
- उपचार आवंटन (treatment assignment), सेगमेंट संतुलन, हर (denominators), और पूर्व-निर्दिष्ट विश्लेषण योजनाओं की जांच करना।
- वर्णनात्मक जुड़ाव (descriptive association) को कारणात्मक उपचार प्रभाव (causal treatment effect) से अलग करना।
उत्तर देने से पहले स्पष्टीकरण हेतु प्रश्न
- कौन से सेगमेंट उपचार से पहले परिभाषित किए गए थे और कौन से बाद में खोजे गए?
- क्या आवंटन यादृच्छिक (randomized) था, और क्या एक्सपोज़र तथा अनुपस्थित परिणाम (missing-outcome) दरें संतुलित हैं?
- क्या निर्णय समग्र जनसंख्या, किसी लक्षित सेगमेंट, या मानकीकरण के बाद नीतिगत प्रभाव के बारे में है?
- क्या स्पार्स सेल (sparse cells), दोहराए गए उपयोगकर्ता, या पोस्ट-ट्रीटमेंट चर हैं जिन पर शर्त (conditioning) लगाई जा रही है?
30-सेकंड उत्तर रूपरेखा
मैं हर (denominators) के साथ समग्र और सेगमेंट तालिकाओं को फिर से तैयार करूंगा, यादृच्छिकीकरण और एक्सपोज़र संतुलन को सत्यापित करूंगा, और उस चर की पहचान करूंगा जो सेगमेंट मिश्रण को बदलता है। मैं लक्षित एस्टिमैंड को पूर्व-निर्दिष्ट करूंगा, फिर अनिश्चितता के साथ मानकीकृत या स्तरीकृत प्रभावों की रिपोर्ट करूंगा। यदि यादृच्छिकीकरण विफल रहा, तो मैं प्रयोग को फिर से चलाऊंगा या उसमें सुधार करूंगा; यदि सेगमेंट एक वास्तविक प्रभाव संशोधक (effect modifier) है, तो मैं इसे केवल एक मुख्य संख्या में संक्षिप्त नहीं करूंगा।
चरण-दर-चरण गहन विश्लेषण
1. अंकगणित का पुनर्निर्माण करें
प्रत्येक सेगमेंट के लिए, उपचार उपयोगकर्ता, नियंत्रण उपयोगकर्ता, रूपांतरण और दरें दिखाएं। एकत्रित दरें भारित औसत (weighted averages) होती हैं; अलग-अलग भार तुलना को उलट सकते हैं, भले ही प्रत्येक सेगमेंट उपचार के पक्ष में हो। जांचें कि क्या डैशबोर्ड ने अपने हर (denominator) के रूप में इंप्रेशन, एक्सपोज़्ड उपयोगकर्ता, या सभी असाइन किए गए उपयोगकर्ताओं का उपयोग किया है।
2. आवंटन और एक्सपोज़र का ऑडिट करें
परिणाम देखने से पहले उपचार की संभावना और सेगमेंट अनुपात की तुलना करें। रोलआउट नियम, डिवाइस पात्रता, भूगोल, समय विंडो, बॉट्स और छूटी हुई घटनाओं की जांच करें। कम-बेसलाइन-रूपांतरण वाले सेगमेंट में केंद्रित एक उपचार समूह सेगमेंट के भीतर सकारात्मक प्रभावों का खंडन किए बिना समग्र रूप से पीछे रह सकता है।
3. एस्टिमैंड (estimand) को परिभाषित करें
समग्र इंटेंट-टू-ट्रीट (intent-to-treat) प्रभाव जनसंख्या लॉन्च से संबंधित प्रश्न का उत्तर देता है। एक सेगमेंट-विशिष्ट प्रभाव उत्तर देता है कि क्या उपचार डिवाइस के आधार पर अलग तरह से काम करता है। एक मानकीकृत प्रभाव चुने हुए लक्षित जनसंख्या के लिए सेगमेंट-विशिष्ट अनुमानों को फिर से भारित करता है। स्पष्ट करें कि निर्णय को किस प्रश्न की आवश्यकता है; कोई भी समायोजन सार्वभौमिक रूप से सही नहीं होता है।
4. समाधान चुनें
मान्य यादृच्छिकीकरण और पर्याप्त सेल के साथ, विश्वास अंतराल (confidence intervals) के साथ स्तरीकृत या प्रतिगमन-समायोजित अनुमानों की रिपोर्ट करें और सावधानीपूर्वक इंटरैक्शन का परीक्षण करें। आवंटन असंतुलन के साथ, यादृच्छिकीकरण को ठीक करें या फिर से चलाएं। अवलोकनात्मक डेटा (observational data) के लिए, एक कारणात्मक ग्राफ़ बनाएं, केवल उपचार-पूर्व कन्फ़ाउंडर के लिए समायोजन करें, और संवेदनशीलता विश्लेषण के साथ वेटिंग या मिलान (matching) का उपयोग करें। केवल उलटफेर को हटाने के लिए कभी भी उपचार-पश्चात मध्यस्थ (post-treatment mediator) के लिए समायोजन न करें।
5. लॉन्च निर्णय का संचार करें
अनिश्चितता और सेगमेंट के आकार सहित समग्र, सेगमेंट और मानकीकृत अनुमानों को एक साथ दिखाएं। वैश्विक स्तर पर केवल तभी लॉन्च करें जब लक्षित एस्टिमैंड और जोखिम सहनशीलता इसका समर्थन करते हों; अन्यथा सेगमेंट के अनुसार रोल आउट करें, अधिक डेटा एकत्र करें, या रोकें। विश्लेषण योजना का दस्तावेजीकरण करें ताकि बार-बार उपसमूह खोजने से गलत सकारात्मक (false positives) परिणाम न बढ़ें।
उच्च गुणवत्ता वाला नमूना उत्तर
"मैं पहले उपचार और नियंत्रण हर (denominators) के साथ दोनों दरों का पुनर्निर्माण करूंगा और आवंटन, एक्सपोज़र, पात्रता और छूटी हुई घटना के संतुलन को सत्यापित करूंगा। फिर मैं उस सेगमेंट की पहचान करूंगा जो भार अंतर पैदा कर रहा है और परिभाषित करूंगा कि क्या हमें इंटेंट-टू-ट्रीट जनसंख्या प्रभाव की आवश्यकता है या सेगमेंट-विशिष्ट प्रभाव की। ठोस यादृच्छिकीकरण के साथ, मैं अंतरालों के साथ स्तरीकृत और मानकीकृत अनुमानों की रिपोर्ट करूंगा और इंटरैक्शन का निरीक्षण करूंगा; असंतुलन के साथ, मैं प्रयोग को फिर से चलाऊंगा या सुधारूंगा। मैं लॉन्च मेमो में सभी दृष्टिकोण दिखाऊंगा और उपचार-पश्चात समायोजन या अनियोजित उपसमूह खोज (subgroup fishing) से बचूंगा।"
सामान्य गलतियाँ
- डैशबोर्ड के समग्र डेटा पर भरोसा करना → वेटिंग सिग्नल को उलट सकती है → सेगमेंट के अंश (numerators), हर (denominators), और भारों की पुनर्गणना करें।
- सेगमेंट के परिणाम को स्वचालित रूप से कारणात्मक घोषित करना → आवंटन या एक्सपोज़र पक्षपाती हो सकता है → पहले यादृच्छिकीकरण और अनुपस्थित परिणामों का ऑडिट करें।
- प्रत्येक उपलब्ध चर के लिए समायोजन करना → उपचार-पश्चात पूर्वाग्रह बढ़ सकता है → केवल उचित उपचार-पूर्व कन्फ़ाउंडर के लिए समायोजन करें।
- लॉन्च का समर्थन करने वाले किसी भी परिणाम को चुनना → एस्टिमैंड चुपचाप बदल जाता है → लक्षित जनसंख्या और विश्लेषण को पूर्व-निर्दिष्ट करें।
अनुवर्ती प्रश्न और उत्तर
क्या सिम्पसन का विरोधाभास हमेशा एक समस्या है?
नहीं। यह संकेत देता है कि समग्र और सशर्त प्रश्न भिन्न हैं। समग्र डेटा सही लॉन्च एस्टिमैंड हो सकता है, जबकि एक सेगमेंट प्रभाव सही लक्ष्यीकरण निर्णय हो सकता है; समस्या यह है कि यह स्पष्ट नहीं किया जाता कि किसका इरादा है।
आप एक बहुत छोटे सेगमेंट को कैसे संभालते हैं?
इसकी अनिश्चितता दिखाएं और शोर भरे उलटफेर की अति-व्याख्या से बचें। पदानुक्रमित मॉडल (hierarchical models) या पूर्व-निर्दिष्ट पूलिंग नियम पर विचार करें, और सेगमेंट-विशिष्ट प्रतिबद्धता बनाने से पहले अधिक अवलोकन एकत्र करें।
क्या होगा यदि सेगमेंट चर उपचार के बाद (post-treatment) का हो?
प्राथमिक कारणात्मक अनुमान के लिए इस पर शर्त (condition) न लगाएं। इसे वर्णनात्मक रूप से रिपोर्ट करें या स्पष्ट मान्यताओं के साथ मध्यस्थता विश्लेषण (mediation analysis) का उपयोग करें; शर्त लगाने से कोलाइडर (collider) या मध्यस्थ पूर्वाग्रह उत्पन्न हो सकता है।