प्रॉम्प्ट और संदर्भ
दिखाई देने वाला परिणाम केवल उन्हीं यूज़र्स के बीच मापा जाता है जिनका परिणाम (outcome) देखा गया है। साक्षात्कार में यह पूछा जाता है कि क्या वे यूज़र्स जो मंथन (churn) कर गए, टेलीमेट्री में विफल रहे, या फ़िल्टर कर दिए गए, वे व्यवस्थित रूप से भिन्न हैं, और एक मान्य निर्णय जनसंख्या (decision population) को कैसे बहाल किया जाए।
साक्षात्कारकर्ता क्या जांचता है
- सर्वाइवरशिप बायस को चयनित सर्वाइवर्स पर कंडीशनिंग के रूप में पहचानना।
- परिणाम दरों को पढ़ने से पहले असाइनमेंट डिनॉमिनेटर का पुनर्निर्माण करना।
- मिसिंगनेस (missingness), एक्सपोज़र और ट्रीटमेंट प्रभावों को अलग करना।
उत्तर देने से पहले स्पष्ट करने वाले प्रश्न
- क्या प्राथमिक एस्टिमैंड (estimand) सभी असाइन किए गए यूज़र्स पर इंटेंट-टू-ट्रीट (intent-to-treat) है या प्रति-प्रोटोकॉल (per-protocol) प्रभाव?
- यूज़र्स कब और क्यों छोड़ सकते हैं, टेलीमेट्री अक्षम कर सकते हैं, या अपात्र हो सकते हैं?
- क्या असाइनमेंट काउंट, एक्सपोज़र काउंट और आउटकम काउंट आर्म और सेगमेंट के आधार पर उपलब्ध हैं?
- क्या रिटेंशन फ़िल्टर लॉन्च से पहले परिभाषित किया गया था, या परिणाम देखने के बाद पेश किया गया था?
30-सेकंड का उत्तर ढांचा
मैं निर्णय को रोक दूंगा, असाइनमेंट से एक्सपोज़र और आउटकम तक फ़नल का पुनर्निर्माण करूंगा, और आर्म द्वारा एट्रिशन (attrition) की तुलना करूंगा। प्राथमिक विश्लेषण में सभी रैंडमाइज़्ड यूज़र्स को डिनॉमिनेटर में रखा जाना चाहिए, और मिसिंग परिणामों को स्पष्ट रूप से हैंडल किया जाना चाहिए। मैं सैंपल-रेशियो मिसमैच, टेलीमेट्री लॉस और प्री-ट्रीटमेंट सेगमेंट का निरीक्षण करूंगा, फिर संभावित मिसिंग परिणामों के लिए संवेदनशीलता सीमाएं (sensitivity bounds) रिपोर्ट करूंगा। केवल सर्वाइवर्स में होने वाली वृद्धि विवरणात्मक हो सकती है, लेकिन मजबूत मान्यताओं के बिना यह लॉन्च का वास्तविक प्रभाव नहीं हो सकती।
चरण-दर-चरण विस्तृत विश्लेषण
1. जनसंख्या को परिभाषित करें
इकाई, असाइनमेंट समय, पात्रता नियम और मापन विंडो को नाम दें। इंटेंट-टू-ट्रीट जनसंख्या में प्रत्येक असाइन किए गए यूज़र को बनाए रखें; इसे चुपचाप उन यूज़र्स से न बदलें जिन्होंने फीचर खोला या सक्रिय रहे।
2. फ़नल का पुनर्निर्माण करें
प्रत्येक आर्म के लिए, असाइन किए गए यूज़र्स, एक्सपोज़्ड यूज़र्स, सक्रिय यूज़र्स, देखे गए परिणाम और मिसिंग परिणामों की गणना करें। दरें और पूर्ण संख्याएं (absolute counts) जोड़ें। यदि ट्रीटमेंट के कारण अधिक यूज़र्स शुरुआत में ही बाहर हो जाते हैं, तो सर्वाइवर्स के बीच उच्च कन्वर्ज़न दर कुल कन्वर्ज़न के खराब होने के साथ भी मौजूद हो सकती है।
3. चयन तंत्र का निदान करें
सैंपल-रेशियो मिसमैच, रोलआउट नियम, क्लाइंट वर्ज़न, भूगोल, डिवाइस, लेटेंसी और इवेंट डिलीवरी की जांच करें। रीटेन किए गए और गायब यूज़र्स के प्री-ट्रीटमेंट व्यवहार की तुलना करें। यदि मिसिंगनेस ट्रीटमेंट या आउटकम रिस्क पर निर्भर करती है, तो कम्प्लीट-केस एनालिसिस (complete-case analysis) पक्षपाती (biased) होगी।
4. प्राथमिक अनुमान चुनें
लॉन्च निर्णय के लिए इंटेंट-टू-ट्रीट का उपयोग करें, जिसमें मिसिंग परिणामों को पूर्व-निर्दिष्ट नियम या सीमाओं द्वारा संभाला जाए। प्रति-प्रोटोकॉल या केवल-सर्वाइवर परिणामों को द्वितीयक के रूप में रिपोर्ट करें और उनकी मान्यताओं को लेबल करें। यदि रैंडमाइज़ेशन या टेलीमेट्री ख़राब है, तो विजेता की झूठी कहानी गढ़ने के बजाय पाइपलाइन को ठीक करें या प्रयोग को दोबारा चलाएं।
5. अनिश्चितता संप्रेषित करें
आर्म काउंट, एट्रिशन अंतर, अंतराल और संवेदनशीलता परिदृश्य दिखाएं। केवल प्री-ट्रीटमेंट वेरिएबल्स पर सेगमेंट करें और विश्लेषण को पहले से निर्दिष्ट करें। जब प्रशंसनीय मिसिंग-आउटकम मान्यताओं के आधार पर निर्णय बदल जाए, तो मामले को आगे बढ़ाएं (escalate करें)।
उच्च-गुणवत्ता वाला नमूना उत्तर
"मैं लॉन्च को रोक दूंगा और दोनों आर्म्स के लिए असाइनमेंट-टू-आउटकम फ़नल का पुनर्निर्माण करूंगा। मेरा प्राथमिक अनुमान प्रत्येक रैंडमाइज़्ड यूज़र को बनाए रखता है, जबकि केवल-सर्वाइवर कन्वर्ज़न द्वितीयक है। मैं सैंपल-रेशियो मिसमैच, टेलीमेट्री लॉस और आर्म-विशिष्ट एट्रिशन का परीक्षण करूंगा, फिर देखे गए और गायब यूज़र्स के बीच प्री-ट्रीटमेंट जोखिम की तुलना करूंगा। मैं इंटेंट-टू-ट्रीट अंतराल के साथ संवेदनशीलता सीमाएं प्रकाशित करूंगा; यदि निष्कर्ष गैर-परीक्षण योग्य मिसिंग परिणामों या टूटे हुए रैंडमाइज़ेशन पथ पर निर्भर करता है, तो मैं प्रयोग को ठीक करूंगा या इसे दोबारा चलाऊंगा।"
सामान्य गलतियाँ
- केवल सक्रिय यूज़र्स का उपयोग करना → ट्रीटमेंट से संबंधित मंथन गायब हो जाता है → इंटेंट-टू-ट्रीट के लिए सभी असाइन किए गए यूज़र्स को बनाए रखें।
- मिसिंग इवेंट्स को यादृच्छिक मानना → टेलीमेट्री लॉस आर्म या परिणाम पर निर्भर हो सकता है → मिसिंगनेस का निदान करें और संवेदनशीलता की रिपोर्ट करें।
- एक्सपोज़र को स्वचालित रूप से डिनॉमिनेटर कहना → एक्सपोज़र पोस्ट-ट्रीटमेंट हो सकता है → फ़िल्टर करने से पहले एस्टिमैंड बताएं।
- प्रतिशत में एट्रिशन को छिपाना → असमान संख्याएं निर्णय को उलट सकती हैं → पूर्ण संख्याएं और आर्म अंतर दिखाएं।
अनुवर्ती प्रश्न और उत्तर
क्या मिसिंग परिणामों को सरलता से इम्प्यूट (impute) किया जा सकता है?
केवल एक निर्दिष्ट मॉडल और संवेदनशीलता विश्लेषण के साथ। मल्टीपल इम्प्यूटेशन मिसिंग-एट-रैंडम मान्यताओं के तहत उपयोगी हो सकता है, लेकिन यह उन मान्यताओं को साबित नहीं करता है; वर्स्ट-केस या टिपिंग-पॉइंट सीमाएं निर्णय की नाजुकता को प्रकट कर सकती हैं।
प्रति-प्रोटोकॉल परिणाम कब उपयोगी होता है?
यह उन यूज़र्स के बीच प्रभाव का वर्णन कर सकता है जिन्होंने एक परिभाषित प्रोटोकॉल का पालन किया, लेकिन अनुपालन (adherence) अक्सर पोस्ट-ट्रीटमेंट होता है। इसे द्वितीयक मानें और मान्यताओं की व्याख्या करें या ट्रीटमेंट अनुपालन के लिए डिज़ाइन की गई किसी कारण-संबंधी (causal) विधि का उपयोग करें।
आप सर्वाइवरशिप बायस को सैंपल-रेशियो मिसमैच से कैसे अलग करते हैं?
सैंपल-रेशियो मिसमैच नियोजित विभाजन से विचलित होने वाले असाइनमेंट काउंट से संबंधित है। सर्वाइवरशिप बायस असाइनमेंट के बाद एक चयनित सबसेट पर कंडीशनिंग से संबंधित है। वे एक साथ सह-अस्तित्व में हो सकते हैं, इसलिए रैंडमाइज़ेशन डिनॉमिनेटर और डाउनस्ट्रीम रिटेंशन दोनों का ऑडिट करें।