प्रॉम्प्ट और संदर्भ
क्लिक को असाइनमेंट के बाद देखा जाता है और यह ट्रीटमेंट से प्रभावित होता है। विश्लेषण को केवल क्लिक करने वालों तक सीमित करना एक उपयोगी सबग्रुप तुलना लग सकता है, लेकिन यह उस रैंडमाइज़ेशन को नष्ट कर सकता है जिसने समग्र ट्रीटमेंट प्रभाव की पहचान की थी।
इंटरव्यूअर क्या जांचता है
- प्री-ट्रीटमेंट मॉडरेटर और पोस्ट-ट्रीटमेंट मीडिएटर के बीच अंतर करना।
- कॉज़ल ग्राफ़ की सहायता से कोलाइडर और सेलेक्शन बायस को समझाना।
- ऐसा एस्टिमैंड चुनना जो प्रोडक्ट निर्णय से मेल खाता हो।
उत्तर देने से पहले स्पष्टीकरण हेतु प्रश्न
- क्या क्लिक को असाइनमेंट से पहले मापा गया है, असाइनमेंट के बाद, या दोनों समय?
- क्या निर्णय कुल प्रभाव के बारे में है, कंप्लायर्स (अनुपालन करने वालों) के बीच के प्रभाव के बारे में है, या पैनल के माध्यम से होने वाले मैकेनिज़्म के बारे में है?
- क्या ऐसे प्री-ट्रीटमेंट वेरिएबल्स हैं जो क्लिक करने और खरीदारी दोनों का सटीक अनुमान लगाते हैं?
- क्या प्रयोग से पहले क्लिक फ़िल्टर की योजना बनाई गई थी और क्या यह एक मान्य पहचान रणनीति द्वारा समर्थित था?
30-सेकंड का उत्तर फ़्रेमवर्क
मैं मुख्य परिणाम के रूप में केवल देखे गए क्लिकर्स के बीच खरीदारों की तुलना नहीं करूँगा। क्लिक करना एक पोस्ट-ट्रीटमेंट मीडिएटर है और यह उन अनमापे लक्षणों से भी प्रभावित हो सकता है जो खरीदारी का अनुमान लगाते हैं। इस पर कंडीशनिंग करने से एक नॉन-कॉज़ल पाथ खुल सकता है और दोनों आर्म्स का रैंडमाइज़ेशन ख़राब हो सकता है। मैं सभी असाइन किए गए यूज़र्स के लिए इंटेंट-टू-ट्रीट रिपोर्ट करूँगा, और फिर स्पष्ट मान्यताओं के साथ ही पूर्व-निर्दिष्ट मीडिएशन या प्रिंसिपल-स्ट्रैटिफिकेशन विश्लेषण का उपयोग करूँगा।
चरण-दर-चरण विस्तृत विवरण
1. समय क्रम (time order) बनाएं
असाइनमेंट क्लिक से पहले होता है, और क्लिक खरीदारी से पहले होता है। एक बेसलाइन लक्षण क्लिक और खरीदारी दोनों को प्रभावित कर सकता है। ट्रीटमेंट क्लिक को भी प्रभावित करता है, इसलिए क्लिकर सबसेट को ट्रीटमेंट के डाउनस्ट्रीम वेरिएबल का उपयोग करके चुना जाता है।
2. कॉज़ल प्रश्न बताएं
कुल प्रभाव यह पूछता है कि यदि प्रोडक्ट को पूरी असाइन की गई आबादी के लिए रोल आउट किया जाए तो क्या होगा। एक मैकेनिज़्म प्रश्न यह पूछता है कि पैनल के माध्यम से कितना प्रभाव उत्पन्न होता है। एक रिस्पॉन्डर प्रश्न उन यूज़र्स के बारे में पूछता है जिनका क्लिक व्यवहार दोनों में से किसी भी आर्म के तहत समान होगा। ये अलग-अलग एस्टिमैंड हैं।
3. दिखाएं कि फ़िल्टरिंग क्यों विफल हो जाती है
क्लिकर सबसेट के भीतर, ट्रीटमेंट और कंट्रोल यूज़र्स खरीदारी की अंतर्निहित प्रवृत्ति (latent purchase propensity) में भिन्न हो सकते हैं क्योंकि ट्रीटमेंट ने यह बदल दिया कि उस सबसेट में कौन शामिल हुआ। मूल रैंडमाइज़ेशन पूरी असाइन की गई आबादी की सुरक्षा करता है, किसी मनमाने पोस्ट-ट्रीटमेंट हिस्से की नहीं।
4. एक बचाव योग्य विश्लेषण चुनें
लॉन्च अनुमान के रूप में इंटेंट-टू-ट्रीट का उपयोग करें। मीडिएशन के लिए, बेसलाइन कोवेरिएट्स को पहले से निर्दिष्ट करें, मीडिएटर और आउटकम विंडो को परिभाषित करें, और मीडिएटर-आउटकम कन्फ़ाउंडिंग के बारे में मान्यताओं को स्पष्ट रूप से बताएं। अनुपालन प्रश्नों के लिए, प्रिंसिपल स्ट्रैटिफिकेशन या इंस्ट्रूमेंटल-वेरिएबल विधियों पर विचार करें जब उनकी मान्यताएं विश्वसनीय हों।
5. सीमाओं से अवगत कराएं
समग्र अनुमान, आर्म के अनुसार क्लिक दरें, और द्वितीयक विश्लेषण को अलग-अलग दिखाएं। केवल इसलिए क्लिकर तुलना को कॉज़ल (कारण-संबंधी) न कहें क्योंकि सैंपल बड़ा है या क्लिक इवेंट अवलोकनीय है। बताएं कि कौन से निष्कर्ष पहचाने गए हैं और कौन से मान्यताओं पर निर्भर करते हैं।
उच्च गुणवत्ता वाला नमूना उत्तर
"क्लिक असाइनमेंट के बाद होता है और ट्रीटमेंट द्वारा बदला जाता है, इसलिए क्लिकर्स पर फ़िल्टर करना एक मीडिएटर पर कंडीशन लगाने जैसा है। यह ट्रीटमेंट और कंट्रोल में खरीदारी की विभिन्न अंतर्निहित प्रवृत्तियों का चयन कर सकता है और रैंडमाइज़ेशन की सुरक्षा को तोड़ सकता है। मैं लॉन्च निर्णय के लिए इंटेंट-टू-ट्रीट का उपयोग करूँगा, क्लिक दरें और समग्र खरीदारी प्रभाव दिखाऊंगा, और किसी भी मैकेनिज़्म या रिस्पॉन्डर विश्लेषण को द्वितीयक मानूँगा। मैं मीडिएशन या प्रिंसिपल-स्ट्रैटिफिकेशन विधियों का उपयोग करने से पहले एक कॉज़ल ग्राफ़ और मान्यताओं को पूर्व-निर्दिष्ट करूँगा।"
सामान्य गलतियाँ
- केवल क्लिकर्स की तुलना करना → ट्रीटमेंट बदल देता है कि कौन शामिल है → इंटेंट-टू-ट्रीट को प्राथमिक बनाए रखें।
- क्लिक को बेसलाइन सेगमेंट कहना → इसे असाइनमेंट के बाद मापा जाता है → समय क्रम को रिकॉर्ड करें।
- हर देखे गए व्यवहार के लिए एडजस्ट करना → पोस्ट-ट्रीटमेंट कंडीशनिंग बायस के रास्ते खोल सकती है → उचित प्री-ट्रीटमेंट कोवेरिएट्स का उपयोग करें।
- एक बड़े सबग्रुप को कॉज़ल मानना → प्रिसिजन (सटीकता) पहचान को बहाल नहीं करती है → एस्टिमैंड और मान्यताओं को स्पष्ट रूप से बताएं।
फ़ॉलो-अप प्रश्न और उत्तर
क्या मैं अभी भी क्लिकर परिणाम रिपोर्ट कर सकता हूँ?
हाँ, एक विवरणात्मक (descriptive) या स्पष्ट रूप से धारणा-निर्भर द्वितीयक परिणाम के रूप में। इसे देखे गए क्लिकर्स के भीतर एक एसोसिएशन के रूप में लेबल करें और दिखाएं कि फ़िल्टर आर्म के संयोजन को कैसे बदलता है।
रिग्रेशन में क्लिक को सीधे कंट्रोल क्यों नहीं कर सकते?
रिग्रेशन एडजस्टमेंट किसी पोस्ट-ट्रीटमेंट वेरिएबल को प्री-ट्रीटमेंट नहीं बनाता है। यह ट्रीटमेंट प्रभाव के एक हिस्से को ब्लॉक कर सकता है और कोलाइडर बायस पैदा कर सकता है जब अनमापे कारण क्लिक और खरीदारी दोनों को प्रभावित करते हैं।
क्या होगा यदि प्रोडक्ट का निर्णय विशेष रूप से क्लिक करने वालों के लिए हो?
टारगेट को एक प्रिंसिपल स्ट्रैटम के रूप में परिभाषित करें, जैसे कि वे यूज़र्स जो किसी भी आर्म के तहत क्लिक करेंगे, और एक ऐसी पहचान पद्धति का उपयोग करें जिसकी मान्यताओं का आप बचाव कर सकें। देखे गए क्लिकर्स स्वचालित रूप से वह स्ट्रैटम नहीं बन जाते हैं।