प्रॉम्प्ट और दायरा
एक प्रोडक्ट टीम केवल कुछ क्षेत्रों में एक नया चेकआउट फ़्लो लॉन्च करती है। लॉन्च से पहले, ट्रीटेड क्षेत्रों में कन्वर्ज़न 10% और कंट्रोल क्षेत्रों में 8% है; बाद में यह क्रमशः 14% और 9% हो जाता है। आप डिफरेंस-इन-डिफरेंसेस के साथ इस बदलाव का मूल्यांकन कैसे करेंगे?
यह डेटा साइंस, प्रोडक्ट एनालिटिक्स और एक्सपेरिमेंटेशन-प्लेटफ़ॉर्म भूमिकाओं के लिए एक कॉज़ल-इन्फ़रेंस (कारणात्मक निष्कर्ष) प्रॉम्प्ट है। ये चार प्रतिशत इंटरव्यू की मान्यताएँ हैं, कोई प्रेक्षित व्यावसायिक परिणाम नहीं। विवरणात्मक बदलाव को कॉज़ल आइडेंटिफिकेशन से अलग रखें और असाइनमेंट, समय अंतराल (टाइम विंडो), पैरेलल ट्रेंड्स और स्टैगर्ड रोलआउट के जोखिमों पर चर्चा करें।
इंटरव्यूअर क्या मूल्यांकन करता है
एक मजबूत उत्तर मान्यताओं की जाँच करने से पहले एस्टिमैंड (estimand) को परिभाषित करता है; वह सीधे “कन्वर्ज़न तीन अंक बढ़ गया” पर नहीं कूदता। इंटरव्यूअर चयन पूर्वाग्रह (selection bias), समवर्ती झटकों (concurrent shocks), स्पिलओवर (spillovers), दोहराए गए प्रेक्षणों, क्लस्टर्ड स्टैंडर्ड एरर्स और इस जोखिम को भी देखता है कि स्टैगर्ड एडॉप्शन के तहत एक सरल (naive) टू-वे फिक्स्ड-इफेक्ट्स मॉडल प्रभावों को आपस में मिला तो नहीं रहा है।
स्पष्टीकरण हेतु प्रश्न
- क्षेत्रों को ट्रीटमेंट कैसे सौंपा गया है, और क्या व्यवसाय ने अपेक्षित उच्च-विकास वाले क्षेत्रों को चुना था?
- क्या ट्रेंड की जाँच के लिए लॉन्च से पहले की कई अवधियाँ (pre-launch periods) उपलब्ध हैं?
- क्या उसी समय मूल्य निर्धारण (प्राइसिंग), मार्केटिंग, मौसमी प्रभाव (सीज़नलिटी), या ट्रैफ़िक मिक्स में बदलाव हुआ था?
- क्या उपयोगकर्ता एक क्षेत्र से दूसरे क्षेत्र में जा सकते हैं या माइग्रेट कर सकते हैं, जिससे कंट्रोल ग्रुप में स्पिलओवर पैदा हो?
- क्या लॉन्च एक साथ हुआ था या अलग-अलग तारीखों पर चरणबद्ध (स्टैगर्ड) रूप से?
- विश्लेषण की इकाई कोई उपयोगकर्ता है, ऑर्डर है, या क्षेत्र है, और त्रुटियों (errors) को किस स्तर पर क्लस्टर किया जाना चाहिए?
30-सेकंड का उत्तर
“सबसे पहले मैं इस बदलाव को डिफरेंस-इन-डिफरेंसेस के रूप में लिखूँगा: ट्रीटेड बदलाव में से कंट्रोल बदलाव को घटाना। यहाँ बिंदु अनुमान (point estimate) तीन प्रतिशत अंक है। इसका कॉज़ल अर्थ केवल तभी निकलता है जब ट्रीटमेंट से पहले के ट्रेंड तुलनीय हों और कोई भिन्न समवर्ती झटके या महत्वपूर्ण स्पिलओवर न हों। मैं कई प्री-पीरियड्स का प्लॉट बनाऊँगा, उचित कोवैरिएट्स को नियंत्रित करूँगा, और असाइनमेंट स्तर पर एरर्स को क्लस्टर करूँगा। स्टैगर्ड रोलआउट के लिए, मैं सरल टू-वे फिक्स्ड इफेक्ट्स पर निर्भर रहने के बजाय स्टैगर्ड ट्रीटमेंट के लिए डिज़ाइन किए गए एस्टिमेटर का उपयोग करूँगा और रोबस्टनेस की तुलना करूँगा।”
चरण-दर-चरण गहन विश्लेषण
चरण 1: विवरणात्मक अनुमान की गणना करें
ट्रीटमेंट क्षेत्रों में 10% से 14% तक का बदलाव होता है, जो चार अंकों की वृद्धि है। कंट्रोल क्षेत्रों में 8% से 9% का बदलाव होता है, जो एक अंक की वृद्धि है। DiD (14%-10%) - (9%-8%) = 3 प्रतिशत अंक है। यह एक सापेक्ष बदलाव है, अभी तक इस बात का प्रमाण नहीं है कि यह बदलाव प्रोडक्ट के कारण ही हुआ है।
चरण 2: आइडेंटिफिकेशन मान्यताओं की जाँच करें
प्रमुख मान्यता पैरेलल ट्रेंड्स की है: बदलाव के बिना, परिणाम का अंतर समान रूप से विकसित हुआ होता। यह देखने के लिए कि क्या समूह पहले से ही अलग हो रहे थे, लॉन्च से पहले के कई औसतों और अंतरालों को प्लॉट करें। क्षेत्र-विशिष्ट अभियानों, लॉजिस्टिक्स परिवर्तनों, व्यापक आर्थिक झटकों (मैक्रो शॉक्स) और माइग्रेशन की जाँच करें। केवल एक बार के पहले-और-बाद के विश्लेषण से पैरेलल ट्रेंड्स स्थापित नहीं किए जा सकते; इसके लिए व्यावसायिक स्पष्टीकरण के साथ कई अवधियों को संयोजित करें।
चरण 3: अनुमान और निष्कर्ष पद्धति चुनें
एक साथ ट्रीटमेंट और एक ही एडॉप्शन तिथि के साथ, क्षेत्र और समय के फिक्स्ड इफेक्ट्स का उपयोग करें और क्षेत्र के आधार पर एरर्स को क्लस्टर करें। कम ट्रीटेड क्षेत्रों के मामले में, एसिम्प्टोटिक स्टैंडर्ड एरर्स अविश्वसनीय हो सकते हैं, इसलिए रैंडमाइज़ेशन इन्फ़रेंस या स्मॉल-क्लस्टर पद्धति जोड़ें। स्टैगर्ड एडॉप्शन के लिए, पहले कोहोर्ट-विशिष्ट डायनेमिक्स का अनुमान लगाएँ। NBER का स्टैगर्ड-एडॉप्शन मार्गदर्शन चेतावनी देता है कि जब प्रभाव कोहोर्ट या समय के अनुसार भिन्न होते हैं, तो सरल टू-वे फिक्स्ड इफेक्ट्स समस्याग्रस्त भारों के साथ प्रभावों को मिला सकते हैं; इसलिए स्टैगर्ड ट्रीटमेंट के लिए उपयुक्त एस्टिमेटर्स की तुलना करें।
चरण 4: काउंटरफ़ैक्चुअल और रोबस्टनेस जाँच चलाएँ
प्लेसबो लॉन्च तिथियों, प्लेसबो क्षेत्रों और वैकल्पिक समय अंतरालों का परीक्षण करें। उचित कोवैरिएट्स जोड़ें और अनुमानों की तुलना करें; अस्वाभाविक परिवर्तनों के लिए नकारात्मक परिणामों (negative outcomes) और रिटेंशन की जाँच करें। यदि स्पिलओवर महत्वपूर्ण है, तो गैर-समीपवर्ती (non-adjacent) कंट्रोल्स या उच्च-स्तरीय ट्रीटमेंट का उपयोग करें। केवल तीन प्रतिशत अंक ही नहीं, बल्कि पॉइंट एस्टिमेट, इंटरवल, सैंपल साइज़, क्लस्टर लेवल और अनुपलब्ध डेटा (missing data) से निपटने के तरीके की रिपोर्ट करें।
उच्च-गुणवत्ता वाला नमूना उत्तर
“अंकगणित यह है कि ट्रीटेड क्षेत्रों में चार अंकों की वृद्धि में से कंट्रोल में एक अंक की वृद्धि घटाई जाए, इसलिए DiD पॉइंट एस्टिमेट तीन प्रतिशत अंक है। यह केवल एक सापेक्ष बदलाव है। यह चेकआउट-फ़्लो का कॉज़ल प्रभाव तभी बनता है जब लॉन्च के अभाव में समूह तुलनीय ट्रेंड्स का पालन करते, लॉन्च के साथ कोई क्षेत्र-विशिष्ट झटका न जुड़ा होता, और स्पिलओवर सीमित होता।
मैं कन्वर्ज़न और अंतर को प्लॉट करने के लिए लॉन्च से पहले की कई अवधियों का उपयोग करूँगा, यह सत्यापित करूँगा कि ट्रीटमेंट कैसे सौंपा गया था, और मार्केटिंग, मूल्य, ट्रैफ़िक और छुट्टियों के बदलावों की जाँच करूँगा। एक साथ लॉन्च के लिए, मैं क्षेत्र-क्लस्टर्ड एरर्स के साथ क्षेत्र और समय के फिक्स्ड इफेक्ट्स का उपयोग करूँगा। कम क्षेत्रों के साथ, मैं रैंडमाइज़ेशन या स्मॉल-क्लस्टर इन्फ़रेंस जोड़ूँगा।
स्टैगर्ड लॉन्च के लिए, मैं सरल टू-वे फिक्स्ड इफेक्ट्स पर निर्भर रहने के बजाय डायनेमिक कोहोर्ट प्रभावों का अनुमान लगाऊँगा और स्टैगर्ड ट्रीटमेंट के लिए डिज़ाइन किए गए एस्टिमेटर से तुलना करूँगा। मैं प्लेसबो तिथियाँ, प्लेसबो क्षेत्र, वैकल्पिक विंडो और नकारात्मक-परिणाम जाँच चलाऊँगा, फिर अंतराल और मान्यताओं की रिपोर्ट करूँगा। यदि प्री-ट्रेंड्स स्पष्ट रूप से गैर-समानांतर हैं या स्पिलओवर को नियंत्रित नहीं किया जा सकता है, तो मैं परिणाम को घटाकर केवल एक सहसंबंध (association) मानूँगा और एक रैंडमाइज़्ड या बेहतर-पृथक रोलआउट की सिफारिश करूँगा।”
सामान्य गलतियाँ
- तीन अंकों को कॉज़ल कहना → केवल एक सापेक्ष बदलाव की गणना की गई थी → आइडेंटिफिकेशन मान्यताओं और अनिश्चितता को स्पष्ट करें।
- केवल एक प्री-पीरियड बिंदु की जाँच करना → पैरेलल ट्रेंड्स का आकलन नहीं किया जा सकता → एकाधिक अवधियों और इवेंट-स्टडी प्लॉट का उपयोग करें।
- असाइनमेंट पूर्वाग्रह की अनदेखी करना → उच्च-विकास वाले क्षेत्रों का चयन किया गया हो सकता है → असाइनमेंट का विश्लेषण करें और कोवैरिएट्स को उचित ठहराएँ।
- स्टैगर्ड रोलआउट पर सरल TWFE लागू करना → कोहोर्ट प्रभाव एक-दूसरे को दूषित कर सकते हैं → स्टैगर्ड-ट्रीटमेंट एस्टिमेटर्स और संवेदनशीलता जाँच का उपयोग करें।
- उपयोगकर्ता के आधार पर क्लस्टरिंग करना → ट्रीटमेंट क्षेत्र के आधार पर सौंपा गया था → असाइनमेंट स्तर पर क्लस्टर करें या रोबस्ट इन्फ़रेंस का उपयोग करें।
- स्पिलओवर की अनदेखी करना → कंट्रोल्स को अप्रत्यक्ष रूप से ट्रीटमेंट मिल सकता है → गैर-समीपवर्ती कंट्रोल्स या उच्च-स्तरीय रोलआउट का उपयोग करें।
- केवल एक पॉइंट एस्टिमेट की रिपोर्ट करना → सटीकता और सैंपल की सीमाएँ छिप जाती हैं → इंटरवल, काउंट, अनुपलब्धता और विंडो की रिपोर्ट करें।
फ़ॉलो-अप प्रश्न
फ़ॉलो-अप 1: प्री-ट्रेंड्स पहले से ही अलग (diverge) थे। क्या आप अभी भी DiD का उपयोग कर सकते हैं?
इसके पीछे के तंत्र (मैकेनिज़्म) और अधिक तुलनीय कंट्रोल की तलाश करें। एक उचित कोवैरिएट या संकीर्ण विंडो मदद कर सकती है, लेकिन रिग्रेशन को किसी अस्पष्टीकृत भिन्नता को सतही तौर पर सपाट नहीं करना चाहिए। यदि पैरेलल ट्रेंड्स विश्वसनीय नहीं हैं, तो रैंडमाइज़ेशन का उपयोग करें या परिणाम को केवल सहसंबंधात्मक (associative) चिह्नित करें।
फ़ॉलो-अप 2: केवल तीन ट्रीटेड क्षेत्र हैं। आप अनिश्चितता का अनुमान कैसे लगाते हैं?
बड़े-क्लस्टर एसिम्प्टोटिक्स पर भरोसा न करें। रैंडमाइज़ेशन इन्फ़रेंस, वाइल्ड बूटस्ट्रैप, या कम क्लस्टर्स के लिए उपयुक्त सिंथेटिक-कंट्रोल डिज़ाइन पर विचार करें, और क्षेत्र-स्तरीय अनिश्चितता को पारदर्शी रूप से रिपोर्ट करें।
फ़ॉलो-अप 3: उपयोगकर्ता क्षेत्रों के बीच आते-जाते हैं। क्या बदलता है?
एक्सपोज़र को परिभाषित करें, जैसे कि पहला स्थिर क्षेत्र या अकाउंट का गृह क्षेत्र। संवेदनशीलता विश्लेषण के लिए स्पष्ट रूप से स्थानांतरित होने वाले उपयोगकर्ताओं को बाहर करें और माइग्रेशन को मापें। मजबूत स्पिलओवर क्षेत्र-स्तरीय काउंटरफ़ैक्चुअल को तोड़ देता है।
फ़ॉलो-अप 4: परिणाम सांख्यिकीय रूप से महत्वपूर्ण है लेकिन राजस्व सपाट (flat) है। आप इसे कैसे समझाएँगे?
कन्वर्ज़न को ऑर्डर वैल्यू, रिफ़ंड, रिटेंशन और अधिग्रहण लागत में विभाजित करें, और नकारात्मक परिणामों का निरीक्षण करें। DiD लक्षित मीट्रिक के परिवर्तन की पहचान करता है; यह स्वचालित रूप से कुल व्यावसायिक मूल्य स्थापित नहीं करता है।