डेटा साइंस इंटरव्यू: नेटवर्क इंटरफेरेंस (हस्तक्षेप) के तहत A/B टेस्ट कैसे डिज़ाइन करें?

सवाल और संदर्भ

एक ऑन-डिमांड डिलीवरी मार्केटप्लेस 24 ऑपरेटिंग ज़ोन में एक नए डिस्पैच एल्गोरिदम का परीक्षण करना चाहता है। एक ट्रीटमेंट ऑर्डर उस कूरियर को क्लेम कर सकता है जो अन्यथा कंट्रोल ऑर्डर को मिलता, और कूरियर आस-पास के ज़ोन के बीच जा सकते हैं। पूरे बाज़ार में एल्गोरिदम को रोल आउट करने के प्रभाव का अनुमान लगाने के लिए एक प्रयोग डिज़ाइन करें। एस्टीमैंड, रैंडमाइज़ेशन यूनिट, स्पिलओवर और कैरीओवर नियंत्रण, पावर कैलकुलेशन, विश्लेषण, गार्डरेल्स और लॉन्च निर्णय की व्याख्या करें।

24 ज़ोन, इंटरवेंशन और ऑपरेटिंग विवरण इंटरव्यू-केस मान्यताएँ हैं, किसी वास्तविक प्लेटफ़ॉर्म के तथ्य नहीं। मान लें कि एल्गोरिदम प्रतिवर्ती (रिवर्सिबल) है और इसे एक प्रयोग सेवा द्वारा चुना जा सकता है। किसी स्विचबैक विंडो या वॉशआउट अवधि को स्वतः न मानें; उन्हें ऑर्डर और कूरियर की गतिशीलता से उचित ठहराया जाना चाहिए।

यह डेटा वैज्ञानिकों, एक्सपेरिमेंटेशन वैज्ञानिकों, अर्थशास्त्रियों और प्रोडक्ट विश्लेषकों के लिए एक कठिन प्रयोग-डिज़ाइन प्रश्न है। एक सार्वजनिक इंटरव्यू-प्रश्न पृष्ठ नेटवर्क प्रयोग को एक कठिन डेटा-साइंस और डेटा-एनालिस्ट केस के रूप में वर्गीकृत करता है और 7 अप्रैल, 2026 की पूछे जाने की तारीख दर्ज करता है। LinkedIn ने सोशल-नेटवर्क हस्तक्षेप का पता लगाने के लिए क्लस्टर प्रयोगों का दस्तावेज़ीकरण किया है। DoorDash ने डिस्पैच के लिए रीजन-टाइम स्विचबैक का दस्तावेज़ीकरण किया है और, 2025 के मार्केटप्लेस-विज्ञापन केस में, यह समझाया है कि कैरीओवर और कम पावर स्विचबैक को एक खराब विकल्प क्यों बना सकते हैं जब किसी संसाधन को इसके बजाय अलग (आइसोलेट) किया जा सकता है। ICLR 2026 का एक पेपर क्लस्टर-रैंडमाइज़्ड नेटवर्क प्रयोगों में बायस-वेरिएंस समस्या का अध्ययन जारी रखता है। साथ मिलकर, ये स्रोत वर्तमान प्रतिनिधित्व और तकनीकी प्रासंगिकता का समर्थन करते हैं। वे यह स्थापित नहीं करते हैं कि कोई कंपनी इस प्रश्न को कितनी बार पूछती है या इसे किसी नामित कंपनी को सौंपने का औचित्य साबित नहीं करते हैं।

केंद्रीय विफलता ऑर्डर को रैंडमाइज़ करना और दो उपयोगकर्ता-स्तरीय माध्यों की तुलना करना है। एल्गोरिदम एक साझा कूरियर पूल तक पहुँच को बदल देता है, इसलिए एक ऑर्डर का ट्रीटमेंट दूसरे ऑर्डर के परिणाम को बदल सकता है। यह एक सामान्य A/B व्याख्या के पीछे नो-इंटरफेरेंस (हस्तक्षेप-रहित) शर्त का उल्लंघन करता है। एक मजबूत उत्तर पहले रुचि के प्रभाव को परिभाषित करता है, मैप करता है कि ट्रीटमेंट स्थान और समय के माध्यम से कैसे यात्रा करता है, और फिर असाइनमेंट, एस्टीमेटर, अनिश्चितता गणना और रोलआउट निर्णय को उसी प्रश्न का उत्तर देने योग्य बनाता है।

इंटरव्यूअर क्या मूल्यांकन कर रहा है

पहला, क्या उम्मीदवार कारण (कॉज़ल) प्रश्न को परिभाषित कर सकता है? "क्या ट्रीटमेंट कंट्रोल को हराता है?" अपूर्ण है। प्रोडक्ट का निर्णय पूरे बाज़ार में नए एल्गोरिदम को लागू करने के प्रभाव से संबंधित है, जो एक ट्रीट किए गए ऑर्डर पर प्रत्यक्ष प्रभाव से भिन्न हो सकता है जबकि पड़ोसी मिश्रित बने रहते हैं।

दूसरा, क्या उम्मीदवार एक तंत्र के रूप में हस्तक्षेप का वर्णन कर सकता है? साझा कूरियर ऑर्डर के बीच प्रतिस्पर्धा पैदा करते हैं; कूरियर की आवाजाही आस-पास के ज़ोन को जोड़ती है; खुली डिलीवरी और व्यवहार संबंधी प्रतिक्रियाएँ समय के साथ कैरीओवर पैदा करती हैं। इन किनारों (एज) की पहचान किए बिना केवल "नेटवर्क प्रभाव" का नाम लेने से डिज़ाइन निर्धारित नहीं होता है।

तीसरा, क्या उम्मीदवार केवल "क्लस्टर रैंडमाइज़ेशन" का पाठ करने के बजाय डिज़ाइनों के बीच चयन कर सकता है? भौगोलिक क्लस्टर क्रॉस-आर्म प्रतिस्पर्धा को कम करते हैं लेकिन कुछ स्वतंत्र इकाइयाँ छोड़ सकते हैं। स्विचबैक अधिक रीजन-टाइम इकाइयाँ बनाते हैं लेकिन कैरीओवर द्वारा पक्षपाती (बायस्ड) हो सकते हैं। टू-स्टेज सैचुरेशन डिज़ाइन एक सोशल ग्राफ में प्रत्यक्ष और स्पिलओवर प्रभावों को अलग कर सकते हैं। रिसोर्स स्प्लिटिंग आइसोलेटेड यूनिवर्स बना सकती है जब दुर्लभ बजट या इन्वेंट्री को वास्तव में विभाजित किया जा सकता है।

चौथा, क्या उम्मीदवार असाइनमेंट के साथ विश्लेषण को संरेखित कर सकता है? लाखों ऑर्डर लाखों स्वतंत्र अवलोकन नहीं बनाते हैं जब ट्रीटमेंट कुछ मार्केट-टाइम ब्लॉक्स को सौंपा जाता है। पावर, वेटिंग, मानक त्रुटियाँ और रैंडमाइज़ेशन जाँच को डिज़ाइन में इकाइयों और असाइनमेंट संभावनाओं को प्रतिबिंबित करना चाहिए।

अंत में, क्या उम्मीदवार भ्रामक परिणाम को अस्वीकार कर सकता है? एक मजबूत उत्तर लिफ्ट पढ़ने से पहले असाइनमेंट, एक्सपोज़र, बाउंड्री क्रॉसिंग, दृढ़ता, समवर्ती प्रयोगों और मीट्रिक परिपक्वता की जाँच करता है। यह भी बताता है कि स्विचबैक कब अल्पकालिक नीति प्रभाव का अनुमान लगाता है लेकिन दीर्घकालिक संतुलन या सीखे गए कूरियर व्यवहार के बारे में दावे का समर्थन नहीं कर सकता है।

पूछने के लिए स्पष्टीकरण वाले प्रश्न

• कौन सा प्रभाव निर्णय को संचालित करता है? क्या लक्ष्य प्रति पात्र ऑर्डर का प्रभाव है यदि प्रत्येक ज़ोन नई नीति का उपयोग करता है, प्रति मार्केट-टाइम ब्लॉक का औसत प्रभाव, ट्रीट किए गए ऑर्डर पर प्रत्यक्ष प्रभाव, या गैर-ट्रीट किए गए ऑर्डर पर स्पिलओवर? एस्टीमेटर और वेटिंग इस विकल्प पर निर्भर करते हैं।
• हस्तक्षेप कहाँ यात्रा करता है? क्या एक कूरियर कई ज़ोन की सेवा कर सकता है? क्या किसी ऑर्डर का मिलान सीमा के पार किया जा सकता है? क्या मूल्य निर्धारण, प्रोत्साहन, बैचिंग, या कतार प्राथमिकताएँ भी ज़ोन को जोड़ती हैं? उत्तर हस्तक्षेप ग्राफ को परिभाषित करता है।
• ट्रीटमेंट बाद के परिणामों को कितने समय तक प्रभावित कर सकता है? असाइनमेंट, पिकअप, पूरा होने, कूरियर के पुनर्गठन और आपूर्ति में वापसी के समय का वितरण क्या है? एक प्रतिवर्ती कोड पथ का अर्थ तत्काल प्रतिवर्ती बाज़ार स्थिति नहीं है।
• कितने स्वतंत्र बाज़ार मौजूद हैं? क्या 24 ज़ोन अलग-अलग लेबर पूल हैं या चार कसकर जुड़े शहरों के उप-विभाजन हैं? चौबीस लेबल केवल चार उपयोगी भौगोलिक क्लस्टरों का प्रतिनिधित्व कर सकते हैं।
• क्या दुर्लभ संसाधन को अलग किया जा सकता है? एक बजट, उम्मीदवार इन्वेंट्री, या कोटा को स्वतंत्र पूलों में विभाजित किया जा सकता है। कूरियर की आमतौर पर नकल नहीं की जा सकती है, इसलिए डिस्पैच के लिए रिसोर्स-यूनिवर्स रैंडमाइज़ेशन अव्यावहारिक हो सकता है।
• प्राथमिक परिणाम और हर (डिनॉमिनेटर) क्या है? प्रति पात्र ऑर्डर पूर्ण डिलीवरी, पिकअप समय, कूरियर उपयोग और सकल बुकिंग विभिन्न प्रश्नों के उत्तर देते हैं। ट्रीटमेंट द्वारा कतार प्रविष्टि या पूर्णता को बदलने से पहले पात्रता तय की जानी चाहिए।
• कौन से विलंबित और दोतरफा गार्डरेल्स मायने रखते हैं? उम्मीदवार गार्डरेल्स में रद्दीकरण, देर से डिलीवरी, कूरियर की प्रति सक्रिय घंटे की कमाई, निष्क्रिय समय, स्वीकृति, ग्राहक शिकायतें और क्रॉस-ज़ोन विस्थापन शामिल हैं।
• कौन सी समवर्ती नीतियां उसी बाज़ार को बदलती हैं? प्रचार, मूल्य निर्धारण, मौसम की प्रतिक्रियाएं और अन्य डिस्पैच प्रयोग असाइनमेंट के साथ इंटरैक्ट कर सकते हैं। उन्हें ब्लॉकिंग, बहिष्करण या स्पष्ट रूप से फैक्टोरियल डिज़ाइन की आवश्यकता हो सकती है।
• कौन से असाइनमेंट और एक्सपोज़र लॉग मौजूद हैं? टीम को डिज़ाइन की विफलता को प्रोडक्ट प्रभाव से अलग करने के लिए निर्धारित संस्करण, वास्तविक एल्गोरिदम, मार्केट क्लस्टर, टाइम ब्लॉक, ऑर्डर पात्रता समय, कूरियर ट्रांज़िशन, फ़ॉलबैक और परिणाम परिपक्वता की आवश्यकता होती है।

30-सेकंड का उत्तर ढाँचा

"मैं पहले एस्टीमैंड को प्रति पात्र ऑर्डर परिवर्तन के रूप में परिभाषित करूँगा यदि पूरा लक्षित बाज़ार नई डिस्पैच नीति का उपयोग करता है। ऑर्डर-स्तरीय रैंडमाइज़ेशन अमान्य है क्योंकि ट्रीटमेंट और कंट्रोल एक ही कूरियर के लिए प्रतिस्पर्धा करते हैं। मैं एक मूवमेंट और मैचिंग ग्राफ बनाऊँगा, भारी क्रॉस-बाउंड्री ट्रैफ़िक वाले ज़ोन को मिलाऊँगा, और क्योंकि नीति प्रतिवर्ती है, इसलिए एक रैंडमाइज़्ड क्लस्टर-बाय-टाइम स्विचबैक का मूल्यांकन करूँगा। ब्लॉक और कोई भी निश्चित ट्रांज़िशन विंडो डिफ़ॉल्ट अवधि से नहीं, बल्कि देखे गए कैरीओवर से आएगी। मैं ऐतिहासिक क्लस्टर-ब्लॉक वेरिएंस और ऑटोकोरिलेशन से पावर की योजना बनाऊँगा, असाइनमेंट शेड्यूल का उपयोग करके इंटेंशन-टू-ट्रीट का विश्लेषण करूँगा, और प्रति-ऑर्डर एस्टीमैंड और क्लस्टर डिज़ाइन से मेल खाने वाले एस्टीमेटर और अनिश्चितता पद्धति का उपयोग करूँगा। लिफ्ट पढ़ने से पहले, मैं असाइनमेंट, वास्तविक एक्सपोज़र, संदूषण और मीट्रिक परिपक्वता को सत्यापित करूँगा। मैं केवल तभी एक स्थायी क्षेत्रीय रैंप के माध्यम से शिप करूँगा जब पूर्णता में सुधार हो और ग्राहक और कूरियर गार्डरेल्स पास हो जाएँ; लंबे समय तक चलने वाली सीख या अनसुलझे स्पिलओवर के लिए इसके बजाय एक लंबे क्लस्टर रोलआउट की आवश्यकता होगी।"

चरण-दर-चरण गहन विश्लेषण

चरण 1: बकेट चुनने से पहले एस्टीमैंड को परिभाषित करें

लक्षित कंट्रास्ट को शब्दों में लिखें: "उन ऑर्डरों के लिए जो किसी भी नीति के तहत पात्र होंगे, प्राथमिक परिणाम में क्या परिवर्तन होता है जब लक्षित बाज़ार में प्रत्येक इकाई वर्तमान एल्गोरिदम के बजाय नए एल्गोरिदम का पालन करती है?" यह एक पूर्ण-रोलआउट नीति प्रभाव है।

हस्तक्षेप के तहत, एक ऑर्डर का परिणाम उसके अपने असाइनमेंट और उसके आसपास के असाइनमेंट पर निर्भर करता है। एक मिश्रित-बाज़ार उपयोगकर्ता-स्तरीय परीक्षण मुख्य रूप से आंशिक संतृप्ति के तहत एक प्रत्यक्ष प्रभाव का अनुमान लगाता है; यह सभी-ट्रीटमेंट बनाम सभी-कंट्रोल कंट्रास्ट के बराबर होने की आवश्यकता नहीं है। यदि व्यवसाय प्रत्यक्ष और स्पिलओवर प्रभाव दोनों चाहता है, तो दोनों की पहचान करने के लिए एक ट्रीटमेंट-कंट्रोल अंतर की अपेक्षा करने के बजाय उन्हें अलग-अलग एस्टीमैंड के रूप में नाम दें।

नीति द्वारा इसे प्रभावित करने से पहले पात्रता को फ़्रीज़ करें। उदाहरण के लिए, अनुरोध की वैधता, सेवा क्षेत्र और डिस्पैच से पहले दर्ज किए गए टाइमस्टैम्प से पात्र ऑर्डर को परिभाषित करें। प्रति पात्र ऑर्डर पूर्ण डिलीवरी जैसा परिणाम विफलताओं और बेमेल ऑर्डरों को सुरक्षित रखता है। "पूर्ण ट्रीटमेंट ऑर्डरों के बीच औसत डिलीवरी समय" पोस्ट-ट्रीटमेंट घटना पर निर्भर करता है और यह उस नीति को तेज़ दिखा सकता है जो कठिन ऑर्डरों को छोड़ देती है।

चरण 2: "नेटवर्क प्रभाव" को एक हस्तक्षेप मानचित्र में बदलें

परिचालन डेटा और प्रोडक्ट नियमों से किनारे (एज) बनाएं:

• ऑर्डर तब जुड़े होते हैं जब वे ओवरलैपिंग अंतराल के दौरान एक ही कूरियर के लिए प्रतिस्पर्धा करते हैं;
• ज़ोन क्रॉस-ज़ोन मैचिंग और कूरियर आवाजाही द्वारा जुड़े होते हैं;
• टाइम ब्लॉक तब तक जुड़े रहते हैं जब तक कि एक असाइन की गई डिलीवरी खुली रहती है या एक कूरियर विस्थापित रहता है;
• नीतियां तब जुड़ी होती हैं जब मूल्य निर्धारण, बैचिंग, प्रोत्साहन, या कोई अन्य प्रयोग समान क्षमता को बदलता है।

इस मानचित्र के लिए प्रयोग-पूर्व डेटा का उपयोग करें। ट्रीटमेंट द्वारा बनाए गए व्यवहार से क्लस्टर न बनाएं। प्रत्येक प्रस्तावित सीमा को पार करने वाले मैचों और कूरियर ट्रांज़िशन के हिस्से को मापें। एक उपयोगी क्लस्टरिंग अधिकांश मजबूत किनारों को एक क्लस्टर के भीतर रखती है जबकि पावर के लिए पर्याप्त क्लस्टर बनाए रखती है। LinkedIn का प्रकाशित दृष्टिकोण इसी ट्रेड-ऑफ को स्पष्ट करता है: अधिक क्लस्टर अधिक रैंडमाइज़ेशन इकाइयाँ प्रदान करते हैं, जबकि बड़े क्लस्टर ट्रीटमेंट और कंट्रोल के बीच पार करने वाले किनारों को कम करते हैं।

मानचित्र उन परिणामों की भी पहचान करता है जिन्हें डिज़ाइन अलग नहीं कर सकता है। यदि कूरियर नियमित रूप से प्रत्येक ज़ोन की सीमा को पार करते हैं, तो ज़ोन-स्तरीय असाइनमेंट केवल एक जुड़े हुए बाज़ार को फिर से लेबल करता है। टीम को समय के साथ पूरे शहर के स्तर पर रैंडमाइज़ करने, अलग-अलग लगातार बाज़ारों का उपयोग करने, या एक कमजोर कारण दावे को स्वीकार करने की आवश्यकता हो सकती है।

चरण 3: तंत्र के विरुद्ध डिज़ाइनों की तुलना करें

व्यक्तिगत बर्नौली रैंडमाइज़ेशन में उच्च नाममात्र नमूना आकार होता है और यह तब उपयोगी होता है जब इकाइयाँ एक-दूसरे को प्रभावित नहीं करती हैं। यह इस डिस्पैच नीति के लिए अनुपयुक्त है क्योंकि ट्रीटमेंट ऑर्डर साझा क्षमता का उपभोग करते हैं और कंट्रोल को दूषित करते हैं।

लगातार भौगोलिक क्लस्टर रैंडमाइज़ेशन पूरे प्रयोग के लिए एक पर्याप्त रूप से पृथक बाज़ार क्लस्टर में सभी पात्र ट्रैफ़िक को एक नीति प्रदान करता है। यह तेजी से स्विचिंग की तुलना में लंबे कैरीओवर और व्यवहारिक सीखने को बेहतर ढंग से संभालता है, लेकिन 24 ज़ोन केवल कुछ जुड़े हुए बाज़ारों में सिमट सकते हैं। संतुलन, पावर और सामान्यीकरण तब कठिन हो जाता है।

क्लस्टर्ड स्विचबैक रैंडमाइज़ेशन एक जुड़े हुए भौगोलिक क्लस्टर को एक टाइम ब्लॉक के लिए एक नीति प्रदान करता है, फिर भविष्य के ब्लॉकों को फिर से रैंडमाइज़ करता है। यह एक प्रतिवर्ती डिस्पैच एल्गोरिदम में फिट बैठता है जिसके महत्वपूर्ण प्रभाव एक औसत दर्जे की अवधि के भीतर क्षय हो जाते हैं। DoorDash का प्रकाशित डिस्पैच डिज़ाइन इसी कारण से रीजन-टाइम इकाइयों का उपयोग करता है। यह अधिक प्रयोगात्मक इकाइयाँ बनाता है, लेकिन खुले ऑर्डर, स्थानांतरित कूरियर, या बदले हुए व्यवहार के बने रहने पर पड़ोसी ब्लॉक अभी भी जुड़े रहते हैं।

टू-स्टेज या सैचुरेशन रैंडमाइज़ेशन पहले एक नेटवर्क क्लस्टर को ट्रीटमेंट सैचुरेशन प्रदान करता है, फिर इसके भीतर सदस्यों को असाइन करता है। यह पहचान सकता है कि पड़ोसियों के एक्सपोज़र के साथ परिणाम कैसे बदलते हैं और सामाजिक या रेफरल सुविधाओं के लिए उपयोगी है। यह अधिक जटिल और कम स्वाभाविक है जब एक डिस्पैच नीति को एक पल में एक ही साझा कूरियर पूल को नियंत्रित करना चाहिए।

आइसोलेटेड-यूनिवर्स रैंडमाइज़ेशन हस्तक्षेप करने वाले संसाधन को ही विभाजित करता है। DoorDash का 2025 का विज्ञापन उदाहरण अभियान बजट को विभाजित करता है ताकि वेरिएंट एक दूसरे के बजट का उपभोग न कर सकें। जब संसाधन विभाज्य हो और प्रत्येक यूनिवर्स सामान्य रूप से काम कर सके तो यह स्विचबैक से अधिक मजबूत हो सकता है। यह यह दिखावा करके कोई मान्य समाधान नहीं बनाता है कि एक ही कूरियर दो स्वतंत्र पूलों से संबंधित है।

बताए गए केस के लिए, केवल यह पुष्टि करने के बाद एक क्लस्टर्ड स्विचबैक चुनें कि मुख्य प्रभाव काफी तेज़ी से क्षय होता है। भारी रूप से जुड़े आस-पास के ज़ोन को मार्केट क्लस्टरों में समूहित करें, फिर मार्केट-क्लस्टर × टाइम-ब्लॉक इकाइयों को रैंडमाइज़ करें। यदि प्रभाव में हफ्तों की कूरियर लर्निंग या लगातार रीपोजिशनिंग शामिल है, तो इसके बजाय एक सतत क्लस्टर रोलआउट का उपयोग करें।

चरण 4: स्विचबैक शेड्यूल और ट्रांज़िशन नियम डिज़ाइन करें

प्रयोग-पूर्व ऑर्डर लाइफटाइम, कूरियर ट्रांज़िशन और परिचालन सिमुलेशन से कैरीओवर का अनुमान लगाएं, फिर A/A डेटा के साथ उम्मीदवार शेड्यूल का परीक्षण करें। ब्लॉक इतना लंबा होना चाहिए कि प्रासंगिक स्थिति का एक बड़ा हिस्सा हल हो जाए, लेकिन छोटे ब्लॉक अधिक इकाइयाँ बनाते हैं और आमतौर पर अधिक पावर देते हैं। क्षेत्र का आकार समान ट्रेड-ऑफ बनाता है: बड़े क्षेत्र स्थानिक रिसाव (स्पेशियल लीकेज) को कम करते हैं और स्वतंत्र इकाइयों की संख्या को कम करते हैं।

मार्केट क्लस्टर, सप्ताह के दिन और दिन के समय के बैंड जैसे पूर्व-निर्दिष्ट स्तरों (स्ट्रेटा) के भीतर प्रत्येक ब्लॉक को रैंडमाइज़ करें। ट्रीटमेंट और कंट्रोल को नियतात्मक रूप से (डिटरमिनिस्टिकली) वैकल्पिक न करें, क्योंकि एक निश्चित क्रम मांग के रुझान के साथ संरेखित हो सकता है। क्रमों को संतुलित करें और एक महत्वपूर्ण समय बैंड के दौरान किसी क्लस्टर को केवल एक ही प्रकार का संस्करण प्राप्त करने से रोकें।

परिणाम आने से पहले ट्रांज़िशन को परिभाषित करें। प्राथमिक विश्लेषण प्रत्येक पात्र ऑर्डर को उसकी पात्रता के समय निर्धारित नीति के लिए जिम्मेदार ठहरा सकता है और परिपक्वता तक इसका पालन कर सकता है। यदि प्रोटोकॉल बाउंड्री वॉशआउट का उपयोग करता है, तो उस अंतराल को शेड्यूल द्वारा तय करें, इसे दोनों आर्म्स से बाहर करें, परिवर्तित एस्टीमैंड की व्याख्या करें, और पावर में इसके नुकसान को शामिल करें। परिणामों का निरीक्षण करने के बाद "दूषित दिखने वाले" ऑर्डरों को न हटाएं।

एक संक्षिप्त पूर्व-घोषित असाइनमेंट रिकॉर्ड हो सकता है:

experimental unit = market cluster × time block
assignment = randomized within market cluster × time-of-week stratum
eligibility time = recorded before dispatch policy selection
primary outcome = completed delivery within the fixed maturity horizon per eligible order
primary estimand = full-rollout effect per eligible order
transition rule = fixed before exposure; no outcome-based exclusions

चरण 5: ऑर्डर की संख्या से नहीं, बल्कि प्रभावी इकाइयों से पावर की योजना बनाएं

क्लस्टर-ब्लॉक में वेरिएंस, एक बाज़ार के भीतर सीरियल कोरिलेशन, सामान्य समय के झटके, असमान ट्रैफ़िक, और किसी भी नियोजित सहसंयोजक (कोवैरिएट) समायोजन का अनुमान लगाने के लिए ऐतिहासिक A/A अवधियों या रीप्ले किए गए असाइनमेंट शेड्यूल का उपयोग करें। प्रस्तावित शेड्यूल को कई बार फिर से रैंडमाइज़ करें और मापें कि यह यथार्थवादी कैरीओवर मान्यताओं के तहत पूर्व-निर्दिष्ट न्यूनतम प्रभाव का कितनी बार पता लगाता है।

प्रभावी नमूना स्वतंत्र असाइनमेंट जानकारी द्वारा संचालित होता है, न कि एक ब्लॉक के अंदर नेस्टेड डिलीवरी की कच्ची संख्या द्वारा। ब्लॉकों को छोटा करने से इकाइयाँ जुड़ सकती हैं लेकिन कैरीओवर बायस बढ़ सकता है। क्लस्टरों को बड़ा करने से स्थानिक रिसाव कम हो सकता है लेकिन इकाइयाँ हट सकती हैं। पावर प्लानिंग को इस बायस-वेरिएंस फ्रंटियर को दिखाना चाहिए और परिचालन लागत के लायक सबसे छोटे प्रभाव का चयन करना चाहिए, न कि ऐसे शेड्यूल की खोज करनी चाहिए जो सार्थकता की गारंटी देता हो।

केवल प्री-ट्रीटमेंट कोवैरिएट्स का उपयोग करके अवधि, आवंटन, स्टॉपिंग रूल्स और किसी भी वेरिएंस में कमी को पूर्व-निर्दिष्ट करें। यदि उपलब्ध क्लस्टर न्यूनतम निर्णय-योग्य प्रभाव की पहचान नहीं कर सकते हैं, तो लॉन्च से पहले उस सीमा को बताएं। विशाल ऑर्डर संख्या चार स्वतंत्र बाज़ारों की मरम्मत नहीं कर सकती है।

चरण 6: डिज़ाइन और एस्टीमैंड के अनुसार विश्लेषण करें

रैंडमाइज़्ड शेड्यूल से इंटेंशन-टू-ट्रीट असाइनमेंट का उपयोग करें। अनुपालन और वास्तविक एल्गोरिदम एक्सपोज़र की अलग से रिपोर्ट करें; ट्रीटमेंट से फ़ॉलबैक ऑर्डर न हटाएं। क्लस्टर-ब्लॉक स्तर पर डायग्नोस्टिक्स को एकत्रित करें, क्योंकि वहीं असाइनमेंट बदलता है।

वेटिंग को एस्टीमैंड से मिलाएँ। क्लस्टर-ब्लॉक में एक अनवेटेड माध्य एक औसत ब्लॉक प्रभाव का अनुमान लगाता है। यदि निर्णय लक्ष्य रोलआउट के तहत प्रति पात्र ऑर्डर एक प्रभाव है और क्लस्टर आकार भिन्न होते हैं, तो ज्ञात असाइनमेंट संभावनाओं के आधार पर डिज़ाइन-अनुरूप Horvitz-Thompson या Hájek-शैली एस्टीमेटर का उपयोग करें, और इसकी लक्षित जनसंख्या का उल्लेख करें। एस्टीमैंड को चुपचाप बदलने के बजाय द्वितीयक दृश्य के रूप में औसत ब्लॉक प्रभाव की रिपोर्ट करें।

अनिश्चितता के लिए, जब संभव हो तो वास्तविक असाइनमेंट योजना पर रैंडमाइज़ेशन इनफ़्रेंस को प्राथमिकता दें। एक मॉडल-आधारित विकल्प को बाज़ारों के भीतर बार-बार अवलोकनों, सीरियल निर्भरता, साझा समय के झटकों और स्तरीकरण का ध्यान रखना चाहिए। प्रत्येक ऑर्डर को स्वतंत्र मानने से कृत्रिम रूप से संकीर्ण अंतराल उत्पन्न होते हैं। अनुमान, अंतराल, न्यूनतम निर्णय-योग्य प्रभाव और पूर्व-निर्दिष्ट ट्रांज़िशन नियम के प्रति संवेदनशीलता की रिपोर्ट करें।

प्रभाव से पहले, स्वास्थ्य जाँच चलाएँ:

1. प्रत्येक स्तर के भीतर निर्धारित ट्रीटमेंट शेयर और संतुलन;
2. असाइनमेंट की दृढ़ता और वास्तविक एल्गोरिदम एक्सपोज़र;
3. आर्म द्वारा पात्र-ऑर्डर, फ़ॉलबैक और मिसिंग-इवेंट दरें;
4. क्रॉस-क्लस्टर मैचिंग और कूरियर आवाजाही;
5. परिणाम परिपक्वता और विलंबित रद्दीकरण;
6. समवर्ती प्रयोग और नीति ओवरलैप;
7. उसी पाइपलाइन के तहत झूठी-सकारात्मक दरों का A/A कैलिब्रेशन।

चरण 7: परिणाम को रोलआउट निर्णय से जोड़ें

डिस्पैच उद्देश्य से जुड़ा एक प्राथमिक परिणाम चुनें, जैसे कि प्रति पात्र ऑर्डर एक निश्चित समय सीमा के भीतर पूर्ण डिलीवरी। ग्राहक गार्डरेल्स जोड़ें जैसे रद्दीकरण, देरी, शिकायत दर और पिकअप प्रतीक्षा; कूरियर गार्डरेल्स में प्रति सक्रिय घंटे की कमाई, निष्क्रिय समय, स्वीकृति और असुरक्षित कार्यभार एकाग्रता शामिल हो सकते हैं। एक्सपोज़र से पहले नुकसान के मार्जिन और रोलबैक थ्रेसहोल्ड को परिभाषित करें।

एक सकारात्मक स्विचबैक परिणाम परीक्षण किए गए ब्लॉकों के तहत एक अल्पकालिक बाज़ार नीति प्रभाव का समर्थन करता है। यह हफ्तों में संतुलन आपूर्ति, कूरियर सीखने या प्रतिधारण को कैप्चर नहीं कर सकता है। जब वे गतिशीलता मायने रखती हैं तो एक सतत क्षेत्रीय रैंप या होल्डआउट के साथ इसका पालन करें। स्विचबैक के साथ दिशा और परिमाण की तुलना करें, सीमाओं की निगरानी करें, और यदि गार्डरेल्स या संदूषण पूर्व-घोषित सीमा से अधिक हो तो विस्तार रोकें।

यदि क्लस्टर और व्यक्तिगत प्रयोग असहमत हैं, तो उनका एक संख्या में औसत न निकालें। अंतर हस्तक्षेप का प्रमाण हो सकता है, जैसा कि LinkedIn का प्रकाशित मेटा-प्रयोग दिखाता है। यह तय करने से पहले कि कौन सा डिज़ाइन पूर्ण रोलआउट से बेहतर मेल खाता है, प्रत्येक एस्टीमैंड, क्लस्टर लीकेज, असाइनमेंट स्वास्थ्य और पावर पर दोबारा गौर करें।

उच्च-गुणवत्ता वाला नमूना उत्तर

"मैं कारण प्रश्न को स्पष्ट करके शुरू करूँगा। लॉन्च का निर्णय प्रति पात्र ऑर्डर पूर्ण डिलीवरी में परिवर्तन है यदि पूरा लक्षित बाज़ार नए डिस्पैच एल्गोरिदम का उपयोग करता है। यह एक ऑर्डर को ट्रीट करने से अलग है जबकि पड़ोसी ऑर्डर कंट्रोल पर बने रहते हैं। मैं डिस्पैच से पहले पात्रता को परिभाषित करूँगा ताकि ट्रीटमेंट अपने स्वयं के हर (डिनॉमिनेटर) में सुधार न कर सके, और मैं प्रत्येक असाइन किए गए ऑर्डर को एक निश्चित परिपक्वता सीमा तक ट्रैक करूँगा।

ऑर्डर-स्तरीय रैंडमाइज़ेशन यहाँ मान्य नहीं है। एक ट्रीट किया गया ऑर्डर एकमात्र उपयुक्त कूरियर ले सकता है और कंट्रोल ऑर्डर की प्रतीक्षा या पूर्णता को बदल सकता है, जबकि कूरियर की आवाजाही उस प्रभाव को ज़ोन सीमाओं और बाद के समय अवधि में फैलाती है। मैं एक हस्तक्षेप ग्राफ बनाने के लिए प्रयोग-पूर्व मैचिंग और मूवमेंट डेटा का उपयोग करूँगा, फिर आस-पास के ज़ोन को तब तक जोड़ूँगा जब तक कि क्रॉस-क्लस्टर मैचिंग और कूरियर मूवमेंट एक पूर्व-घोषित डायग्नोस्टिक थ्रेसहोल्ड से नीचे न आ जाए। यदि 24 ज़ोन केवल कुछ जुड़े हुए बाज़ारों में कम हो जाते हैं, तो मैं 24 स्वतंत्र क्लस्टरों का दावा करने के बजाय ऐसा कहूँगा।

चूँकि डिस्पैच कोड प्रतिवर्ती है, मेरा पहला उम्मीदवार एक क्लस्टर्ड स्विचबैक है। प्रत्येक जुड़े हुए मार्केट क्लस्टर को एक रैंडमाइज़्ड टाइम ब्लॉक के लिए एक एल्गोरिदम प्राप्त होता है। मैं मार्केट और सप्ताह के समय के स्तरों के भीतर ब्लॉकों को रैंडमाइज़ करूँगा, नियतात्मक रूप से वैकल्पिक नहीं करूँगा। विंडो की लंबाई ऑर्डर पूर्णता और कूरियर रीपोजिशनिंग डेटा प्लस A/A शेड्यूल सिमुलेशन से आती है। छोटी विंडो अधिक इकाइयाँ प्रदान करती हैं लेकिन कैरीओवर बढ़ाती हैं; लंबी विंडो रिसाव को कम करती हैं लेकिन पावर खो देती हैं। यदि नीति हफ्तों के लिए कूरियर व्यवहार को बदलती है, तो मैं स्विचबैक को अस्वीकार कर दूँगा और एक सतत बाज़ार-स्तरीय रोलआउट का उपयोग करूँगा।

प्राथमिक विश्लेषण ऑर्डर के प्री-डिस्पैच पात्रता समय पर निर्धारित एल्गोरिदम का उपयोग करके इंटेंशन-टू-ट्रीट है। मैं फ़ॉलबैक और विफल असाइनमेंट को उनके मूल आर्म में रखूँगा। चूंकि असाइनमेंट मार्केट-ब्लॉक स्तर पर होता है, इसलिए पावर और अनिश्चितता उन इकाइयों और उनकी सीरियल निर्भरता से आती है, न कि लाखों ऑर्डरों से। मैं ऐतिहासिक A/A डेटा पर प्रस्तावित शेड्यूल का अनुकरण करूँगा, न्यूनतम प्रभाव, अवधि और ट्रांज़िशन नियम को पूर्व-निर्दिष्ट करूँगा, और जहाँ संभव हो डिज़ाइन-आधारित रैंडमाइज़ेशन इनफ़्रेंस का उपयोग करूँगा। चूंकि निर्णय मीट्रिक प्रति पात्र ऑर्डर है, इसलिए मैं ज्ञात असाइनमेंट संभावनाओं के साथ डिज़ाइन-अनुरूप भारित एस्टीमेटर का उपयोग करूँगा और अनवेटेड औसत मार्केट-ब्लॉक प्रभाव की भी रिपोर्ट करूँगा।

लिफ्ट पढ़ने से पहले, मैं स्तरों के भीतर ट्रीटमेंट संतुलन, वास्तविक नीति एक्सपोज़र, फ़ॉलबैक और मिसिंग-इवेंट दरों, क्रॉस-क्लस्टर मैचों, कूरियर ट्रांज़िशन, परिणाम परिपक्वता और ओवरलैपिंग प्रयोगों की जाँच करूँगा। मेरा प्राथमिक परिणाम प्रति पात्र ऑर्डर निश्चित क्षितिज के भीतर पूर्ण डिलीवरी होगी। ग्राहक रद्दीकरण, देरी, शिकायतें, पिकअप प्रतीक्षा, और कूरियर कमाई, निष्क्रिय समय और स्वीकृति के पूर्व-घोषित नुकसान मार्जिन होंगे।

यदि अनुमान न्यूनतम उपयोगी प्रभाव और सभी गार्डरेल्स को पार कर जाता है, तो मैं यह सत्यापित करने के लिए एक सतत क्षेत्रीय रैंप चलाऊँगा कि अल्पकालिक स्विचबैक परिणाम सीखने और संतुलन परिवर्तनों से बचता है। यदि कैरीओवर महत्वपूर्ण बना रहता है, नियोजित प्रभाव के लिए क्लस्टर बहुत कम हैं, या व्यक्तिगत और क्लस्टर अनुमान बिना किसी स्पष्ट तंत्र के असहमत हैं, तो मैं उपयोगकर्ता-स्तरीय परिणाम को रोलआउट प्रभाव के रूप में प्रस्तुत नहीं करूँगा। मैं प्रयोग को फिर से डिज़ाइन करूँगा या कारण के दावे को सीमित करूँगा।"

सामान्य गलतियाँ

• लाखों ऑर्डरों को स्वतंत्र रूप से रैंडमाइज़ करना → ट्रीटमेंट और कंट्रोल समान कूरियर आपूर्ति का उपभोग करते हैं, इसलिए नाममात्र नमूना आकार हस्तक्षेप को छुपाता है → उस इकाई को रैंडमाइज़ करें जिसमें मुख्य इंटरैक्शन शामिल है या संसाधन को ही अलग करें।
• किनारे (एज) को परिभाषित किए बिना "क्लस्टर का उपयोग करें" कहना → भूगोल में कूरियर की आवाजाही, सामाजिक संपर्क, बजट प्रतिस्पर्धा या लौकिक (टेंपोरल) कैरीओवर शामिल नहीं हो सकता है → वास्तविक तंत्र और प्री-ट्रीटमेंट डेटा से हस्तक्षेप मानचित्र बनाएं।
• एक मानक 30-मिनट का स्विचबैक चुनना → एक सुविधाजनक विंडो डिलीवरी और रीपोजिशनिंग प्रभावों से छोटी हो सकती है या आवश्यकता से अधिक लंबी हो सकती है → कैरीओवर का अनुमान लगाएं और A/A डेटा और सिमुलेशन के साथ उम्मीदवार शेड्यूल को कैलिब्रेट करें।
• वेरिएंट को नियतात्मक रूप से बदलना → ट्रीटमेंट रश अवधि, कार्यदिवसों या रुझानों के साथ संरेखित हो सकता है → पूर्व-निर्दिष्ट समय और बाज़ार स्तरों के भीतर ब्लॉकों को फिर से रैंडमाइज़ करें।
• प्रत्येक ऑर्डर को स्वतंत्र मानना → असाइनमेंट एक मोटे इकाई पर होता है, जिससे कम अनिश्चितता और गलत विश्वास पैदा होता है → वास्तविक रैंडमाइज़्ड संरचना पर पावर और अनुमान को आधार बनाएं।
• प्रति-ऑर्डर रोलआउट प्रभाव के रूप में एक अनवेटेड ब्लॉक माध्य की रिपोर्ट करना → असमान ब्लॉक आकार लक्षित जनसंख्या को बदलते हैं → एस्टीमैंड को परिभाषित करें और स्पष्ट वेटिंग के साथ डिज़ाइन-अनुरूप एस्टीमेटर का उपयोग करें।
• परिणाम देखने के बाद सीमा ऑर्डरों को हटाना → परिणाम-संचालित बहिष्करण रैंडमाइज़्ड तुलना को तोड़ते हैं → पात्रता, ट्रांज़िशन हैंडलिंग और परिपक्वता को पूर्व-घोषित करें, फिर इंटेंशन-टू-ट्रीट असाइनमेंट बनाए रखें।
• स्विचबैक को सार्वभौमिक रूप से मजबूत मानना → कैरीओवर, लर्निंग, कम पावर और सामान्य समय के झटके इसे अमान्य या कमजोर कर सकते हैं → लगातार क्लस्टर, सैचुरेशन, या आइसोलेटेड यूनिवर्स का उपयोग करें जब उनकी मान्यताएं बेहतर बैठती हैं।
• अकेले अल्पकालिक लिफ्ट से शिपिंग करना → बाज़ार का संतुलन और कूरियर व्यवहार लगातार रोलआउट के तहत बदल सकता है → एक चरणबद्ध सतत रैंप और दोतरफा गार्डरेल्स के साथ मान्य करें।

अनुवर्ती प्रश्न और प्रतिक्रियाएं

अनुवर्ती 1: क्या होगा यदि 24 ज़ोन केवल चार स्वतंत्र बाज़ारों में सिमट जाएं?

चार बाज़ार क्लस्टर एक सतत क्लस्टर प्रयोग के लिए कमजोर जानकारी प्रदान करते हैं, और उनके अंदर कई ऑर्डर इसे हल नहीं करते हैं। यदि प्रभाव जल्दी समाप्त हो जाते हैं, तो बार-बार रैंडमाइज़ किए गए मार्केट-टाइम ब्लॉक जानकारी जोड़ सकते हैं, बशर्ते सीरियल निर्भरता और कैरीओवर को मॉडल किया जाए। यदि प्रभाव हफ्तों तक चलते हैं, तो ईमानदार विकल्प एक लंबा युग्मित (पेयर्ड) या चरणबद्ध बाज़ार रोलआउट, मजबूत प्री-ट्रीटमेंट कोवैरिएट समायोजन, परिचालन जोखिम के लिए सिमुलेशन, या अधिक स्वतंत्र बाज़ारों की प्रतीक्षा करना है। व्यापक अनिश्चितता की रिपोर्ट करें और दावे को संकीर्ण करें; जुड़े हुए ज़ोन को विभाजित करके कृत्रिम स्वतंत्रता का निर्माण न करें।

अनुवर्ती 2: क्या होगा यदि ट्रीटमेंट कई हफ्तों तक कूरियर के व्यवहार को बदल देता है?

एक तेज़ स्विचबैक वर्तमान नीति और इतिहास के मिश्रण का अनुमान लगाता है और दीर्घकालिक प्रभाव के लिए एक खराब डिज़ाइन है। लगातार क्लस्टर असाइनमेंट या रैंडमाइज़्ड चरणबद्ध रोलआउट का उपयोग करें, पूर्ण व्यवहार सीमा पर सक्रियण, आपूर्ति किए गए घंटे, कमाई, प्रतिधारण और ग्राहक परिणामों को मापें, और बाज़ार स्तर पर असाइनमेंट रखें। एक स्विचबैक अभी भी तत्काल एल्गोरिदम प्रभावों की जांच कर सकता है, लेकिन यह लंबी अवधि के प्रयोग को प्रतिस्थापित नहीं कर सकता है।

अनुवर्ती 3: सोशल शेयरिंग फीचर के लिए डिज़ाइन कैसे बदलेगा?

प्री-ट्रीटमेंट संबंधों या इंटरैक्शन किनारों से एक ग्राफ बनाएं। क्लस्टर रैंडमाइज़ेशन एक ऑल-ट्रीटेड बनाम ऑल-कंट्रोल नेटवर्क कंट्रास्ट का अनुमान लगा सकता है जब अधिकांश किनारे क्लस्टरों के अंदर रहते हैं। यदि लक्ष्य में प्रत्यक्ष और स्पिलओवर प्रभाव शामिल हैं, तो क्लस्टरों को विभिन्न ट्रीटमेंट सैचुरेशन स्तरों पर रैंडमाइज़ करें और फिर क्लस्टरों के भीतर उपयोगकर्ताओं को रैंडमाइज़ करें। एक्सपोज़र मैपिंग जैसे प्रासंगिक पड़ोसियों के ट्रीट किए गए हिस्से को पूर्व-निर्दिष्ट करें, और कम पावर तथा समुदायों के बीच ओवरलैप की योजना बनाएं।

अनुवर्ती 4: क्या होगा यदि हस्तक्षेप चैनल एक विभाज्य विज्ञापन बजट है?

बजट या इन्वेंट्री को स्वतंत्र यूनिवर्स में विभाजित करें और प्रत्येक संस्करण को उसके पूल तक विशेष पहुँच प्रदान करें। यह उपयोगकर्ता-स्तरीय असाइनमेंट को बनाए रखते हुए सीधे नरभक्षण (कैनिबलाइज़ेशन) को हटाता है और पावर में सुधार कर सकता है। सत्यापित करें कि पूल उधार नहीं ले सकते हैं, पेसिंग और नीलामी उन्हें फिर से नहीं जोड़ते हैं, और विभाजन पूर्ण-रोलआउट नीति का प्रतिनिधित्व करता है। यदि अलगाव अधूरा है, तो रिसाव को मापें और कारण दावे को सीमित रखें।

अनुवर्ती 5: क्या होगा यदि व्यक्तिगत-स्तरीय और क्लस्टर-स्तरीय प्रयोग असहमत हों?

पहले दोनों में असाइनमेंट, एक्सपोज़र, मीट्रिक परिभाषाओं, परिपक्वता और पावर को सत्यापित करें। फिर एस्टीमैंड्स की तुलना करें: एक व्यक्तिगत परीक्षण मिश्रित वातावरण में ट्रीटमेंट को मापता है, जबकि एक क्लस्टर परीक्षण अधिक पड़ोसियों को एक साथ ले जाता है और रोलआउट का बेहतर अनुमान लगा सकता है। क्रॉस-क्लस्टर किनारों और संतृप्ति को मापें, और जब संभव हो तो पूर्व-निर्दिष्ट मेटा-प्रयोग या रैंडमाइज़ेशन परीक्षण का उपयोग करें। एक सार्थक अंतर हस्तक्षेप की जांच करने का सबूत है, न कि बड़ी लिफ्ट का चयन करने का कारण।

अनुवर्ती 6: व्यवहार में आप स्विचबैक विंडो कैसे चुनेंगे?

प्री-एक्सपेरिमेंट डेटा या सुरक्षित पायलटों का उपयोग करके नीति ट्रांज़िशन के बाद खुले ऑर्डर, कूरियर विस्थापन और प्रमुख मेट्रिक्स के क्षय को प्लॉट करें। A/A अवधियों पर कई रैंडमाइज़्ड शेड्यूल का अनुकरण करें, झूठी-सकारात्मक अंशांकन, वेरिएंस और निश्चित सीमा बफ़र्स के प्रति संवेदनशीलता को मापें। सबसे छोटी विंडो का चयन करें जिसका अवशिष्ट कैरीओवर पूर्व-घोषित सहनशीलता से नीचे रहता है जबकि पावर पर्याप्त रहती है, फिर पड़ोसी विंडो और ट्रांज़िशन विकल्पों पर संवेदनशीलता विश्लेषण चलाएं।