प्रोडक्ट मैनेजर इंटरव्यू: सब्सक्रिप्शन प्रोडक्ट के लिए मंथली चर्न (मंथली सब्सक्राइबर लॉस) कैसे घटाएंगे?

प्रॉम्प्ट और प्रासंगिक संदर्भ

एक कंज्यूमर प्रोडक्टिविटी ऐप ने मई की शुरुआत 120,000 पेड मंथली-रिन्यू होने वाले सब्सक्रिप्शन के साथ की। रिपोर्टिंग कटऑफ तक, उस शुरुआती आबादी में से 7,200 सब्सक्रिप्शन पूरी तरह एक्सपायर हो चुके थे और उन्होंने दोबारा सब्सक्राइब नहीं किया था। इस परिभाषा के आधार पर, मंथली ग्रॉस सब्सक्राइबर चर्न 7,200 / 120,000 = 6.0% है, जबकि इसकी मैच्योर बेसलाइन 4.0% थी। एक्विजिशन स्थिर रहा। इस बढ़ोतरी का निदान करें, क्या बदलाव करने हैं उन्हें प्राथमिकता दें, और प्रत्येक इंटरवेंशन को स्केल करने, दोहराने (iterate) या रोकने के लिए एक निर्णय प्रक्रिया तैयार करें।

यह प्रोडक्ट मैनेजरों, ग्रोथ PMs, सब्सक्रिप्शन PMs और मॉनेटाइजेशन PMs के लिए एक काल्पनिक प्रोडक्ट एग्जीक्यूशन केस है। सभी यूजर्स, संख्याएं, दरें, अवधियां, कारण और प्रयोगों के परिणाम अभ्यास के लिए मानी गई काल्पनिक धारणाएं हैं। वर्तमान PM इंटरव्यू सामग्रियों में सब्सक्रिप्शन चर्न को कम करने के लिए फीचर डिजाइन करना और सब्सक्रिप्शन ऐप में चर्न घटाने के तरीके पूछना स्पष्ट रूप से शामिल है। यह इस प्रॉम्प्ट की वर्तमान प्रासंगिकता को दर्शाता है, लेकिन यह इंटरव्यू की आवृत्ति स्थापित नहीं करता है और न ही इसे किसी नामित कंपनी से जोड़ता है।

शुरुआती गणना 120,000 × (6.0% - 4.0%) = 2,400 के अतिरिक्त नुकसान का संकेत देती है। यह तुलना केवल तभी मान्य है जब मीट्रिक, कटऑफ, जोखिम वाली आबादी (population at risk), सब्सक्रिप्शन की अवधि और कोहोर्ट की मैच्योरिटी तुलनीय हो। कैंसलेशन इवेंट का अर्थ यह हो सकता है कि ऑटो-रिन्यूअल बंद कर दिया गया है जबकि एक्सेस जारी है; एक्सपायरी का अर्थ है एक्सेस समाप्त हो गया है। एक विफल रिन्यूअल रिट्राय या ग्रेस पीरियड में जा सकता है और बाद में रिकवर हो सकता है। इन स्थितियों को आपस में मिलाने से चर्न में कृत्रिम उछाल दिख सकता है या वास्तविक उछाल छोटा नजर आ सकता है।

इंटरव्यूअर क्या मूल्यांकन करता है

पहला संकेत मेजरमेंट अनुशासन है। एक मजबूत उम्मीदवार ग्रॉस सब्सक्राइबर चर्न को अवधि की शुरुआत के एक निश्चित डिनॉमिनेटर (भाजक) के साथ परिभाषित करता है और स्पष्ट करता है कि "लॉस" का अर्थ कैंसलेशन का इरादा है, विफल रिन्यूअल है, एंटाइटेलमेंट एक्सपायरी है या री-सब्सक्रिप्शन घटाकर शुद्ध एक्सपायरी है। जब प्लान, डिस्काउंट, सीट्स या डाउनग्रेड अलग-अलग होते हैं, तो कस्टमर चर्न और ग्रॉस रेवेन्यू चर्न भी अलग-अलग सवालों के जवाब देते हैं।

दूसरा संकेत समाधान से पहले निदान है। सीधे "डिस्काउंट भेजना" इंस्ट्रूमेंटेशन त्रुटियों, बिलिंग विफलताओं, पहले चक्र में मिलने वाले कमजोर वैल्यू, रिलायबिलिटी रिग्रेशन, मूल्य परिवर्तनों, एक्विजिशन-मिक्स में बदलाव और मौसमी रिन्यूअल एक्सपोजर को अनदेखा कर देता है। एक उपयोगी निदान यह अनुमान लगाता है कि प्रत्येक कारण ने बदलाव में कितना योगदान दिया, न कि केवल यह कि चर्न किए गए सब्सक्राइबर्स के बीच प्रत्येक कारण कितना आम है।

तीसरा संकेत कॉजल प्रायोरिटाइजेशन (कारण-आधारित प्राथमिकता) है। कैंसलेशन सर्वे और सपोर्ट इंटरव्यू अंतर्निहित तंत्र को समझाते हैं लेकिन वे सिलेक्टेड और सेल्फ-रिपोर्टेड होते हैं। प्रोडक्ट का उपयोग जोखिम का अनुमान लगाता है लेकिन यह साबित नहीं करता कि अधिक उपयोग के लिए मजबूर करने से लोग बने रहेंगे। एक मजबूत उत्तर लाइफसाइकिल डेटा, व्यवहार, गुणात्मक साक्ष्य और नियंत्रित इंटरवेंशन को जोड़ता है, और फिर यह बताता है कि प्रत्येक स्रोत क्या साबित नहीं कर सकता है।

चौथा संकेत विफलता के तरीके (failure mode) के अनुसार इंटरवेंशन का मिलान करना है। पेमेंट रिकवरी एक एक्सपायर्ड कार्ड या अस्थायी अस्वीकृति का समाधान करती है; यह प्रोडक्ट वैल्यू की कमी को ठीक नहीं कर सकती। बेहतर एक्टिवेशन उस शुरुआती दौर के सब्सक्राइबर की मदद कर सकता है जो कभी मुख्य काम (core job) पूरा नहीं करता; यह किसी पुराने मैच्योर यूजर के लिए मूल्य वृद्धि का समाधान नहीं कर सकता। एक व्यापक इंसेंटिव कुछ खातों को बचा सकता है लेकिन उन लोगों को भी छूट दे सकता है जो वैसे भी रिन्यू करने वाले थे।

अंतिम संकेत बिजनेस जजमेंट है। लक्ष्य किसी भी कीमत पर न्यूनतम संभव चर्न प्राप्त करना नहीं है। निर्णय मीट्रिक को एक उचित रिन्यूअल दायरे में इंक्रीमेंटल पेड रिटेंशन या कॉन्ट्रिब्यूशन को मापना चाहिए, जबकि रिफंड, चार्जबैक, शिकायतें, सपोर्ट लोड, अनपेड एक्सेस और विश्वास पूर्व-निर्धारित सीमाओं के भीतर रहें।

उत्तर देने से पहले स्पष्ट करने योग्य प्रश्न

• चर्न को कौन सा इवेंट और कटऑफ परिभाषित करता है? बताए गए री-सब्सक्रिप्शन विंडो का उपयोग करके पूरी तरह से एक्सपायर हो चुके पेड सब्सक्रिप्शन की गणना करें। कैंसलेशन इंटेंट, बिलिंग समस्या, ग्रेस पीरियड, एक्सपायरी, रिकवरी, रिफंड और री-एक्टिवेशन को अलग-अलग इवेंट के रूप में रखें। कोई प्रोडक्ट उन सभी को चर्न कहे बिना प्रत्येक को एक लीडिंग सिग्नल के रूप में ट्रैक कर सकता है।
• किसके पास रिन्यू करने का अवसर था? मंथली और एनुअल प्लान, ट्रायल, पॉज, एक्सटेंशन और अवधि के बीच में शुरू हुए सब्सक्रिप्शन का एक्सपोजर समान नहीं होता है। कोहोर्ट्स की तुलना केवल उसी रिन्यूअल अवसर पर पहुंचने के बाद करें।
• क्या बेसलाइन तुलनीय है? वर्तमान परिभाषा, टाइमजोन, लेट-इवेंट पॉलिसी, प्रोडक्ट मिक्स, भूगोल, चैनल, मूल्य, प्लेटफॉर्म और अवधि (tenure) के तहत पिछले 4.0% की पुनर्गणना करें। साथ ही किसी सुविधाजनक महीने को चुनने के बजाय कई मैच्योर अवधियों का निरीक्षण करें।
• क्या हम सब्सक्राइबर्स को ऑप्टिमाइज़ कर रहे हैं या रेवेन्यू को? सब्सक्राइबर चर्न प्रत्येक खोए हुए सब्सक्रिप्शन को समान महत्व देता है। ग्रॉस रेवेन्यू चर्न खोए हुए रिकरिंग रेवेन्यू को महत्व देता है और इसमें संकुचन (contraction) शामिल होता है। प्राथमिक मीट्रिक को व्यावसायिक समस्या के अनुरूप होना चाहिए, जबकि दूसरे को गार्डरेल या डायग्नोस्टिक के रूप में रखा जाना चाहिए।
• बदलाव कहाँ हुआ? बिलिंग-विफलता की स्थिति, कार्यकाल या रिन्यूअल संख्या, प्लान, मूल्य, प्लेटफॉर्म, भूगोल, एक्विजिशन कोहोर्ट, कोर-वैल्यू पूर्णता, हालिया रिलायबिलिटी एक्सपोजर और कैंसलेशन के कारण के आधार पर रिन्यूअल एक्सपोजर और लॉस रेट को विभाजित करें। छोटे हिस्सों की खोज करने से पहले स्थिर और पूर्व-घोषित सेगमेंट का उपयोग करें।
• बढ़ोतरी से पहले क्या बदला? रिलीज, मूल्य निर्धारण, पेमेंट रूटिंग, रिट्राय सेटिंग्स, नोटिफिकेशन डिलीवरी, एक्विजिशन मिक्स, आउटेज, परफॉर्मेंस, पॉलिसी, सीजनैलिटी और प्रतिस्पर्धी इवेंट्स का ऑडिट करें। एक संभावित कारण बनने के लिए उस बदलाव का समय प्रभावित रिन्यूअल अवसर से पहले का होना चाहिए।
• इंटरवेंशन पर कौन से प्रतिबंध लागू होते हैं? डिस्काउंट का अधिकार, कम्युनिकेशन की सहमति, एक्सेसिबिलिटी, रिफंड पॉलिसी, पेमेंट-प्रोसेसर के नियम, ग्रेस-पीरियड इकोनॉमिक्स, इंजीनियरिंग क्षमता और निर्णय लेने से पहले स्वीकार्य अधिकतम देरी की पुष्टि करें।

30-सेकंड उत्तर का फ्रेमवर्क

"मैं सबसे पहले मीट्रिक को लॉक करूंगा: शुरुआती आबादी के वे पेड सब्सक्रिप्शन जो मई के दौरान पूरी तरह से एक्सपायर हो गए और तय कटऑफ तक दोबारा सब्सक्राइब नहीं हुए, उन्हें मई की शुरुआत में एक्टिव पेड सब्सक्रिप्शन से विभाजित किया जाएगा। मैं लाइफसाइकिल इवेंट्स का मिलान करूंगा और उसी आधार पर 4% बेसलाइन की पुनर्गणना करूंगा। यदि दो प्रतिशत अंक की वृद्धि बनी रहती है, तो यह लगभग 2,400 अतिरिक्त नुकसान का प्रतिनिधित्व करती है। मैं वर्तमान एक्सपोज्ड आबादी पर पूर्व सेगमेंट-विशिष्ट दरों के आधार पर उस अतिरिक्त नुकसान को विभाजित करूंगा, फिर कारणों को रैंक करने के लिए बिलिंग स्थिति, रिन्यूअल संख्या, प्रोडक्ट-वैल्यू इवेंट, रिलायबिलिटी, मूल्य और कस्टमर साक्ष्य को संयोजित करूंगा। प्रत्येक कारण के लिए एक अलग इंटरवेंशन और नियंत्रित परीक्षण (कंट्रोल्ड टेस्ट) होगा। मैं केवल तभी बड़े पैमाने पर लागू करूंगा जब परीक्षण रिफंड, शिकायत, चार्जबैक, सपोर्ट या विश्वास के गार्डरेल्स का उल्लंघन किए बिना अगले रिन्यूअल के बाद पेड रिटेंशन या रिटेन्ड कॉन्ट्रिब्यूशन में सुधार करता हो।"

स्टेप-बाय-स्टेप डीप डाइव

स्टेप 1: कारणों का विश्लेषण करने से पहले एक सब्सक्रिप्शन स्टेट लेजर बनाएं

प्रति सब्सक्रिप्शन और रिन्यूअल अवसर पर एक ऑडिट योग्य रिकॉर्ड बनाएं: प्लान, मूल्य, एक्विजिशन कोहोर्ट, शुरुआत और निर्धारित रिन्यूअल का समय, ऑटो-रिन्यू स्थिति, इनवॉइस के प्रयास, ग्रेस या रिट्राय स्थिति, एंटाइटेलमेंट समाप्ति, रिकवरी, रिफंड, री-सब्सक्रिप्शन, और रिपोर्टिंग कटऑफ पर अंतिम वर्गीकरण। बिलिंग प्रोसेसर और एंटाइटेलमेंट सिस्टम के साथ संख्याओं का मिलान करें। लेट वेबहुक, डुप्लिकेट कस्टमर पहचान, टाइमजोन सीमाएं, बैकफिल्ड रिफंड और टेस्ट अकाउंट्स को स्पष्ट रूप से हैंडल किया जाना चाहिए।

दो संबंधित व्यूज का उपयोग करें:

Gross subscriber churn
= subscriptions from the starting population that expired in the period and remain lost at cutoff
/ paid active subscriptions at the beginning of the period

Renewal retention for cohort k
= successful paid renewals at opportunity k
/ subscriptions that reached renewal opportunity k

पहला एक पीरियड हेल्थ मीट्रिक है। दूसरा यह बताता है कि पहले, दूसरे या बाद के रिन्यूअल में गिरावट आई है या नहीं और यह अपरिपक्व कोहोर्ट्स की तुलना मैच्योर कोहोर्ट्स से करने से बचाता है। जब मूल्य या प्लान का मूल्य अलग-अलग हो तो ग्रॉस रेवेन्यू चर्न की अलग से रिपोर्ट करें। ग्रॉस चर्न से नए सब्सक्राइबर्स या विस्तार (expansion) को न घटाएं; वे नेट ग्रोथ के मापदंडों में आते हैं।

स्टेप 2: समझाने से पहले उछाल को वेरिफाई करें

एक वर्जन वाले मीट्रिक कॉन्ट्रैक्ट का उपयोग करके कच्चे लाइफसाइकिल इवेंट्स से मई और बेसलाइन की पुनर्गणना करें। न्यूमरेटर और डिनॉमिनेटर के परिवर्तनों की स्वतंत्र रूप से जांच करें। यदि चर्न किए गए सब्सक्रिप्शन इसलिए बढ़े क्योंकि संयोग से दोगुने वार्षिक प्लान रिन्यू होने वाले थे, तो एक्सपोजर एडजस्टमेंट के बाद दर स्थिर हो सकती है। यदि डिनॉमिनेटर ग्रेस पीरियड वाले सब्सक्राइबर्स को बाहर करता है जबकि न्यूमरेटर बाद में उनकी एक्सपायरी की गणना करता है, तो मीट्रिक आंतरिक रूप से असंगत हो सकता है।

कोहोर्ट मैच्योरिटी और कॉन्फिडेंस इंटरवल्स की तुलना करें, लेकिन सांख्यिकीय महत्व (स्टैटिस्टिकल सिग्निफिकेंस) को डेटा की वैधता न मानें। पहले ज्ञात ऑपरेशनल सीमाओं के आधार पर स्लाइस करें: स्टोर या बिलिंग प्रोसेसर, प्रोडक्ट वर्जन, रिन्यूअल संख्या, प्लान, देश, एक्विजिशन चैनल और घटनाओं (incidents) का एक्सपोजर। किसी एक प्रोसेसर या रिलीज पर अचानक होने वाला प्रभाव एक ऑपरेशनल रास्ते की ओर इशारा करता है; मैच्योर कोहोर्ट्स में व्यापक बदलाव एक व्यापक वैल्यू या मूल्य निर्धारण समस्या का समर्थन करता है।

स्टेप 3: केवल कुल का नहीं, बल्कि अतिरिक्त नुकसान का एट्रिब्यूशन करें

प्रत्येक स्थिर सेगमेंट के लिए, उसकी पिछली दर को उसकी वर्तमान एक्सपोज्ड आबादी पर लागू करके अपेक्षित नुकसान (expected losses) की गणना करें। योगदान वर्तमान नुकसान माइनस अपेक्षित नुकसान है। योगदानों को लगभग 2,400 अतिरिक्त नुकसानों के साथ मेल खाना चाहिए, जिसमें सेगमेंट डायमेंशन ओवरलैप होने पर एक इंटरैक्शन या रेजिड्यूअल बकेट शामिल हो।

Expected losses in segment s
= current renewal-eligible subscriptions in s × prior comparable churn rate in s

Excess contribution from segment s
= current losses in s - expected losses in s

एक काल्पनिक वर्गीकरण 1,200 अतिरिक्त नुकसान को अंतिम बिलिंग-विफलता एक्सपायरी, 700 को पहले और दूसरे रिन्यूअल वाले उन सब्सक्राइबर्स से जोड़ सकता है जिन्होंने मुख्य वर्कफ़्लो कभी पूरा नहीं किया, 300 को मूल्य-संवेदनशील सेगमेंट से, और 200 को अवशिष्ट कारणों से जोड़ सकता है। इन मानों का योग 2,400 है; वे केवल एक उदाहरण हैं, कोई साक्ष्य नहीं। पहले परस्पर अनन्य (mutually exclusive) विश्लेषण का उपयोग करें, फिर ऐसे इंटरैक्शन की जांच करें जैसे कि किसी मूल्य परिवर्तन का एक चैनल पर असंगत प्रभाव पड़ना।

मात्रात्मक निर्धारण के बाद गुणात्मक साक्ष्य जोड़ें। उन्हीं सेगमेंट से चर्न किए गए, बनाए रखे गए, रिकवर किए गए और डाउनग्रेड चाहने वाले सब्सक्राइबर्स का सैंपल लें। कैंसलेशन के कारण बताए गए इरादों को उजागर करते हैं; सेशन और सपोर्ट साक्ष्य यह परीक्षण करते हैं कि क्या प्रोडक्ट का व्यवहार इससे सहमत है। "बहुत महंगा" का अर्थ वास्तविक सामर्थ्य की कमी, कमजोर महसूस की गई वैल्यू या भ्रमित करने वाला शुल्क हो सकता है। उस व्याख्या के साथ उपाय भी बदल जाता है।

स्टेप 4: इंटरवेंशन को विफलता के तंत्र और प्रतिवर्तीता (reversibility) से मिलाएं

अपेक्षित रिकवर करने योग्य योगदान, कारण में विश्वास, साक्ष्य मिलने का समय, कार्यान्वयन लागत और नकारात्मक जोखिम के आधार पर प्राथमिकता दें। इस काल्पनिक विभाजन में, भुगतान विफलता आधे अतिरिक्त नुकसान का प्रतिनिधित्व करती है और इसका परीक्षण अक्सर पेमेंट-अपडेट प्रॉम्प्ट्स, प्रोसेसर-सपोर्टेड रिट्राय टाइमिंग और स्पष्ट रूप से सीमित ग्रेस पॉलिसी के साथ किया जा सकता है। रिकवर किए गए पेड रिन्यूअल को मापें, न कि भेजे गए संदेशों को। डुप्लिकेट संपर्कों, चार्जबैक, शिकायतों, सपोर्ट वॉल्यूम और अनपेड एंटाइटेलमेंट दिनों को ट्रैक करें।

शुरुआती दौर के वैल्यू विफलता के लिए, उन सब्सक्राइबर्स को लक्षित करें जिन्होंने प्रोडक्ट के काम से विश्वसनीय रूप से जुड़े सबसे छोटे व्यवहार को पूरा नहीं किया है। एक छोटे सेटअप पाथ, प्रासंगिक मार्गदर्शन (contextual guidance) या वर्कफ़्लो फिक्स का परीक्षण करें। लीडिंग मीट्रिक कोर-वैल्यू पूर्णता हो सकती है, लेकिन निर्णय मीट्रिक को अगले पेड रिन्यूअल के माध्यम से मैच्योर होना चाहिए। यदि किसी रिलायबिलिटी रिग्रेशन के कारण नुकसान हुआ है, तो एंगेजमेंट रणनीतियों का परीक्षण करने से पहले घटना के मार्ग की मरम्मत और सत्यापन करें।

मूल्य-संबंधित नुकसान के लिए, स्पष्ट वैल्यू कम्युनिकेशन, पॉज, डाउनग्रेड या लक्षित सेव ऑफर की तुलना करें। एक कंट्रोल ग्रुप आवश्यक है क्योंकि कैंसलेशन फ्लो में प्रवेश करने वाले कुछ लोग बिना किसी प्रोत्साहन (incentive) के भी रिन्यू कर लेते हैं। कैंसलेशन बटन की क्लिक दर कम होना रिटेन्ड वैल्यू नहीं है; यह केवल रुकावट (friction) बढ़ा सकता है।

स्टेप 5: रिन्यूअल निर्णय के इर्द-गिर्द टेस्ट डिजाइन करें

जब सदस्य एक-दूसरे को प्रभावित कर सकते हों तो सब्सक्राइबर या परिवार के स्तर पर रैंडमाइज़ करें, और इंटरवेंशन से पहले असाइन करें। पात्रता, एक्सपोजर, बहिष्करण, न्यूनतम व्यावहारिक प्रभाव, समय-सीमा और विश्लेषण योजना पहले से परिभाषित करें। जहां नीति और कस्टमर निष्पक्षता अनुमति दे, वहां एक होल्डआउट रखें। भुगतान-विफलता परीक्षण के लिए, डिक्लाइन श्रेणी और रिन्यूअल चक्र द्वारा स्तरीकृत (stratify) करें; ऑनबोर्डिंग इंटरवेंशन के लिए, लक्षित वर्कफ़्लो होने से पहले रैंडमाइज़ करें।

एक मीट्रिक लैडर का उपयोग करें:

शामिल किए गए प्रत्येक सब्सक्राइबर का प्रासंगिक रिन्यूअल अवसर तक निरीक्षण करें या परिणाम को अपरिपक्व के रूप में चिह्नित करें। केवल कैंसलेशन रिवर्सल के आधार पर जल्दी निर्णय लेने से बचें। पहले इंटेंट-टू-ट्रीट का विश्लेषण करें; एक्सपोजर-आधारित विश्लेषण डिलीवरी विफलताओं का निदान कर सकता है लेकिन इसे रैंडमाइज्ड तुलना की जगह नहीं लेनी चाहिए।

स्टेप 6: रिटेंशन को इंक्रीमेंटल कॉन्ट्रिब्यूशन में बदलें

प्रत्येक इंटरवेंशन के लिए, समान समय सीमा में ट्रीटमेंट और कंट्रोल की तुलना करें:

Incremental retained contribution
= additional paid renewals × expected contribution during the evaluation horizon
- discounts, credits, payment and communication costs
- refunds, chargebacks, support, and incremental service costs
- contribution lost from subscribers who would have renewed at full price

यह मानने के बजाय कि प्रत्येक रिकवर किए गए सब्सक्राइबर का लाइफटाइम समान है, उसके मैच्योर होने पर देखे गए बाद के रिन्यूअल का उपयोग करें। अनिश्चितता और कॉन्ट्रिब्यूशन समय-सीमा के प्रति संवेदनशीलता की रिपोर्ट करें। एक सस्ती भुगतान रिकवरी मामूली बढ़त के साथ स्केल की जा सकती है; स्थायी डिस्काउंट के लिए अधिक मजबूत साक्ष्य की आवश्यकता होती है क्योंकि इसकी लागत बार-बार आती है और यह भविष्य में भुगतान करने की इच्छा को बदल सकती है।

स्टेप 7: स्केल, इटरेशन और रोकने के नियमों को पहले से तय करें

किसी तंत्र को केवल तभी स्केल करें यदि प्राथमिक प्रभाव न्यूनतम व्यावहारिक सीमा से अधिक हो, आर्थिक अंतराल सकारात्मक इंक्रीमेंटल कॉन्ट्रिब्यूशन का समर्थन करता हो, गार्डरेल्स पास हों, और परिचालन पथ विश्वसनीय हो। तब दोहराएं (iterate) जब तंत्र में बदलाव हुआ हो लेकिन पेड रिटेंशन में नहीं, या जब एक पहचान योग्य सेगमेंट को लाभ होता है जबकि दूसरे को नहीं। तब रोकें जब कॉजल आधार विफल हो जाए, अंतराल सार्थक प्रभाव को खारिज कर दे, नुकसान सीमा पार कर जाए, या प्रोग्राम छिपे हुए फ्रिक्शन पर निर्भर हो।

नवीनता (novelty) और नीतिगत बदलावों का पता लगाने के लिए एक निरंतर अनट्रीटेड होल्डआउट बनाए रखें या संभव होने पर नियंत्रित परीक्षणों को रोटेट करें। मूल 6.0% मीट्रिक को उसकी निश्चित परिभाषा के साथ रिपोर्ट करना जारी रखें; इंटरवेंशन के बाद परिभाषा बदलने से एक कृत्रिम जीत बन सकती है।

उच्च-गुणवत्ता वाला नमूना उत्तर

"मैं डिस्काउंट अभियान से शुरुआत नहीं करूंगा। सबसे पहले मैं देखे गए 6.0% को शुरुआती आबादी से 7,200 पूरी तरह से एक्सपायर हो चुके पेड सब्सक्रिप्शन के रूप में परिभाषित करूंगा जिन्होंने रिपोर्टिंग कटऑफ तक दोबारा सब्सक्राइब नहीं किया था, जिसे मई की शुरुआत में 120,000 पेड एक्टिव सब्सक्रिप्शन से विभाजित किया जाएगा। मैं ऑटो-रिन्यू कैंसलेशन, विफल भुगतान, ग्रेस पीरियड, एक्सपायरी, रिकवरी, रिफंड और री-सब्सक्रिप्शन को अलग-अलग लाइफसाइकिल इवेंट के रूप में रखूंगा और उसी कॉन्ट्रैक्ट के तहत परिपक्व 4.0% बेसलाइन की पुनर्गणना करूंगा।

यदि मिलान के बाद भी बढ़ोतरी बनी रहती है, तो यह लगभग 2,400 अतिरिक्त नुकसान का प्रतिनिधित्व करती है। मैं वर्तमान रिन्यूअल-योग्य आबादी पर पिछली सेगमेंट-विशिष्ट दरों से अपेक्षित नुकसान का अनुमान लगाऊंगा और योगदानों का मिलान करूंगा। मेरा पहला वर्गीकरण बिलिंग स्थिति, रिन्यूअल संख्या और अवधि, प्लान और मूल्य, प्लेटफॉर्म, देश, एक्विजिशन कोहोर्ट, कोर-वर्कफ़्लो पूर्णता, और आउटेज या रिलीज के एक्सपोजर पर होगा। फिर मैं एक्सपायर्ड, रिटेन्ड और रिकवर्ड सब्सक्राइबर्स के मैच्ड सैंपल्स का इंटरव्यू लूंगा। सर्वे के कारण भाषा और प्रेरणा को समझाते हैं, जबकि लाइफसाइकिल और उपयोग डेटा यह स्थापित करते हैं कि नुकसान कब और कहाँ हुआ।

मान लें कि काल्पनिक विश्लेषण 1,200 अतिरिक्त नुकसान को अंतिम बिलिंग-विफलता एक्सपायरी, 700 को पहले और दूसरे रिन्यूअल वाले उन सब्सक्राइबर्स से जोड़ता है जिन्होंने कभी कोर वर्कफ़्लो पूरा नहीं किया, 300 को मूल्य-संवेदनशील सेगमेंट से, और 200 को अवशिष्ट कारणों से जोड़ता है। मैं पहले बिलिंग पर ध्यान दूंगा क्योंकि यह आधे अतिरिक्त नुकसान की व्याख्या करता है, इसका एक विशिष्ट तंत्र है, और इसका प्रतिवर्ती (reversibly) परीक्षण किया जा सकता है। मैं विफलता के प्रकार के आधार पर स्तरीकृत करके, एक योग्य होल्डआउट के साथ प्रोसेसर-सपोर्टेड रिट्राय और पेमेंट-अपडेट ट्रीटमेंट की तुलना करूंगा। प्राथमिक परिणाम एक निश्चित रिन्यूअल समय सीमा के माध्यम से इंक्रीमेंटल पेड रिटेंशन है, जिसमें चार्जबैक, डुप्लिकेट संपर्क, शिकायतें, सपोर्ट लोड और अनपेड-एक्सेस दिन गार्डरेल के रूप में होंगे।

इसके समानांतर, मैं शुरुआती अवधि के योग्य सब्सक्राइबर्स के लिए मुख्य वर्कफ़्लो के एक छोटे पाथ को रैंडमाइज़ करूंगा। वर्कफ़्लो पूर्णता एक मैकेनिज़्म मीट्रिक है; अगले अवसर पर रिन्यूअल निर्णय मीट्रिक है। मूल्य-संबंधित नुकसान के लिए, मैं कंट्रोल के मुकाबले पॉज, डाउनग्रेड या लक्षित ऑफर का परीक्षण करूंगा और इंक्रीमेंटल कॉन्ट्रिब्यूशन की गणना करूंगा। मैं 'सब्सक्राइब रहें' पर क्लिकों की गणना नहीं करूंगा, क्योंकि उनमें से कुछ उपयोगकर्ता वैसे भी रिन्यू कर लेते और डिस्काउंट से भ्रामक सेव रेट मिल सकता है।

मैं प्रत्येक इंटरवेंशन को स्वतंत्र रूप से केवल तभी स्केल करूंगा जब इसकी पेड-रिटेंशन लिफ्ट व्यावहारिक रूप से सार्थक हो, इंसेंटिव और सर्विस लागत के बाद रिटेन्ड कॉन्ट्रिब्यूशन सकारात्मक रहे, और गार्डरेल्स पास हों। यदि पेमेंट अपडेट बढ़ते हैं लेकिन पेड रिटेंशन नहीं बढ़ता है, तो मैं रिकवरी स्थिति की जांच करूंगा या इसे रोक दूंगा। यदि एक्टिवेशन केवल एक एक्विजिशन कोहोर्ट के लिए बेहतर होता है, तो मैं इसे व्यापक रूप से जारी करने के बजाय उस कोहोर्ट को लक्षित करूंगा। यदि इवेंट टाइमिंग को ठीक करने के बाद मूल 6.0% गायब हो जाता है, तो मैं मेजरमेंट को ठीक करूंगा और रिटेंशन प्रोग्राम शुरू करने के बजाय चर्न के दावे को वापस लूंगा।"

सामान्य गलतियां

• कैंसलेशन को तत्काल चर्न मानना → सब्सक्राइबर्स एक्सपायरी से पहले एक्सेस बरकरार रख सकते हैं और कैंसलेशन वापस ले सकते हैं → इरादे को अलग से ट्रैक करें और एक निश्चित एक्सपायरी और री-सब्सक्रिप्शन नियम के तहत चर्न की गणना करें।
• सभी सब्सक्राइबर्स की तुलना सभी सब्सक्राइबर्स से करना → अलग-अलग प्लान अवधि और कोहोर्ट की उम्र असमान रिन्यूअल अवसर पैदा करती है → समान रिन्यूअल संख्या और मैच्योरिटी पर कोहोर्ट्स की तुलना करें।
• रॉ चर्न यूजर काउंट के आधार पर कारणों को रैंक करना → एक बड़े सेगमेंट में बढ़ोतरी का कारण बने बिना भी कई नुकसान हो सकते हैं → वर्तमान एक्सपोजर पर पिछली सेगमेंट दरों को लागू करें और अतिरिक्त नुकसान का एट्रिब्यूशन करें।
• चर्न प्रेडिक्शन स्कोर को एक कारण के रूप में उपयोग करना → सहसंबद्ध व्यवहार जोखिम की पहचान करता है लेकिन यह नहीं दिखाता कि कौन सा इंटरवेंशन काम करेगा → एक मैकेनिज़्म परिकल्पना बनाएं और एक लक्षित कार्रवाई का परीक्षण करें।
• कैंसल पर क्लिक करने वाले सभी लोगों को डिस्काउंट भेजना → कुछ लोग पूरी कीमत पर रिन्यू कर लेते, इसलिए सेव करने के चक्कर में कॉन्ट्रिब्यूशन नष्ट हो सकता है → एक कंट्रोल ग्रुप का उपयोग करें और इंक्रीमेंटल रिटेन्ड कॉन्ट्रिब्यूशन को मापें।
• कैंसलेशन-फ्लो कंप्लीशन को ऑप्टिमाइज़ करना → फ्रिक्शन जोड़ने से निराशा और बाद में रिफंड बढ़ते हुए क्लिक्स को दबाया जा सकता है → विश्वास के गार्डरेल्स के साथ रिन्यूअल अवसर के बाद पेड रिटेंशन को मापें।
• शुरुआती लीडिंग मीट्रिक से जीत की घोषणा करना → पेमेंट अपडेट या वर्कफ़्लो पूर्णता से शायद दूसरा पेड रिन्यूअल न मिले → पूर्व-प्रतिबद्ध परिणाम समय सीमा की प्रतीक्षा करें और अपरिपक्व कोहोर्ट्स को लेबल करें।
• लॉन्च के बाद चर्न की परिभाषा बदलना → इंटरवेंशन काम करता हुआ प्रतीत होता है क्योंकि अकाउंटिंग बदल गई है → मीट्रिक कॉन्ट्रैक्ट को वर्जन करें और हर तुलना को लगातार बैकफिल करें।

फॉलो-अप प्रश्न और उत्तर

फॉलो-अप 1: चर्न केवल एक पेड चैनल से प्राप्त सब्सक्राइबर्स के बीच बढ़ा। क्या आप प्रोडक्ट में बदलाव करेंगे?

पहले उस चैनल के भीतर अभियान, ऑफर, भूगोल, डिवाइस और कोहोर्ट मैच्योरिटी को वेरिफाई करें। अन्य कोहोर्ट्स के साथ प्रॉमिस किए गए काम, एक्टिवेशन, रिन्यूअल एक्सपोजर और कॉन्ट्रिब्यूशन की तुलना करें। यदि चैनल सटीक प्रोडक्ट डिलीवरी के बावजूद कम-उपयुक्त (low-fit) यूजर्स को आकर्षित करता है, तो मुख्य प्रोडक्ट को बदलने से पहले टार्गेटिंग, दावों या एक्विजिशन इकोनॉमिक्स को बदलें। यदि यह एक मूल्यवान सेगमेंट द्वारा साझा की गई वास्तविक वर्कफ़्लो विफलता को उजागर करता है, तो प्रोडक्ट को ठीक करें और उस सेगमेंट में प्रभाव का परीक्षण करें।

फॉलो-अप 2: कैंसलेशन सर्वे में "बहुत महंगा" कहा गया है, लेकिन उपयोग भी कम है। इसका कारण क्या है?

सर्वे वास्तविक सामर्थ्य की कमी और कमजोर महसूस की गई वैल्यू के बीच अंतर नहीं करता है। चर्न किए गए और रिटेन किए गए सब्सक्राइबर्स के बीच मूल्य एक्सपोजर, अवधि, मुख्य-वर्कफ़्लो पूर्णता, विकल्पों और गुणात्मक स्पष्टीकरणों की तुलना करें। विभिन्न तंत्रों का अलग-अलग परीक्षण करें: कम उपयोग वाले पात्र यूजर्स के लिए एक प्रोडक्ट-वैल्यू इंटरवेंशन और सत्यापित मूल्य-संवेदनशील यूजर्स के लिए पॉज, डाउनग्रेड या ऑफर। जो प्रतिक्रिया इंक्रीमेंटल रिन्यूअल में सुधार करती है, वह पहचानती है कि कौन सा तंत्र कार्रवाई योग्य है।

फॉलो-अप 3: क्या हम पहले सफल महीने के बाद होल्डआउट को हटा सकते हैं?

एक महीना कैंसलेशन रिवर्सल या पेमेंट रिकवरी को कैप्चर कर सकता है, लेकिन अगले रिन्यूअल, इंसेंटिव की आदत या विश्वास को पहुंचने वाले नुकसान को नहीं दिखा पाता। पूर्व-प्रतिबद्ध समय सीमा तक एक होल्डआउट रखें और संभव होने पर एक छोटा दीर्घकालिक कंट्रोल बनाए रखें। यदि किसी इंटरवेंशन को रोकना नीति का उल्लंघन करता है या महत्वपूर्ण कस्टमर नुकसान पैदा करता है, तो फेस्ड रोलआउट या किसी अन्य विश्वसनीय तुलना का उपयोग करें और कमजोर कॉजल निश्चितता को डॉक्यूमेंट करें।

फॉलो-अप 4: बिलिंग रिकवरी में सबसे बड़ी बढ़त है। क्या हर विफल भुगतान के लिए अधिक रिट्राय मिलने चाहिए?

नहीं। डिक्लाइन का कारण, प्रोसेसर के नियम, कस्टमर कम्युनिकेशन, रिट्राय लागत, चार्जबैक जोखिम और ग्रेस इकोनॉमिक्स अलग-अलग होते हैं। कुछ विफलताएं गैर-पुनर्प्रयास योग्य (non-retryable) होती हैं, और बार-बार किए गए प्रयास विश्वास को नुकसान पहुंचा सकते हैं। नीति को विभाजित करें, प्रयासों और अवधि को सीमित करें, एक स्पष्ट पेमेंट-अपडेट पाथ प्रदान करें, और केवल वहीं स्केल करें जहां इंक्रीमेंटल रिकवरी लागत से अधिक हो और गार्डरेल्स पास हों।

फॉलो-अप 5: लीडरशिप अगली तिमाही के लिए चर्न टारगेट चाहती है। आप क्या प्रतिबद्धता देंगे?

एक सार्वभौमिक बेंचमार्क के बजाय एक ऑडिट योग्य मीट्रिक और तंत्र-स्तरीय लक्ष्यों के पोर्टफोलियो के लिए प्रतिबद्ध हों। पात्र आबादी, बेसलाइन रेंज, मैच्योरिटी लैग, न्यूनतम व्यावहारिक कमी, अपेक्षित कॉन्ट्रिब्यूशन, गार्डरेल्स बताएं, और यह भी स्पष्ट करें कि 2,400 अतिरिक्त नुकसानों में से प्रत्येक परीक्षण किया गया तंत्र कितने नुकसान को हल कर सकता है। पिछली तुलनीय सीमा पर लौटने के निकट-अवधि के लक्ष्य को दीर्घकालिक संरचनात्मक-रिटेंशन लक्ष्य से अलग रखें।

फॉलो-अप 6: क्या होगा यदि कस्टमर चर्न सुधरता है लेकिन ग्रॉस रेवेन्यू चर्न खराब हो जाता है?

जांच करें कि किन सब्सक्राइबर्स को रिटेन किया गया था और क्या उच्च-मूल्य वाले खातों ने डाउनग्रेड किया या वे छोड़ गए। एक कम कीमत वाला सेव पाथ रिकरिंग रेवेन्यू और कॉन्ट्रिब्यूशन को खोते हुए अधिक सब्सक्रिप्शन को बनाए रख सकता है। घोषित उद्देश्य के विरुद्ध निर्णय लें, कस्टमर और रेवेन्यू दोनों उपायों की रिपोर्ट करें, और यदि प्रोग्राम मूल्य बनाने के बजाय नुकसान को शिफ्ट करता है तो पात्रता या पैकेजिंग को संशोधित करें।