डेटा इंजीनियरिंग इंटरव्यू: डेटा ऑब्जर्वेबिलिटी का क्या अर्थ है, और आप इसे कैसे लागू करते हैं?

1. प्रश्न और संदर्भ

यह प्रश्न डेटा-प्लेटफ़ॉर्म, डेटा-इंजीनियरिंग और एनालिटिक्स-इंजीनियरिंग के निर्णय कौशल का परीक्षण करता है। यहाँ मुख्य ध्यान केवल इस बात पर नहीं है कि कोई ऑर्केस्ट्रेशन टास्क पूरा हुआ या नहीं, बल्कि स्वयं डेटा के स्वास्थ्य और प्रभाव पर है। एक मजबूत उत्तर में डाइमेंशन्स, बेसलाइन्स, ओनरशिप, अलर्ट सेवेरिटी और रिकवरी शामिल होते हैं।

2. इंटरव्यूअर क्या मूल्यांकन कर रहा है

• क्या आप ऑब्जर्वेबिलिटी को फ्रेशनेस, वॉल्यूम, स्कीमा, कम्प्लीटनेस, डिस्ट्रीब्यूशन, यूनिकनेस और रिलेशनल इंटीग्रिटी में विभाजित करते हैं।
• क्या नियम एक ही थ्रेशोल्ड साझा करने के बजाय डेटासेट के उपयोग, लीनेज और व्यावसायिक प्रभाव के अनुसार बदलते हैं।
• क्या ऑब्जर्वेशन्स में नियम के वर्जन्स और रन एविडेंस सुरक्षित रहते हैं, जो ब्लॉकिंग विफलताओं, चेतावनियों और अज्ञात स्थिति को अलग करते हैं।
• क्या अलर्ट बिना किसी ओनर वाले संदेश के बजाय क्वारंटाइन, बैकफिल, रीकॉन्सिलिएशन और समीक्षा की ओर ले जाते हैं।

MentorCruise की सार्वजनिक डेटा-इंजीनियरिंग साक्षात्कार गाइड सीधे पूछती है कि डेटा ऑब्जर्वेबिलिटी का क्या अर्थ है और इसमें फ्रेशनेस, वॉल्यूम, स्कीमा ड्रिफ्ट, नल वैल्यूज, डुप्लिकेट्स, डिस्ट्रीब्यूशन और लीनेज को सूचीबद्ध करती है। Great Expectations डेटा-क्वालिटी उपयोग के मामलों के रूप में डिस्ट्रीब्यूशन, फ्रेशनेस, इंटीग्रिटी, मिसिंगनेस, स्कीमा, यूनिकनेस और वॉल्यूम का दस्तावेजीकरण करता है, और Expectation को डेटा के बारे में एक सत्यापन योग्य दावे (verifiable assertion) के रूप में परिभाषित करता है।

3. उत्तर देने से पहले स्पष्टीकरण हेतु प्रश्न

1. क्या यह डेटासेट रिपोर्टिंग, सेटलमेंट, सिफारिशों (recommendations) या ट्रेनिंग के लिए काम आता है? लेटेंसी और एरर के क्या प्रभाव हैं?
2. क्या स्रोत बैच, स्ट्रीमिंग या हाइब्रिड है? इवेंट टाइम और अराइवल टाइम को कैसे परिभाषित किया गया है?
3. कौन सी विफलताएं पब्लिकेशन को ब्लॉक करती हैं, और कौन सी केवल चेतावनी देती हैं? क्या डिग्रेडेशन के लिए एक विश्वसनीय स्नैपशॉट (trusted snapshot) उपलब्ध है?
4. एसेट, लीनेज और अलर्ट का ओनर कौन है? किन पार्टिशन्स को बैकफिल की आवश्यकता है और किन कंज्यूमर्स को सूचित करने की आवश्यकता है?

4. 30-सेकंड का उत्तर ढाँचा

मैं व्यावसायिक प्रभाव के आधार पर डेटासेट्स को स्तरों (tiers) में वर्गीकृत करूँगा, फिर प्रत्येक महत्वपूर्ण एसेट के लिए फ्रेशनेस, वॉल्यूम, स्कीमा, कम्प्लीटनेस, डिस्ट्रीब्यूशन और रिलेशनशिप चेक्स को परिभाषित करूँगा। प्रत्येक रन नियम के वर्जन, बैच, ऑब्जर्वेशन्स, लीनेज और ओनर को रिकॉर्ड करता है; परिणामों को ब्लॉक, चेतावनी या सूचना के रूप में रूट किया जाता है। डाउनस्ट्रीम रीडर्स क्वालिटी स्टेट का उपयोग करते हैं, और उचित होने पर क्वारंटाइन या टाइमस्टैम्प्ड विश्वसनीय स्नैपशॉट का उपयोग किया जाता है। सुधार के बाद, मैं उसी चेक वर्जन को फिर से चलाता हूँ, इनपुट, आउटपुट, रिजेक्टेड और कन्ज्यूम्ड रिकॉर्ड्स का मिलान (reconcile) करता हूँ, और समीक्षा के दौरान थ्रेशोल्ड को ट्यून करता हूँ।

5. चरण-दर-चरण गहन विश्लेषण

चरण 1: एसेट्स और गंभीरता को परिभाषित करें

टेबल्स, टॉपिक्स, फाइल्स और मॉडल इनपुट्स को ओनर्स, कंज्यूमर्स, संवेदनशीलता और लीनेज के साथ स्थिर पहचान (stable identities) दें। सेटलमेंट और ग्राहक-सामना करने वाले (customer-facing) मेट्रिक्स जैसे उच्च-प्रभाव वाले एसेट्स को पहले कवर करें; अन्यथा चेक की लागत और अलर्ट की संख्या अनियंत्रित रूप से बढ़ जाती है।

चरण 2: पूरक संकेतों (Complementary Signals) का चयन करें

फ्रेशनेस व्यावसायिक और अराइवल टाइमस्टैम्प की जांच करती है; वॉल्यूम पंक्तियों, फाइलों या बाइट्स की जांच करता है; स्कीमा फील्ड्स, प्रकारों और अनुकूलता की जांच करता है; कम्प्लीटनेस आवश्यक मानों, डुप्लिकेट्स और संदर्भों की जांच करती है; डिस्ट्रीब्यूशन सीमाओं (ranges), क्वांटाइल्स या श्रेणी आवृत्तियों की जांच करता है। प्रत्येक मेट्रिक के लिए सैंपल साइज, विंडो, थ्रेशोल्ड और नियम वर्जन को बनाए रखें ताकि एक ही स्कोर विफलता के डाइमेंशन को छिपा न सके।

चरण 3: चेक्स को कार्रवाई योग्य और व्याख्या योग्य बनाएं

डिक्लेरेटिव असर्शन और कस्टम क्वेरीज़ को कोड समीक्षा और डिप्लॉयमेंट में रखें। महत्वपूर्ण नियमों को गंभीरता (severity), विफलता पर कार्रवाई और एक ओनर सौंपें; कम-मात्रा या मौसमी एसेट्स के लिए बेसलाइन्स और लगातार विंडोज़ का उपयोग करें। परिणामों को पार्टिशन, रन, अपस्ट्रीम परिवर्तन और डाउनस्ट्रीम प्रभाव से जुड़े क्वालिटी लेज़र में लिखें।

चरण 4: अलर्ट, क्वारंटाइन और रिकवरी को कनेक्ट करें

जब खराब डेटा वित्त या किसी मॉडल को दूषित कर सकता है, तो पब्लिकेशन को ब्लॉक करें। एक स्थानीय विसंगति को क्वारंटाइन करें और एक टाइमस्टैम्प्ड विश्वसनीय स्नैपशॉट बनाए रखें जब व्यापक ब्लॉक की आवश्यकता न हो। अलर्ट में एसेट, डाइमेंशन, ऑब्जर्वेशन, थ्रेशोल्ड, लीनेज और सुझाई गई कार्रवाई शामिल होती है। अपस्ट्रीम सुधार के बाद, व्यावसायिक समय के अनुसार बैकफिल करें और यह साबित करने के लिए कि कोई डेटा हानि या डुप्लिकेशन नहीं है, इडेम्पोटेंट राइट्स और इनपुट/आउटपुट रीकॉन्सिलिएशन का उपयोग करें।

6. उच्च-गुणवत्ता वाला नमूना उत्तर

मैं व्यावसायिक प्रभाव के आधार पर एसेट्स को वर्गीकृत करूँगा और महत्वपूर्ण एसेट्स के लिए ओनर्स, कंज्यूमर्स और लीनेज को पंजीकृत करूँगा। प्रत्येक लोड अराइवल और व्यावसायिक समय, पंक्ति या बाइट वॉल्यूम, स्कीमा, आवश्यक फील्ड्स, डुप्लिकेट्स, संबंधों और की-वैल्यू डिस्ट्रीब्यूशन की जांच करता है। परिणाम नियम वर्जन, बैच, सैंपल साइज, ऑब्जर्वेशन और डाउनस्ट्रीम प्रभाव को सुरक्षित रखते हैं; गंभीरता यह निर्धारित करती है कि पब्लिकेशन को ब्लॉक किया जाए, चेतावनी दी जाए या केवल रिकॉर्ड किया जाए।

यदि कोई सेटलमेंट टेबल कम्प्लीटनेस में विफल हो जाती है, तो मैं बैच को क्वारंटाइन करता हूँ और पब्लिकेशन को ब्लॉक करता हूँ। एक स्वतंत्र डैशबोर्ड अपने टाइमस्टैम्प के साथ पिछले विश्वसनीय स्नैपशॉट का उपयोग कर सकता है। अलर्ट एक अस्पष्ट स्कोर दिखाने के बजाय विफल डाइमेंशन और संभावित अपस्ट्रीम परिवर्तन का नाम देता है। मरम्मत के बाद, मैं पार्टिशन्स को बैकफिल करता हूँ, उन्हीं चेक्स को फिर से चलाता हूँ, इनपुट, आउटपुट, रिजेक्टेड और कन्ज्यूम्ड रिकॉर्ड्स का मिलान करता हूँ, और मेट्रिक्स के ठीक होने के बाद ही इंसिडेंट को बंद करता हूँ। अंत में, मैं थ्रेशोल्ड और कवरेज को ट्यून करने के लिए गलत अलार्म, छूटे हुए मामलों (misses) और हैंडलिंग समय का उपयोग करता हूँ।

7. सामान्य विफलता मोड

• केवल यह जांचना कि DAG सफल हुआ या नहीं, यह नहीं कि डेटा ताजा, पूर्ण और उपयोग योग्य है या नहीं।
• कंज्यूमर्स, मौसमी बदलावों और सैंपल साइज को नजरअंदाज करते हुए हर एसेट पर एक ही थ्रेशोल्ड लागू करना।
• नियम वर्जन्स, बैचों या लीनेज को छोड़ देना जिससे अलर्ट को दोबारा प्रस्तुत (reproduce) न किया जा सके।
• हर विफलता के लिए पूरे प्लेटफॉर्म को ब्लॉक कर देना, या खराब डेटा को स्वचालित रूप से डाउनस्ट्रीम सिस्टम में पुनः प्रयास (retry) करना।
• बैकफिल, रीकॉन्सिलिएशन और डुप्लिकेट-राइट सुरक्षा को रिकॉर्ड किए बिना मरम्मत के बाद इतिहास को अधिलेखित (overwrite) करना।

8. फॉलो-अप प्रश्न और उत्तर

फॉलो-अप 1: डेटा क्वालिटी डेटा ऑब्जर्वेबिलिटी से किस प्रकार भिन्न है?

क्वालिटी चेक्स किसी दावे (assertion) को सत्यापित करते हैं। ऑब्जर्वेबिलिटी स्वास्थ्य संकेतों को रन संदर्भ, लीनेज, ओनरशिप, प्रभाव और कार्रवाई से भी जोड़ती है। क्वालिटी ऑपरेटिंग लूप का एक संकेत है, पूरा लूप नहीं।

फॉलो-अप 2: आप गलत अलार्म को कैसे कम करते हैं?

एसेट और सेगमेंट के अनुसार ऐतिहासिक बेसलाइन्स का उपयोग करें, सैंपल साइज बनाए रखें, लगातार विंडोज़ की आवश्यकता तय करें, और गंभीरता स्तर लागू करें। नए नियमों को शैडो मोड में देखें और पुराने वर्जन्स को सुरक्षित रखते हुए गलत अलार्म की लागत की समीक्षा करें।

फॉलो-अप 3: क्या प्रत्येक विफल चेक को पब्लिकेशन ब्लॉक करना चाहिए?

प्रभाव और लीनेज के आधार पर निर्णय लें। ऐसी विफलता जो सेटलमेंट, ग्राहकों की प्रतिबद्धताओं या ट्रेनिंग को दूषित कर सकती है, उसे संबंधित पब्लिकेशन को ब्लॉक करना चाहिए; कम जोखिम वाले कंज्यूमर्स चेतावनी वाले विश्वसनीय स्नैपशॉट को पढ़ सकते हैं। स्कोप, एस्केलेशन टाइमआउट और रिलीज की शर्तें ऑडिट योग्य होनी चाहिए।