7.4 प्रोडक्ट एनालिटिक्स और प्रयोग

अवलोकन और प्रेरणा

प्रोडक्ट एनालिटिक्स यह समझने का अभ्यास है कि लोग वास्तव में एक उत्पाद का उपयोग कैसे करते हैं, उनके व्यवहार को कैप्चर और विश्लेषित करके: वे किन फ़ीचरों को छूते हैं, कहाँ सफल होते हैं, कहाँ छोड़ देते हैं, और उन्हें वापस आते रहने के लिए क्या प्रेरित करता है। प्रयोग नियंत्रित परीक्षण चलाकर कारण और प्रभाव स्थापित करने का अनुशासन है, सबसे आम तौर पर A/B टेस्ट (दो वेरिएंट की यादृच्छिक आमने-सामने तुलना), ताकि आप प्रोडक्ट परिवर्तनों को राय या अंतर्ज्ञान के बजाय उनके वास्तविक प्रभाव से आंकें। साथ में वे प्रोडक्ट निर्णयों को “हम सोचते हैं” से “हम जानते हैं,” या कम से कम “हमने मापा” तक ले जाते हैं।

बड़ी टीमों के लिए ये अभ्यास निर्णायक हैं। जब दर्जनों स्क्वाड लाखों लोगों द्वारा उपयोग किए जाने वाले उत्पाद में परिवर्तन शिप करते हैं, तो अनिर्देशित अंतर्ज्ञान परिवर्तनों की एक धारा पैदा करता है जिसका शुद्ध प्रभाव कोई माप नहीं सकता, और सबसे ऊँची आवाज़ उन बहसों को जीत जाती है जिन्हें डेटा को तय करना चाहिए था। एंटरप्राइज़ पैमाने पर राजस्व और रूपांतरण की रक्षा के लिए प्रयोग का उपयोग करते हैं, पूर्ण रोलआउट से पहले हानिकारक परिवर्तनों को पकड़ते हुए। सरकारी डिजिटल सेवाएं आवश्यक सेवाओं (लाभ आवेदन, कर फ़ाइलिंग, लाइसेंस नवीनीकरण) की स्वीकृति और पूर्णता में सुधार के लिए तेज़ी से उन्हीं तरीकों का उपयोग कर रही हैं, जहाँ पूर्णता दर में एक छोटा सुधार नागरिक परिणामों में बड़े लाभ और कम कॉल-सेंटर लोड में तब्दील होता है।

प्रोडक्ट एनालिटिक्स का मूल्य पूरी तरह इंस्ट्रूमेंटेशन की गुणवत्ता और विश्लेषण की कठोरता पर निर्भर करता है। लापरवाह इवेंट ट्रैकिंग ऐसा डेटा पैदा करती है जिस पर कोई भरोसा नहीं करता। खराब तरीके से चलाए गए प्रयोग आत्मविश्वासी लेकिन गलत निष्कर्ष पैदा करते हैं। और क्योंकि यह डेटा व्यवहारगत और अक्सर व्यक्तिगत है, आपको इसे एक गोपनीयता-सम्मानजनक, सहमति-जागरूक तरीके से इकट्ठा करना चाहिए, जो कई क्षेत्राधिकारों में एक कानूनी आवश्यकता और हर जगह एक नैतिक दायित्व है। यह अध्याय इंस्ट्रूमेंटेशन, मूल व्यवहारगत विश्लेषण, कठोर प्रयोग, मायने रखने वाले मीट्रिक चुनना, और यह सब सम्मानपूर्वक करना कवर करता है।

मुख्य सिद्धांत

एक दस्तावेज़ीकृत ट्रैकिंग योजना और सुसंगत वर्गीकरण के साथ जानबूझकर इंस्ट्रूमेंट करें।
कारणात्मक सवालों के लिए राय के बजाय नियंत्रित प्रयोगों को प्राथमिकता दें।
सांख्यिकीय कठोरता गैर-परक्राम्य है; कम-शक्ति वाले या झांके गए टेस्ट गुमराह करते हैं।
वास्तविक मूल्य से जुड़े एक नॉर्थ-स्टार मीट्रिक पर टिके रहें, घमंडी संख्याओं पर नहीं।
केवल अधिग्रहण नहीं, रिटेंशन और जुड़ाव को मापें।
स्पष्ट सहमति के साथ आवश्यक न्यूनतम व्यवहारगत डेटा इकट्ठा करें।
इंस्ट्रूमेंटेशन को स्वामियों और गुणवत्ता जाँच वाले एक उत्पाद के रूप में मानें।
एक नकारात्मक या सपाट प्रयोग परिणाम एक मूल्यवान खोज है, विफलता नहीं।

सिफारिशें

एक ट्रैकिंग योजना और वर्गीकरण के साथ इंस्ट्रूमेंट करें

इवेंट जोड़ने से पहले, एक ट्रैकिंग योजना डिज़ाइन करें: वे इवेंट जिन्हें आप कैप्चर करेंगे, उनके गुण, नामकरण परंपराएं, और हर एक जिस सवाल का जवाब देता है। एक सुसंगत वर्गीकरण (इवेंट और गुणों के लिए एक स्थिर नामकरण योजना) लागू करें ताकि डेटा टीमों और समय में विश्लेषण योग्य बना रहे। ट्रैकिंग योजना को शासित स्कीमा मानें: इसे वर्ज़न करें, परिवर्तनों की समीक्षा करें, और इसके खिलाफ़ इवेंट को मान्य करें, ताकि आप विकृत या अप्रत्याशित इवेंट को इनजेशन पर पकड़ें बजाय उन्हें महीनों बाद अंतराल के रूप में खोजने के। इस अनुशासन के बिना, प्रोडक्ट डेटा असंगत, दोहराए गए, और अदस्तावेज़ीकृत इवेंट की एक अनुपयोगी गड़बड़ बन जाता है।

फ़नल, कोहॉर्ट, रिटेंशन, और जुड़ाव का विश्लेषण करें

यह देखने के लिए कि उपयोगकर्ता प्रमुख प्रवाहों में कहाँ छोड़ते हैं और सुधारों को लक्षित करने के लिए फ़नल का उपयोग करें। उन समूहों की तुलना करने के लिए कोहॉर्ट विश्लेषण का उपयोग करें जो इस बात से परिभाषित होते हैं कि वे कब शामिल हुए या उन्होंने क्या किया, जो यह उजागर करता है कि क्या परिवर्तन वास्तव में समय के साथ व्यवहार को सुधारते हैं। रिटेंशन को मापें (क्या उपयोगकर्ता वापस आते हैं) क्योंकि बिना रिटेंशन के अधिग्रहण एक टपकती हुई बाल्टी है। जुड़ाव को ईमानदारी से चरित्रित करें, एक सक्रिय उपयोगकर्ता की सार्थक परिभाषाओं के साथ, न कि चापलूसी करने वाली गिनतियों के साथ। ये विश्लेषण, स्वच्छ इंस्ट्रूमेंटेशन में निहित, आपको बताते हैं कि उत्पाद में वास्तव में क्या हो रहा है।

कठोर प्रयोग चलाएं

कारणात्मक सवालों के लिए, नियंत्रित प्रयोग चलाएं: उपयोगकर्ताओं को यादृच्छिक रूप से वेरिएंट को सौंपें और परिणामों की तुलना करें। कठोरता के लिए कई अनुशासन चाहिए। शुरू करने से पहले पर्याप्त सांख्यिकीय शक्ति के लिए आवश्यक नमूना आकार और अवधि की गणना करें। केवल इसलिए जल्दी न रुकें क्योंकि एक परिणाम महत्वपूर्ण दिखता है: झांकना फ़ॉल्स पॉज़िटिव को बढ़ाता है। अपना प्राथमिक मीट्रिक और परिकल्पना पहले से परिभाषित करें, ताकि आप कई मीट्रिक में किसी भी महत्वपूर्ण परिणाम को खोजने से बचें। जाँचें कि रैंडमाइज़ेशन सुदृढ़ है और गार्डरेल मीट्रिक (प्रदर्शन, राजस्व, शिकायतें) को नुकसान नहीं पहुँचा है। असाइनमेंट, विश्लेषण, और गार्डरेल को मानकीकृत करने के लिए एक प्रयोग प्लेटफ़ॉर्म का उपयोग करें, ताकि हर टीम सांख्यिकी को बुरी तरह से फिर से आविष्कार करने के बजाय सुदृढ़ टेस्ट चलाए।

एक नॉर्थ-स्टार मीट्रिक चुनें और घमंडी मीट्रिक से बचें

एक एकल नॉर्थ-स्टार मीट्रिक चुनें जो उस मूल मूल्य को कैप्चर करे जो आपका उत्पाद उपयोगकर्ताओं को देता है, और जो बढ़ने पर वास्तविक सफलता का संकेत दे, न कि एक घमंडी संख्या जो बिना संबंधित मूल्य के बढ़ती है। कुल पंजीकृत उपयोगकर्ता, कच्चे पेज व्यू, और संचयी डाउनलोड क्लासिक घमंडी मीट्रिक हैं: वे केवल ऊपर जाते हैं और शायद ही कभी स्वास्थ्य को दर्शाते हैं। ऐसे मीट्रिक को प्राथमिकता दें जो दिए गए और बनाए रखे गए मूल्य से जुड़े हों, और नॉर्थ-स्टार को इनपुट मीट्रिक के एक छोटे समूह से घेरें जिन्हें टीमें वास्तव में प्रभावित कर सकती हैं। एक प्रॉक्सी को इतनी कठोरता से अनुकूलित करने से सावधान रहें कि आप वास्तविक लक्ष्य को नुकसान पहुँचाएं।

गोपनीयता और सहमति का सम्मान करें

व्यवहारगत डेटा व्यक्तिगत डेटा है। केवल वही इकट्ठा करें जो आपको एक परिभाषित उद्देश्य के लिए चाहिए, कानून द्वारा आवश्यक सहमति प्राप्त करें और उसका सम्मान करें, और उपयोगकर्ताओं को पारदर्शिता और नियंत्रण दें। जहाँ पर्याप्त हो वहाँ समुच्चय और छद्मनामित विश्लेषण को प्राथमिकता दें, प्रतिधारण को न्यूनतम करें, और किसी भी संवेदनशील डेटासेट की तरह ही समान गवर्नेंस, वर्गीकरण, और एक्सेस नियंत्रण लागू करें। गोपनीयता का सम्मान करना GDPR (EU का जनरल डेटा प्रोटेक्शन रेगुलेशन) जैसे शासनों को संतुष्ट करने से कहीं अधिक करता है: यह उस उपयोगकर्ता विश्वास को बनाए रखता है जिस पर उत्पाद निर्भर करता है। एनालिटिक्स को इस तरह डिज़ाइन करें कि जो उपयोगकर्ता ट्रैकिंग को अस्वीकार करता है उसे भी एक काम करने वाला उत्पाद मिले।

इंस्ट्रूमेंटेशन और प्रयोगों को उत्पादों के रूप में मानें

इंस्ट्रूमेंटेशन को उसकी गुणवत्ता, कवरेज, और दस्तावेज़ीकरण के लिए जवाबदेह एक स्वामी दें, और टूटे या गायब इवेंट के लिए उसी तरह निगरानी करें जैसे आप पाइपलाइनों की निगरानी करते हैं। एक साझा प्लेटफ़ॉर्म, प्रयोग डिज़ाइन की समीक्षा, और पिछले परिणामों के एक भंडार के साथ एक प्रयोग संस्कृति बनाएं ताकि संगठन टेस्ट दोहराने और परिणाम भूलने के बजाय संचयी रूप से सीखे।

समझौते: फ़ायदे और नुकसान

विकल्प	फ़ायदे	नुकसान	सबसे उपयुक्त
भारी इंस्ट्रूमेंटेशन	समृद्ध व्यवहारगत अंतर्दृष्टि	लागत, गोपनीयता एक्सपोज़र, शोर	डेटा-संचालित उत्पाद
न्यूनतम इंस्ट्रूमेंटेशन	सस्ता, कम गोपनीयता जोखिम	अंध स्थान, कमज़ोर विश्लेषण	शुरुआती या कम-जोखिम वाले उत्पाद
A/B प्रयोग	कारणात्मक निश्चितता, मीट्रिक की रक्षा करता है	ट्रैफ़िक, समय, कठोरता की आवश्यकता	उच्च-ट्रैफ़िक उत्पाद
शिप-एंड-ऑब्ज़र्व	तेज़, कोई ट्रैफ़िक सीमा नहीं	कन्फ़ाउंडेड, कोई कारणता नहीं	कम-ट्रैफ़िक या प्रतिवर्तनीय परिवर्तन
नॉर्थ-स्टार फ़ोकस	संरेखण, स्पष्ट प्राथमिकताएं	अति-सरलीकरण, छेड़छाड़ का जोखिम	अधिकांश प्रोडक्ट टीमें
कई KPI	बारीकी	फैला हुआ फ़ोकस, परस्पर विरोधी लक्ष्य	परिपक्व एनालिटिक्स संगठन

केंद्रीय समझौता गति बनाम निश्चितता है, जो ट्रैफ़िक द्वारा मध्यस्थ है। प्रयोग कारणात्मक निश्चितता देते हैं, लेकिन उन्हें सांख्यिकीय शक्ति तक पहुँचने के लिए पर्याप्त उपयोगकर्ता और पर्याप्त धैर्य चाहिए। कम-ट्रैफ़िक वाली फ़ीचरों या स्पष्ट रूप से प्रतिवर्तनीय परिवर्तनों के लिए, अनुशासित शिप-एंड-ऑब्ज़र्व व्यावहारिक हो सकता है। इंस्ट्रूमेंटेशन लागत और गोपनीयता एक्सपोज़र के मुकाबले अंतर्दृष्टि का व्यापार करता है, इसलिए जमा करने के बजाय उद्देश्यपूर्ण ढंग से इकट्ठा करें। और एक नॉर्थ-स्टार मीट्रिक संरेखण के लिए बारीकी का व्यापार करता है: फ़ोकस के लिए शक्तिशाली, यदि छेड़छाड़ की जाए तो खतरनाक, इसलिए इसे गार्डरेल के साथ जोड़ें।

अपनी टीम के साथ चर्चा करने के लिए सवाल

आपकी ट्रैकिंग योजना का स्वामी कौन है, और क्या आप इनजेशन पर उसके खिलाफ़ इवेंट को मान्य करते हैं ताकि विकृत डेटा जल्दी विफल हो बजाय महीनों बाद अंतराल के रूप में सामने आने के? यह अध्याय ट्रैकिंग योजना को शासित स्कीमा मानता है: वर्ज़न किया गया, समीक्षा किया गया, और मान्य किया गया, एक सुसंगत वर्गीकरण के साथ ताकि डेटा टीमों और समय में विश्लेषण योग्य बना रहे। उस अनुशासन के बिना, प्रोडक्ट डेटा असंगत, दोहराए गए, और अदस्तावेज़ीकृत इवेंट की एक अनुपयोगी गड़बड़ में बिगड़ जाता है, और आप छेद तभी खोजते हैं जब आप किसी सवाल का जवाब देने की कोशिश करते हैं। दर्जनों स्क्वाड और लाखों उपयोगकर्ताओं द्वारा छुए गए उत्पाद के लिए, एक बिना-स्वामी वाली ट्रैकिंग योजना का मतलब है कि हर टीम इवेंट को अलग तरह से नाम देती है और कोई क्रॉस-टीम विश्लेषण नहीं टिकता। सबूत लाएं: एक प्रमुख फ़नल चुनें और जाँचें कि क्या उसके इवेंट दस्तावेज़ीकृत और सुसंगत रूप से नामित हैं। यदि स्वामित्व अस्पष्ट है, तो इसे सौंपें, और टूटे या गायब इवेंट के लिए उसी तरह निगरानी करें जैसे आप पाइपलाइनों की निगरानी करते हैं।
क्या आपकी सभी टीमें पावर गणना और गार्डरेल के साथ एक साझा प्लेटफ़ॉर्म के माध्यम से प्रयोग चलाती हैं, या हर एक सांख्यिकी को बुरी तरह से फिर से आविष्कार करती है? यह अध्याय स्पष्ट है कि कठोरता गैर-परक्राम्य है: शुरू करने से पहले पर्याप्त सांख्यिकीय शक्ति के लिए नमूना आकार और अवधि की गणना करें, प्राथमिक मीट्रिक और परिकल्पना पहले से परिभाषित करें, झांकें नहीं और जल्दी न रुकें, और प्रदर्शन, राजस्व, और शिकायतों जैसे गार्डरेल मीट्रिक देखें। एक साझा प्रयोग प्लेटफ़ॉर्म असाइनमेंट, विश्लेषण, और गार्डरेल को मानकीकृत करता है ताकि हर टीम सुदृढ़ टेस्ट चलाए बजाय हर स्क्वाड के तब तक झांकने के जब तक कुछ महत्वपूर्ण न दिखे। उच्च-ट्रैफ़िक एंटरप्राइज़ उत्पादों के लिए, एक रोका गया बुरा लॉन्च (एक रीडिज़ाइन जिसने चुपचाप रिटेंशन को नुकसान पहुँचाया) पूरे कार्यक्रम की कीमत चुका सकता है। एक संकेत लाएं: क्या टीमें वर्तमान में पावर की गणना करती हैं, या तब रुकती हैं जब एक परिणाम अच्छा दिखता है? यदि यह बाद वाला है, तो एक साझा प्लेटफ़ॉर्म और डिज़ाइन समीक्षा ही समाधान है।
आपका उत्पाद उस उपयोगकर्ता के लिए अभी भी कैसे काम करता है जो ट्रैकिंग को अस्वीकार करता है, और क्या आप एक परिभाषित उद्देश्य के लिए केवल न्यूनतम व्यवहारगत डेटा इकट्ठा कर रहे हैं? यह अध्याय व्यवहारगत डेटा को व्यक्तिगत डेटा मानता है: केवल वही इकट्ठा करें जो एक परिभाषित उद्देश्य को चाहिए, कानून की मांग के अनुसार सहमति प्राप्त करें और उसका सम्मान करें, प्रतिधारण को न्यूनतम करें, और किसी भी संवेदनशील डेटासेट की तरह ही समान वर्गीकरण और एक्सेस नियंत्रण लागू करें। इसका सम्मान करना उस उपयोगकर्ता विश्वास को बनाए रखता है जिस पर उत्पाद निर्भर करता है, और GDPR और समान शासनों के तहत यह एक शिष्टाचार नहीं, कानूनी आवश्यकता है। प्रतिस्पर्धी दबाव समृद्ध अंतर्दृष्टि के लिए भारी इंस्ट्रूमेंट करने की इच्छा है, जो लागत, शोर, और गोपनीयता एक्सपोज़र बढ़ाती है। सबूत लाएं: जो आप इकट्ठा करते हैं उसकी सूची बनाएं और हर इवेंट को उस सवाल से जोड़ें जिसका वह जवाब देता है, फिर जाँचें कि ट्रैकिंग अस्वीकार करना अभी भी एक काम करने वाला उत्पाद देता है। यदि कुछ संग्रह का कोई उद्देश्य नहीं है या अनुभव को तोड़ता है, तो उसे काटें, और उन उपयोगकर्ताओं के लिए सुंदर ढंग से घटने के लिए एनालिटिक्स डिज़ाइन करें जो ऑप्ट-आउट करते हैं।
कौन सा एकल नॉर्थ-स्टार मीट्रिक उस मूल्य को कैप्चर करता है जो आपका उत्पाद देता है, और आप टीमों को प्रॉक्सी के साथ तब तक छेड़छाड़ करने से कैसे रोकते हैं जब तक वास्तविक लक्ष्य को नुकसान न पहुँचे? एक नॉर्थ-स्टार मीट्रिक कई टीमों को सफलता की एक परिभाषा पर संरेखित करता है, फिर भी यह अध्याय चेतावनी देता है कि एक प्रॉक्सी जिसे बहुत कठोरता से अनुकूलित किया जाता है वह उस लक्ष्य को नुकसान पहुँचा सकता है जिसे वह प्रतिनिधित्व करने वाला था, और कुल पंजीकृत उपयोगकर्ता या संचयी डाउनलोड जैसी घमंडी संख्याएं स्वास्थ्य को दर्शाए बिना केवल चढ़ती हैं। एक बड़े संगठन के लिए जहाँ दर्जनों स्क्वाड हर एक अपने खुद के लक्ष्यों का पीछा करते हैं, एक अस्पष्ट या छेड़छाड़ योग्य नॉर्थ-स्टार स्थानीय जीत पैदा करता है जो किसी वास्तविक सुधार में नहीं जुड़तीं, या इससे भी बुरा, ऐसा मौन नुकसान जिसे कोई नोटिस नहीं करता। वर्तमान नॉर्थ-स्टार उम्मीदवार लाएं, इनपुट मीट्रिक का छोटा समूह जिसे टीमें वास्तव में प्रभावित कर सकती हैं, और वे गार्डरेल जो छेड़छाड़ पकड़ेंगे, फिर हर रिपोर्ट किए गए मीट्रिक को यह पूछकर तनाव-टेस्ट करें कि क्या यह तब भी बढ़ सकता है जब उपयोगकर्ता बदतर स्थिति में हों। एंटरप्राइज़ और सरकारी सेटिंग्स में, जहाँ एक हेडलाइन मीट्रिक बजट और सार्वजनिक रिपोर्टिंग चला सकता है, नॉर्थ-स्टार को बनाए रखे गए मूल्य या पूर्ण किए गए परिणाम की परिभाषा से बांधें ताकि कोई भी साइनअप या क्लिक का पीछा करके इसे फुला न सके जो कभी परिवर्तित नहीं होते।
कम-ट्रैफ़िक फ़ीचरों के लिए, एक अनुशासित शिप-एंड-ऑब्ज़र्व और एक पूर्ण नियंत्रित प्रयोग के बीच ईमानदार रेखा कहाँ है, और कौन तय करता है? प्रयोग कारणात्मक निश्चितता देते हैं, लेकिन उन्हें सांख्यिकीय शक्ति तक पहुँचने के लिए पर्याप्त उपयोगकर्ता और पर्याप्त धैर्य चाहिए, और एक पतले-ट्रैफ़िक प्रवाह पर एक कम-शक्ति वाला टेस्ट थोपना हफ़्तों जलाकर ऐसा परिणाम पैदा करता है जो अपना खोजा जा रहा प्रभाव पता नहीं लगा सकता। प्रतिस्पर्धी जोखिम यह है कि शिप-एंड-ऑब्ज़र्व कन्फ़ाउंडेड है और कारण के बारे में कुछ साबित नहीं करता, इसलिए इसे एक प्रयोग के बराबर मानना टीमों को ऐसी जीत का दावा करने देता है जो वास्तव में मौसमी या एक संयोगिक परिवर्तन थी। संबंधित प्रवाह के लिए ट्रैफ़िक और रूपांतरण वॉल्यूम, न्यूनतम पता लगाने योग्य प्रभाव जिसकी आपको परवाह है, और परिवर्तन की प्रतिवर्तनीयता लाएं, फिर एक नियम पर सहमत हों: एक ट्रैफ़िक सीमा से ऊपर प्रयोग करें, इसके नीचे स्पष्ट गार्डरेल के साथ शिप-एंड-ऑब्ज़र्व करें। राजस्व की रक्षा करने वाले एंटरप्राइज़ उत्पादों के लिए और उन सरकारी सेवाओं के लिए जहाँ एक प्रतिगमन नागरिकों को नुकसान पहुँचाता है, नाम बताएं कि एक प्रयोग को माफ़ करने का अधिकार किसके पास है, और मांग करें कि प्रतिवर्तनीय परिवर्तन वास्तव में प्रतिवर्तनीय बने रहें ताकि एक बुरे शिप-एंड-ऑब्ज़र्व को तेज़ी से वापस खींचा जा सके।
क्या आप नकारात्मक और सपाट प्रयोग परिणामों को एक साझा भंडार में रिकॉर्ड करते हैं, या संगठन वही मृत छोर बार-बार खोजता रहता है? यह अध्याय स्पष्ट है कि एक सपाट या नकारात्मक परिणाम मूल्यवान सबूत है, विफलता नहीं, फिर भी बिना एक खोजने योग्य परिणाम भंडार के सबक वाष्पित हो जाता है और एक और टीम एक साल बाद वही हारने वाला टेस्ट दोबारा चलाती है। एक बड़े संगठन के लिए यह जमा होता जाता है, क्योंकि संचयी सीखना एक प्रयोग संस्कृति पर पूरा प्रतिफल है, और यह तभी जमा होता है जब प्रयोग डिज़ाइन और परिणाम वहाँ लिखे जाते हैं जहाँ अगली टीम उन्हें पाएगी। पिछली तिमाही में चलाए गए प्रयोगों की गिनती लाएं, कितने परिणाम दस्तावेज़ीकृत और खोजने योग्य हैं, और क्या कोई वास्तव में एक नया टेस्ट डिज़ाइन करने से पहले भंडार की जाँच करता है। एंटरप्राइज़ और सरकारी सेटिंग्स में, एक स्थायी रिकॉर्ड ऑडिट और जवाबदेही की भी सेवा करता है, यह दिखाते हुए कि एक निर्णय राय के बजाय सबूत पर टिका था और जब एक सार्वजनिक-सामना करने वाले परिवर्तन पर सवाल उठाया जाता है तो समीक्षकों को एक बचाव योग्य ट्रेल देता है।

क्षेत्र लेंस

स्टार्टअप। कुछ और जोड़ने से पहले अपने सक्रियण और पहले-सत्र इवेंट के लिए एक-पेज की ट्रैकिंग योजना लिखें, ताकि टीम बढ़ने के साथ शुरुआती डेटा स्वच्छ बना रहे। अपने उच्चतम-वॉल्यूम प्रवाह के लिए वास्तविक A/B टेस्ट आरक्षित रखें और अन्यत्र सावधान शिप-एंड-ऑब्ज़र्व का उपयोग करें, एक बनाने के बजाय एक होस्टेड एनालिटिक्स और प्रयोग टूल खरीदें, और सक्रियण जैसे एक एकल नॉर्थ-स्टार मीट्रिक पर टिके रहें। केवल वे इवेंट इकट्ठा करें जो एक जीवंत सवाल का जवाब देते हैं, ताकि आप ऐसे डेटा के लिए स्टोरेज लागत या गोपनीयता जोखिम न चुका रहे हों जिसे आप कभी नहीं पढ़ते।

छोटा व्यवसाय। बिना किसी समर्पित विश्लेषक और तंग बजट के साथ, उन टूल में निर्मित एनालिटिक्स पर भरोसा करें जिन्हें आप पहले से चलाते हैं और प्रयोग को एक स्थायी कार्यक्रम के बजाय एक कभी-कभार, उच्च-मूल्य अभ्यास मानें। विकल्प आमतौर पर बनाने के बजाय खरीदना है: एक एम्बेडेड फ़नल और कोहॉर्ट व्यू एक बेस्पोक पाइपलाइन को मात देती है जिसे आप बनाए नहीं रख सकते। आप जो कुछ टेस्ट चलाते हैं उन्हें उस एक प्रवाह पर केंद्रित करें जो राजस्व चलाता है, और सहमति को सरलता और ईमानदारी से संभालें ताकि ट्रैकिंग अस्वीकार करने वाले ग्राहक को भी एक काम करने वाला उत्पाद मिले।

एंटरप्राइज़। कई टीमों में पैमाने पर, गवर्नेंस समस्या है: इनजेशन पर मान्य किया गया एक वर्ज़न की गई ट्रैकिंग योजना, एक साझा प्रयोग प्लेटफ़ॉर्म जो असाइनमेंट, पावर गणना, और गार्डरेल को मानकीकृत करता है, और एक परिणाम भंडार ताकि स्क्वाड टेस्ट दोहराने के बजाय संचयी रूप से सीखें। इंस्ट्रूमेंटेशन को एक पाइपलाइन की तरह निगरानी किया गया एक नामित स्वामी दें, प्रभावित करने योग्य इनपुट से घिरे एक नॉर्थ-स्टार मीट्रिक पर सहमत हों, और व्यवहारगत डेटा पर वही डेटा वर्गीकरण और एक्सेस नियंत्रण लागू करें जो किसी भी संवेदनशील डेटासेट पर लागू होते हैं, परिणामी लॉन्च निर्णयों के लिए ऑडिट ट्रेल के साथ।

सरकार। खरीद नियम, पारदर्शिता, और सार्वजनिक जवाबदेही हर विकल्प को आकार देती हैं। एक परिभाषित उद्देश्य के लिए न्यूनतम व्यवहारगत डेटा इकट्ठा करें, सहमति प्राप्त करें और उसका सम्मान करें, और सरल भाषा में प्रकाशित करें कि आप क्या ट्रैक करते हैं और क्यों, लोगों को एक काम करने वाली सेवा देते हुए यदि वे अस्वीकार करते हैं। आवश्यक सेवाओं की पूर्णता बढ़ाने के लिए फ़ॉर्म शब्दावली और लेआउट पर नियंत्रित प्रयोग चलाएं, ऑडिट के लिए हर टेस्ट का एक दस्तावेज़ीकृत, बचाव योग्य रिकॉर्ड रखें, और किसी भी एनालिटिक्स विक्रेता को अपने डेटा हैंडलिंग को प्रकट करने और पोर्टेबिलिटी देने की मांग करें ताकि आप लॉक-इन से बचें।

उदाहरण

स्टार्टअप। एक छोटे उपभोक्ता ऐप ने किसी भी नई एनालिटिक्स को जोड़ने से पहले अपने साइनअप और पहले-सत्र इवेंट के लिए एक छोटी, दस्तावेज़ीकृत ट्रैकिंग योजना लिखी, ताकि टीम बढ़ने के साथ डेटा स्वच्छ बना रहे। एक फ़नल ने दिखाया कि अधिकांश नए उपयोगकर्ता खाता-सत्यापन चरण पर छोड़ देते थे, और स्पष्ट शब्दावली पर एक सरल A/B टेस्ट ने पहले-सप्ताह रिटेंशन को बढ़ाया। मामूली ट्रैफ़िक के साथ टीम ने केवल अपने उच्चतम-वॉल्यूम प्रवाहों पर प्रयोग चलाए और छोटे परिवर्तनों के लिए सावधान शिप-एंड-ऑब्ज़र्व का उपयोग किया, जबकि सक्रियण को अपने नॉर्थ-स्टार मीट्रिक के रूप में बनाए रखा।

एंटरप्राइज़। एक सब्सक्रिप्शन स्ट्रीमिंग सेवा एक शासित ट्रैकिंग योजना को इंस्ट्रूमेंट करती है और हर सार्थक परिवर्तन को पूर्व-परिभाषित मीट्रिक, पावर गणना, और प्लेबैक प्रदर्शन व चर्न पर गार्डरेल के साथ एक प्रयोग प्लेटफ़ॉर्म से चलाती है। एक रीडिज़ाइन किया गया ऑनबोर्डिंग प्रवाह समीक्षाओं में बेहतर दिखा, लेकिन एक नियंत्रित टेस्ट ने दिखाया कि इसने सप्ताह-एक रिटेंशन को कम किया, इसलिए टीम ने इसे व्यापक रोलआउट से पहले वापस लौटा दिया, ऐसी बचत जो प्लेटफ़ॉर्म की लागत से कहीं अधिक मूल्यवान थी।

सरकार। एक डिजिटल सेवा एजेंसी अपने लाभ-आवेदन प्रवाह को एक गोपनीयता-सम्मानजनक, सहमति-जागरूक ट्रैकिंग योजना के साथ इंस्ट्रूमेंट करती है और फ़ॉर्म शब्दावली और लेआउट पर नियंत्रित प्रयोग चलाती है। एक फ़नल विश्लेषण ने एक विशिष्ट चरण उजागर किया जहाँ एक तिहाई आवेदक छोड़ देते थे। स्पष्ट मार्गदर्शन पर एक प्रयोग ने पूर्णता को महत्वपूर्ण रूप से बढ़ाया, केवल आवश्यक न्यूनतम व्यवहारगत डेटा इकट्ठा करते हुए अधूरे आवेदन और कॉल-सेंटर वॉल्यूम दोनों को कम किया।

व्यावसायिक मामला: प्रेरणाएं, ROI, और TCO

प्रोडक्ट एनालिटिक्स और प्रयोग का ROI सीधे परिणामों में दिखाई देता है: उच्च रूपांतरण, रिटेंशन, और पूर्णता, और, महत्वपूर्ण रूप से, हानिकारक परिवर्तनों को शिप करने की टाली गई लागत। प्रयोग उन कुछ अभ्यासों में से एक है जो अपने खुद के मूल्य को मात्रात्मक बनाता है, क्योंकि हर टेस्ट उस लाभ या हानि की रिपोर्ट करता है जिसे उसने रोका। अच्छा इंस्ट्रूमेंटेशन अटकलों को सबूत से बदलकर हर प्रोडक्ट निर्णय पर प्रतिफल को कई गुना बढ़ाता है, और एक नॉर्थ-स्टार मीट्रिक कई टीमों को सफलता की एक ही परिभाषा पर संरेखित करता है।

अपनाने की लागत में एनालिटिक्स और प्रयोग टूलिंग, अच्छी तरह इंस्ट्रूमेंट करने का इंजीनियरिंग प्रयास, कठोरता से टेस्ट चलाने का विश्लेषणात्मक कौशल, और सहमति के लिए गोपनीयता कार्यक्रम ओवरहेड शामिल है। इसे न अपनाने की लागत के मुकाबले तौलें: ऐसे परिवर्तन शिप करना जिनके प्रभाव अज्ञात हैं, सबूत के बजाय वरिष्ठता से बहस जीतना, घमंडी मीट्रिक का पीछा करना जो चापलूसी करते हैं जबकि उत्पाद स्थिर रहता है, और लापरवाह डेटा संग्रह से नियामक एक्सपोज़र। नेतृत्व के लिए, पिच यह है कि प्रयोग प्रोडक्ट विकास को एक मापने योग्य, स्व-सुधारने वाली प्रक्रिया में बदल देता है, और पहला रोका गया बुरा लॉन्च अक्सर पूरे कार्यक्रम की कीमत चुका देता है।

एंटी-पैटर्न और नुकसान

बिना किसी ट्रैकिंग योजना के इवेंट जोड़ना, असंगत, अनुपयोगी डेटा पैदा करते हुए।
प्रयोगों को झांकना और तब रुकना जब वे महत्वपूर्ण दिखें, फ़ॉल्स पॉज़िटिव को बढ़ाते हुए।
कई मीट्रिक का परीक्षण करना और संयोगवश जो भी महत्वपूर्ण निकले उसका उत्सव मनाना।
कम-शक्ति वाले टेस्ट चलाना जो अपना खोजा जा रहा प्रभाव पता नहीं लगा सकते।
घमंडी मीट्रिक को अनुकूलित करना जो वास्तविक मूल्य दर्शाए बिना बढ़ते हैं।
एक प्रॉक्सी मीट्रिक के साथ इतनी कठोरता से छेड़छाड़ करना कि वास्तविक लक्ष्य को नुकसान पहुँचे।
बिना सहमति या परिभाषित उद्देश्य के व्यवहारगत डेटा जमा करना।
नकारात्मक परिणाम लॉग करना भूल जाना, ताकि संगठन विफल टेस्ट दोहराए।

परिपक्वता मॉडल

आरंभ करें। इंस्ट्रूमेंटेशन विरल या असंगत है, निर्णय राय और वरिष्ठता द्वारा लिए जाते हैं, कोई प्रयोग नहीं चलता, और कुल साइनअप जैसे घमंडी मीट्रिक रिपोर्ट किए जाते हैं। सहमति को लापरवाही से संभाला जाता है।
विकसित करें। कुछ इवेंट ट्रैक किए जाते हैं, लेकिन वर्गीकरण टीमों के बीच भटकता है। पावर गणना के बिना कभी-कभार तदर्थ A/B टेस्ट चलते हैं, फ़नल और रिटेंशन को अनौपचारिक रूप से देखा जाता है, और एक नॉर्थ-स्टार मीट्रिक प्रस्तावित है लेकिन अभी तक एम्बेड नहीं किया गया।
मानकीकृत करें। एक शासित ट्रैकिंग योजना और सुसंगत वर्गीकरण हर टीम में दस्तावेज़ीकृत, वर्ज़न किए गए, और इनजेशन पर मान्य किए गए हैं। फ़नल, कोहॉर्ट, और रिटेंशन का नियमित रूप से विश्लेषण किया जाता है, पूर्व-परिभाषित मीट्रिक, पावर गणना, और गार्डरेल के साथ एक साझा प्लेटफ़ॉर्म पर प्रयोग चलते हैं, और गोपनीयता व सहमति को संगठन-व्यापी उचित रूप से संभाला जाता है।
प्रबंधित करें। अभ्यास को आधार रेखाओं के विरुद्ध मापा जाता है: इंस्ट्रूमेंटेशन कवरेज और इवेंट-गुणवत्ता त्रुटि दरों को ट्रैक किया जाता है, प्रयोग गति और एक टेस्ट द्वारा गेट किए गए लॉन्च के हिस्से की रिपोर्ट की जाती है, गार्डरेल उल्लंघन और झांकना स्वचालित रूप से पकड़े जाते हैं, और नॉर्थ-स्टार मीट्रिक और इसके इनपुट मीट्रिक को स्पष्ट किल सीमाओं के साथ निगरानी की जाती है। डेटा गुणवत्ता और गोपनीयता अनुपालन को मान लेने के बजाय एक निश्चित लय पर ऑडिट किया जाता है।
ऑर्केस्ट्रेट करें। प्रयोग हर सार्थक परिवर्तन के लिए डिफ़ॉल्ट है, इंस्ट्रूमेंटेशन का स्वामित्व है और इसे एक पाइपलाइन की तरह निगरानी किया जाता है, और नकारात्मक व सपाट परिणामों सहित एक साझा परिणाम भंडार संगठन को संचयी रूप से सीखने और मृत छोर सेवानिवृत्त करने देता है। एनालिटिक्स प्रोडक्ट और जोखिम योजना के साथ एकीकृत है, डिज़ाइन द्वारा गोपनीयता-सम्मानजनक है, और मीट्रिक समूह को उत्पाद, बाज़ार, और नियमों के बदलने के साथ लगातार पुनः-दायरा दिया जाता है।

चर्चा के लिए विचार

आपके उत्पाद का सच्चा नॉर्थ-स्टार मीट्रिक क्या है, और क्या हर कोई इस पर सहमत है?
आपके रिपोर्ट किए गए मीट्रिक में से कौन से घमंडी संख्याएं हैं जो केवल कभी ऊपर जाती हैं?
क्या आपकी टीमें प्रयोग चलाने से पहले सांख्यिकीय शक्ति की गणना करती हैं, या झांकती हैं और रुक जाती हैं?
आपके इंस्ट्रूमेंटेशन में कहाँ अंध स्थान हैं जो उपयोगकर्ता पीड़ा छुपाते हैं?
आप एनालिटिक्स को गोपनीयता-सम्मानजनक कैसे रखते हैं जबकि फिर भी वह सीखते हैं जिसकी आपको ज़रूरत है?
कम-ट्रैफ़िक फ़ीचरों के लिए, शिप-एंड-ऑब्ज़र्व एक पूर्ण प्रयोग के मुकाबले कब स्वीकार्य है?

मुख्य निष्कर्ष

एक शासित ट्रैकिंग योजना और सुसंगत वर्गीकरण के साथ जानबूझकर इंस्ट्रूमेंट करें।
केवल अधिग्रहण नहीं, फ़नल, कोहॉर्ट, रिटेंशन, और जुड़ाव का विश्लेषण करें।
कठोर प्रयोग चलाएं: पावर गणना, पूर्व-परिभाषित मीट्रिक, कोई झांकना नहीं।
वास्तविक मूल्य से जुड़े एक नॉर्थ-स्टार मीट्रिक पर टिके रहें और घमंडी मीट्रिक के खिलाफ़ रक्षा करें।
स्पष्ट सहमति और मज़बूत गवर्नेंस के साथ न्यूनतम व्यवहारगत डेटा इकट्ठा करें।
इंस्ट्रूमेंटेशन को एक उत्पाद मानें और एक संचयी प्रयोग संस्कृति बनाएं।
एक सपाट या नकारात्मक प्रयोग परिणाम मूल्यवान सबूत है, विफलता नहीं।

संदर्भ और आगे पढ़ने के लिए

Ron Kohavi, Diane Tang, and Ya Xu, “Trustworthy Online Controlled Experiments.”
Alistair Croll and Benjamin Yoskovitz, “Lean Analytics.”
Eric Ries, “The Lean Startup.”
Avinash Kaushik, “Web Analytics 2.0.”
Georgi Georgiev, “Statistical Methods in Online A/B Testing.”
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR).
Douglas W. Hubbard, “How to Measure Anything.”