सारांश और प्रेरणा

अधिकांश मेट्रिक्स कार्यक्रम अपना प्रयास डैशबोर्डों पर लगाते हैं और उन नलियों पर लगभग नहीं जो उन्हें खिलाती हैं। यह उलटा है। असंगत टाइमस्टैम्प, ऐसे स्थिति क्षेत्र जिन्हें कोई अपडेट नहीं करता, या पिछले महीने चुपचाप बंद हो गए एकीकरण पर बना चमकदार चार्ट गलत होते हुए भी प्रामाणिक दिखता है। यह विषय पुस्तक के बाकी हिस्से की अनाकर्षक बुनियाद को कवर करता है: सेवा और डिलीवरी डेटा कहाँ से आता है, हर स्रोत कितना विश्वसनीय है, और कौन-सी डेटा गुणवत्ता विफलताएँ किसी के ध्यान देने से पहले मेट्रिक को अमान्य कर देती हैं।

स्रोत कुछ परिवारों में आते हैं। आईटी सेवा प्रबंधन (ITSM) उपकरण घटनाएँ, अनुरोध, समस्याएँ और परिवर्तन दर्ज करता है, जिन्हें ITIL सेवा संचालन के मूल रिकॉर्ड मानता है। इश्यू ट्रैकिंग प्रणाली एजाइल टीमों के लिए बैकलॉग और कार्य मदों की गति दर्ज करती है। संस्करण नियंत्रण कमिट, ब्रांच और मर्ज दर्ज करता है। सतत एकीकरण और सतत डिलीवरी (CI/CD) पाइपलाइन बिल्ड, परीक्षण परिणाम और तैनातियाँ दर्ज करती है। निगरानी और ऑब्ज़र्वेबिलिटी प्लेटफ़ॉर्म टेलीमेट्री उत्सर्जित करते हैं: चल रही प्रणालियों से मेट्रिक्स, लॉग और ट्रेस। कॉन्फ़िगरेशन प्रबंधन डेटाबेस (CMDB) उन सेवाओं और घटकों को दर्ज करता है जिनसे चीज़ें संबंधित हैं। सर्वेक्षण वह दर्ज करते हैं जो कोई प्रणाली नहीं देख सकती, जैसे संतुष्टि और प्रयास।

पाइपलाइन द्वारा लिखी गई तैनाती की घटना वस्तुनिष्ठ है और उसे गढ़ना कठिन है, काम के घंटों बाद बदला गया टिकट स्थिति एक स्मरण है, और सर्वेक्षण का उत्तर एक धारणा है। यह जानना कि किसी संख्या के पीछे किस प्रकार का रिकॉर्ड है, आपको बताता है कि पहले कौन-सी विफलता खोजें।

एजाइल और ITIL के दृष्टिकोण उसी डेटा पर मिलते हैं: दोनों टाइमस्टैम्प वाली स्थिति मशीनें हैं, इसलिए हर स्थिति परिवर्तन को विश्वसनीय समय वाली घटना के रूप में दर्ज करें और मेट्रिक्स घटनाओं से निकालें।

इस विषय में तीन शब्द बार-बार आते हैं। रिकॉर्ड की प्रणाली वह एकमात्र स्रोत है जो किसी तथ्य के लिए प्रामाणिक है, उदाहरण के लिए "तैनाती हुई" के लिए पाइपलाइन। इंस्ट्रूमेंटेशन कोड, विन्यास या उपकरण एकीकरण द्वारा घटनाओं का जान-बूझकर पकड़ना है, ताकि कोई मेट्रिक बिना किसी के उसे टाइप किए गणना हो सके। स्थिति मॉडल वे अवस्थाएँ हैं जिनमें कार्य मद या रिकॉर्ड हो सकता है और उनके बीच अनुमत चालें। स्थिति मॉडल तय करता है कि कौन-सी घड़ियाँ गणना हो भी सकती हैं।

उद्यम और सार्वजनिक क्षेत्र के पैमाने पर समस्या चक्रवृद्धि होती है। डेटा कनेक्टरों, निकालें, रूपांतरित करें, लोड करें (ETL) कार्यों और रिपोर्टिंग परतों से गुज़रता है, और हर छलांग अर्थ के भटकने का अवसर है। स्रोत में एक चीज़ का अर्थ रखने वाला क्षेत्र वेयरहाउस में सूक्ष्म रूप से कुछ और अर्थ रख सकता है, और संख्या फिर भी विश्वसनीय लगती है। उपाय है घटना और डैशबोर्ड के बीच की दूरी घटाना, और पाइपलाइन को कार्यक्रम पर जाँचना।

मुख्य सिद्धांत

  • घटनाएँ पकड़ें, सारांश नहीं। कच्चे स्थिति परिवर्तन टाइमस्टैम्प के साथ संग्रहीत करें और मेट्रिक्स उन्हीं से गणना करें, ताकि इतिहास खोए बिना परिभाषा बदल सके।
  • स्व-रिपोर्ट की बजाय अवलोकन पसंद करें। जहाँ प्रणाली घटना देख सकती है, उसे उपयोग करें; लोगों की रिपोर्ट उसके लिए रखें जो केवल लोग कह सकते हैं।
  • हर तथ्य के लिए रिकॉर्ड की एक प्रणाली नामित करें। दोहरे स्रोत असहमत होते हैं, और असहमति दोनों पर भरोसा घटाती है।
  • मेट्रिक से पहले स्थिति मॉडल डिज़ाइन करें। उन अवस्थाओं से घड़ी गणना नहीं हो सकती जो मौजूद नहीं हैं या अलग टीमों में अलग अर्थ रखती हैं।
  • पाइपलाइन को उत्पाद मानें। उसके स्वामी, परीक्षण, निगरानी और बदलाव लॉग हैं, क्योंकि डेटा गुणवत्ता चुपचाप घटती है।
  • उत्पत्ति दिखाएँ। डैशबोर्ड की हर संख्या को एक-दो क्लिक में अपने स्रोत रिकॉर्ड तक ले जाना चाहिए।
  • केवल वही इकट्ठा करें जिसका उपयोग करेंगे, और उसकी रक्षा करें। हर फ़ील्ड एक लागत है और, जब वह लोगों से जुड़ा हो, एक गोपनीयता कर्तव्य।

मेट्रिक परिभाषाएँ

नीचे की मेट्रिक्स डेटा आपूर्ति के स्वास्थ्य को मापती हैं। वे उपकरणों के लिए उपकरण-पटल हैं।

मेट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL अभ्यास एजाइल समकक्ष आवृत्ति
स्रोत कवरेज दायरे की उन सेवाओं और टीमों का हिस्सा जिनकी घटनाएँ स्वचालित रूप से मेट्रिक्स स्टोर तक पहुँचती हैं स्वचालित फ़ीड वाली सेवाएँ या टीमें / दायरे की सेवाएँ या टीमें; "दायरे" की सूची मेट्रिक रजिस्टर में है प्रतिशत मेट्रिक रजिस्टर और पाइपलाइन विन्यास मापन और रिपोर्टिंग; सेवा कॉन्फ़िगरेशन प्रबंधन उपकरणों पर टीम का कार्य समझौता तिमाही
टाइमस्टैम्प पूर्णता बंद कार्य मदों का हिस्सा जिनके पास मेट्रिक की घड़ियों के लिए आवश्यक हर टाइमस्टैम्प है सभी आवश्यक स्थिति-परिवर्तन टाइमस्टैम्प वाली बंद मदें / अवधि में बंद मदें; अब भी खुली मदें शामिल नहीं प्रतिशत ITSM उपकरण या इश्यू ट्रैकर का इतिहास घटना प्रबंधन; सेवा अनुरोध प्रबंधन बोर्ड या कार्यप्रवाह इतिहास मासिक
पिछली तारीख़ दर्ज करने की दर घटना के बाद दर्ज स्थिति परिवर्तनों का हिस्सा, घटना के समय और प्रविष्टि के समय के अंतर से मापा गया घटना के समय के 24 घंटे से अधिक बाद दर्ज स्थिति परिवर्तन / अवधि के स्थिति परिवर्तन; घड़ी घटना से शुरू होकर प्रविष्टि पर रुकती है प्रतिशत ट्रैकर का ऑडिट ट्रेल, या पाइपलाइन घटना-समय बनाम प्रविष्टि-समय परिवर्तन सक्षमीकरण; घटना प्रबंधन पूर्णता की परिभाषा मासिक
डेटा ताज़गी डैशबोर्ड देखे जाते समय उस पर सबसे नया डेटा कितना पुराना है देखने का समय घटा लोड की गई सबसे नई घटना का समय; माध्यिका और 95वाँ पर्सेंटाइल रिपोर्ट करें घंटे पाइपलाइन रन लॉग और डैशबोर्ड लोड लॉग मापन और रिपोर्टिंग हितधारक समीक्षा की तैयारी साप्ताहिक
मिलान विचलन एक ही गिनती के लिए दो स्रोतों के बीच असहमति दोनों गिनतियों का निरपेक्ष अंतर / रिकॉर्ड-स्रोत की गिनती, निश्चित अवधि और दायरे के लिए प्रतिशत रिकॉर्ड का स्रोत और रिपोर्टिंग परत सेवा स्तर प्रबंधन; वित्तीय प्रबंधन रिलीज़ रिपोर्ट जाँच मासिक
स्थिति मॉडल का बहाव प्रलेखित मॉडल की तुलना में उपयोग में आ रहे अलग स्थिति नामों या संक्रमणों की संख्या अवधि में देखे गए अप्रलेखित स्थितियाँ या संक्रमण (गिनती); प्रलेखित शामिल नहीं गिनती ट्रैकर कार्यप्रवाह विन्यास और घटना इतिहास सतत सुधार कार्यप्रवाह पर कार्य समझौते तिमाही
सर्वेक्षण प्रतिक्रिया दर आमंत्रित लोगों का हिस्सा जिन्होंने सर्वेक्षण पूरा किया पूरे उत्तर / पहुँचाए गए आमंत्रण; लौटे आमंत्रण शामिल नहीं प्रतिशत सर्वेक्षण उपकरण सेवा स्तर प्रबंधन; ग्राहक अनुभव हितधारक समीक्षा और सुधार प्रतिक्रिया प्रति सर्वेक्षण दौर

टाइमस्टैम्प पूर्णता केवल बंद मदें गिनती है, ताकि पुरानी खुली मदों का बैकलॉग अंतर को छिपा न सके। पिछली तारीख़ दर्ज करने की दर उदाहरण के रूप में 24 घंटे की सीमा उपयोग करती है; टीम अपने काम के अनुकूल सीमा चुनती है और उसे लिख लेती है।

सिफ़ारिशें

हर मेट्रिक को उसके स्रोत से जोड़ें

1. डैशबोर्ड बनाने से पहले स्रोत मानचित्र बनाएँ। हर मेट्रिक के लिए रिकॉर्ड की प्रणाली, घड़ी शुरू करने वाली घटना, उसे रोकने वाली घटना, स्रोत का स्वामी, और ज्ञात विफलता का तरीका दर्ज करें। यदि आप प्रणाली का नाम नहीं ले सकते, तो आप अभी नहीं जानते कि संख्या कहाँ से आती है। मानचित्र को मेट्रिक रजिस्टर में रखें (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व)।

2. हर तथ्य के लिए रिकॉर्ड की एक प्रणाली चुनें। तैनाती पाइपलाइन द्वारा दर्ज होती है, घटना ITSM उपकरण द्वारा, कोड बदलाव संस्करण नियंत्रण द्वारा, सेवा संबंध CMDB द्वारा। जहाँ दो उपकरणों के पास एक ही तथ्य है, तय करें कि कौन जीतता है और दूसरे को उससे पढ़वाएँ। तब मिलान बहस नहीं, एक जाँच बन जाता है।

घटनाएँ उनके होने के क्षण पर पकड़ें

3. घटना को इंस्ट्रूमेंट करें, रिपोर्ट को नहीं। तैनाती पाइपलाइन दर्ज करे, मर्ज संस्करण नियंत्रण होस्ट दर्ज करे, और अलर्ट निगरानी प्रणाली दर्ज करे। जो डेटा किसी के फ़ील्ड अपडेट करना याद रखने पर निर्भर है वह घटना से दूरी और कार्यभार के साथ घटता है। जहाँ स्वचालित घटना मौजूद है, उसी तथ्य के लिए मानव-दर्ज प्रॉक्सी की बजाय उसे पसंद करें (देखें विषय 2.8, DORA मेट्रिक्स)।

4. स्थिति परिवर्तनों को काम का उप-प्रभाव बनाएँ। यदि ब्रांच मर्ज कार्य मद को "समीक्षा में" ले जाता है या तैनाती उसे "रिलीज़ हुआ" में, तो किसी को याद नहीं रखना पड़ता। संस्करण नियंत्रण, पाइपलाइन और ट्रैकर के बीच एकीकरण अधिकांश पिछली-तारीख़ प्रविष्टि हटा देते हैं।

5. कच्ची घटनाएँ रखें, और उन्हें अपरिवर्तनीय रखें। हर स्थिति परिवर्तन को घटना के समय, प्रविष्टि के समय और कर्ता के प्रकार (व्यक्ति या स्वचालन) के साथ संग्रहीत करें। सुधार नई घटनाओं के रूप में लिखें, अधिलेखन के रूप में नहीं, ताकि सुधार का इतिहास स्वयं डेटा हो।

समय सही रखें

6. समय एक मानक में दर्ज करें। टाइमस्टैम्प समन्वित सार्वभौमिक समय (UTC) में, ISO 8601 और RFC 3339 में परिभाषित जैसे असंदिग्ध प्रारूप में संग्रहीत करें, और स्थानीय समय में केवल प्रदर्शन के लिए बदलें। मिश्रित समय क्षेत्र और डेलाइट सेविंग बदलाव चुपचाप ऋणात्मक अवधियाँ और घंटे भर की चूक वाली घड़ियाँ पैदा करते हैं।

7. घड़ी के नियम वहाँ लिखें जहाँ डेटा रहता है। हर समय-माप के लिए बताएँ कि कौन-सी घटना घड़ी शुरू करती है, कौन-सी रोकती है, और कौन-सी स्थितियाँ उसे ठहराती हैं। ठहराव की स्थिति एक डिज़ाइन निर्णय है। रिपोर्ट करें कि हर ठहराव स्थिति का कितनी बार उपयोग होता है, क्योंकि घड़ी ही वह जगह है जहाँ सेवा डेटा सबसे अधिक आकार दिया जाता है (देखें विषय 3.3, घटना प्रतिक्रिया और समाधान समय)।

स्थिति मॉडल डिज़ाइन करें

8. स्थिति मॉडल छोटा, साझा और प्रलेखित रखें। हर अतिरिक्त स्थिति हर टीम द्वारा अलग व्याख्या को न्योता देती है। एक वाक्य में परिभाषित करें कि हर अवस्था का अर्थ क्या है, उसमें कार्य कौन ले जा सकता है, और कौन-से संक्रमण अनुमत हैं। कार्य मद की आयु और प्रवाह माप इस मॉडल पर निर्भर हैं (देखें विषय 2.1, प्रवाह माप), और टीमों के बीच तुलना इस पर कि टीमें एक ही अवस्थाओं के लिए एक ही शब्द उपयोग करें। जब डेटा आपको चौंकाए, पहले कार्यप्रवाह पर शंका करें: कार्यप्रवाह या फ़ील्ड के हर बदलाव को तारीख और कारण सहित लॉग करें, और अप्रलेखित स्थितियों को बहाव संकेत के रूप में गिनें।

पाइपलाइन को ईमानदार रखें

9. पाइपलाइन का सॉफ़्टवेयर की तरह परीक्षण करें। पंक्ति गिनतियाँ स्रोत से जाँचें, जाँचें कि आवश्यक फ़ील्ड मौजूद हैं, डुप्लिकेट जाँचें, और फ़ीड रुकने पर अलर्ट करें। हर डैशबोर्ड में ताज़गी संकेतक जोड़ें ताकि दर्शक देख सकें कि डेटा कितना पुराना है। चुपचाप विफल हुआ कनेक्टर जो पिछले महीने की संख्याएँ स्क्रीन पर छोड़ दे, इस क्षेत्र की सबसे आम और सबसे हानिकारक विफलताओं में से है (देखें विषय 11.1, सेवा मेट्रिक्स डैशबोर्ड का डिज़ाइन)।

10. कार्यक्रम पर मिलान करें और हाथ से नमूना लें। रिपोर्टिंग परत की गिनती की तुलना निश्चित अवधि के लिए स्रोत से करें, और अंतर की जाँच करें। फिर कच्चे रिकॉर्ड का छोटा नमूना पढ़ें। पंद्रह मिनट का नमूना अक्सर वह खोजता है जो स्वचालित जाँचें नहीं खोज पातीं, जैसे अप्रत्याशित ढंग से उपयोग की गई स्थिति।

लोगों और सर्वेक्षणों को सावधानी से सँभालें

11. सर्वेक्षण उसी के लिए रखें जो केवल व्यक्ति बता सकता है। संतुष्टि, प्रयास, भरोसा और कल्याण प्रणाली के डेटा से नहीं देखे जा सकते। सीधे पूछें, सर्वेक्षण छोटे रखें, समय बदलते रहें, और प्रतिक्रिया दर और उत्तर देने वालों की जानकारी रिपोर्ट करें, क्योंकि उत्तर देने वाले लोग उनसे अलग होते हैं जो नहीं देते, जो चयन पूर्वाग्रह का एक रूप है। खुली टिप्पणियाँ पूरी पढ़ें (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।

12. व्यक्तिगत डेटा की रक्षा करें और डेटा टीम स्तर पर रखें। काम के बारे में घटना डेटा कमिट लेखकत्व, असाइनी फ़ील्ड और चैट रिकॉर्ड के ज़रिए व्यक्तियों की पहचान कर सकता है। उस स्तर पर इकट्ठा करें जो मेट्रिक को चाहिए, टीमों और सेवाओं तक समेकित करें, और अपने क्षेत्राधिकार और संगठन के गोपनीयता नियम लागू करें। व्यक्ति-स्तर का डेटा, एक बार इकट्ठा होने पर, रैंकिंग के लिए उपयोग होता है, जो स्रोत को बिगाड़ता है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।

हेरफेर के तरीके और रेलिंग

मेट्रिक हेरफेर कैसे होता है जोड़ी गई रेलिंग मेट्रिक या अभ्यास
स्रोत कवरेज फ़ीड जुड़ने के बाद सेवा को कवर्ड गिनना, भले वह लगभग कोई घटना न ले जाए; कठिन सेवाओं को दायरे से बाहर रखना कवर्ड सेवा की घटना मात्रा की उसकी ज्ञात गतिविधि से तुलना; दायरे की सूची की सेवा कैटलॉग से समीक्षा
टाइमस्टैम्प पूर्णता सत्यापन संतुष्ट करने के लिए आवश्यक टाइमस्टैम्प को बंद करने के समय से भर देना क्रमिक स्थितियों के बीच अंतरालों का वितरण; बंद मदों का नमूना लेकर देखें कि समय विश्वसनीय हैं या नहीं
पिछली तारीख़ दर्ज करने की दर बदलावों को सीमा के ठीक भीतर दर्ज करना; सीमा बढ़ाना; सभी बदलाव एक थोक अपडेट से दर्ज करना घंटे के अनुसार प्रविष्टि-समय पैटर्न; स्वचालन बनाम हाथ से किए बदलावों का हिस्सा; थोक संपादनों का ऑडिट
डेटा ताज़गी सबसे नई घटना के समय की बजाय अंतिम रीफ़्रेश का समय दिखाना डैशबोर्ड पर सबसे नई घटना का समय दिखाएँ; फ़ीड कोई नई घटना न दे तो अलर्ट
मिलान विचलन वह अवधि या दायरा चुनना जो मिलता हो; कारण खोजे बिना रिपोर्टिंग परत को स्रोत से मिलाने के लिए बदल देना दायरा और अवधि पहले से तय करें; हर पाया गया कारण दर्ज करें और कारणों की तिमाही समीक्षा करें
स्थिति मॉडल का बहाव चिह्नित होने से बचने के लिए नए अर्थ के लिए किसी मौजूदा स्थिति का पुनः उपयोग; स्थितियाँ बिना लॉग किए जोड़ना हर समीक्षा में कार्यप्रवाह विन्यास की रजिस्टर से तुलना करें; असामान्य अवस्थाओं वाली मदों का नमूना पढ़ें
सर्वेक्षण प्रतिक्रिया दर केवल उन्हें आमंत्रित करना जिनके उत्तर देने की संभावना है; संतुष्ट उपयोगकर्ताओं को अनुस्मारक भेजना; ऐसे पुरस्कार देना जो उत्तरों में पूर्वाग्रह लाएँ उत्तरदाता मिश्रण की उपयोगकर्ता आबादी से तुलना; दौर के अनुसार उत्तरों का वितरण; समीक्षा में खुली टिप्पणियाँ पढ़ी जाएँ

स्वस्थ पठन उबाऊ संख्याओं का समूह है: कवरेज ऊँचा, पिछली तारीख़ प्रविष्टि कम और घटती हुई, ताज़गी अपने बताए वादे के भीतर, और मिलान विचलन शून्येतर होने पर एक ज्ञात कारण। जब कोई संख्या हिलती है, तब कोई बता सकता है कि काम बदला या उपकरण।

समझौते: लाभ और हानि

दृष्टिकोण ताकत कमज़ोरी
स्वचालित घटना संग्रह वस्तुनिष्ठ, समय पर, एक बार बनने के बाद कम प्रयास केवल उसे कवर करता है जो इंस्ट्रूमेंट हुआ; उपकरण बदलने पर चुपचाप टूटता है
हाथ से प्रविष्टि और स्थिति अपडेट संदर्भ और विवेक पकड़ता है; बिना एकीकरण के काम करता है देर से, असंगत, और हेरफेर के लिए खुला
एक केंद्रीय मेट्रिक्स स्टोर एक परिभाषा, परीक्षण और शासन के लिए एक जगह वित्त और स्वामित्व चाहिए; बाधा बन सकता है
हर टीम अपना डेटा रखती है स्थानीय काम के अनुकूल; शुरू करना तेज़ परिभाषाएँ अलग होती हैं; रोल-अप अविश्वसनीय
कच्ची घटनाएँ लंबे समय तक रखी जाएँ परिभाषाएँ बदल सकती हैं और इतिहास दोबारा गणना हो सकता है भंडारण और गोपनीयता की लागत; सुरक्षित करने को अधिक

जो देखा जा सकता है उसे स्वचालित करें, जो नहीं उसके बारे में लोगों से पूछें, और कच्चा रिकॉर्ड रखें। पहले निवेश उन दो-तीन मेट्रिक्स के स्रोतों में करें जिन्हें टीम सचमुच उपयोग करती है, हर कल्पनीय संख्या के लिए डेटा प्लेटफ़ॉर्म में नहीं।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारी सबसे महत्वपूर्ण मेट्रिक के लिए रिकॉर्ड की प्रणाली कौन-सी है, और हम कैसे जानते हैं? समूह से संख्या को डैशबोर्ड से पहली घटना तक ट्रेस करने को कहें। हर उस जगह को नोट करें जहाँ कोई व्यक्ति या रूपांतरण डेटा को छूता है। सुगमकर्ता को ऐसे चरण खोजने चाहिए जिन्हें कोई समझा नहीं सकता, क्योंकि पहली जाँच वहीं से शुरू होनी चाहिए।

2. हमारे कौन-से टाइमस्टैम्प प्रणाली लिखती है, और कौन-से व्यक्ति टाइप करता है? उपयोग में आ रही घड़ियाँ सूचीबद्ध करें, जैसे प्रतिक्रिया का समय, समाधान का समय और साइकल टाइम। हर आरंभ और समाप्ति को स्वचालित या हाथ से चिह्नित करें। हाथ वाली के लिए पूछें कि घटना के कितनी देर बाद प्रविष्टि आमतौर पर की जाती है। चर्चा से अक्सर दिखता है कि सबसे अधिक बहस वाली मेट्रिक सबसे कम विश्वसनीय टाइमस्टैम्प पर टिकी है।

3. हमारी स्थितियों का अर्थ क्या है, और क्या सभी टीमें एक ही अर्थ लेती हैं? कार्यप्रवाह बोर्ड पर रखें और अलग-अलग टीमों के लोगों से हर अवस्था को अपने शब्दों में समझाने को कहें। व्याख्याओं की तुलना करें। उन स्थितियों को गिनें जहाँ घड़ी ठहरती है, और पूछें कि उन्हें कौन उपयोग कर सकता है और क्यों। अस्पष्टता हटाने के लिए एक बदलाव पर सहमत हों और उसे कारण सहित लॉग करें।

4. यदि कोई फ़ीड चुपचाप रुक जाए तो हमें कैसे पता चलेगा? पूछें कि आखिरी बार किसी ने कब जाँचा कि डैशबोर्ड का डेटा वर्तमान है। चर्चा करें कि कौन-सा अलर्ट या ताज़गी संकेतक रुके कनेक्टर को एक दिन में पकड़ लेगा। सुगमकर्ता को सावधान रहने की सामान्य मंशा नहीं, एक नामित स्वामी और ठोस जाँच पर ज़ोर देना चाहिए।

5. हम क्या इकट्ठा करते हैं जिसका कभी उपयोग नहीं करते, और क्या उपयोग करते हैं जो अच्छी तरह इकट्ठा नहीं करते? फ़ील्ड सूची और मेट्रिक सूची साथ-साथ रखें। उन फ़ील्डों को चिह्नित करें जो किसी निर्णय को नहीं खिलाते और उन मेट्रिक्स को जो खराब फ़ील्डों पर टिकी हैं। इस तिमाही के लिए एक फ़ील्ड इकट्ठा करना बंद करने और एक सुधारने का निर्णय लें।

6. हमारे सर्वेक्षणों का उत्तर कौन देता है, और कौन नहीं? उत्तरदाताओं की तुलना उपयोगकर्ताओं या टीम सदस्यों की आबादी से करें। समूह और दिन के समय या सप्ताह के अनुसार प्रतिक्रिया दर देखें। चर्चा करें कि चुप्पी का क्या अर्थ हो सकता है और बिना दबाव के शांत समूहों तक कैसे पहुँचें। सहमत हों कि हर सर्वेक्षण परिणाम के बगल में प्रतिक्रिया दर कैसे दिखाई जाएगी।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें अधिकांश वस्तुनिष्ठ डेटा पैदा करती हैं: कमिट, समीक्षाएँ, बिल्ड और तैनातियाँ। उन्हें ऐसे इंस्ट्रूमेंटेशन से लाभ होता है जो स्थिति परिवर्तनों को काम का उप-प्रभाव बनाता है, ताकि बोर्ड बिना अतिरिक्त प्रयास के ईमानदार रहे। उन्हें कार्यप्रवाह छोटा रखना चाहिए और संस्करण नियंत्रण गतिविधि को प्रयास के माप के रूप में उपयोग करने से सावधान रहना चाहिए (देखें विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता)।

सेवा और संचालन टीमें

सेवा टीमें उन रिकॉर्डों पर निर्भर हैं जो दबाव में लोगों द्वारा बनाए जाते हैं, अक्सर किसी घटना के दौरान। घड़ी के नियम, ठहराव स्थितियाँ और प्राथमिकता क्षेत्र वे जगहें हैं जहाँ बहाव होता है। संचालन टीमों को प्रमुख समयों का संग्रह जहाँ संभव हो स्वचालित बनाना चाहिए, जैसे अलर्ट का समय और स्वीकार करने का समय, ठहराव-स्थिति के उपयोग का ऑडिट करना चाहिए, और निगरानी डेटा को टिकट रिकॉर्ड से अलग रखना चाहिए ताकि हर एक दूसरे को जाँच सके (देखें विषय 5.5, निगरानी और अलर्ट गुणवत्ता मेट्रिक्स)।

नेतृत्व और शासन

नेता तय करते हैं कि डेटा की बुनियाद में कितना निवेश करना है, और वे वे प्रोत्साहन तय करते हैं जो निर्धारित करते हैं कि डेटा ईमानदार रहता है या नहीं। उन्हें यह पूछने से पहले कि संख्या क्यों हिली, यह पूछना चाहिए कि वह कहाँ से आती है, पाइपलाइन के स्वामित्व को निरंतर काम के रूप में वित्त पोषित करना चाहिए, और हर रिपोर्ट पर ताज़गी की तारीख और परिभाषा की अपेक्षा करनी चाहिए। शासन निकायों को स्रोत या परिभाषा के प्रलेखित बदलाव को सामान्य घटना मानना चाहिए, विफलता नहीं।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता अनुभव के बारे में सबसे महत्वपूर्ण डेटा देते हैं, आमतौर पर सर्वेक्षण भरकर, बातचीत को रेट करके या समस्याएँ रिपोर्ट करके। उन्हें जानना चाहिए कि क्या इकट्ठा होता है, क्यों, और उसके परिणामस्वरूप क्या बदलेगा। छोटे सर्वेक्षण और दृश्य अनुवर्तन प्रतिक्रिया दर को स्वस्थ रखते हैं। ग्राहक-दृश्य सेवा स्तर रिपोर्टों को अपने स्रोत और परिभाषाएँ बतानी चाहिए (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक मध्यम आकार की ऑनलाइन रिटेलर की एक प्लेटफ़ॉर्म टीम, तीन उत्पाद टीमें और एक सेवा डेस्क है। इस उदाहरण की सभी संख्याएँ उदाहरणार्थ संख्याएँ हैं।

नेतृत्व पूछता है कि मासिक रिपोर्ट पर बदलाव का लीड टाइम एक तिमाही में 9 दिन की माध्यिका से 3 दिन क्यों गिर गया, जबकि उत्पाद टीमें अपने काम के तरीके में कोई बदलाव नहीं बतातीं। प्लेटफ़ॉर्म इंजीनियरिंग प्रमुख को उपकरण पर शक होता है और वह मेट्रिक का स्रोत मानचित्र माँगता है।

मानचित्र दिखाता है कि लीड टाइम तब शुरू होता है जब ITSM उपकरण में बदलाव रिकॉर्ड बनता है और तब रुकता है जब उसकी स्थिति "लागू" पर सेट होती है। दो उत्पाद टीमों ने काम तैयार होने के बाद रिकॉर्ड बनाना शुरू कर दिया था, इसलिए घड़ी देर से शुरू हुई। 40 रिकॉर्डों का नमूना पाता है कि 12 उसी दिन बने जिस दिन तैनाती हुई। पिछली तारीख़ दर्ज करने की दर, जो पाइपलाइन में तैनाती की घटना और "लागू" स्थिति की प्रविष्टि के अंतर से मापी गई, टीम की तय की गई 24 घंटे की सीमा के ऊपर 31 प्रतिशत थी।

टीम तीन बदलाव करती है। पहला, घड़ी की शुरुआत बदलाव से जुड़े पहले कमिट पर चली जाती है, जो संस्करण नियंत्रण से लिया जाता है, और समाप्ति पाइपलाइन द्वारा लिखी तैनाती घटना पर। दूसरा, ITSM उपकरण को स्थिति पाइपलाइन से मिलती है, इसलिए "लागू" अब टाइप नहीं की जाती। तीसरा, डैशबोर्ड को ताज़गी संकेतक और पाइपलाइन व ITSM उपकरण के बीच बदलाव गिनतियों की मिलान जाँच मिलती है।

नई परिभाषा के तहत लीड टाइम की माध्यिका 7 दिन है और 95वाँ पर्सेंटाइल 21 दिन, और पिछली तारीख़ दर्ज करने की दर गिरकर 4 प्रतिशत हो जाती है। नेतृत्व पहले 7 दिनों को बदतर नतीजे के रूप में पढ़ता है। प्लेटफ़ॉर्म प्रमुख समझाता है कि पुरानी संख्या देर से रिकॉर्ड बनाने की विकृति थी। निर्णय लॉग में लिखा निर्णय है: पिछली दो तिमाहियों को कच्ची घटनाओं से पुनः बताया जाए और चार्ट पर परिभाषा बदलाव चिह्नित किया जाए। जो हेरफेर का जोखिम टीम ने पकड़ा वह सूक्ष्म था: किसी ने संख्या गढ़ी नहीं, फिर भी देर से रिकॉर्ड बनाने ने चापलूस आँकड़ा पैदा किया। मिलान विचलन अब रेलिंग का काम करता है, और कच्चे रिकॉर्ड के नमूने की हर तिमाही समीक्षा होती है।

क्षेत्र के अनुसार दृष्टि

स्टार्टअप। डेटा पतला है और भरोसा ऊँचा, जो मदद करता है। मुख्य स्रोतों के रूप में पाइपलाइन और संस्करण नियंत्रण उपयोग करें, क्योंकि उन्हें अतिरिक्त प्रयास नहीं चाहिए, और स्थिति मॉडल मुट्ठी भर अवस्थाओं तक रखें। हर परिभाषा और उसका स्रोत एक पृष्ठ पर लिख लें, और जब टीम दोगुनी हो तो उसे फिर देखें।

छोटा व्यवसाय। अक्सर एक व्यक्ति होस्टेड सेवा डेस्क पर आईटी चलाता है। उपकरण की रिपोर्टें उपयोग करें, आपूर्तिकर्ता से उसकी परिभाषाएँ लिखित में माँगें, और लॉक-इन से बचने के लिए समय-समय पर कच्चा डेटा निर्यात करें।

उद्यम। कई उपकरण, कई टीमें और एकीकरण की परतें परिभाषा बहाव का सबसे बड़ा जोखिम बनाती हैं। साझा घटना मॉडल, नामित स्वामियों वाले केंद्रीय मेट्रिक्स स्टोर, और स्वचालित मिलान तथा ताज़गी जाँचों में निवेश करें। एक छोटी उद्यम-व्यापी स्थिति शब्दावली पर सहमत हों, और टीमों को स्थानीय स्थितियाँ केवल उससे बताए गए मानचित्रण के साथ जोड़ने दें।

सरकार और सार्वजनिक क्षेत्र। रिकॉर्ड प्रतिधारण, ऑडिट, पहुँच और गोपनीयता कानून के अधीन हो सकते हैं, और खरीद उपकरणों और डेटा प्रारूपों को बाँध सकती है। इन्हें डिज़ाइन के इनपुट मानें: ऑडिट ट्रेल रखें, घटना से रिपोर्ट तक की वंशावली प्रलेखित करें, और अनुबंधों में डेटा निर्यात अधिकारों पर बातचीत करें। रिपोर्टिंग दायित्व प्रलेखित परिभाषाओं को अनिवार्य बनाते हैं (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

इस विषय की लागत के तीन हिस्से हैं। पहला निर्माण प्रयास है: एकीकरण, मेट्रिक्स स्टोर, और स्थिति मॉडल की सफ़ाई। दूसरा संचालन प्रयास है: पाइपलाइन का स्वामी, फ़ीडों की निगरानी, और तिमाही मिलान तथा नमूना दिनचर्या। तीसरा उस डेटा के लिए गोपनीयता और सुरक्षा नियंत्रणों की लागत है जो आप रखते हैं।

प्रतिफल उन संख्याओं पर लिए गए निर्णयों से आता है जिनका अर्थ वही है जो वे प्रतीत होती हैं। खराब डेटा गलत निवेशों, किसका आँकड़ा सही है इस पर बहसों, और भरोसा तोड़ने वाले पुनः-कथित नतीजों की ओर ले जाता है। लाभ का वर्णन उन पैटर्नों के ज़रिए करें जिन्हें आप स्वयं माप सकते हैं: मासिक रिपोर्ट बनाने में लगा समय पहले और बाद, प्रति तिमाही मिलान विवादों की संख्या, और समय के साथ पिछली तारीख़ दर्ज करने की दर और टाइमस्टैम्प पूर्णता। स्वामित्व की कुल लागत पर लोगों का प्रभुत्व है, इसलिए पाइपलाइन स्वामी के घंटे गिनें।

प्रति-पैटर्न और जाल

  • स्रोत मानचित्र से पहले डैशबोर्ड बनाना। चार्ट पूरा दिखता है जबकि उसका अर्थ अज्ञात है। पहले स्रोत, घड़ियाँ और स्वामी का मानचित्र बनाएँ।
  • समय मापों के लिए हाथ के स्थिति अपडेट पर भरोसा। देर से प्रविष्टि घड़ियों को कल्पना बना देती है। जहाँ भी पाइपलाइन और संस्करण नियंत्रण की घटनाएँ मौजूद हैं, संक्रमणों को उन्हीं से स्वचालित करें।
  • एक तथ्य के लिए कई रिकॉर्ड-प्रणालियाँ। विवाद उसके बाद आते हैं। एक चुनें और बाकी को उससे पढ़वाएँ।
  • परिभाषा के चुपचाप बदलाव। प्रवृत्ति रेखा अर्थहीन हो जाती है। हर बदलाव कारण के साथ लॉग करें और चार्ट पर चिह्नित करें।
  • अधूरे डेटा के औसत। छूटे टाइमस्टैम्प यादृच्छिक नहीं हैं, क्योंकि असुविधाजनक मदें अक्सर वही हैं जो छोड़ दी जाती हैं। नतीजे के बगल में टाइमस्टैम्प पूर्णता रिपोर्ट करें।
  • "काम आ सकता है" सोचकर सब कुछ इकट्ठा करना। किसी निर्णय की सेवा के बिना लागत और गोपनीयता जोखिम बढ़ते हैं। वही इकट्ठा करें जो नामित प्रश्न को चाहिए।
  • ताज़गी संकेतक नहीं। पुराना डैशबोर्ड वर्तमान जैसा ही दिखता है। हर दृश्य पर सबसे नई घटना की आयु दिखाएँ।
  • बिना उद्देश्य के व्यक्ति-स्तर का डेटा। यह रैंकिंग को ललचाता है और स्रोत को नुकसान पहुँचाता है। टीम और सेवा स्तर तक समेकित करें, और पहुँच प्रतिबंधित करें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वय
स्रोत और संग्रह निर्यात से हाथ से जुटाई संख्याएँ कुछ उपकरण रिपोर्ट को स्वचालित रूप से खिलाते हैं; अन्य नहीं हर मेट्रिक की एक नामित रिकॉर्ड-प्रणाली और जहाँ घटना मौजूद है वहाँ स्वचालित संग्रह कवरेज और पूर्णता मापे और रुझान में देखे जाते हैं सहमत इंटरफ़ेस के ज़रिए टीमों और आपूर्तिकर्ताओं के बीच घटनाएँ साझा, निर्यात के अनुबंधों सहित
समय और स्थिति मॉडल हर व्यक्ति समय अलग दर्ज और पढ़ता है कुछ टीमें अपना कार्यप्रवाह प्रलेखित करती हैं एक समय मानक और घड़ी के लिखित नियमों सहित साझा स्थिति शब्दावली बहाव और पिछली तारीख़ प्रविष्टि की निगरानी, और बदलाव कारण सहित लॉग निर्णयों को जानकारी देना बंद करने पर मॉडल आपूर्तिकर्ताओं और ग्राहकों के साथ मिलकर संशोधित
पाइपलाइन गुणवत्ता विफलताएँ तब मिलती हैं जब कोई शिकायत करे कभी-कभार हाथ की जाँच पंक्ति गिनतियाँ, डुप्लिकेट जाँच, और हर डैशबोर्ड पर ताज़गी संकेतक मिलान निर्धारित और कारणों की समीक्षा; पाइपलाइन का स्वामी है पाइपलाइन का स्वास्थ्य सेवा की तरह रिपोर्ट, सुधार वित्त पोषित
सर्वेक्षण और गोपनीयता अभ्यास तदर्थ सर्वेक्षण; कोई गोपनीयता समीक्षा नहीं कुछ टीमों में मानक प्रश्न प्रतिक्रिया दर दिखाते छोटे नियमित सर्वेक्षण; डेटा टीम स्तर पर उत्तरदाता मिश्रण की समीक्षा और उस पर कार्रवाई सर्वेक्षण नतीजे और गोपनीयता अभ्यास उपयोगकर्ताओं के साथ खुलकर साझा

चेकलिस्ट

  • हर रिपोर्ट की गई मेट्रिक की एक नामित रिकॉर्ड-प्रणाली और एक नामित स्रोत स्वामी है।
  • स्रोत मानचित्र मेट्रिक रजिस्टर में संग्रहीत है।
  • हर समय-माप बताता है कि उसकी घड़ी कहाँ शुरू होती, रुकती और ठहरती है।
  • टाइमस्टैम्प UTC में असंदिग्ध प्रारूप में संग्रहीत हैं, और सर्वर घड़ियाँ समन्वित हैं।
  • जहाँ भी घटना मौजूद है, स्थिति परिवर्तन स्वचालन से उत्पन्न होते हैं।
  • कच्ची घटनाएँ घटना-समय और प्रविष्टि-समय के साथ रखी जाती हैं, और सुधार नई घटनाएँ हैं।
  • स्थिति मॉडल प्रलेखित है, और हर बदलाव कारण सहित लॉग है।
  • हर डैशबोर्ड अपने सबसे नए डेटा की आयु दिखाता है।
  • गिनतियाँ कार्यक्रम पर स्रोत से मिलाई जाती हैं, और कारण दर्ज होते हैं।
  • हर तिमाही कच्चे रिकॉर्ड का एक नमूना पढ़ा जाता है।
  • हर सर्वेक्षण परिणाम के साथ प्रतिक्रिया दर और उत्तरदाता मिश्रण दिखाया जाता है।
  • व्यक्तिगत डेटा न्यूनतम किया जाता है और टीम व सेवा स्तर तक समेकित है।

AI प्रॉम्प्ट

किसी मेट्रिक के लिए स्रोत मानचित्र बनाएँ।

मैं इस मेट्रिक के पीछे का डेटा प्रलेखित कर रहा/रही हूँ: [मेट्रिक का नाम], जिसकी
परिभाषा [परिभाषा] है। हमारे उपकरण हैं [उपकरणों की सूची, उदाहरण के लिए ट्रैकर, ITSM
उपकरण, पाइपलाइन, निगरानी]। इन फ़ील्डों के साथ स्रोत मानचित्र का मसौदा बनाएँ: घड़ी
शुरू करने वाली घटना, उसे रोकने वाली घटना, हर एक के लिए रिकॉर्ड की प्रणाली, घटना कौन
या क्या बनाता है (व्यक्ति या स्वचालन), संभावित विफलता के तरीके, और जाँचें जो हर विफलता
का पता लगाएँ। उपकरण की विशेषताएँ या बेंचमार्क मान न गढ़ें। अपनी मान्यताएँ और मानचित्र
पूरा करने के लिए मुझे किन प्रश्नों के उत्तर देने चाहिए, सूचीबद्ध करें।

अस्पष्टता के लिए स्थिति मॉडल की समीक्षा करें।

यह [टीम या सेवा] का कार्यप्रवाह है: [स्थितियों और अनुमत संक्रमणों की सूची, हर एक का
एक-पंक्ति अर्थ यदि ज्ञात हो]। इससे हम जो घड़ियाँ गणना करते हैं वे हैं [घड़ियों की सूची]।
उन स्थितियों की पहचान करें जो अस्पष्ट हैं, वे अवस्थाएँ जहाँ घड़ी भ्रामक ढंग से रुक या
ठहर सकती है, और वे जगहें जहाँ दो टीमें एक ही शब्द अलग पढ़ सकती हैं। एक छोटा मॉडल
सुझाएँ जो फिर भी घड़ियों का समर्थन करे, और बताएँ कि क्या खो जाएगा। अनुमान न लगाएँ
कि हमारा उपकरण कैसे विन्यस्त है। अपनी मान्यताएँ सूचीबद्ध करें।

किसी फ़ीड के लिए डेटा गुणवत्ता जाँचें डिज़ाइन करें।

हम हर [कार्यक्रम] पर [स्रोत प्रणाली] से [गंतव्य] में [डेटा प्रकार, उदाहरण के लिए
बदलाव रिकॉर्ड] लोड करते हैं। आवश्यक फ़ील्ड हैं [फ़ील्ड सूची]। पूर्णता, डुप्लिकेट,
ताज़गी और स्रोत से मिलान के लिए जाँचों का व्यावहारिक समूह प्रस्तावित करें, हर एक के
लिए सुझाए अलर्ट और स्वामी की भूमिका सहित। समूह को इतना छोटा रखें कि [टीम का आकार]
लोगों की टीम उसे बनाए रख सके। सीमाएँ न गढ़ें; जो चाहिए वे मुझसे पूछें। अपनी मान्यताएँ
सूचीबद्ध करें।

एक छोटा सर्वेक्षण और उसकी प्रतिक्रिया दर की योजना का मसौदा बनाएँ।

मैं [दर्शक] के लिए [अनुभव का विषय, उदाहरण के लिए अनुरोध पूरा करवाने का प्रयास] मापना
चाहता/चाहती हूँ। [संख्या] तटस्थ प्रश्न, कब और कैसे भेजने की योजना, और प्रतिक्रिया दर तथा
उत्तरदाता मिश्रण कैसे रिपोर्ट करें, इसका मसौदा बनाएँ। ऐसे शब्दों को चिह्नित करें जो
उत्तरों में पूर्वाग्रह ला सकते हैं, और गोपनीयता संबंधी विचार नोट करें क्योंकि डेटा
[उपकरण या स्थान] में रखा जाएगा। बेंचमार्क प्रतिक्रिया दरें न गढ़ें। अपनी मान्यताएँ
सूचीबद्ध करें।

AI कौशल

  • एजाइल ITIL मेट्रिक्स कौशल: यह खोजने के लिए उपयोग करें कि जिस मेट्रिक को आप इंस्ट्रूमेंट कर रहे हैं उसे कौन-सा विषय परिभाषित करता है और उसके बगल में कौन-सी रेलिंग होनी चाहिए।
  • एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि नया या संपादित मेट्रिक विषय अपना डेटा स्रोत और घड़ियाँ नामित करता है।

मुख्य निष्कर्ष

  • हर मेट्रिक एक नामित रिकॉर्ड-प्रणाली पर निर्भर है, इसलिए चार्ट बनाने से पहले स्रोत का मानचित्र बनाएँ।
  • घटनाओं को उनके होने के क्षण पर स्वचालित रूप से पकड़ें, और कच्ची घटनाएँ रखें ताकि इतिहास खोए बिना परिभाषाएँ बदल सकें।
  • समय भी डेटा है: एक मानक उपयोग करें, घड़ी के नियम लिखें, और पिछली तारीख़ की प्रविष्टि पर नज़र रखें।
  • स्थिति मॉडल छोटा, साझा और प्रलेखित रखें, और हर बदलाव लॉग करें।
  • पाइपलाइन को स्वामी, परीक्षण, ताज़गी संकेतक और निर्धारित मिलान वाले उत्पाद की तरह मानें।
  • उसके लिए सर्वेक्षण उपयोग करें जो केवल लोग कह सकते हैं, प्रतिक्रिया दर दिखाएँ, और व्यक्तिगत डेटा टीम स्तर पर रखें।

संदर्भ और आगे पढ़ें

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
  5. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  6. ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
  7. ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
  8. Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Information technology service management.
  11. Wikipedia, ITIL.
  12. Wikipedia, Issue tracking system.
  13. Wikipedia, Version control.
  14. Wikipedia, CI/CD.
  15. Wikipedia, Observability (software).
  16. Wikipedia, Configuration management database.
  17. Wikipedia, Extract, transform, load.
  18. Wikipedia, Data quality.
  19. Wikipedia, Coordinated Universal Time.
  20. Wikipedia, Selection bias.

एजाइल ITIL मेट्रिक्स — एजाइल आईटी सेवाओं को मापें, काम को बिगाड़े बिना।

स्रोत और योगदान: github.com/agile-itil-metrics. इनसे बनाया गया Lily Design System™.

नेतृत्व Joel Parker Henderson.