एजाइल ITIL को क्यों मापें
जो टीमें सेवाएँ बनाती और चलाती हैं, उन्हें ईमानदार संख्याओं का एक छोटा समूह चाहिए ताकि वे देख सकें कि उनका काम उपयोगकर्ताओं की मदद करता है और बेहतर हो रहा है, और एजाइल तथा ITIL हर एक उस तस्वीर का अलग-अलग आधा हिस्सा देते हैं।
सारांश और प्रेरणा
सेवा बनाने और चलाने वाली हर टीम दिन भर निर्णय लेती है: आगे किस पर काम करना है, रिलीज़ सुरक्षित है या नहीं, सेवा डेस्क को एक और व्यक्ति चाहिए या नहीं, कोई आउटेज एक बार की बात थी या एक पैटर्न। मापन के बिना ये निर्णय स्मृति, किस्सों और जिसने सबसे अंत में बोला उस पर टिके होते हैं। गलत मापन के साथ ये उससे भी बदतर हो सकते हैं, क्योंकि संख्या में एक अधिकार होता है जो राय में नहीं होता। यह विषय समझाता है कि मापना मेहनत के लायक क्यों है, हर परंपरा क्या योगदान देती है, और गलत करने की क्या कीमत है।
इस पुस्तक में दो परंपराएँ मिलती हैं। एजाइल सॉफ़्टवेयर विकास मूल्यों और अभ्यासों का एक समूह है, जो 2001 के एजाइल घोषणापत्र में कहा गया है, और जो काम करते सॉफ़्टवेयर, ग्राहकों के साथ निकट सहयोग और बदलाव का उत्तर देने को प्राथमिकता देता है। इसकी मापन-आदतें प्रयोगमूलक और स्थानीय हैं: टीम अपने प्रवाह की जाँच करती है, देखती है कि उसने क्या दिया, और अनुकूलन करती है। ITIL, जो मूलतः इन्फ़ॉर्मेशन टेक्नोलॉजी इन्फ़्रास्ट्रक्चर लाइब्रेरी था, आईटी सेवा प्रबंधन (ITSM) के लिए मार्गदर्शन का एक संग्रह है, यानी आईटी सेवाओं को डिज़ाइन करने, देने और सुधारने का अभ्यास। इसकी मापन-आदतें सेवा-उन्मुख और साझा हैं: सहमत सेवा स्तर, सेवाओं की एक कैटलॉग (ITIL की अपनी वर्तनी "service catalogue" है), और सतत सुधार का अनुशासन। ITIL 4 में, जो फ़्रेमवर्क का 2019 का संस्करण है, मापन और रिपोर्टिंग सामान्य प्रबंधन अभ्यासों में से एक है, और सतत सुधार एक अभ्यास भी है और एक मार्गदर्शक सिद्धांत भी। संस्करण के ब्योरों पर भरोसा करने से पहले फ़्रेमवर्क के स्वामी के वर्तमान प्रकाशन देखें, क्योंकि फ़्रेमवर्क विकसित होता रहता है।
दोनों दृष्टियाँ उपयोगी ढंग से अलग हैं। एजाइल पूछता है "क्या हम सही चीज़ बना रहे हैं, और काम कितनी सहजता से बह रहा है?" ITIL पूछता है "क्या सेवा अपने उपयोगकर्ताओं की ज़रूरतें पूरी कर रही है, और क्या वह विश्वसनीय, समर्थन योग्य और किफ़ायती है?" जो टीम केवल प्रवाह मापती है, वह ऐसी सेवा में तेज़ी से शिप कर सकती है जिसे उपयोगकर्ता अविश्वसनीय पाते हैं। जो टीम केवल सेवा स्तर मापती है, वह हर लक्ष्य पूरा कर सकती है और फिर भी बदलाव इतना धीमे दे सकती है कि सेवा अप्रासंगिक हो जाए। DevOps आंदोलन इस अवलोकन से उपजा कि बनाना और चलाना एक ही प्रणाली है, और इसलिए उसका वर्णन करने वाली संख्याएँ साथ-साथ पढ़ी जानी चाहिए। साइट विश्वसनीयता इंजीनियरिंग (SRE), जिस अनुशासन का वर्णन Google ने अपनी प्रकाशित पुस्तकों में किया, विश्वसनीयता लक्ष्यों और बदलाव की गति के बीच एक स्पष्ट कड़ी जोड़ती है।
तीन शब्द पूरी पुस्तक में बार-बार आते हैं। माप (measure) कार्य या सेवा के बारे में कुछ बताता है। मेट्रिक एक ऐसा माप है जिसका सूत्र, इकाई और डेटा स्रोत तय है, ताकि उसे गणना करने वाले दो व्यक्ति एक ही उत्तर पाएँ। रेलिंग (guardrail) एक दूसरा माप या अभ्यास है, जो पहले से चुना जाता है और जो तब हिलता है जब पहले में हेरफेर हो रहा हो। रेलिंग के पीछे की चेतावनी गुडहार्ट का नियम है: जब कोई माप लक्ष्य बन जाता है, तो लोग काम की बजाय संख्या को चलाने लगते हैं (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।
मापन किस लिए है
मापन तब अपनी जगह कमाता है जब वह चार कामों में से एक करता है।
- देखना। अदृश्य काम को दृश्य बनाना: वह कतार जिसे कोई नहीं देखता, तीन टीमों में फैला घटना का पैटर्न, वह बदलाव जो एक स्लॉट के लिए नौ दिन इंतज़ार करता है।
- तय करना। दो विकल्पों के बीच चुनाव को जानकारी देना, जैसे किसी अनुरोध-प्रकार को स्वचालित करना है या उसे पैदा करने वाली खामी ठीक करनी है।
- सीखना। किसी विश्वास की परीक्षा लेना। यदि टीम सोचती है कि नया रिव्यू अभ्यास पुनर्कार्य घटाएगा, तो एक संख्या बता सकती है कि घटाया या नहीं।
- हिसाब देना। उपयोगकर्ताओं, ग्राहकों और नेताओं को इसका ईमानदार ब्योरा देना कि सेवा क्या देती है, ताकि भरोसा प्रमाण पर टिके।
जो संख्या इन चारों में से कोई काम नहीं करती, वह अतिरिक्त बोझ है। बाद के विषय हर मेट्रिक परिवार के लिए यही कसौटी दोहराते हैं।
कुछ न मापने की कीमत
जो टीम कुछ नहीं मापती वह संख्याओं से मुक्त नहीं होती। वह अंतर्निहित संख्याओं पर चलती है: सबसे ऊँची शिकायत, सबसे हालिया आउटेज, प्रबंधक का अंदाज़ा कि लोग कितने व्यस्त दिखते हैं। इससे दो कीमतें चुकानी पड़ती हैं।
- धीमी प्रतिक्रिया। जो समस्याएँ कोई प्रवृत्ति जल्दी दिखा देती, वे आश्चर्य बनकर आती हैं। दोहराए गए संपर्कों में धीमी वृद्धि संकट बनने तक बुरी किस्मत जैसी लगती है।
- सुधार का कोई आधार नहीं। टीम बता नहीं सकती कि कोई बदलाव मददगार रहा या नहीं, इसलिए वह सीख नहीं सकती कि किन बदलावों को दोहराना है।
गलत चीज़ें मापने की कीमत
गलत चीज़ें मापना अक्सर कुछ न मापने से बदतर होता है, क्योंकि वह झूठे आत्मविश्वास के साथ प्रयास को दिशा देता है। बंद किए गए टिकटों की गिनती, कोड की पंक्तियाँ, पूरे हुए स्टोरी पॉइंट और दर्ज किए गए घंटे इकट्ठा करने और चार्ट बनाने में आसान हैं, और हर एक गतिविधि का माप है, उपयोगकर्ता के लिए मूल्य का नहीं। SPACE फ़्रेमवर्क के पीछे का शोध (Forsgren और सहयोगी, 2021) तर्क देता है कि उत्पादकता को एक आयाम में नहीं पकड़ा जा सकता, और अकेले उपयोग की गई गतिविधि-गिनतियाँ भ्रमित करती हैं।
मुख्य सिद्धांत
- किसी निर्णय के लिए मापें। हर मेट्रिक एक लिखित प्रश्न का उत्तर देती है और एक नामित चुनाव को जानकारी देती है। यदि कोई नहीं बता सकता कि कौन-सा, तो उसे सेवानिवृत्त करें।
- दोनों दृष्टियों को जोड़ें। डिलीवरी प्रवाह और सेवा स्वास्थ्य को एक ही पृष्ठ पर पढ़ें, ताकि गति कभी स्थिरता की कीमत पर न खरीदी जाए, या उलटा न हो।
- पहले परिणाम मापें, फिर गतिविधि। कसौटी यह है कि उपयोगकर्ता बेहतर स्थिति में हैं। गतिविधि की गिनतियाँ कहानी का साथ देती हैं पर उसे कहती नहीं (देखें विषय 1.3, आउटपुट से ऊपर परिणाम: क्या मापें, यह चुनना)।
- टीमों और सेवाओं का वर्णन करें, व्यक्तियों का कभी नहीं। व्यक्तिगत रैंकिंग डेटा को बिगाड़ती है और सहयोग को नुकसान पहुँचाती है।
- छोटा शुरू करें और बढ़ाएँ। कुछ भरोसेमंद मेट्रिक्स, कमज़ोर शासन वाली मेट्रिक्स की दीवार से बेहतर हैं।
- पहले टीम को दिखाएँ। जो लोग काम करते हैं वे पहले दर्शक हैं, और यह जाँचने का सबसे अच्छा तरीका भी कि डेटा सटीक है या नहीं।
- बदलाव की अपेक्षा रखें। जब परिभाषाएँ, मेट्रिक्स और लक्ष्य निर्णयों को जानकारी देना बंद कर दें, तो उन्हें संशोधित किया जाता है।
मेट्रिक परिभाषाएँ
नीचे की मेट्रिक्स स्वयं मापन अभ्यास के स्वास्थ्य का वर्णन करती हैं, जहाँ "क्यों मापें" परीक्षण योग्य बन जाता है। जो टीम इन्हें दिखा सकती है वह कारणों से माप रही है। समय-आधारित या गिनती-आधारित हर सूत्र अपनी सीमाएँ बताता है।
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| निर्णय-से-जुड़ी मेट्रिक का हिस्सा | रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जिनका एक लिखित प्रश्न है और एक नामित निर्णय जिसे वे जानकारी देती हैं | तिमाही के अंत में डैशबोर्ड पर रिपोर्ट की गई मेट्रिक्स में से दर्ज प्रश्न और निर्णय वाली मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स | प्रतिशत | मेट्रिक रजिस्टर (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व) | मापन और रिपोर्टिंग; सतत सुधार | रेट्रोस्पेक्टिव कार्रवाइयाँ; कार्य समझौते | तिमाही |
| आधाररेखा कवरेज | दायरे की उन सेवाओं और टीमों का हिस्सा जिनके हर सहमत मूल माप का दर्ज प्रारंभिक मान है | पिछले 12 महीनों में दर्ज आधाररेखा वाले सेवा-और-माप जोड़े / दायरे के सभी सेवा-और-माप जोड़े; कैटलॉग से बाहर की सेवाएँ शामिल नहीं | प्रतिशत | सेवा कैटलॉग और मेट्रिक रजिस्टर | सेवा स्तर प्रबंधन; मापन और रिपोर्टिंग | हितधारक समीक्षा; टीम डैशबोर्ड | तिमाही |
| मापन प्रयास | मेट्रिक्स को हाथ से इकट्ठा करने, साफ़ करने और रिपोर्ट करने में लगा स्टाफ़ का समय | महीने में हाथ से संग्रह और रिपोर्टिंग पर दर्ज घंटे, निष्कर्षों पर कार्रवाई में लगे समय को छोड़कर | प्रति टीम प्रति माह घंटे | समय नोट या संक्षिप्त टीम सर्वेक्षण | मापन और रिपोर्टिंग | रेट्रोस्पेक्टिव समय बजट | तिमाही |
| समीक्षा के समय डेटा की आयु | जब समूह चर्चा के लिए मिलता है तब सबसे नए डेटा बिंदु की आयु कितनी है | समीक्षा बैठक का टाइमस्टैम्प घटा डैशबोर्ड पर नवीनतम डेटा बिंदु का टाइमस्टैम्प; प्रति मेट्रिक गणना, माध्यिका और 85वें पर्सेंटाइल के रूप में रिपोर्ट | दिन | डैशबोर्ड रीफ़्रेश लॉग | मापन और रिपोर्टिंग | हितधारक समीक्षा | प्रति समीक्षा |
| सुधार अनुवर्तन | मेट्रिक समीक्षाओं से उठाई गई उन सुधार कार्रवाइयों का हिस्सा जो सहमत अवधि में पूरी हुईं या सोच-समझकर बंद की गईं | उठाए जाने के 90 दिनों के भीतर पूरी हुई या कारण सहित बंद की गई कार्रवाइयाँ / अवधि में उठाई गई कार्रवाइयाँ, सुधार रजिस्टर में दर्ज तिथि से गिनी हुई | प्रतिशत | सतत सुधार रजिस्टर या बैकलॉग | सतत सुधार | रेट्रोस्पेक्टिव कार्रवाई मद | तिमाही |
मापन प्रयास जान-बूझकर केवल हाथ के काम को गिनता है। डेटा पढ़ने और क्या करना है यह तय करने में लगा समय इस पूरी कवायद का मकसद है और छोड़ा जाता है, ताकि संग्रह का स्वचालन प्रगति के रूप में दिखे।
सिफ़ारिशें
उद्देश्य से शुरू करें
1. मेट्रिक से पहले कारण लिखें। हर प्रस्तावित माप के लिए एक वाक्य लिखें: "हम X को Y तय करने के लिए मापते हैं।" यदि वाक्य नहीं लिखा जा सकता, तो माप तैयार नहीं है। यही एक आदत ज़्यादातर दिखावटी मेट्रिक्स को डैशबोर्ड में आने से पहले हटा देती है।
2. दर्शक और निर्णय का नाम लें। वही संख्या टीम, सेवा स्वामी और कार्यकारी के लिए अलग मतलब रखती है। लिख लें कि उसे कौन पढ़ेगा और वह किस चुनाव का समर्थन करती है। टीम के कामकाजी दृश्य में बीस माप हो सकते हैं। नेतृत्व तक जो जाए वह एक छोटा, स्थिर समूह होना चाहिए (देखें विषय 11.1, सेवा मेट्रिक्स डैशबोर्ड का डिज़ाइन)।
दोनों परंपराओं का उपयोग करें
3. प्रवाह माप को सेवा माप के साथ जोड़ें। कम से कम एक ऐसा माप चुनें जो बताए कि काम कैसे चलता है, जैसे लीड टाइम या कार्य मद की आयु (देखें विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता), और कम से कम एक ऐसा माप जो बताए कि सेवा कैसे व्यवहार करती है, जैसे घटना की पुनरावृत्ति या सेवा स्तर संकेतक (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)। इन्हें साथ दिखाने से वह आम विफलता रुकती है जिसमें गति और स्थिरता को अलग-अलग समूह अलग-अलग चार्ट देखकर सँभालते हैं।
4. डिलीवरी और संचालन को एक प्रणाली मानें। Accelerate (Forsgren, Humble और Kim, 2018) में सारांशित शोध बताता है कि सॉफ़्टवेयर डिलीवरी प्रदर्शन का वर्णन चार मापों से किया जा सकता है जो थ्रूपुट और स्थिरता को संतुलित करते हैं। टीम जो भी समूह अपनाए, बदलाव-संबंधी और घटना-संबंधी संख्याओं को इतना पास रखें कि एक में वृद्धि दूसरी पर नज़र डालने को प्रेरित करे (देखें विषय 2.8, DORA मेट्रिक्स)।
ईमानदारी से मापें
5. कुछ ऐसे माप पसंद करें जो एक-दूसरे के विरुद्ध खिंचते हों। एक अकेली संख्या अति-अनुकूलन को न्योता देती है, इसलिए जोड़ियाँ चुनें जैसे गति के साथ गुणवत्ता, मात्रा के साथ परिणाम, और लागत के साथ अनुभव। जोड़ी का सूत्र होना ज़रूरी नहीं। उसका एक ही पृष्ठ पर दिखना ज़रूरी है।
6. कुछ भी बदलने से पहले आधाररेखा दर्ज करें। प्रारंभिक मान के बिना सुधार का दावा एक कहानी है। पहले कुछ हफ़्तों का डेटा इकट्ठा करें, जिसमें औसत के साथ मानों का फैलाव भी हो (देखें विषय 1.6, सेवा मेट्रिक्स के लिए सांख्यिकीय साक्षरता)। आधाररेखाएँ टीमों की रक्षा भी करती हैं: वे दिखाती हैं कि खराब तिमाही प्रदर्शन में गिरावट के बाद नहीं, बल्कि काम गिनने के तरीके में बदलाव के बाद आई।
आदत बनाएँ
7. निर्णय से मेल खाती लय पर समीक्षा करें। प्रवाह माप साप्ताहिक बातचीत के अनुकूल हैं, या सतत सॉफ़्टवेयर डिलीवरी के हर चरण पर होने वाली बातचीत के। सेवा स्तर और लागत माप मासिक या तिमाही बातचीत के अनुकूल हैं। गलत लय पर समीक्षा की गई मेट्रिक या तो शोर पैदा करती है या वह क्षण चूक जाती है जब कार्रवाई मदद करती।
8. सुधार कार्य से चक्र बंद करें। जो समीक्षा "दिलचस्प" पर खत्म होती है, उसने अपना डेटा बर्बाद किया। हर समीक्षा को एक या दो नामित कार्रवाइयों, एक स्वामी और एक तारीख के साथ समाप्त करें, और उनके पूरा होने को ट्रैक करें। ITIL का सतत सुधार अभ्यास और एजाइल रेट्रोस्पेक्टिव एक ही अनुशासन के दो नाम हैं (देखें विषय 9.5, सतत सुधार मेट्रिक्स)।
9. बताएँ कि आप संख्याओं का उपयोग किसके लिए नहीं करेंगे। साफ़ कहें कि टीम मेट्रिक्स का उपयोग व्यक्तियों को रैंक करने या पुरस्कृत करने के लिए नहीं होगा, और परिभाषाएँ खुले तौर पर बदली जाएँगी। जब लोग भरोसा करते हैं कि मापन का उपयोग कैसे होगा, तब वे उसमें सहयोग करते हैं (देखें विषय 11.3, भय पैदा किए बिना मेट्रिक्स लागू करना)।
हेरफेर के तरीके और रेलिंग
मापन के बारे में मेट्रिक्स में भी हेरफेर हो सकता है। नीचे की हर पंक्ति मेट्रिक को उसके आम बिगाड़ने के तरीके और उसे उजागर करने वाली जाँच के साथ जोड़ती है।
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| निर्णय-से-जुड़ी मेट्रिक का हिस्सा | प्रतिशत बढ़ाने के लिए हर मेट्रिक के लिए बाद में एक विश्वसनीय प्रश्न और निर्णय लिख देना | निर्णय लॉग का नमूना लें: पूछें कि मेट्रिक के कारण क्या बदला, और प्रविष्टि लिखे जाने की तारीख को मेट्रिक के पहली बार प्रकट होने की तारीख से मिलाएँ |
| आधाररेखा कवरेज | आधाररेखा एक बार दर्ज करके कभी ताज़ा न करना, या कोई सुविधाजनक शांत अवधि चुनना | हर आधाररेखा के साथ बताई गई तिथि सीमा और नमूना आकार माँगें; सेवा में बड़े बदलावों के बाद आधाररेखाओं की समीक्षा करें |
| मापन प्रयास | संग्रह कार्य को बिना लॉग किए करके या आपूर्तिकर्ता पर सरकाकर बही से बाहर कर देना | इस पर एक संक्षिप्त सर्वेक्षण से तुलना करें कि लोग रिपोर्टिंग में कितना समय लगना बताते हैं; समीक्षा में आपूर्तिकर्ता का प्रयास शामिल करें |
| समीक्षा के समय डेटा की आयु | बैठक से ठीक पहले डैशबोर्ड रीफ़्रेश करना जबकि अंतर्निहित रिकॉर्ड अब भी पुराने हों | रीफ़्रेश समय के साथ स्रोत प्रणाली में सबसे नए रिकॉर्ड की आयु भी रिपोर्ट करें |
| सुधार अनुवर्तन | प्रतिशत पाने के लिए कार्रवाइयों को "अब प्रासंगिक नहीं" कारण से बंद करना, या कार्रवाइयों को तुच्छ टुकड़ों में बाँटना | हर तिमाही बंद कार्रवाइयों के दिए गए कारणों की समीक्षा करें, और देखें कि कार्रवाई जिस माप को लक्षित करती थी वह हिला या नहीं |
स्वस्थ पठन एक ऐसा अभ्यास है जो दृश्य रूप से जीवित है। मेट्रिक्स लिखित कारणों से रजिस्टर में जुड़ती और छूटती हैं, आधाररेखाएँ ताज़ा हैं, समीक्षाओं की कार्रवाइयाँ पूरी होती हैं या ईमानदारी से छोड़ी जाती हैं, और टीम डेटा इकट्ठा करने से अधिक समय उस पर कार्रवाई करने में लगाती है। हर पंक्ति पर पूरे अंक आना अंतर्निहित रिकॉर्ड का नमूना लेने का संकेत है, जश्न मनाने का कारण नहीं।
समझौते: लाभ और हानि
| विकल्प | ताकत | कमज़ोरी |
|---|---|---|
| कम मापें | कम लागत; हेरफेर का कम जोखिम; उच्च भरोसा | अंधे धब्बे; निर्णय किस्सों पर टिके |
| बहुत मापें | व्यापक कवरेज; कई मोर्चों पर शीघ्र चेतावनी | ध्यान बँट जाता है; शासन पतला; संग्रह लागत बढ़ती है |
| जुड़ा हुआ दृश्य | गति और स्थिरता को संतुलित करता है; साझा स्वामित्व का समर्थन | टीमों में सहमत परिभाषाएँ और देखने की एक साझा जगह चाहिए |
| मेट्रिक्स पर लक्ष्य | दिशा और तात्कालिकता देते हैं | हेरफेर को न्योता; जोड़ी गई रेलिंग चाहिए |
| लक्ष्य के बिना मेट्रिक्स | ईमानदार चर्चा को प्रोत्साहन | ऐसी रिपोर्टों में बदल सकती हैं जिन पर कोई कार्रवाई नहीं करता |
व्यावहारिक उत्तर एक छोटा जुड़ा हुआ समूह है, जिसमें लक्ष्यों का उपयोग संयम से उन स्थितियों के लिए हो जो भली-भाँति समझी हुई हैं और जिन्हें उपयोगकर्ताओं ने माँगा है, जैसे सेवा स्तर उद्देश्य। बाकी सब चर्चा के लिए एक प्रश्न है। उद्देश्य निर्णयों से विवेक को हटाना नहीं, बल्कि उसे बेहतर प्रमाण देना है।
अपनी टीम के साथ चर्चा के प्रश्न
1. पिछली तिमाही में हमने कौन-सा निर्णय लिया जिसे किसी संख्या ने सचमुच बदला? समूह से विशिष्ट निर्णय याद करने को कहें और फिर पता करें कि कौन-से, यदि कोई, डेटा पर निर्भर थे। यदि सूची छोटी है तो यह उपयोगी जानकारी है: इसका मतलब है कि वर्तमान रिपोर्टिंग का बड़ा हिस्सा अपनी रोटी नहीं कमा रहा। सुगमकर्ता को वे मेट्रिक्स दर्ज करनी चाहिए जिन्होंने निर्णय बदले, क्योंकि वे संरक्षण के उम्मीदवार हैं। फिर पूछें कि कौन-से निर्णय अंतर्ज्ञान पर लिए गए और क्या कोई संख्या मदद कर सकती थी।
2. हमारी वर्तमान संख्याओं में से कौन-सी गतिविधि का वर्णन करती हैं, और कौन-सी उपयोगकर्ताओं के लिए मूल्य का? वर्तमान डैशबोर्ड को स्क्रीन पर रखें और हर मेट्रिक को गतिविधि (बंद टिकट, चलाए गए बिल्ड, पूरे पॉइंट) या परिणाम (काम कर पाने वाले उपयोगकर्ता, दोबारा न होने वाली समस्याएँ) के रूप में चिह्नित करें। सीमा के मामलों पर देर तक बहस न करें। मकसद संतुलन देखना है। जहाँ केवल गतिविधि है, वहाँ पूछें कि गतिविधि से कौन-सा परिणाम निकलना अपेक्षित है और टीम को कैसे पता चलेगा।
3. आज डिलीवरी और संचालन की संख्याएँ कहाँ रहती हैं, और क्या वही लोग दोनों को देखते हैं? पता करें कि मापों का हर परिवार कहाँ रखा जाता है और उसकी समीक्षा कौन करता है। टीमें अक्सर यह जानकर हैरान होती हैं कि बदलाव का डेटा एक समूह देखता है और घटना का डेटा दूसरा, बिना किसी साझा बैठक के। पूछें कि कौन-सा पैटर्न छूट सकता है क्योंकि दोनों कभी साथ नहीं देखे जाते। एक जगह या एक बैठक तय करें जहाँ वे मिलें।
4. हम क्या नहीं माप रहे जिसे न जानने का हमें पछतावा होगा? मेट्रिक्स की बजाय चिंताएँ आमंत्रित करें: "मुझे डर है कि हम नोटिस नहीं करेंगे अगर..." उत्तरों से उम्मीदवार मापों तक काम करें, और फिर सबसे सस्ते डेटा तक जो उन्हें दिखा सके। सूची छोटी रखें।
5. नेतृत्व को अपनी संख्याएँ दिखाने से पहले हमें उनके बारे में क्या मानना होगा? चर्चा करें कि डेटा को भरोसेमंद क्या बनाता है: स्थिर परिभाषाएँ, नमूना-आधारित सटीकता जाँच, और अपवादों पर सहमति। टीम के संदेह सूचीबद्ध करें, छोटे भी, जैसे किसी स्थिति का असंगत उपयोग। तय करें कि व्यापक साझा करने से पहले कौन-से संदेह दूर करने होंगे और कौन-से संख्या के साथ उजागर किए जा सकते हैं।
6. यदि अगली तिमाही के लिए हम केवल तीन मेट्रिक्स रख सकें, तो वे कौन-सी होंगी और क्यों? यह बाध्यता प्राथमिकताएँ तय कराती है। हर व्यक्ति से तीन लिखने को कहें, फिर तुलना करें। परिणामों पर सहमति और गतिविधि मापों पर असहमति खोजें। पूछें कि तीनों में से हर एक को कौन-सी रेलिंग चाहिए।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमों को तेज़, स्थानीय प्रतिक्रिया का सबसे अधिक लाभ मिलता है: काम कितनी देर इंतज़ार करता है, कहाँ कतार में लगता है, बदलाव कितनी बार समस्याएँ पैदा करते हैं। उन्हें अपने लिए एक समृद्ध कामकाजी दृश्य रखना चाहिए और बाहर एक छोटा समूह प्रकाशित करना चाहिए। टीमों को मूल्य के प्रतिनिधि के रूप में आउटपुट की मात्रा मापने के खिंचाव का विरोध करना चाहिए, और शुरू से गति मापों को गुणवत्ता मापों के साथ जोड़ना चाहिए (देखें विषय 2.1, प्रवाह माप)।
सेवा और संचालन टीमें
संचालन टीमें पहले से संख्याओं के साथ जीती हैं: मात्राएँ, प्रतिक्रिया और समाधान समय, उपलब्धता। अवसर यह है कि जो हुआ उसकी रिपोर्टिंग से हटकर पुनरावृत्ति, मूल कारणों और अनियोजित कार्य के हिस्से के ज़रिए यह समझाया जाए कि क्यों हुआ (देखें विषय 2.9, परिचालन कार्य और अनियोजित कार्य)। उन्हें अपना डेटा डिलीवरी टीमों के साथ योजना की बातचीत में भी लाना चाहिए, ताकि विश्वसनीयता कार्य की पैरवी शिकायत की बजाय प्रमाण से हो।
नेतृत्व और शासन
नेता प्रोत्साहन तय करते हैं, अक्सर अनजाने में, अपने पूछे प्रश्नों से। जो नेता पूछता है "यह लाल क्यों है?" वह टीमों को लाल छिपाना सिखाता है। जो पूछता है "तुमने क्या सीखा, और तुम्हें क्या चाहिए?" वह टीमों को ईमानदारी से रिपोर्ट करना सिखाता है। शासन निकायों को संख्याओं के साथ रजिस्टर, रेलिंग और सुधार कार्रवाइयाँ माँगनी चाहिए, और उस काम को वित्त पोषित करना चाहिए जिसे कोई खराब संख्या उजागर करे (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व)।
ग्राहक और उपयोगकर्ता
उपयोगकर्ता सेवा को इस पर आँकते हैं कि वह चलती है या नहीं और समस्याएँ ठीक होती हैं या नहीं, आंतरिक मापों से नहीं। सर्वेक्षणों, शिकायतों और टिप्पणियों में उनके अपने शब्द संचालन की संख्याओं के बगल में रहने चाहिए, इस जाँच के रूप में कि टीम वह माप रही है या नहीं जो मायने रखता है (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक मध्यम आकार की ऑनलाइन रिटेलर के पास एक सेवा डेस्क, एक संचालन टीम और तीन उत्पाद टीमें हैं जो स्टोरफ़्रंट, भुगतान और फ़ुलफ़िलमेंट सेवाएँ बनाती हैं। नीचे की संख्याएँ उदाहरणार्थ संख्याएँ हैं।
नेतृत्व पूछता है कि ग्राहक धीमे चेकआउट की शिकायत क्यों करते हैं जबकि डिलीवरी टीमें बताती हैं कि वे रोज़ शिप करती हैं और संचालन टीम बताती है कि उपलब्धता 99.9 प्रतिशत है। हर समूह अपने मापों से सही है, और किसी ने उन्हें साथ नहीं देखा है। सेवा प्रबंधन प्रमुख चेकआउट सेवा के लिए एक-पृष्ठ का जुड़ा हुआ दृश्य प्रस्तावित करता है, जो ऐसे डेटा से बना है जिसे टीमें पहले से इकट्ठा करती हैं।
दृश्य पिछले बारह हफ़्तों के लिए चार चीज़ें दिखाता है। बदलाव के लीड टाइम की माध्यिका 2 दिन है और 85वाँ पर्सेंटाइल 9 दिन। बदलाव विफलता दर 8 प्रतिशत है। चेकआउट पर घटनाएँ 14 हैं, जिनमें से 6 का एक ही कारण है: हाल की रिलीज़ से आई एक धीमी डेटाबेस क्वेरी। बहाली का माध्यिका समय 40 मिनट है, लेकिन 95वें पर्सेंटाइल पर पेज-लोड समय छह हफ़्तों में धीरे-धीरे बढ़ा है, एक ऐसा पैटर्न जिसे उपलब्धता का आँकड़ा नहीं दिखाता क्योंकि सेवा तकनीकी रूप से चालू रही।
समूह वह देखता है जो छिपा था। उपलब्धता को "चेकआउट जवाब देता है" के रूप में मापा गया था, जबकि उपयोगकर्ता अनुभव करते हैं "चेकआउट पर्याप्त तेज़ी से जवाब देता है।" उत्पाद टीम और संचालन टीम सहमत होती हैं कि चेकआउट के लिए एक विलंबता संकेतक जोड़ें, जिसका उद्देश्य ग्राहक टिप्पणियाँ पढ़कर उत्पाद स्वामी तय करे, बार-बार आने वाले घटना कारण को स्वामी सहित समस्या रिकॉर्ड के रूप में लें, और जुड़े हुए दृश्य की हर पखवाड़े समीक्षा करें। वे एक निर्णय दर्ज करती हैं: क्वेरी ठीक करने और रिलीज़ पाइपलाइन में प्रदर्शन जाँच जोड़ने के लिए सतत सॉफ़्टवेयर डिलीवरी के एक दौर में नई चेकआउट सुविधाएँ रोक दें।
एक महीने के भीतर हेरफेर का जोखिम सामने आता है। संचालन टीम देखती है कि 14 में से दो घटनाएँ "सेवा अनुरोध" के रूप में खोली गई थीं क्योंकि अनुरोध श्रेणी में कोई समाधान लक्ष्य नहीं है। टीम समझती है कि घटनाओं पर लक्ष्य ने लोगों को सीमा के मामलों को अनुरोध के रूप में वर्गीकृत करने की ओर धकेला। वे दृश्य में पुनर्वर्गीकृत हिस्से को जोड़ती हैं और हर महीने दस टिकटों का नमूना लेती हैं। बदलाव के बाद 95वें पर्सेंटाइल का पेज-लोड समय घटता है, दोहराई गई घटनाएँ कम होती हैं, और टीम दृश्य को रखती है क्योंकि उसने एक निर्णय बदला है।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। छोटी टीमों में प्रक्रिया कम और भरोसा मज़बूत होता है, जो मदद करता है। जोखिम यह है कि ज़रूरत से पहले बड़े उद्यम का डैशबोर्ड आयात कर लिया जाए। दो-तीन माप से शुरू करें जिन्हें संस्थापक साप्ताहिक पढ़ेंगे, जैसे बदलाव का लीड टाइम, एक सरल विश्वसनीयता संकेतक और सीधी उपयोगकर्ता प्रतिक्रिया, और उनकी परिभाषाएँ लिख लें।
छोटा व्यवसाय। आईटी चलाने वाला व्यक्ति अक्सर मालिक को रिपोर्ट करता है, और एक अकेली ग्राहक शिकायत किसी भी चार्ट पर भारी पड़ सकती है। समूह छोटा रखें, अपने उपकरणों से पहले से बनने वाला डेटा उपयोग करें, और उपयोगकर्ताओं से बातचीत को तरजीह दें। विक्रेता द्वारा दी गई रिपोर्टों को कुछ सावधानी से लें, क्योंकि विक्रेताओं के अपने प्रोत्साहन होते हैं।
उद्यम। पैमाना तुलनीय संख्याओं की माँग और उनमें हेरफेर के दबाव को कई गुना कर देता है। लिखित परिभाषाओं के साथ एक छोटा मानक समूह उपयोग करें, टीम के कामकाजी दृश्यों को रोल-अप से अलग रखें, और ऐसी टीमों की तुलना से बचें जो बहुत अलग किस्म की सेवाएँ चलाती हैं। मेट्रिक रजिस्टर, साझा परिभाषाएँ और समीक्षा की लय अनिवार्य हो जाती हैं।
सरकार और सार्वजनिक क्षेत्र। अनुबंधित सेवा स्तर, ऑडिट आवश्यकताएँ और सार्वजनिक रिपोर्टिंग दायित्व कुछ मापों को अपरिहार्य बना सकते हैं। उन्हें डिज़ाइन के इनपुट मानें: उन्हें पूरा करें, उनके बगल में रेलिंग दिखाएँ, और प्रयुक्त परिभाषाएँ बताएँ। सार्वजनिक जवाबदेही बुरी खबर छिपाने की लागत बढ़ाती है, इसलिए स्पष्ट रिपोर्टिंग के लिए सुरक्षित आंतरिक माध्यम बनाएँ (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
मापने की प्रेरणा कम लागत पर बेहतर निर्णय है। मापन प्राथमिकता तय करने में मदद करता है, दिखाता है कि अपव्यय कहाँ बैठा है, सेवा के गिरने की शीघ्र चेतावनी देता है, और निवेश अनुरोधों के लिए प्रमाण देता है।
लागत के कई हिस्से हैं। उपकरण हैं, जो अक्सर पहले से स्वामित्व में हैं: टिकटिंग प्रणाली, इश्यू ट्रैकर, संस्करण नियंत्रण और निगरानी। मेट्रिक्स परिभाषित करने, दृश्य बनाने और रजिस्टर बनाए रखने में लगा स्टाफ़ का समय है। समीक्षा बैठकों की आवर्ती लागत है, जो सबसे बड़ी और सबसे सार्थक है। मापन अभ्यास के स्वामित्व की कुल लागत (TCO) में निष्कर्षों पर कार्रवाई की लागत भी शामिल है, क्योंकि जिस अंतर्दृष्टि के सुधार के लिए बजट नहीं, उसका प्रतिफल कम है।
प्रतिफल को किसी सार्वभौमिक आँकड़े में बताना कठिन है, और यह पुस्तक कोई गढ़ती नहीं। मामला बनाने का एक उपयोगी तरीका है किसी बदलाव से पहले और बाद में अपनी आधाररेखाएँ मापना: हाथ की रिपोर्टिंग पर बिताया समय, दोहराए गए संपर्क, डेटा गलत होने से पलटे गए निर्णय, और देर से मिले आश्चर्य। अपेक्षित पैटर्न है कम आश्चर्य, छोटी बहसें, और संचालन की संख्याओं तथा उपयोगकर्ता अनुभव के बीच बेहतर मेल। खर्च किए गए प्रयास की बचाए गए प्रयास से एक सरल निवेश पर प्रतिफल (ROI) तुलना एक उचित शुरुआती बिंदु है, और विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य, विधि बताता है।
प्रति-पैटर्न और जाल
- सब कुछ का डैशबोर्ड। दर्जनों चार्ट, कोई स्वामी नहीं, कोई निर्णय नहीं। कुछ चुनें, हर एक का निर्णय बताएँ, और बाकी को सेवानिवृत्त करें।
- एकतरफ़ा मापन। स्थिरता के बिना गति, या प्रासंगिकता के बिना स्थिरता। प्रवाह माप को सेवा माप के साथ जोड़ें।
- लोगों को मापना। व्यक्तिगत रैंकिंग डेटा बिगाड़ती है और मदद को हतोत्साहित करती है। टीमों और सेवाओं के स्तर पर रिपोर्ट करें।
- आधाररेखा से पहले लक्ष्य। बिना प्रारंभिक मान का लक्ष्य एक अनुमान है। पहले आधाररेखा दर्ज करें, और लक्ष्य कम से कम एक समीक्षा चक्र के बाद तय करें।
- कार्रवाई के बिना रिपोर्टें। जो समीक्षा कोई बदलाव नहीं लाती वह लोगों को उसे अनदेखा करना सिखाती है। हर समीक्षा को नामित कार्रवाई, स्वामी और तारीख के साथ समाप्त करें।
- चुपचाप परिभाषा बदलना। प्रवृत्ति रेखाएँ अर्थहीन हो जाती हैं। हर बदलाव को उसके कारण के साथ लॉग करें और चार्ट पर चिह्नित करें।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| उद्देश्य और चयन | मेट्रिक्स इसलिए चुनी गईं कि उपकरण उन्हें देता है | कुछ मेट्रिक्स का घोषित उद्देश्य है | हर रिपोर्ट की गई मेट्रिक का एक लिखित प्रश्न और निर्णय है | मेट्रिक समूह की समीक्षा निर्णयों के सापेक्ष होती है और अप्रयुक्त मेट्रिक्स सेवानिवृत्त होती हैं | उपयोगकर्ताओं और आपूर्तिकर्ताओं के साथ साझा परिणामों के आसपास मेट्रिक्स का सह-डिज़ाइन |
| एजाइल और ITIL का जुड़ा दृश्य | डिलीवरी और सेवा डेटा अलग रखे गए | कुछ टीमें दोनों को साथ देखती हैं | प्रति सेवा प्रवाह और सेवा स्वास्थ्य का साझा दृश्य | जुड़े हुए दृश्य का रुझान देखा जाता है और सुधार कार्य से जुड़ा है | टीमों और आपूर्तिकर्ताओं के बीच के दृश्य उपयोगकर्ता परिणामों से जुड़े |
| आधाररेखा और प्रयास | कोई आधाररेखा नहीं; हाथ से संग्रह | कुछ सेवाओं के लिए आधाररेखा; मिश्रित संग्रह | मूल मापों के लिए आधाररेखा दर्ज; संग्रह अधिकतर स्वचालित | बदलावों के बाद आधाररेखाएँ ताज़ा; प्रयास ट्रैक और कम किया जाता है | सेवाएँ बदलने के साथ आधाररेखाएँ और परिभाषाएँ लगातार समायोजित |
| सुधार में उपयोग | संख्याएँ नोट होकर भुला दी जाती हैं | खराब हफ़्तों के बाद कभी-कभार कार्रवाई | हर समीक्षा नामित कार्रवाइयों के साथ समाप्त होती है | कार्रवाई अनुवर्तन मापा और वित्त पोषित | सुधार सबसे आता है और टीमों में दिखाई देता है |
चेकलिस्ट
- रिपोर्ट की गई हर मेट्रिक का एक लिखित प्रश्न और एक नामित निर्णय है जिसे वह जानकारी देती है।
- हर दृश्य का दर्शक नामित है, और टीम के दृश्य नेतृत्व के दृश्यों से अलग हैं।
- कम से कम एक प्रवाह माप और एक सेवा माप एक ही पृष्ठ पर दिखते हैं।
- हर मूल माप के लिए तिथि सीमा और नमूना आकार के साथ एक आधाररेखा है।
- हर समय-माप बताता है कि घड़ी कहाँ शुरू और बंद होती है।
- हर मेट्रिक के बगल में एक रेलिंग दिखाई गई है।
- हाथ के संग्रह का प्रयास ज्ञात है, और सबसे बड़े हाथ के कार्य की स्वचालन के लिए समीक्षा हुई है।
- टीमें नेतृत्व से पहले अपना डेटा देखती हैं।
- कोई व्यक्तिगत रैंकिंग, वेतन या अनुशासन किसी मेट्रिक से जुड़ा नहीं है।
- हर समीक्षा कम से कम एक नामित सुधार कार्रवाई, स्वामी और तारीख के साथ समाप्त होती है।
- पिछले वर्ष में कम से कम एक मेट्रिक सेवानिवृत्त या पुनर्परिभाषित की गई है।
AI प्रॉम्प्ट
हर मेट्रिक के लिए उद्देश्य कथन का मसौदा बनाएँ।
हम [टीम का नाम] हैं, [सेवा या उत्पाद] के लिए ज़िम्मेदार। हमारा वर्तमान डैशबोर्ड ये
मेट्रिक्स दिखाता है: [परिभाषाओं सहित मेट्रिक्स की सूची]। हर एक के लिए "हम X को Y तय
करने के लिए मापते हैं" रूप में एक वाक्य का कथन बनाएँ, और ऐसी किसी भी मेट्रिक को
चिह्नित करें जिसके लिए मैंने जो दिया है उससे आप कोई निर्णय अनुमानित नहीं कर सकते।
हर कथन पूरा करने के लिए मुझे किन प्रश्नों के उत्तर देने चाहिए, सुझाएँ। बेंचमार्क मान
या लक्ष्य न गढ़ें। अपनी मान्यताएँ सूचीबद्ध करें।
डिलीवरी और सेवा दृश्यों को जोड़ें।
[सेवा का नाम] के लिए हमारे डिलीवरी माप [परिभाषाओं और डेटा स्रोतों सहित सूची] हैं और
हमारे सेवा माप [परिभाषाओं और डेटा स्रोतों सहित सूची] हैं। एक-पृष्ठ का ऐसा लेआउट
प्रस्तावित करें जो दोनों को साथ दिखाए, हर गति माप को स्थिरता या गुणवत्ता माप से जोड़े,
और हर एक को चाहिए डेटा बताए। दोनों समूहों के बीच टकराती परिभाषाओं की पहचान करें।
मान या सीमाएँ न गढ़ें। अपनी मान्यताएँ और जो आप तय नहीं कर सके, सूचीबद्ध करें।
आधाररेखा की योजना बनाएँ।
हम [प्रथा या उपकरण] बदलने से पहले [सेवा या टीम] के लिए [मेट्रिक का नाम] की आधाररेखा
दर्ज करना चाहते हैं। डेटा [स्रोत] से आता है। प्रस्तावित करें कि डेटा कितने समय तक
इकट्ठा करें, कौन-से सारांश आँकड़े दर्ज करें (पर्सेंटाइल सहित), क्या और क्यों बाहर रखें,
और अवधि के दौरान काम गिनने के तरीके में किसी भी बदलाव को कैसे नोट करें। मान न मानें।
अपनी मान्यताएँ और आपको दिखने वाले डेटा गुणवत्ता जोखिम सूचीबद्ध करें।
ऐसी समीक्षा तैयार करें जो कार्रवाई तक ले जाए।
हम [दर्शक] के साथ [मेट्रिक समूह] की [साप्ताहिक, मासिक या तिमाही] समीक्षा करते हैं।
एक कार्यसूची और सुगमन के कुछ संक्षिप्त प्रश्न बनाएँ जो संख्याएँ पढ़ने से एक या दो
सुधार कार्रवाइयाँ चुनने तक ले जाएँ, हर एक का स्वामी और तारीख हो। हर मेट्रिक की
रेलिंग के विरुद्ध हेरफेर की जाँच का एक संकेत शामिल करें। डेटा न गढ़ें। समूह और उसकी
संस्कृति के बारे में अपनी मान्यताएँ सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: किसी विचाराधीन मेट्रिक को कवर करने वाला विषय और उसकी जोड़ी गई रेलिंग खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि नया या संशोधित मेट्रिक विषय उद्देश्य कथन, हेरफेर का तरीका और रेलिंग बनाए रखता है।
मुख्य निष्कर्ष
- देखने, तय करने, सीखने और हिसाब देने के लिए मापें; जो संख्या इनमें से कुछ नहीं करती वह अतिरिक्त बोझ है।
- एजाइल प्रवाह पर तेज़, स्थानीय प्रतिक्रिया देता है; ITIL विश्वसनीयता और मूल्य के साझा, सेवा-स्तर के दृश्य देता है। दोनों को साथ पढ़ें।
- कुछ न मापना निर्णयों को किस्सों पर छोड़ देता है, और गलत चीज़ें मापना झूठे आत्मविश्वास के साथ प्रयास को दिशा देता है।
- कुछ मेट्रिक्स से शुरू करें, हर एक का लिखित उद्देश्य, आधाररेखा और रेलिंग के साथ।
- टीमों और सेवाओं का वर्णन करें, व्यक्तियों का कभी नहीं, और टीम को पहले अपना डेटा देखने दें।
- चक्र बंद करें: जो समीक्षा कोई कार्रवाई नहीं लाती वह डेटा बर्बाद करती है।
संदर्भ और आगे पढ़ें
- Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Wikipedia, Agile software development.
- Wikipedia, ITIL.
- Wikipedia, Information technology service management.
- Wikipedia, DevOps.
- Wikipedia, Site reliability engineering.
- Wikipedia, Goodhart's law.
- Wikipedia, Return on investment.