मेट्रिक्स शासन और स्वामित्व
जिस मेट्रिक का कोई स्वामी, परिभाषा, समीक्षा या निकास नहीं, वह उस काम से भटक जाएगी जिसका वह वर्णन करती है, इसलिए हर रिपोर्ट की गई मेट्रिक को एक नामित स्वामी, एक लिखित परिभाषा, एक समीक्षा तिथि और एक निकास दें।
सारांश और प्रेरणा
मेट्रिक्स शासन हल्के निर्णयों का समूह है कि किसी माप का स्वामी कौन है, उसका अर्थ क्या है, उसे कौन देख सकता है, उसकी समीक्षा कितनी बार होती है और उसे कब हटाया जाता है। यह डेटा शासन का निकट संबंधी है, जो किसी संगठन में डेटा की उपलब्धता, गुणवत्ता और सुरक्षा के व्यापक प्रबंधन को कवर करता है। मेट्रिक्स शासन वही अनुशासन उस छोटे, अत्यधिक दृश्य संख्या-समूह पर लागू करता है जिससे टीमें और नेता सेवा और डिलीवरी कार्य को दिशा देते हैं।
ज़रूरत छोटे, बार-बार आने वाले घर्षणों के रूप में दिखती है। दो टीमें "समाधान समय" अलग-अलग गणना करती हैं और आँकड़े मिलाने में एक बैठक बिताती हैं। डैशबोर्ड की कोई टाइल महीनों पुरानी पड़ी रहती है क्योंकि उसे बनाने वाले ने नौकरी बदल ली। एक टीम को अपने प्रवाह का निदान करने में मदद के लिए बनाया गया माप किसी संचालन समूह द्वारा प्रदर्शन लक्ष्य के रूप में अपना लिया जाता है, जो वही स्थिति है जिसके बारे में पिछला विषय चेताता है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)। इनमें से कोई सांख्यिकीय समस्या नहीं है। हर एक स्वामित्व की समस्या है, और हर एक को रोकना सस्ता है।
एजाइल और ITIL के दृष्टिकोण ज़ोर में भिन्न हैं, और यह भिन्नता उपयोगी है। एजाइल दृष्टि में टीम अपने कामकाजी माप की स्वामी है और रेट्रोस्पेक्टिव, कार्य समझौतों और समीक्षाओं में उन पर बातचीत करती है। ITIL दृष्टि, जैसा ITIL 4 में प्रलेखित है (AXELOS का 2019 संस्करण, जो अब PeopleCert प्रकाशित करता है), मापन और रिपोर्टिंग को एक सामान्य प्रबंधन अभ्यास मानती है और सतत सुधार को ऐसा अभ्यास जिसकी अपनी भूमिकाएँ, रिकॉर्ड और समीक्षा हैं। ITIL यह भी अपेक्षा करता है कि सेवा स्वामी और अभ्यास स्वामी नतीजों के लिए जवाबदेह हों। दोनों दृष्टियाँ साथ बैठती हैं: टीम कामकाजी दृश्य की स्वामी है, एक नामित सेवा या अभ्यास स्वामी रिपोर्ट किए दृश्य का स्वामी है, और एक छोटा रजिस्टर दोनों को जोड़ता है।
यहाँ प्रयुक्त कुछ शब्द। मेट्रिक स्वामी वह एक जवाबदेह व्यक्ति है जो मेट्रिक की परिभाषा, डेटा गुणवत्ता और उपयोग के लिए ज़िम्मेदार है। मेट्रिक रजिस्टर उपयोग में आ रही मेट्रिक्स की संक्षिप्त सूची है, जिसमें हर एक का स्वामी, परिभाषा, डेटा स्रोत, रेलिंग और समीक्षा तिथि हैं। मेट्रिक्स चार्टर मेट्रिक्स के किसी समूह के उद्देश्य, दायरे, भूमिकाओं और समीक्षा की लय का एक-पृष्ठ का कथन है। एकल सत्य स्रोत वह एक प्रामाणिक प्रणाली या डेटासेट है जिससे कोई आँकड़ा गणना किया जाता है। डेटा स्टीवर्ड किसी डेटा क्षेत्र की गुणवत्ता और परिभाषा की देखभाल करता है, और छोटे संगठन में मेट्रिक स्वामी अक्सर यह भूमिका निभाता है। RACI मैट्रिक्स दर्ज करता है कि हर गतिविधि के लिए कौन ज़िम्मेदार, जवाबदेह, परामर्शित और सूचित है। डेटा डिक्शनरी डेटा तत्वों और उनके अर्थों की सूची है, जो बड़े पैमाने पर रजिस्टर का परिभाषा स्तंभ बन जाती है। न्यूनतम विशेषाधिकार का सिद्धांत कहता है कि लोगों और प्रणालियों को उतनी ही पहुँच मिले जितनी उनके कार्य को चाहिए, उससे अधिक नहीं। सतत सुधार सेवाओं, अभ्यासों और काम के तरीकों को सुधारने का निरंतर प्रयास है, और यह ITIL अभ्यास भी है और एजाइल आदत भी। SLA का अर्थ सेवा स्तर समझौता है, और ITSM का अर्थ आईटी सेवा प्रबंधन।
मुख्य सिद्धांत
- हर रिपोर्ट की गई मेट्रिक का एक नामित स्वामी है। एक भूमिका या व्यक्ति, कभी "टीम" नहीं। साझा स्वामित्व परिभाषा को अनुरक्षित छोड़ देता है।
- एक परिभाषा, एक सत्य स्रोत। परिभाषा एक बार लिखें, यह शामिल करते हुए कि घड़ी कहाँ शुरू और बंद होती है, और आँकड़ा एक ही जगह गणना करें।
- परिणाम के अनुपात में शासन करें। जो मेट्रिक टीम अपना बोर्ड डीबग करने के लिए उपयोग करती है उसे एक वाक्य चाहिए। जो मेट्रिक अनुबंध, सार्वजनिक रिपोर्ट या बोर्ड पैक में है उसे चार्टर प्रविष्टि, समीक्षा और ऑडिट ट्रेल चाहिए।
- पहुँच उद्देश्य का अनुसरण करती है। तय करें कि कौन-सा दृश्य कौन देखे और क्यों। टीम के कामकाजी दृश्य का डिफ़ॉल्ट दर्शक टीम है।
- लय पर समीक्षा करें और प्रमाण पर सेवानिवृत्त करें। मेट्रिक्स का जीवनचक्र होता है। उन्हें जान-बूझकर अपनाएँ, समीक्षा करें, संशोधित करें और सेवानिवृत्त करें।
- इसे लिखें और छोटा रखें। जो रजिस्टर एक पृष्ठ में समाए वह पढ़ा जाता है। नीति पुस्तिका नहीं।
- शासन मापे जा रहे लोगों की सेवा करता है। मेट्रिक के स्वामियों में वे लोग शामिल हैं जिनके काम का वह वर्णन करती है।
मेट्रिक परिभाषाएँ
ये मेट्रिक्स अभ्यास के स्वास्थ्य के माप हैं, किसी सेवा के नहीं। वे जान-बूझकर कम हैं और रजिस्टर से ही इकट्ठा करने में सस्ते हैं। जब तक अन्यथा न कहा जाए, हर अवधि एक कैलेंडर तिमाही है।
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| स्वामित्व कवरेज | रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जिनका एक नामित, वर्तमान स्वामी है | उन रिपोर्ट की गई मेट्रिक्स जिनका स्वामी अवधि के अंत तक भूमिका में है / अवधि के अंत में रिपोर्ट की गई मेट्रिक्स; केवल एक टीम के निजी बोर्ड के भीतर उपयोग की जाने वाली मेट्रिक्स शामिल नहीं | प्रतिशत | मेट्रिक रजिस्टर | मापन और रिपोर्टिंग | कार्य समझौते | तिमाही |
| परिभाषा की ताज़गी | रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जिनकी परिभाषा सहमत अंतराल में समीक्षित हुई | पिछले 6 महीनों के भीतर समीक्षा तिथि वाली मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स; घड़ी अंतिम दर्ज समीक्षा से शुरू होकर अवधि के अंत पर रुकती है | प्रतिशत | मेट्रिक रजिस्टर का बदलाव लॉग | मापन और रिपोर्टिंग; सतत सुधार | रेट्रोस्पेक्टिव कार्रवाइयाँ | तिमाही |
| स्रोत अनुरूपता | रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जो ठीक एक नामित स्रोत से गणना की जाती हैं | एक प्रामाणिक स्रोत और कोई ज्ञात समानांतर गणना न वाली मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स; समानांतर गणनाएँ डैशबोर्डों और रिपोर्टों का नमूना लेकर खोजी जाती हैं | प्रतिशत | रजिस्टर और डैशबोर्डों व रिपोर्टों का नमूना | मापन और रिपोर्टिंग; सेवा स्तर प्रबंधन | मेट्रिक के लिए पूर्णता की परिभाषा | तिमाही |
| सेवानिवृत्ति दर | रिपोर्ट की गई मेट्रिक्स के सापेक्ष अवधि में सेवानिवृत्त या मिलाई गई मेट्रिक्स की संख्या | अवधि में सेवानिवृत्त या मिलाई गई मेट्रिक्स / अवधि के आरंभ में रिपोर्ट की गई मेट्रिक्स; निजी टीम दृश्य में ले जाई गई मेट्रिक रिपोर्ट किए समूह से सेवानिवृत्त गिनी जाती है | प्रतिशत | मेट्रिक रजिस्टर का बदलाव लॉग | सतत सुधार | रेट्रोस्पेक्टिव कार्रवाइयाँ | तिमाही |
| पहुँच समीक्षा की ताज़गी | प्रतिबंधित मेट्रिक दृश्यों का हिस्सा जिनकी दर्शक सूची अंतराल में समीक्षित हुई | पिछले 6 महीनों में दर्शक समीक्षा वाले प्रतिबंधित दृश्य / प्रतिबंधित दृश्य; पूरे संगठन के लिए खुले दृश्य शामिल नहीं | प्रतिशत | पहुँच सूची या BI उपकरण अनुमतियों का निर्यात | सूचना सुरक्षा प्रबंधन; मापन और रिपोर्टिंग | कार्य समझौते | छमाही |
| निर्णय संबंध | रिपोर्ट की गई मेट्रिक्स का हिस्सा जो रजिस्टर में उस निर्णय से जुड़ी हैं जिसे वे जानकारी देती हैं | दर्ज निर्णय या प्रश्न वाली मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स; कड़ी तभी गिनी जाती है जब निर्णय पिछले 12 महीनों में लिया गया हो | प्रतिशत | मेट्रिक रजिस्टर और निर्णय लॉग | सतत सुधार | हितधारक समीक्षा और सुधार परिणाम | तिमाही |
इनमें से कोई लक्ष्य नहीं है। रजिस्टर पूरा स्वामित्व कवरेज दिखा सकता है और फिर भी बेकार मेट्रिक्स का वर्णन कर सकता है, इसलिए तालिका को नीचे की हेरफेर तालिका के साथ पढ़ें।
सिफ़ारिशें
स्वामित्व और रजिस्टर स्थापित करें
1. एक-पृष्ठ का मेट्रिक रजिस्टर रखें। हर रिपोर्ट की गई मेट्रिक को उसके प्रश्न, स्वामी, परिभाषा, सूत्र और घड़ियों, इकाई, डेटा स्रोत, दर्शक, रेलिंग, अंतिम समीक्षा की तारीख और नियोजित समीक्षा की तारीख के साथ सूचीबद्ध करें। स्प्रेडशीट या संस्करण नियंत्रण में एक Markdown फ़ाइल पर्याप्त है। रजिस्टर इस विषय की सबसे उपयोगी कृति है, और पिछला विषय पहले से मानता है कि वह मौजूद है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।
2. हर मेट्रिक के लिए एक स्वामी नामित करें, और भूमिका दर्ज करें। स्वामी परिभाषा, डेटा गुणवत्ता और अजीब नतीजों की व्याख्या के लिए जवाबदेह है। डेटा और निर्णयों के निकट के किसी को चुनें, अक्सर सेवा स्वामी, अभ्यास स्वामी या टीम लीड। भूमिका भी दर्ज करें, केवल व्यक्ति नहीं, ताकि प्रविष्टि नौकरी बदलने के बाद भी बनी रहे और रिक्ति कवरेज के आँकड़े में दिखे।
3. मेट्रिक के स्वामित्व को उस काम के स्वामित्व से अलग करें जिसे वह मापती है। मेट्रिक का स्वामी उसे समझाता और बनाए रखता है, पर जो टीम काम करती है वह नतीजे के लिए ज़िम्मेदार रहती है। इससे दो जाल टलते हैं: वह स्वामी जिसे उस संख्या के लिए दोषी ठहराया जाता है जिसे वह प्रभावित नहीं कर सकता, और वह टीम जो संख्या से मुकर जाती है क्योंकि कोई और उसे अनुरक्षित करता है। चार्टर में छोटी RACI तालिका इसे स्पष्ट करती है।
4. परिभाषा को उसकी घड़ियों सहित, एक बार लिखें। रजिस्टर में प्रामाणिक परिभाषा है: क्या गिना जाता है, घड़ी कहाँ शुरू और बंद होती है, कौन-सी स्थितियाँ उसे रोकती हैं, और क्या बाहर रखा गया है। उस मेट्रिक को दिखाने वाले हर डैशबोर्ड से उसकी कड़ी दें। जब परिभाषा बदलनी हो, तो पहले रजिस्टर में बदलें और चार्ट पर बदलाव चिह्नित करें (प्रवृत्ति में टूटन कैसे दिखाएँ, इसके लिए देखें विषय 1.6, सेवा मेट्रिक्स के लिए सांख्यिकीय साक्षरता)।
5. हर मेट्रिक एक ही जगह गणना करें। प्रामाणिक स्रोत चुनें, जैसे ITSM उपकरण, इश्यू ट्रैकर या निगरानी प्रणाली, और रजिस्टर में कहें। आँकड़े को दोहराने वाली समानांतर स्प्रेडशीट या तो सेवानिवृत्त हों या उनका नाम बदला जाए ताकि कोई उन्हें आधिकारिक संख्या न समझे। डेटा वंशावली और उपकरण अगले विषय के हैं (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।
लय और बदलाव नियंत्रण तय करें
6. परिणाम से मेल खाते कार्यक्रम पर परिभाषाओं की समीक्षा करें। अनुबंधों, विनियमित रिपोर्टों या कार्यकारी पैक में मेट्रिक्स के लिए साल में दो बार और अंतर्निहित कार्यप्रवाह के किसी भी बदलाव पर समीक्षा करें। टीम-स्तर के कामकाजी मापों के लिए रेट्रोस्पेक्टिव ही समीक्षा है। हर समीक्षा तीन प्रश्न पूछती है: क्या परिभाषा अब भी सटीक है, क्या डेटा अब भी ठोस है, और क्या किसी ने कुछ तय करने के लिए संख्या का उपयोग किया?
7. परिभाषा के बदलावों को सेवा के बदलावों की तरह मानें। दर्ज करें कि बदलाव किसने माँगा, क्यों, किससे परामर्श हुआ और वह किस तारीख से प्रभावी है। स्थिति कार्यप्रवाह में छोटा बदलाव समय माप को चुपचाप बड़ी मात्रा में हिला सकता है। परिभाषाओं के लिए हल्का बदलाव नियंत्रण विचार को परिवर्तन सक्षमीकरण से बिना औपचारिकता के उधार लेता है (सेवा-बदलाव के समकक्ष के लिए देखें विषय 4.3, परिवर्तन सक्षमीकरण मेट्रिक्स)।
8. समीक्षा को सतत सुधार से बाँधें। मेट्रिक्स की समीक्षाओं को सुधार कार्य पैदा करना चाहिए, या कार्रवाई न करने का स्पष्ट निर्णय। ITIL सतत सुधार को ऐसे अभ्यास के रूप में लेता है जिसमें सुधार अवसरों का रजिस्टर है, और एजाइल टीमें रेट्रोस्पेक्टिव कार्रवाइयों से वही प्रभाव पाती हैं। यदि समीक्षा बिना कार्रवाई और बिना सेवानिवृत्ति के समाप्त होती है, तो पूछें कि क्या मेट्रिक कोई काम कर रही है (देखें विषय 9.5, सतत सुधार मेट्रिक्स)।
9. मेट्रिक्स को जान-बूझकर सेवानिवृत्त करें। सेवानिवृत्ति की कसौटी तय करें, उदाहरण के लिए "दो समीक्षा चक्रों तक किसी निर्णय में उद्धृत नहीं", और उसे लागू करें। परिभाषा और अंतिम मान अभिलेखागार में रखें, बताएँ कि यदि कुछ ने उसकी जगह ली तो क्या, और दर्शकों को बताएँ। सेवानिवृत्ति लॉग लेखा-परीक्षकों के लिए प्रमाण है और उन लोगों के लिए राहत जो डेटा हाथ से बनाए रखते थे।
दृश्यों और पहुँच को नियंत्रित करें
10. हर दृश्य का दर्शक तय करें। अधिकांश मेट्रिक्स का टीम के लिए एक कामकाजी दृश्य होता है, सेवा स्वामी या कार्यक्रम के लिए एक रिपोर्ट किया दृश्य, और कभी-कभी ग्राहक, नियामक या आपूर्तिकर्ता के लिए एक बाहरी दृश्य। दर्ज करें कि किस दर्शक को कौन-सा दृश्य मिलता है और क्यों। न्यूनतम विशेषाधिकार के सिद्धांत को मार्गदर्शक बनाकर, उन दृश्यों को प्रतिबंधित करें जिनमें व्यक्तिगत डेटा, सुरक्षा विवरण या व्यावसायिक रूप से संवेदनशील आपूर्तिकर्ता आँकड़े हैं, और बाकी खुले रखें ताकि पारदर्शिता डिफ़ॉल्ट रहे।
11. व्यक्ति-स्तर का डेटा रिपोर्टिंग से बाहर रखें। इस पुस्तक का कठोर नियम है कि मेट्रिक्स टीमों, सेवाओं और प्रणालियों का वर्णन करती हैं, लोगों का नहीं। शासन इसका समर्थन रिपोर्ट किए दाने को तय करके करता है, उदाहरण के लिए टीम और सेवा, और किसी भी व्यक्ति-स्तर के निकाले हुए डेटा को डेटा स्टीवर्ड तक सीमित करके। यदि व्यक्ति-स्तर के विभाजन का अनुरोध आए, तो उसे दर्ज करें, पूछें कि वह किस निर्णय की सेवा करता है, और टीम-स्तर या प्रणाली-स्तर का विकल्प दें (देखें विषय 11.3, भय पैदा किए बिना मेट्रिक्स लागू करना)।
हेरफेर के तरीके और रेलिंग
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| स्वामित्व कवरेज | 100 प्रतिशत पहुँचने के लिए किसी प्रबंधक या मेलिंग सूची को स्वामी बताना, बिना ऐसे व्यक्ति के जो मेट्रिक समझा या बदल सके | हर स्वामी से संख्या की एक हालिया हलचल समझाने को कहें; एक सप्ताह से अधिक अनुत्तरित प्रश्नों को ट्रैक करें |
| परिभाषा की ताज़गी | परिभाषा पढ़े बिना समीक्षा तिथि को छू देना | हर तिमाही तीन प्रविष्टियों का नमूना लें और लिखित परिभाषा की उपकरण के वास्तविक विन्यास से तुलना करें |
| स्रोत अनुरूपता | किसी स्रोत को प्रामाणिक घोषित करना जबकि स्प्रेडशीट अब भी घूमती और असहमत होती रहें | रिपोर्टों के नमूने में एक ही मेट्रिक के अलग-अलग आँकड़े गिनें; समीक्षा में अंतर मिलाएँ |
| सेवानिवृत्ति दर | अनुशासित दिखने के लिए तुच्छ या अप्रयुक्त मेट्रिक्स सेवानिवृत्त करना, या मेट्रिक का नाम बदलना ताकि वह नई गिनी जाए | सेवानिवृत्ति लॉग में समीक्षा करें कि क्या हटाया गया; कुल रिपोर्ट की गई गिनती और निर्णय संबंध के आँकड़े को साथ ट्रैक करें |
| पहुँच समीक्षा की ताज़गी | मौजूदा दर्शक सूची को पढ़े बिना मंज़ूर कर देना | सूची की तुलना वर्तमान टीम सदस्यता और भूमिकाओं से करें; पाए गए हटावों की संख्या रिपोर्ट करें |
| निर्णय संबंध | फ़ील्ड की पूर्ति के लिए अस्पष्ट निर्णय लिखना, जैसे "सेवा सुधारें" | दिनांकित निर्णय या प्रश्न माँगें, और निर्णय लॉग का नमूना लें कि मेट्रिक से सचमुच परामर्श हुआ या नहीं |
स्वस्थ पठन ऐसा रजिस्टर है जो बदलता है। प्रविष्टियों के ऐसे स्वामी हैं जो प्रश्नों के उत्तर देते हैं, समीक्षा तिथियाँ पिछले छह महीनों में पड़ती हैं, कारणों सहित सेवानिवृत्ति लॉग है, और उन मेट्रिक्स की छोटी सूची है जो अब भी चाहिए क्योंकि लोग वह निर्णय बता सकते हैं जिसे वे जानकारी देती हैं। ऐसा रजिस्टर जिसमें हर फ़ील्ड भरा है और कभी कुछ नहीं बदलता, चेतावनी का संकेत है।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| केंद्रीय मेट्रिक्स कार्यालय | एकसमान परिभाषाएँ और साझा उपकरण; ऑडिट आसान | धीमा, काम से दूर, और उन मापों को मानकीकृत करने का प्रलोभन जो टीमों के बीच भिन्न होने चाहिए |
| साझा रजिस्टर के साथ संघीय स्वामित्व | स्वामी डेटा के निकट बैठते हैं; रजिस्टर साझा न्यूनतम बनाए रखता है | टीमों के बीच गुणवत्ता में भटकाव से बचने के लिए लगातार प्रोत्साहन चाहिए |
| केवल टीम-स्वामित्व वाले माप | तेज़ और काम के अनुकूल | परिभाषाएँ अलग होती जाती हैं; रोल-अप अविश्वसनीय; ज्ञान लोगों के साथ चला जाता है |
| डिफ़ॉल्ट रूप से खुली पहुँच | भरोसा और साझा समझ बनाती है | संवेदनशील या व्यक्ति-स्तर के विवरण के उजागर होने का जोखिम |
| प्रतिबंधित पहुँच | संवेदनशील डेटा की रक्षा करती है | मदद कर सकने वाले लोगों से संदर्भ छिपाती है, और संदेह को न्योता देती है |
संतुलन यह है कि उस पतली परत को केंद्रीकृत करें जिस पर सहमति ज़रूरी है, यानी रजिस्टर, साझा परिभाषाएँ और पहुँच नियम, और बाकी सब को संघीय बनाएँ।
अपनी टीम के साथ चर्चा के प्रश्न
1. कल हमारे डैशबोर्ड की सबसे अधिक उद्धृत संख्या गलत लगे तो उत्तर कौन देगा? समूह से किसी व्यक्ति का नाम लेने को कहें, समूह का नहीं। यदि कई नाम आएँ, या कोई नहीं, तो व्यवहार में मेट्रिक का कोई स्वामी नहीं है। सुगमकर्ता को मेट्रिक, उम्मीदवार स्वामी, और काम करने के लिए स्वामी को क्या चाहिए, जैसे डेटा तक पढ़ने की पहुँच या समीक्षा में समय, नोट करना चाहिए। अंत में सहमत हों कि स्वामी की पुष्टि कौन करेगा और भूमिका रजिस्टर में कौन दर्ज करेगा।
2. आज एक ही आँकड़े के दो संस्करण कहाँ मौजूद हैं? ऐसी रिपोर्टें खोजें जो एक ही मेट्रिक अलग मानों के साथ दिखाती हैं: साप्ताहिक स्लाइड बनाम लाइव डैशबोर्ड, या आपूर्तिकर्ता रिपोर्ट बनाम आंतरिक। हर एक के लिए पूछें कि अंतर कहाँ से आता है, जैसे दायरा, घड़ी या अपवाद। तय करें कि कौन-सा स्रोत प्रामाणिक है और दूसरे संस्करण का क्या होगा। अपेक्षा रखें कि बातचीत उन शब्दों की अलग-अलग कामकाजी परिभाषाएँ उजागर करेगी जिन्हें सब साझा मानते थे।
3. यदि एक मेट्रिक सेवानिवृत्त करनी पड़े तो इस तिमाही हम कौन-सी करेंगे? उस मेट्रिक से शुरू करें जिसे हाल में किसी निर्णय में किसी ने उद्धृत नहीं किया। पूछें कि वह गायब हो जाए तो क्या होगा, और किसे पता चलेगा। यदि उत्तर "किसी को नहीं" है, तो परीक्षण अवधि के लिए उसे रिपोर्ट किए समूह से बाहर ले जाएँ। सुगमकर्ता को सेवानिवृत्ति को सामान्य और स्वस्थ मानना चाहिए, और परिणाम सेवानिवृत्ति लॉग में दर्ज करना चाहिए।
4. हमारी मेट्रिक्स कौन-सी किसे दिखती हैं, और क्या वह जान-बूझकर है? मेट्रिक्स बनाम दर्शकों का सरल ग्रिड बनाएँ: टीम, सेवा स्वामी, नेतृत्व, ग्राहक, आपूर्तिकर्ता, नियामक। चिह्नित करें कि कहाँ पहुँच एक निर्णय थी और कहाँ बस हो गई। ऐसा कोई दृश्य खोजें जिसका उपयोग व्यक्तियों की तुलना के लिए हो सके। कम से कम एक दर्शक सूची में बदलाव पर सहमत हों, और अगली बार उसकी समीक्षा कौन करेगा।
5. प्रवृत्ति को तोड़े बिना हम परिभाषा कैसे बदलें? स्थिति कार्यप्रवाह या प्राथमिकता पैमाने में हाल के किसी बदलाव को देखें। पूछें किसे बताया गया, क्या चार्ट पर टिप्पणी लगी, और क्या किसी ने पुराने और नए मानों की तुलना की। एक हल्की बदलाव प्रविष्टि का मसौदा बनाएँ जिसे टीम सचमुच भरेगी। अनुबंधों या बाहरी रिपोर्टों में आने वाली मेट्रिक्स के बदलाव कौन स्वीकृत करेगा, इस पर सहमत हों।
6. यदि शासन बोझ बन जाए तो हम क्या करना बंद करेंगे? शासन अनुष्ठान में बदल सकता है। पूछें कि वर्तमान तरीके के कौन-से हिस्से लोग छोड़ देंगे यदि कोई जाँचे नहीं, और क्यों। उत्तरों को विरोध के बजाय डिज़ाइन प्रतिक्रिया मानें। सुगमकर्ता को ऐसे चरण खोजने चाहिए जो एक-दूसरे की नकल करते हैं, ऐसे फ़ील्ड जिन्हें कोई नहीं पढ़ता, और ऐसी समीक्षाएँ जो कभी निर्णय नहीं देतीं।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें कार्य मद की आयु और साइकल टाइम जैसे कामकाजी मापों की स्वामी हैं, और उन्हें अपने कार्य समझौतों में परिभाषाओं पर सहमत होना चाहिए। जब कोई मेट्रिक पोर्टफ़ोलियो रिपोर्ट में ऊपर जाती है, तो टीम को स्वामी, परिभाषा और दर्शक पता होने चाहिए। टीमों को हर रिपोर्ट किए माप की छोटी रजिस्टर प्रविष्टि से, और उस परिभाषा को चुनौती देने के अधिकार से सबसे अधिक लाभ मिलता है जो अब काम के प्रवाह से मेल नहीं खाती (देखें विषय 2.1, प्रवाह माप)।
सेवा और संचालन टीमें
सेवा और संचालन टीमें वे मेट्रिक्स ढोती हैं जो SLA और संचालन समीक्षाओं में आती हैं, इसलिए परिभाषाओं, घड़ियों और अपवादों का अनुबंधीय वज़न है। यहाँ स्वामी आमतौर पर सेवा स्वामी और अभ्यास स्वामी होते हैं। उन्हें परिभाषा बदलावों का प्रमाण-पथ रखना चाहिए, रिपोर्ट किए आँकड़ों को ITSM उपकरण से नियमित रूप से मिलाना चाहिए, और उस माप को सेवानिवृत्त करने वाले पहले होना चाहिए जिसने संचालन निर्णयों को जानकारी देना बंद कर दिया (देखें विषय 5.1, SLA, OLA और XLA मेट्रिक्स)।
नेतृत्व और शासन
नेता शर्तें तय करते हैं: मेट्रिक्स का स्वामी कौन है, कौन-से दृश्य कार्यकारी पैक तक पहुँचते हैं, और संख्याओं का उपयोग कैसे होता है। उन्हें रजिस्टर और सेवानिवृत्ति लॉग माँगना चाहिए, प्रमुख आँकड़ों के पीछे की परिभाषाएँ पढ़नी चाहिए, और व्यक्ति-स्तर की लीग तालिकाओं के अनुरोधों का विरोध करना चाहिए। शासन निकायों को एक छोटा स्थायी विषय चाहिए जो रजिस्टर की समीक्षा करे और निर्णय दर्ज करे, सेवा प्रबंधन प्रणालियों के लिए ISO/IEC 20000-1 की अपेक्षाओं के अनुरूप (इसके 2018 संस्करण के अनुसार), समीक्षा को अनुपालन अभ्यास बनाए बिना (देखें विषय 8.3, अनुपालन और ऑडिट मेट्रिक्स)।
ग्राहक और उपयोगकर्ता
ग्राहक और उपयोगकर्ता रजिस्टर शायद ही देखते हैं, पर जब सेवा समीक्षा का आँकड़ा उनके अनुभव से भिन्न होता है तो वे उसकी अनुपस्थिति महसूस करते हैं। जहाँ कोई मेट्रिक ग्राहक-दृश्य रिपोर्ट या SLA में आती है, वहाँ परिभाषा सरल भाषा में उपलब्ध होनी चाहिए, यह सहित कि क्या बाहर रखा गया है। ग्राहकों के पास किसी आँकड़े पर प्रश्न उठाने का रास्ता होना चाहिए, और स्वामी को उसका उत्तर देना चाहिए (देखें विषय 5.1, SLA, OLA और XLA मेट्रिक्स)।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक मध्यम आकार की ऑनलाइन रिटेलर एक सेवा डेस्क, तीन उत्पाद टीमें और एक संचालन समूह चलाती है। नीचे की सभी संख्याएँ उदाहरणार्थ संख्याएँ हैं।
मासिक सेवा समीक्षा घटना समाधान समय की माध्यिका 5.1 घंटे दिखाती है। उत्पाद टीमों का अपना डैशबोर्ड, उसी ITSM उपकरण से बना, 6.4 घंटे दिखाता है। दोनों आँकड़े एक साल से चल रहे हैं। एक नया सेवा स्वामी पूछता है कि मेट्रिक का स्वामी कौन है और उसे तीन अलग उत्तर मिलते हैं।
स्वामी, टीम लीडों और डेटा स्टीवर्ड के साथ, 14 रिपोर्ट की गई मेट्रिक्स के पहले रजिस्टर पर दो सत्र बिताता है। उनमें से 5 का कोई स्वामी नहीं था और 4 के दो स्रोत थे। समाधान समय दोहरे-स्रोत वाली मेट्रिक्स में से एक है। अंतर एक ठहराव स्थिति से जुड़ता है: सेवा समीक्षा "ग्राहक की प्रतीक्षा" में बिताया समय बाहर रखती है, और टीम का डैशबोर्ड नहीं। समूह एक परिभाषा पर सहमत होता है, सेवा स्वामी को मेट्रिक स्वामी नामित करता है, और एक तिमाही के लिए दोनों मान एक ही पृष्ठ पर, परिभाषा के अनुसार लेबल करके, प्रकाशित करता है ताकि किसी का इतिहास न खोए। वे चार्ट पर वहाँ टिप्पणी लगाते हैं जहाँ परिभाषा बदलती है।
पहली तिमाही समीक्षा में समूह सेवानिवृत्ति की कसौटी लगाता है और 14 में से 3 मेट्रिक्स हटाता है, जिनमें मासिक टिकट-गिनती चार्ट शामिल है जिसे किसी हालिया निर्णय ने उद्धृत नहीं किया था। वे उस दृश्य को भी प्रतिबंधित करते हैं जो समाधान समय को विश्लेषक के अनुसार तोड़ता है, डेटा स्टीवर्ड को एकमात्र धारक रखते हुए, और बदले में टीम-स्तर का विभाजन देते हैं।
दूसरी समीक्षा में हेरफेर का जोखिम प्रकट होता है। स्वामित्व कवरेज 100 प्रतिशत पहुँचता है, पर नमूना दिखाता है कि दो स्वामी एक वितरण सूची और एक विभाग प्रमुख हैं जिन्होंने डेटा कभी नहीं खोला। समूह उन्हें नामित सेवा स्वामियों से बदलता है और समीक्षा में रेलिंग प्रश्न जोड़ता है: "क्या स्वामी इस संख्या की पिछली हलचल समझा सकता है?" कवरेज एक तिमाही के लिए 86 प्रतिशत पर गिर जाता है, जिसे समूह ईमानदार नतीजे के रूप में दर्ज करता है। लॉग किया गया निर्णय है कि रेलिंग के दो चक्र चलने तक कवरेज का लक्ष्य रोक कर रखा जाए।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। संस्थापक या मुख्य इंजीनियर अक्सर डिफ़ॉल्ट रूप से हर मेट्रिक का स्वामी होता है। जोखिम यह है कि परिभाषाएँ एक ही दिमाग में रहती हैं। साझा दस्तावेज़ में पाँच से आठ मेट्रिक्स का रजिस्टर रखें, हर एक का स्वामी नामित करें, और परिभाषाएँ उसी दिन लिखें जिस दिन कोई मेट्रिक पहली बार निवेशक या ग्राहक अपडेट में आए।
छोटा व्यवसाय। आईटी चलाने वाला व्यक्ति आमतौर पर स्वामी, स्टीवर्ड और रिपोर्ट पाठक होता है। शासन को एक पृष्ठ तक रखें, साल में दो बार समीक्षा करें, और तब अतिरिक्त सावधानी बरतें जब विक्रेता द्वारा दी रिपोर्ट किसी मेट्रिक को आपकी अपनी से अलग परिभाषित करे। नामित करें कि व्यवसाय में हर ग्राहक-दृश्य आँकड़े का स्वामी कौन है।
उद्यम। पैमाना साझा परत को अनिवार्य बनाता है। कार्यप्रवाह वाला रजिस्टर, तिमाही मिलने वाली हल्की परिषद, और हर प्रमुख क्षेत्र के लिए डेटा स्टीवर्ड की भूमिका उपयोग करें। कामकाजी मापों के लिए टीम स्वायत्तता बनाए रखें और उन मेट्रिक्स के मानकीकरण से बचें जिन्हें सेवाओं के प्रकारों के बीच भिन्न होना चाहिए। संगठन में पहले से मौजूद डेटा शासन के साथ संरेखण प्रयास बचाता है।
सरकार और सार्वजनिक क्षेत्र। वैधानिक रिपोर्टिंग, ऑडिट और खरीद लिखित परिभाषाओं और बदलाव रिकॉर्ड को दायित्व बनाते हैं। रजिस्टर को ऑडिट कृति मानें, और हर प्रकाशित आँकड़े से उसके स्वामी और स्रोत तक स्पष्ट रेखा रखें। पहुँच के निर्णयों में अक्सर कानूनी और गोपनीयता समीक्षा शामिल होती है, इसलिए हर प्रतिबंधित दृश्य का आधार दर्ज करें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
लागत मामूली और मुख्यतः समय है। पहला रजिस्टर बनाने के कुछ घंटे, समीक्षा के लिए प्रति तिमाही एक-दो घंटे, और परस्पर विरोधी स्रोत सुलझाने में डेटा स्टीवर्ड का कुछ प्रयास अपेक्षित है। उपकरण की लागत कम है क्योंकि शुरू करने के लिए स्प्रेडशीट या संस्करण-नियंत्रित फ़ाइल पर्याप्त है।
प्रतिफल मुख्यतः टाली गई बर्बादी है। आँकड़े मिलाने में लगी बैठकें गायब हो जाती हैं, ऑडिट को स्पष्ट पथ मिलता है, और नए सेवा स्वामी को जोड़ना तेज़ होता है क्योंकि परिभाषाएँ लिखी हुई हैं। निर्णय बेहतर होते हैं क्योंकि वे ऐसी संख्याओं पर टिके हैं जिनका अर्थ हर महीने वही रहता है। अपने डेटा के बिना इन लाभों के लिए प्रतिशत न कहें। यदि आपको व्यावसायिक औचित्य के लिए आँकड़े चाहिए, तो पिछली तिमाही में परस्पर विरोधी संख्याएँ मिलाने में बिताए घंटे और बिना दर्ज स्वामी वाली मेट्रिक्स की संख्या गिनें, फिर दो समीक्षा चक्रों के बाद दोबारा गिनें।
प्रति-पैटर्न और जाल
- समिति द्वारा स्वामित्व। समूह मेट्रिक का स्वामी है और कोई प्रश्नों का उत्तर नहीं देता। एक जवाबदेह भूमिका और एक उप नामित करें।
- कब्रिस्तान के रूप में रजिस्टर। एक बार बनता है और कभी छुआ नहीं जाता। समीक्षा तिथियाँ कैलेंडर में रखें और हर डैशबोर्ड पर तिथि दिखाएँ।
- सब कुछ मानकीकृत करना। जिन टीमों का काम अलग है उन पर थोपी गई एक परिभाषा ऐसी संख्याएँ बनाती है जिनका कहीं अर्थ नहीं होता। केवल वही परत साझा करें जिस पर सहमति चाहिए।
- परिभाषा के चुपचाप बदलाव। प्रवृत्तियाँ टूटती हैं और भरोसा उसके पीछे। हर बदलाव कारण के साथ लॉग करें और चार्ट पर टिप्पणी करें।
- सेवानिवृत्ति के बिना शासन। समूह केवल बढ़ता है और ध्यान पतला होता है। हर समीक्षा में सेवानिवृत्ति की कसौटी लगाएँ।
- डिफ़ॉल्ट रूप से गोपनीयता। मापे जा रहे लोगों से कामकाजी दृश्य छिपाना संदेह पैदा करता है। केवल वही प्रतिबंधित करें जिसमें वास्तविक जोखिम है और कारण समझाएँ।
- व्यक्ति-स्तर के डेटा तक खुली पहुँच। एक अकेला निष्कर्षण दिनों में लीग तालिका बन सकता है। रिपोर्ट किया दाना टीम और सेवा पर रखें, और व्यक्ति-स्तर का कोई भी डेटा स्टीवर्ड के अधीन रखें।
- अनुपालन का नाटक। चेकलिस्ट को संतुष्ट करने के लिए फ़ील्ड भरे जाते हैं। सत्य के लिए प्रविष्टियों का नमूना लें, और स्वामियों से हालिया हलचलें समझाने को कहें।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| स्वामित्व और रजिस्टर | स्वामी अस्पष्ट; मेट्रिक्स व्यक्तिगत स्प्रेडशीट में रहती हैं | कुछ टीमें स्वामियों सहित सूची रखती हैं | सभी रिपोर्ट की गई मेट्रिक्स के लिए एक रजिस्टर, हर एक का नामित स्वामी और भूमिका | कवरेज और ताज़गी का रुझान देखा जाता है; अंतर संसाधन-युक्त सुधार की ओर ले जाते हैं | जहाँ आँकड़े सीमाएँ पार करते हैं वहाँ रजिस्टर आपूर्तिकर्ताओं और ग्राहकों के साथ साझा |
| परिभाषाएँ और बदलाव नियंत्रण | परिभाषाएँ व्यक्ति के अनुसार अलग | कुछ अनुबंध मेट्रिक्स के लिए लिखित | हर रिपोर्ट की गई मेट्रिक के लिए घड़ियों सहित लिखित परिभाषा और बदलाव लॉग | रिलीज़ से पहले प्रवृत्तियों पर प्रभाव के लिए बदलावों की समीक्षा | परिभाषाएँ निर्णयों को जानकारी देना बंद करने पर टीमों और आपूर्तिकर्ताओं में मिलकर संशोधित |
| समीक्षा और सेवानिवृत्ति | मेट्रिक्स जोड़ी गईं, कभी हटाई नहीं | कभी-कभार सफ़ाई | समीक्षा की लय और सेवानिवृत्ति की कसौटी लिखित | समीक्षा नतीजे सुधार कार्य के रूप में ट्रैक | सेवानिवृत्ति और नवीनीकरण नियमित, उपयोगकर्ताओं और टीमों के प्रमाण से संचालित |
| पहुँच और दर्शक | संयोग से पहुँच | संवेदनशील डेटा के लिए प्रतिबंधित दृश्य | हर मेट्रिक के लिए कारण सहित दर्शक सूचीबद्ध | पहुँच की लय पर समीक्षा; व्यक्ति-स्तर का डेटा स्टीवर्ड के पास | मापे जा रहे लोगों और ग्राहकों के साथ दर्शक का डिज़ाइन |
चेकलिस्ट
- मेट्रिक रजिस्टर मौजूद है और हर रिपोर्ट की गई मेट्रिक सूचीबद्ध करता है।
- हर रिपोर्ट की गई मेट्रिक का एक नामित स्वामी और दर्ज भूमिका है।
- हर रिपोर्ट की गई मेट्रिक की आरंभ, समाप्ति और अपवाद नियमों सहित लिखित परिभाषा है।
- हर मेट्रिक का रजिस्टर में एक प्रामाणिक स्रोत नामित है।
- हर मेट्रिक की समीक्षा तिथि और अंतराल दर्ज हैं।
- परिभाषा बदलाव कारण सहित लॉग किए जाते हैं और चार्ट पर चिह्नित हैं।
- सेवानिवृत्ति की कसौटी लिखित है और हर समीक्षा में लागू होती है।
- हर दृश्य का दर्शक दर्ज है, किसी भी प्रतिबंध के कारण सहित।
- कोई रिपोर्ट किया दृश्य व्यक्तियों को रैंक नहीं करता, और व्यक्ति-स्तर का डेटा डेटा स्टीवर्ड के पास है।
- पिछली तिमाही में रजिस्टर का सत्य के लिए नमूना लिया गया है।
AI प्रॉम्प्ट
मेट्रिक समूह के लिए मेट्रिक्स चार्टर का मसौदा बनाएँ।
[टीम या सेवा का नाम] के लिए एक-पृष्ठ का मेट्रिक्स चार्टर बनाएँ, जो [सेवा या डिलीवरी
कार्य का प्रकार] प्रदान करती है। मेट्रिक समूह है: [मेट्रिक्स की सूची]। दर्शक हैं
[दर्शक]। उद्देश्य, स्पष्ट गैर-लक्ष्य, इन भूमिकाओं के साथ स्वामी, डेटा स्टीवर्ड और
समीक्षकों के लिए RACI तालिका: [भूमिकाएँ], समीक्षा की लय, और सेवानिवृत्ति की कसौटी
शामिल करें। मसौदा केवल उसी पर आधारित करें जो मैंने लिखा है। मेट्रिक्स, लक्ष्य या
बेंचमार्क मान न गढ़ें। अपनी मान्यताएँ और चार्टर पूरा करने के लिए मुझे किन प्रश्नों के
उत्तर देने चाहिए, सूचीबद्ध करें।
किसी मेट्रिक के दो संस्करणों के बीच टकराव खोजें।
यहाँ उस चीज़ के दो विवरण हैं जो एक ही मेट्रिक होनी चाहिए, [मेट्रिक का नाम]। संस्करण
A, [स्रोत A] से: [विवरण और सूत्र]। संस्करण B, [स्रोत B] से: [विवरण और सूत्र]।
उनकी तुलना इस पर करें कि क्या गिना जाता है, घड़ी कहाँ शुरू और बंद होती है, कौन-सी
स्थितियाँ उसे रोकती हैं, और क्या बाहर रखा गया है। समझाएँ कि कौन-से अंतर [मान A] और
[मान B] के बीच के अंतर का कारण हो सकते हैं, और स्वामी के लिए प्रश्न सुझाएँ। जो मान
मैंने नहीं दिए उनका अनुमान न लगाएँ। अपनी मान्यताएँ और जो आप तय नहीं कर सके सूचीबद्ध करें।
अंतर के लिए मेट्रिक रजिस्टर की समीक्षा करें।
नीचे हमारे मेट्रिक रजिस्टर का एक अंश है, फ़ील्ड [फ़ील्ड सूची] के साथ। इसकी समीक्षा
करें: छूटे स्वामी, बिना समीक्षा तिथि वाली या [अंतराल] से पुरानी तिथि वाली प्रविष्टियाँ,
एक से अधिक स्रोत वाली मेट्रिक्स, बिना जुड़े निर्णय वाली मेट्रिक्स, और ऐसे दृश्य जो
व्यक्ति-स्तर का डेटा उजागर कर सकते हैं। पैटर्न मेट्रिक के अनुसार रिपोर्ट करें, व्यक्ति
के अनुसार नहीं। हमारी मेट्रिक्स के बारे में तथ्य न गढ़ें। बताएँ कि कौन-से निष्कर्ष पाठ से
निश्चित हैं और कौन-से अनुमान, और अपनी मान्यताएँ सूचीबद्ध करें।
[रजिस्टर अंश चिपकाएँ, व्यक्तिगत डेटा हटाकर]
सेवानिवृत्ति समीक्षा की योजना बनाएँ।
हम हर [अंतराल] मेट्रिक्स की समीक्षा करते हैं। हमारी सेवानिवृत्ति की कसौटी है: [कसौटी]।
नीचे की हर मेट्रिक के लिए, मेरे दिए नोटों का उपयोग करके, सेवानिवृत्त करें, रखें, मिलाएँ
या पुनर्डिज़ाइन करें में से कोई प्रस्तावित करें, एक पंक्ति के कारण और स्वामी से पूछने
के लिए एक प्रश्न के साथ: [मेट्रिक्स, अंतिम उद्धरण तिथि और स्वामी की भूमिका सहित]।
यह भी सुझाएँ कि हर सेवानिवृत्ति की घोषणा [दर्शक] को कैसे करें। उपयोग का डेटा न गढ़ें।
अपनी मान्यताएँ और वह जानकारी सूचीबद्ध करें जो आपकी सिफ़ारिश बदल देगी।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: रजिस्टर में कोई मेट्रिक जोड़ने से पहले उसका विषय और जोड़ी गई रेलिंग खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि मेट्रिक प्रविष्टि में स्वामी, हेरफेर का तरीका और रेलिंग है।
मुख्य निष्कर्ष
- शासन संख्याओं का अर्थ समय के साथ वही रखता है, और एक-पृष्ठ का रजिस्टर उसका मूल है।
- हर रिपोर्ट की गई मेट्रिक के लिए एक जवाबदेह स्वामी नामित करें, और व्यक्ति के साथ भूमिका भी दर्ज करें।
- घड़ियों सहित एक परिभाषा लिखें, उसे एक ही जगह गणना करें, और हर बदलाव लॉग करें।
- शासन का वज़न मेट्रिक के परिणाम से मिलाएँ।
- जान-बूझकर तय करें कि कौन-सा दृश्य कौन देखे, व्यक्ति-स्तर का डेटा रिपोर्टिंग से बाहर रखें, और मेट्रिक्स को प्रमाण पर सेवानिवृत्त करें।
संदर्भ और आगे पढ़ें
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
- Wikipedia, Data governance.
- Wikipedia, Single source of truth.
- Wikipedia, Data steward.
- Wikipedia, RACI matrix.
- Wikipedia, Data dictionary.
- Wikipedia, Principle of least privilege.
- Wikipedia, Continual improvement process.