आउटपुट से ऊपर परिणाम: क्या मापें, यह चुनना
अच्छी सेवा या डिलीवरी मेट्रिक किसी ग्राहक के जीवन में आए बदलाव या किसी सेवा के स्वास्थ्य का वर्णन करती है, इसलिए माप यह पूछकर चुनें कि किसी के लिए क्या बदला, और गतिविधि और आउटपुट की गिनतियों को अधिक से अधिक सहायक प्रमाण मानें।
सारांश और प्रेरणा
अधिकांश डैशबोर्ड उससे शुरू होते हैं जो गिनने में आसान है: बंद टिकट, तैनात बदलाव, पूरी स्टोरी, उठाई गई कॉलें। वे पहले से किसी उपकरण में समय-मुद्रित हैं और टीम के नियंत्रण में हैं। इनमें से कोई नहीं बताता कि कोई बेहतर स्थिति में है या नहीं।
चार शब्द इसे सीधा रखते हैं। गतिविधि खर्च किया गया प्रयास है: काम के घंटे, की गई बैठकें, की गई कॉलें। आउटपुट वह है जो काम ने पैदा किया: एक रिलीज़, एक सुलझा टिकट, एक प्रकाशित लेख। परिणाम वह बदलाव है जो उस आउटपुट ने किसी के लिए संभव किया: ग्राहक काम आधे समय में पूरा करता है, एक क्लिनिक समय पर खुलता है, एक दोहराई जाने वाली समस्या दोहराना बंद करती है। प्रभाव संगठन के लक्ष्यों पर दीर्घकालिक असर है, जैसे बनाए रखे गए ग्राहक या सेवा की कम लागत। ITIL 4 (फ़्रेमवर्क का 2019 संस्करण, जो AXELOS ने प्रकाशित किया और अब PeopleCert के पास है) में आउटपुट किसी गतिविधि की मूर्त या अमूर्त डिलीवरेबल है, और परिणाम एक या अधिक आउटपुट द्वारा संभव किया गया किसी हितधारक के लिए नतीजा है।
ITIL एक दूसरा विचार जोड़ता है जो किसी भी मेट्रिक के लिए कसौटी का काम करता है: मूल्य सेवा प्रदाता और सेवा उपभोक्ता द्वारा सह-सृजित होता है, एक द्वारा दूसरे को नहीं दिया जाता। यह सेवा-प्रधान तर्क की सोच का अनुसरण करता है, विपणन का वह दृष्टिकोण कि मूल्य उपयोग में पैदा होता है, जब ग्राहक प्रदाता की क्षमताओं को अपने लक्ष्यों पर लगाता है। जो मेट्रिक पूरी तरह प्रदाता की ओर से मापी गई है वह मूल्य सिद्ध नहीं कर सकती। टीम हर टिकट बंद कर सकती है और हर रिलीज़ समय पर भेज सकती है जबकि उपयोगकर्ताओं को अपना काम आसान नहीं लगता।
एजाइल दृष्टि अलग रास्ते से उसी जगह पहुँचती है। एजाइल सॉफ़्टवेयर विकास के घोषणापत्र के पीछे के सिद्धांत कहते हैं कि काम करता सॉफ़्टवेयर प्रगति का प्राथमिक माप है, और सरलता, यानी न किए गए काम की मात्रा को अधिकतम करने की कला, अनिवार्य है। दोनों में से कोई भी आउटपुट के बड़े ढेर को पुरस्कृत नहीं करता। दोनों उसकी ओर इशारा करते हैं जो उपयोगकर्ताओं के लिए काम करे, और वह न बनाने की ओर जिसकी किसी को ज़रूरत नहीं।
आउटपुट और गतिविधि मेट्रिक्स गलत नहीं हैं। वे प्रवाह, क्षमता और लागत सँभालती हैं, और बाद के विषय उनका भरपूर उपयोग करते हैं (देखें विषय 2.1, प्रवाह माप)। गलती उन्हें मूल्य की जगह खड़ा होने देना है। दिखावटी मेट्रिक वह संख्या है जो रिपोर्ट करने में आसान है और लगभग हमेशा बढ़ती है: कुल पंजीकृत उपयोगकर्ता, संचयी संभाले टिकट, अब तक भेजी गई सुविधाएँ। वह टीम को व्यस्त दिखाती है और किसी को नहीं बताती कि आगे क्या करना है। कसौटी: क्या यह संख्या बढ़ सकती है जबकि ग्राहक की स्थिति बिगड़ रही हो?
परिणाम मेट्रिक्स कठिन हैं। वे धीरे हिलती हैं, टीम के नियंत्रण से बाहर कारकों पर निर्भर होती हैं, और शोर वाली होती हैं। पासवर्ड रीसेट प्रवाह में बदलाव को संपर्क मात्रा में दिखने में हफ़्ते लग सकते हैं, जिसे विपणन अभियान भी प्रभावित करता है। उत्तर है परिणामों को सावधानी से चुनना, उन्हें उन आउटपुट मापों के साथ जोड़ना जिनसे टीम रोज़ दिशा लेती है, और इस बारे में ईमानदार रहना कि हलचल का कितना हिस्सा टीम का दावा बनता है।
अग्रगामी संकेतक वह माप है जो उस नतीजे से पहले हिलता है जिसकी आपको परवाह है और जिसे जल्दी प्रभावित किया जा सकता है, जैसे परीक्षित सहायता रनबुक वाली नई सेवाओं का हिस्सा। पश्चगामी संकेतक बाद में नतीजा रिपोर्ट करता है, जैसे बड़ी घटनाओं की संख्या या ग्राहकों का छोड़कर जाना। अर्थशास्त्री यही जोड़ी उपयोग करते हैं, आर्थिक संकेतक को अग्रगामी, समकालिक या पश्चगामी में वर्गीकृत करते हुए। टीमों को दोनों चाहिए: पश्चगामी संकेतक बताते हैं कि आप सही थे या नहीं, और अग्रगामी संकेतक आपको कुछ करने को देते हैं जब तक समय है। अग्रगामी संकेतक तब तक एक परिकल्पना है जब तक आप कई अवधियों में जाँच न लें कि वह सचमुच परिणाम से पहले हिलता है।
परिणाम माप हेरफेर का आंशिक उपाय हैं (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)। जो माप ग्राहकों के अनुभव के निकट है उसे उनकी मदद किए बिना सुधारना कठिन है, और परिणाम से दूरी ही वह जगह है जहाँ हेरफेर रहता है। चुनाव में मदद करने वाले फ़्रेमवर्क अलग से कवर किए गए हैं (देखें विषय 1.7, मापन फ़्रेमवर्क)।
मुख्य सिद्धांत
- परिणाम से शुरू करें और पीछे की ओर काम करें। ग्राहक, सेवा या संगठन के लिए जो बदलाव चाहते हैं उसका नाम लें, फिर पूछें कि उसे कौन-सा प्रमाण दिखाएगा, फिर पूछें कि कौन-से अग्रगामी संकेत जल्दी दिखेंगे।
- मूल्य सह-सृजित है, इसलिए उपभोक्ता का पक्ष शामिल करें। हर समूह में कम से कम एक माप उन लोगों से आना चाहिए जो सेवा का उपयोग करते हैं: अकेले प्रदाता के रिकॉर्ड की बजाय उनकी सफलता, प्रयास या अनुभव।
- कड़ी दिखती रहे। गतिविधि, आउटपुट, परिणाम और प्रभाव को एक कड़ी के रूप में दिखाएँ। टीमें आउटपुट और अग्रगामी संकेतकों पर दिशा लेती हैं, और खुद को परिणामों पर आँकती हैं।
- जोड़ें, कभी प्रतिस्थापित न करें। परिणाम माप समझाता है कि आउटपुट माप क्यों मायने रखता है, और आउटपुट माप समझाता है कि परिणाम माप के बारे में क्या करना है। अकेले कोई काम नहीं करता।
- ऐसे माप पसंद करें जो गिर भी सकें और बढ़ भी सकें। जो संख्या केवल बढ़ती है वह गिनती है, संकेत नहीं।
- अग्रगामी संकेतकों को परिकल्पना मानें। जाँचें कि वे परिणाम की भविष्यवाणी करते हैं, और जब न करें तो छोड़ दें।
- आरोपण के बारे में ईमानदार रहें। परिणामों के कई कारण होते हैं। बताएँ कि टीम किसे प्रभावित करती है और किसे केवल देखती है।
मेट्रिक परिभाषाएँ
नीचे के पाँच मेट्रिक्स माप समूह को परिणामों की ओर ले जाने के लिए चुने गए हैं। वे उपयोग किए जाने वाले रूप के उदाहरण हैं, और बाद के विषय उन्हें भरने वाले सेवा और डिलीवरी माप परिभाषित करते हैं। इस विषय की उदाहरणार्थ सीमाएँ बेंचमार्क नहीं हैं।
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| परिणाम कवरेज | रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जो मेट्रिक रजिस्टर में किसी नामित ग्राहक या सेवा के लिए एक लिखित परिणाम से जुड़ी हैं | लिखित परिणाम कड़ी वाली मेट्रिक्स / अवधि में रिपोर्ट की गई मेट्रिक्स। केवल नियमित रिपोर्ट पर दिखाई मेट्रिक्स गिनी जाती हैं; किसी एक टीम के रखे कामकाजी-दृश्य माप शामिल नहीं | प्रतिशत | मेट्रिक रजिस्टर (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व) | मापन और रिपोर्टिंग; सतत सुधार | उत्पाद लक्ष्य और डिलीवरी लक्ष्य | तिमाही |
| सुविधा अपनाने की दर | रिलीज़ के बाद बताई गई खिड़की में किसी नई या बदली क्षमता का उपयोग करने वाले पात्र उपयोगकर्ताओं का हिस्सा | रिलीज़ के 30 दिनों के भीतर क्षमता का उपयोग करने वाले अलग-अलग पात्र उपयोगकर्ता / उस अवधि के अलग-अलग पात्र उपयोगकर्ता। घड़ी सामान्य उपलब्धता से शुरू; आंतरिक परीक्षण खाते और क्षमता तक न पहुँच सकने वाले उपयोगकर्ता शामिल नहीं | प्रतिशत | उत्पाद विश्लेषिकी, सेवा कैटलॉग उपयोग लॉग | सेवा डिज़ाइन; रिलीज़ प्रबंधन | हितधारक समीक्षा प्रतिक्रिया; उत्पाद परिणाम माप | रिलीज़ के बाद 3 महीने मासिक, फिर तिमाही |
| दोहराए संपर्क की दर | किसी पिछले संपर्क के बंद होने के बाद बताई गई खिड़की में उसी सेवा के बारे में किसी उपयोगकर्ता के संपर्कों का हिस्सा | बंद संपर्क के 14 दिनों के भीतर उसी उपयोगकर्ता से उसी सेवा के बारे में नए संपर्क / अवधि में बंद संपर्क। घड़ी बंद होने से शुरू; नियोजित अनुवर्ती के रूप में खोले गए संपर्क शामिल नहीं | प्रतिशत | ITSM उपकरण का संपर्क और टिकट इतिहास | सेवा डेस्क; घटना प्रबंधन | बच निकली खामियाँ; पूर्णता की परिभाषा | मासिक |
| अग्रगामी संकेतक सत्यापन दर | उपयोग में आ रहे अग्रगामी संकेतकों का हिस्सा जिनकी हलचल समीक्षा अवधि में उनके जुड़े पश्चगामी संकेतक की हलचल से पहले हुई | उपयोग में अग्रगामी संकेतक जिनकी पश्चगामी संकेतक पर बढ़त पुष्ट है / उपयोग में अग्रगामी संकेतक। टीम द्वारा दस्तावेज़ी समीक्षा में, कम से कम चार अवधियों के डेटा पर आँका गया; चार अवधि से कम वाले संकेतक शामिल नहीं | प्रतिशत | मेट्रिक रजिस्टर और प्रवृत्ति इतिहास | सतत सुधार | प्रयोगों पर रेट्रोस्पेक्टिव कार्रवाइयाँ | साल में दो बार |
| लाभ समीक्षा पूर्णता दर | वित्त पोषित बदलावों या सुधारों का हिस्सा जिनके इच्छित परिणाम की सहमत देरी के बाद अपने माप के विरुद्ध समीक्षा की गई | नियोजित समीक्षा तिथि के 90 दिनों के भीतर पूरी परिणाम समीक्षा वाले बदलाव / वे बदलाव जिनकी समीक्षा तिथि अवधि में पड़ी। रिलीज़ से पहले वापस लिए गए बदलाव शामिल नहीं | प्रतिशत | बदलाव रिकॉर्ड, सुधार रजिस्टर, समीक्षा नोट | सतत सुधार; परिवर्तन सक्षमीकरण | हितधारक समीक्षा; उत्पाद वृद्धि समीक्षा | तिमाही |
परिणाम कवरेज और लाभ समीक्षा पूर्णता दर मापन अभ्यास को मापते हैं और कागज़ी कार्रवाई से आसानी से संतुष्ट हो जाते हैं। सुविधा अपनाने की दर और दोहराए संपर्क की दर ग्राहक के अधिक निकट हैं और वे हैं जो निर्णय बदलने की सबसे अधिक संभावना रखते हैं।
सिफ़ारिशें
परिणामों से शुरू करें
1. परिणाम को किसी व्यक्ति या सेवा के बारे में वाक्य के रूप में लिखें। "कर्मचारी सेवा डेस्क को कॉल किए बिना अपना पासवर्ड रीसेट कर सकते हैं" एक परिणाम है। "नया पहचान पोर्टल तैनात करें" एक आउटपुट है। वाक्य को रजिस्टर में मेट्रिक की प्रविष्टि के शीर्ष पर रखें, फिर माप चुनें। यदि आप वाक्य नहीं लिख सकते, तो आप संख्या चुनने को तैयार नहीं हैं।
2. गतिविधि से प्रभाव तक की कड़ी खींचें। हर लक्ष्य के लिए चार डिब्बे बनाएँ: टीम क्या करती है, वह क्या पैदा करती है, उपयोगकर्ता के लिए क्या बदलता है, और उससे संगठन के लिए क्या बदलता है। हर उम्मीदवार मेट्रिक को एक डिब्बे में रखें। बाईं ओर भरा और दाईं ओर खाली समूह परिणाम का प्रमाण खोजने का संकेत है।
3. हर मेट्रिक पर मूल्य-सह-सृजन की कसौटी लगाएँ। पूछें: यह किसके मूल्य का दृश्य दिखाती है, और क्या उपभोक्ता का दृश्य समूह में कहीं दिखता है? ITIL की भाषा में, सेवा संबंध में एक प्रदाता और एक उपभोक्ता होता है, और मूल्य उपभोक्ता के उपयोग में साकार होता है। प्रदाता की घड़ी से प्रतिक्रिया-समय के माप को उपभोक्ता की ओर से एक साथी चाहिए, जैसे क्या उपयोगकर्ता अपना काम जारी रख सका (देखें विषय 6.2, अनुभव स्तर समझौते)।
4. रिपोर्ट नहीं, निर्णय माँगें। हर उम्मीदवार मेट्रिक के लिए वह निर्णय लिखें जो कोई लेगा यदि वह हिले। जिस माप से कोई निर्णय नहीं जुड़ा उसे सेवानिवृत्त करें। यह दिखावटी मेट्रिक्स के विरुद्ध सबसे तेज़ छलनी है और डैशबोर्ड को डिफ़ॉल्ट रूप से बढ़ने से रोकती है।
आउटपुट को परिणामों से जोड़ें
5. हर प्रमुख आउटपुट माप के लिए एक परिणाम माप चुनें। यदि आप तैनातियाँ रिपोर्ट करते हैं, तो उन्हें इस माप से जोड़ें कि तैनातियों ने सेवा के लिए क्या बदला, जैसे बदलाव विफलता या उपयोगकर्ता-दृश्य घटनाएँ (देखें विषय 2.8, DORA मेट्रिक्स)। यदि आप सुलझे टिकट रिपोर्ट करते हैं, तो उन्हें दोहराए संपर्क से जोड़ें। जोड़ी एक ही पृष्ठ पर होनी चाहिए। जो टीम केवल आउटपुट देखती है वह आउटपुट के लिए अनुकूलन करेगी।
6. ऐसे परिणाम माप चुनें जिन्हें टीम प्रभावित कर सके, और उन्हें नामित करें जिन्हें वह केवल देखती है। टीम अपनी सेवा के दोहराए संपर्क और अपनी सुविधाओं को अपनाने को प्रभावित कर सकती है। वह कंपनी के राजस्व को केवल देख सकती है। दोनों तस्वीर में आते हैं, पर लक्ष्य और सुधार कार्य प्रभावित किए जा सकने वाले मापों से जुड़ते हैं। अंतर का नाम लेना उन हलचलों के लिए दोष से बचाता है जिन्हें टीम पैदा नहीं कर सकती थी।
7. प्रॉक्सी का खुलकर उपयोग करें। कई परिणाम सीधे नहीं मापे जा सकते। प्रॉक्सी चुनें, कहें कि वह प्रॉक्सी है, और कहें कि वह क्या चूकती है। दोहराए संपर्क की दर "समस्या सचमुच सुलझी" की प्रॉक्सी है, और एक छोटा सर्वेक्षण या खुली टिप्पणियों का पठन जाँच सकता है कि वह अब भी सच बताती है (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।
अग्रगामी और पश्चगामी जोड़ियाँ बनाएँ
8. हर पश्चगामी संकेतक को कम से कम एक ऐसे अग्रगामी संकेतक से जोड़ें जिस पर आप कार्रवाई कर सकें। बड़ी घटनाएँ पश्चगामी संकेतक हैं, और परीक्षित बहाली रनबुक वाली सेवाओं का हिस्सा उनसे आगे चल सकता है। अग्रगामी संकेतक टीम को इस महीने कुछ करने को देता है। ऐसे अग्रगामी संकेतक चुनें जिन पर आप किसी लिखे जा सकने वाले कारण से विश्वास करते हैं, फिर उस विश्वास की परीक्षा लें।
9. पीछे मुड़कर देखकर अग्रगामी संकेतकों को सत्यापित करें। साल में दो बार, हर अग्रगामी संकेतक को उसके पश्चगामी साथी के विरुद्ध कम से कम चार अवधियों में आलेखित करें और पूछें कि हलचल पहले आई या नहीं। जहाँ संबंध कमज़ोर है, अग्रगामी संकेतक बदलें या छोड़ दें।
10. जहाँ परिणाम का स्पष्ट उपयोगकर्ता-दृश्य माप है वहाँ सेवा स्तर उद्देश्य उपयोग करें। अच्छी तरह चुना गया सेवा स्तर संकेतक (SLI) उपयोगकर्ता की खुशी का अग्रगामी संकेत है, और सेवा स्तर उद्देश्य (SLO) बताता है कि उसे कितना अच्छा होना चाहिए (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)। वे सबसे अच्छा तब काम करते हैं जब संकेतक उपयोगकर्ता के दृष्टिकोण से चुना जाए, मशीन के नहीं।
चुनाव को ईमानदार रखें
11. परिणाम समीक्षाओं से चक्र बंद करें। जब कोई बदलाव या सुधार वित्त पोषित हो, तो वह परिणाम दर्ज करें जो वह पैदा करने वाला है, माप, और वह तारीख जब कोई देखेगा। समीक्षा करें भले उत्तर असुविधाजनक हो। समीक्षाओं के बिना परिणाम की भाषा सजावट है (देखें विषय 6.5, मूल्य प्राप्ति और व्यावसायिक परिणाम)।
12. आउटपुट माप कामकाजी दृश्य में रखें, और कहें कि वे किसलिए हैं। प्रवाह, क्षमता और लागत माप टीम के उपकरण हैं, उसका स्कोरकार्ड नहीं। साइकल टाइम बताता है कि काम कहाँ इंतज़ार करता है (देखें विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता)। अपने बगल में परिणाम के बिना ऊपर रिपोर्ट किए जाने पर वे हेरफेर को न्योता देते हैं।
हेरफेर के तरीके और रेलिंग
परिणामों की ओर बढ़ना हेरफेर को नहीं हटाता। यह उसका आकार बदलता है: परिणामों को दोबारा परिभाषित किया जा सकता है, प्रॉक्सी को दिशा दी जा सकती है, और समीक्षाएँ छोड़ी जा सकती हैं।
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| परिणाम कवरेज | हर मेट्रिक के लिए अस्पष्ट परिणाम वाक्य ("सेवा सुधारें") लिखना ताकि कागज़ पर कड़ी मौजूद रहे | रजिस्टर का नमूना लें: वाक्य को किसी व्यक्ति या सेवा और एक बदलाव का नाम लेना चाहिए; जाँचें कि माप के कारण निर्णय लिया गया |
| सुविधा अपनाने की दर | जबरन या स्वचालित पहले उपयोग को अपनाना गिनना; पात्र उपयोगकर्ता समूह को सिकोड़ना; क्षमता को डिफ़ॉल्ट बनाना ताकि वह चुने बिना "उपयोग" हो | क्षमता के उपयोगकर्ताओं में कार्य पूर्णता या संतुष्टि; 30 और 90 दिनों के बाद उपयोग का बने रहना; खुली टिप्पणियाँ पढ़ें |
| दोहराए संपर्क की दर | उपयोगकर्ताओं को दूसरे माध्यम से नया अनुरोध उठाने को कहना; संपर्क को असंबद्ध संपर्क का डुप्लिकेट बताकर बंद करना; खिड़की के भीतर पुनःसंपर्क से बचने के लिए बंद करने में देर करना | उसी सेवा के लिए माध्यम के अनुसार संपर्क; बंद करने के नोट की नमूना समीक्षा; उपयोगकर्ता-रिपोर्टेड "समस्या सुलझी" दर |
| अग्रगामी संकेतक सत्यापन दर | अनौपचारिक नज़र के बाद अग्रगामी संकेतकों को वैध घोषित करना; ऐसे संकेतक चुनना जो परिणाम के साथ तुच्छ रूप से हिलते हों | आलेखित डेटा के साथ लिखित समीक्षा रिकॉर्ड; हर चक्र एक परिणाम को चुनौती देने के लिए टीम से बाहर के किसी को बुलाएँ |
| लाभ समीक्षा पूर्णता दर | केवल नाम की समीक्षा करना, या इच्छित परिणाम बाद में तय करना ताकि वह हमेशा पूरा हो | समीक्षा में परिणाम की तुलना बदलाव के वित्त पोषित होते समय के कथन से करें; योजना में बदलाव लाने वाली समीक्षाओं का हिस्सा ट्रैक करें |
स्वस्थ पठन ऐसे परिणाम माप दिखाता है जो कभी-कभी निराश करते हैं, ऐसी समीक्षाएँ जो कभी-कभी किसी बदलाव को समाप्त कर देती हैं, और ऐसे अग्रगामी संकेतक जो कभी-कभी छोड़ दिए जाते हैं। ऐसा समूह जहाँ हर परिणाम पूरा हो और हर अग्रगामी संकेतक पुष्ट हो, संभवतः वैसा होने के लिए ट्यून किया गया है।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| आउटपुट और गतिविधि माप | तेज़, सस्ते और टीम के नियंत्रण में; प्रवाह और क्षमता निर्णयों के लिए अच्छे | फुलाना आसान; यह नहीं बताते कि किसी को लाभ हुआ या नहीं |
| परिणाम माप | ग्राहकों और संगठन के मूल्य के निकट रहते हैं; उनकी मदद किए बिना सुधारना कठिन | धीमे, शोर वाले, और टीम के नियंत्रण से बाहर कारकों से प्रभावित |
| अग्रगामी संकेतक | शीघ्र चेतावनी और कार्रवाई के लिए कुछ देते हैं | परिणाम से कड़ी परखी जाने की बजाय मानी जाए तो भटका सकते हैं |
| पश्चगामी संकेतक | जो सचमुच हुआ उसे रिपोर्ट करते हैं | इस अवधि का नतीजा बदलने के लिए बहुत देर से आते हैं |
| परिणामों के लिए प्रॉक्सी | कठिन-से-मापे परिणामों को दृश्य बनाती हैं | जिसकी प्रतिनिधि हैं उससे भटक सकती हैं, और प्रतिस्थापन को न्योता देती हैं |
| छोटा परिणाम-प्रधान समूह | याद रखना और चर्चा करना आसान; प्रयास को केंद्रित करता है | चुने परिणामों से बाहर की समस्या छूट सकती है |
| व्यापक संतुलित समूह | सेवा का अधिक हिस्सा कवर करता है | ध्यान बँटता है; हर माप की जाँच कम होती है |
परिणाम मापों की एक छोटी संख्या रखें जिसे पूरा समूह दोहरा सके, हर एक को उन आउटपुट और अग्रगामी मापों से सहारा दें जो उसे समझाते हैं, और रणनीति बदलने पर समूह की फिर समीक्षा करें। संतुलित स्कोरकार्ड और उद्देश्य और मुख्य परिणाम से जुड़े संतुलित तरीके दोनों रोज़ के काम को उन नतीजों से जोड़ने की कोशिश करते हैं जो मायने रखते हैं। वे एक ही तरह विफल होते हैं जब मुख्य परिणाम आउटपुट की ऐसी सूची बन जाते हैं जिसके बगल में एक प्रतिशत है।
अपनी टीम के साथ चर्चा के प्रश्न
1. हमारी पाँच सबसे प्रमुख मेट्रिक्स में से कौन-सी बढ़ सकती हैं जबकि हमारे ग्राहक बदतर स्थिति में हों? पाँचों को बोर्ड पर लिखें और हर एक से यह प्रश्न पूछें। उदाहरण के लिए, बंद टिकटों की गिनती बढ़ सकती है जबकि दोहराए संपर्क भी बढ़ें। सुगमकर्ता को वे मामले दर्ज करने चाहिए जहाँ उत्तर हाँ है, क्योंकि वे दिखावटी मेट्रिक्स हैं। अंत में पूछें कि हर एक के बगल में कौन-सा परिणाम माप होगा।
2. इस सेवा के ग्राहक के लिए अच्छा सप्ताह कैसा दिखता है, उनके अपने शब्दों में? ग्राहकों से बात करने वाले लोगों से पूछें, और टीम की अपनी शब्दावली से बचें। उत्तर परिणाम वाक्य बनते हैं, और अक्सर वे बातें उजागर करते हैं जो कोई नहीं मापता, जैसे समस्या दो बार न समझानी पड़ना। तीन वाक्य दर्ज करें और पूछें कि कौन-से मापे जा सकते हैं, प्रॉक्सी से ही सही।
3. हमारे कौन-से अग्रगामी संकेतक हमने कभी उस नतीजे के विरुद्ध जाँचे हैं जिसकी भविष्यवाणी वे करने वाले हैं? एक संकेतक चुनें और उसे पिछली कई अवधियों के लिए उसके पश्चगामी साथी के विरुद्ध आलेखित करें। पूछें कि आप क्या देखते हैं और कितने आश्वस्त हैं। यदि संबंध कमज़ोर है, तो चर्चा करें कि उसकी जगह क्या रखें। छोड़े गए संकेतक को सीखने का सामान्य परिणाम मानें, विफलता नहीं।
4. हमारी टीम कहाँ ऐसे परिणाम का श्रेय लेती है जिसे वह केवल देखती है? नेतृत्व को रिपोर्टों में मेट्रिक्स देखें। कौन-सी टीम के नियंत्रण से बाहर कारकों पर निर्भर हैं, जैसे मौसमीपन, अभियान या आपूर्तिकर्ता? यह बताने का सादा तरीका तय करें कि टीम क्या प्रभावित करती है और क्या देखती है। यह टीम को उस दिन के लिए तैयार करता है जब कोई परिणाम उन कारणों से हिले जो उसने पैदा नहीं किए।
5. पिछली दो तिमाहियों में हमने क्या भेजा या बदला, और क्या किसी ने समीक्षा की कि वह काम किया या नहीं? बदलावों को बोर्ड पर सूचीबद्ध करें और समीक्षा रिकॉर्ड वाले चिह्नित करें। बाकी के लिए पूछें कि कौन-सा परिणाम अपेक्षित था और अब कैसे पता चल सकता है। दोष खोजने से बचें। उद्देश्य आदत शुरू करना है, भले पहली समीक्षाएँ देर से हों।
6. कौन-से आउटपुट माप हमारे कामकाजी दृश्य में वापस जाने चाहिए? कुछ माप टीम के लिए उपयोगी और रिपोर्ट में भ्रामक होते हैं। पूछें कौन-से कौन-से हैं, और नेतृत्व रिपोर्ट पर बने रहने के लिए हर एक को अपने बगल में क्या चाहिए। इस तिमाही हटाने के लिए एक माप पर सहमत हों। माप को हटाना परिपक्वता का संकेत है, पारदर्शिता से पीछे हटना नहीं।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें आउटपुट से ललचाई जाती हैं क्योंकि उनके उपकरण उसे डिफ़ॉल्ट रूप से रिपोर्ट करते हैं। उपाय है अपनाने और परिणाम के प्रमाण को पूर्णता की परिभाषा और हितधारक समीक्षा का हिस्सा बनाना। जिस सुविधा का कोई उपयोग नहीं करता वह एक सबक है, और यह जल्दी पता चलना एजाइल अभ्यास का लाभ है। टीमें प्रवाह माप अपने कामकाजी दृश्य में रखती हैं और उन्हें अपनाने और विफलता के मापों से जोड़ती हैं (देखें विषय 2.5, डिलीवरी पूर्वानुमान और योजना मेट्रिक्स)।
सेवा और संचालन टीमें
सेवा टीमें हैंडलिंग पर मापी जाती हैं: उठाई गई कॉलें, बंद टिकट, हल करने का समय। ये योजना और लागत के लिए मायने रखते हैं, और यह बहुत कम बताते हैं कि उपयोगकर्ता की समस्या गई या नहीं। संचालन टीमों को गति के माप के बगल में दोहराए संपर्क, उसी कारण की पुनरावृत्ति और उपयोगकर्ता-रिपोर्टेड समाधान जोड़ना चाहिए, और आसान टिकटों की बढ़ती गिनती को संदेह से देखना चाहिए (देखें विषय 3.1, सेवा डेस्क मेट्रिक्स)। ज्ञान लेख का उपयोग और परीक्षित रनबुक जैसे अग्रगामी संकेतक टीम को घटनाओं के बीच कार्रवाई के लिए कुछ देते हैं।
नेतृत्व और शासन
नेता जो देखना चाहते हैं वह संगठन को सिखाता है कि क्या मायने रखता है। परिणाम माँगें, स्वीकार करें कि वे धीमे और शोर वाले हैं, और उन्हें जाँचने वाली समीक्षाओं को वित्त पोषित करें। शासन निकायों को परिणाम मापों का छोटा, स्थिर समूह देखना चाहिए, हर एक के बताए स्वामी और उसके द्वारा जानकारी दिए निर्णयों के रिकॉर्ड के साथ (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व)। जो नेता पूछता है "हमने क्या सीखा?" उसे उससे बेहतर डेटा मिलता है जो पूछता है "यह लाल क्यों है?"
ग्राहक और उपयोगकर्ता
ग्राहक परिणामों का सीधे अनुभव करते हैं और आउटपुट की गिनतियाँ शायद ही देखते हैं। वे समूह की अंतिम परीक्षा हैं: क्या सेवा उन्हें वह करने देती है जिसके लिए वे आए थे? छोटे सर्वेक्षण, खुली टिप्पणियाँ और वास्तविक कार्यों का अवलोकन किसी भी प्रदाता-पक्ष के माप से बेहतर प्रमाण हैं। ग्राहकों की मूल्य के सह-सृजन में भी भूमिका है, जिसका अर्थ है कि उन्हें कितनी अच्छी तरह सूचित, सक्षम और सुना गया है, यह नतीजों को प्रभावित करता है (देखें विषय 6.3, सेवा अपनाने और कैटलॉग मेट्रिक्स)।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक मध्यम आकार की ऑनलाइन रिटेलर की आंतरिक प्लेटफ़ॉर्म टीम लगभग 40 उत्पाद टीमों को स्व-सेवा परिवेश प्रावधान सेवा देती है, जिसे एक छोटा सेवा डेस्क सहारा देता है। इस उदाहरण की सभी संख्याएँ उदाहरणार्थ संख्याएँ हैं।
मासिक रिपोर्ट 310 पूर्ण किए गए अनुरोध दिखाती है (240 से ऊपर), पूर्ति का माध्यिका समय 6 घंटे, और तिमाही में भेजी गई 12 सुविधाएँ। नेतृत्व प्रसन्न है। प्लेटफ़ॉर्म प्रमुख देखता है कि प्रावधान के बारे में डेस्क को संपर्क भी बढ़े हैं, और टीम से आउटपुट को उस परिणाम के विरुद्ध आलेखित करने को कहता है जिसकी उन्हें आशा थी: उत्पाद टीमों को बिना इंतज़ार या मदद माँगे परिवेश मिलना।
कड़ी का अभ्यास दिखाता है कि टीम ने गतिविधि और आउटपुट मापे थे और कोई परिणाम नहीं। वे तीन जोड़ते हैं। पहला दोहराए संपर्क की दर है: प्रावधान के 22 प्रतिशत संपर्कों के बाद 14 दिनों के भीतर उसी सेवा के बारे में एक और संपर्क आता है। दूसरा तीन सबसे नई सुविधाओं के लिए सुविधा अपनाने की दर है, जो 30 दिनों के बाद पात्र टीमों का 9 प्रतिशत, 14 प्रतिशत और 61 प्रतिशत है। तीसरा, एक अग्रगामी संकेतक, उन अनुरोधों का हिस्सा है जो बिना मानवीय चरण के पूरे होते हैं, जो अभी 48 प्रतिशत है। वे परिकल्पना करते हैं कि यह दोहराए संपर्क की दर को नीचे ले जाएगा।
वे उन दो नियोजित सुविधाओं को रोकने का निर्णय लेते हैं जो दो कम-अपनाई सुविधाओं जैसी हैं, और तिमाही दोहराए संपर्क के सबसे आम कारण पर बिताते हैं: कोटा पार होने पर अस्पष्ट त्रुटि संदेश। वे इच्छित परिणाम, 15 प्रतिशत से नीचे की दोहराए संपर्क दर, दर्ज करते हैं और 90 दिनों में समीक्षा की तारीख तय करते हैं।
हेरफेर का जोखिम दूसरे महीने में प्रकट होता है। दोहराए संपर्क की दर गिरकर 11 प्रतिशत हो जाती है, जो शानदार दिखती है। 25 बंद संपर्कों का नमूना दिखाता है कि सेवा डेस्क ने उपयोगकर्ताओं से अनुवर्ती प्रश्नों के लिए चैट माध्यम उपयोग करने को कहना शुरू कर दिया था, और चैट माध्यम ITSM उपकरण में नहीं गिना जाता। टीम रिपोर्ट में माध्यम के अनुसार संपर्क जोड़ती है, नमूने में चैट ट्रांसक्रिप्ट लाती है, और पाती है कि संयुक्त दर 17 प्रतिशत है। यह वास्तविक सुधार है, पहले पठन से छोटा। समीक्षा में प्रमुख 17 प्रतिशत रिपोर्ट करता है, नोट करता है कि अग्रगामी संकेतक 48 से 57 प्रतिशत पर साथ-साथ बढ़ा, और दर्ज करता है कि परिकल्पना को सत्यापित कहने के लिए ज़रूरी चार अवधियों में से दो में टिकी है।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। परिणाम पास में हैं: संस्थापक ग्राहकों से बात कर सकते हैं और देख सकते हैं कि वे टिकते हैं या नहीं। जोखिम केवल उपयोगकर्ताओं और सुविधाओं की वृद्धि मापना है, जो तब तक दिखावटी मेट्रिक्स हैं जब तक प्रतिधारण और कार्य सफलता दिखाई न दें। एक ऐसा परिणाम माप चुनें जिसे ग्राहक पहचानें और उसे साप्ताहिक जाँचें।
छोटा व्यवसाय। संख्याएँ सांख्यिकी के लिए बहुत छोटी हैं, इसलिए सीधी बातचीत, गिने-चुने ट्रैक किए मामलों और प्रॉक्सी की छोटी सूची को पसंद करें। उन विक्रेता डैशबोर्डों से सावधान रहें जो अपनी गतिविधि को ऐसे रिपोर्ट करते हैं मानो वह आपका परिणाम हो।
उद्यम। पैमाना आउटपुट रिपोर्टिंग को न्योता देता है, क्योंकि आउटपुट कई टीमों में तुलनीय हैं और परिणाम नहीं। असमान सेवाओं पर एक परिणाम परिभाषा थोपने का विरोध करें। साझा परिणाम वाक्यों का एक छोटा समूह तय करें, हर सेवा को अपने माप चुनने दें, और रजिस्टर को ताज़ा रखें।
सरकार और सार्वजनिक क्षेत्र। वैधानिक कर्तव्य, वित्त पोषण के नियम और सेवा स्तर कुछ माप पहले से तय करते हैं, अक्सर आउटपुट, जैसे निपटाए गए मामले। उन्हें पूरा करें, और नागरिकों और कर्मचारियों के लिए परिणाम माप साथ जोड़ें, जैसे क्या व्यक्ति को वह मदद मिली जिसके लिए वह आया था। सार्वजनिक रिपोर्टिंग ईमानदार परिणाम डेटा को अधिक मूल्यवान और अधिक संवेदनशील बनाती है, इसलिए पहले से तय करें कि सुधारे गए आँकड़े कैसे समझाए जाएँगे (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
परिणामों की ओर बढ़ने की लागत ज़्यादातर प्रयास और धैर्य है: परिणाम वाक्य लिखना, कुछ माप जोड़ना जैसे एक छोटा सर्वेक्षण या अपनाने की घटना, और परिणाम समीक्षाएँ करना। उपकरण की लागत मामूली है, क्योंकि अधिकतर प्रॉक्सी पहले से इकट्ठा डेटा से बन सकती हैं। बड़ी लागत देरी है, क्योंकि परिणाम का डेटा धीरे आता है और नेताओं को उसकी प्रतीक्षा करनी पड़ती है।
प्रतिफल खर्च कहाँ करें, इस बारे में बेहतर चुनावों से आता है। जिस काम का कोई उपयोग नहीं करता वह महँगा है, और वैसे ही हैंडलिंग माप सुधारना जबकि दोहराए संपर्कों का अंतर्निहित कारण बना रहे। अपेक्षित पैटर्न है कम सुविधाएँ बनाकर अप्रयुक्त छोड़ी जाना, दोहराए जाने वाले कारणों पर अधिक ध्यान, और वित्त पोषण के लिए अधिक मज़बूत कहानी। कोई प्रतिशत वादा न करें। अपनी आधाररेखाएँ मापें, जैसे हाल की रिलीज़ों को अपनाना और दोहराए संपर्क, और कुछ तिमाहियों बाद तुलना करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रति-पैटर्न और जाल
- जो आसान है उसे गिनना। टिकट और तैनाती की गिनतियाँ हर उपकरण में हैं, जो उन्हें डिफ़ॉल्ट बनाती है। एक और आउटपुट गिनती जोड़ने से पहले हर सेवा के लिए कम से कम एक परिणाम माप जोड़ें।
- परिणाम का नाटक। हर मेट्रिक के लिए परिणाम वाक्य लिख देना और उसे कभी न जाँचना। रजिस्टर के नमूने की समीक्षा करें और पूछें कि हर माप ने कौन-सा निर्णय सूचित किया।
- अपरीक्षित अग्रगामी संकेतक। विश्वसनीय संकेत को प्रमाण मान लेना। उसे साल में कम से कम दो बार पश्चगामी नतीजे के विरुद्ध आलेखित करें और जो आगे न चलें उन्हें छोड़ दें।
- व्यक्तिगत लक्ष्य के रूप में परिणाम। एक व्यक्ति को परिणाम माप सौंपना विषय 1.2 में वर्णित आचरण को न्योता देता है। परिणामों को टीमों और सेवाओं से जोड़ें।
- केवल प्रदाता की ओर मापना। आंतरिक घड़ियों और गिनतियों से बना समूह वह चूक जाएगा जो ग्राहक महसूस करते हैं। हर सेवा के लिए उपभोक्ता-पक्ष का माप शामिल करें।
- कभी समीक्षा न करना। वादा किए लाभों पर बदलावों को वित्त पोषित करना और उन्हें कभी न जाँचना। बदलाव स्वीकृत होते समय बदलाव रिकॉर्ड पर समीक्षा की तारीख डालें।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वय |
|---|---|---|---|---|---|
| माप चुनना | वे गिनतियाँ जो उपकरणों में उपलब्ध हैं | कुछ टीमें परिणाम वाक्य लिखती हैं | हर रिपोर्ट की गई मेट्रिक का एक लिखित परिणाम और वह निर्णय है जिसे वह जानकारी देती है | परिणाम और आउटपुट समूहों की हर तिमाही साथ समीक्षा | परिणाम वाक्य टीमों, आपूर्तिकर्ताओं और ग्राहकों में संरेखित, और रणनीति बदलने पर संशोधित |
| अग्रगामी और पश्चगामी संकेतक | केवल पश्चगामी नतीजे, देर से रिपोर्ट | अंतर्ज्ञान से चुने कुछ अग्रगामी संकेतक | अग्रगामी और पश्चगामी संकेतक जोड़े गए और रजिस्टर में दर्ज | अग्रगामी संकेतकों को साल में दो बार नतीजों के विरुद्ध सत्यापित किया जाता है | संकेतक आपूर्तिकर्ताओं और ग्राहकों के साथ साझा; प्रमाण के साथ समूह विकसित होता है |
| परिणाम समीक्षाएँ | इसकी कोई समीक्षा नहीं कि बदलाव काम आए या नहीं | बड़े बदलावों के बाद कभी-कभार समीक्षाएँ | हर वित्त पोषित बदलाव के लिए समीक्षा तिथि दर्ज | समीक्षाएँ पूरी, नतीजे अगली योजना को जानकारी देते हैं | समीक्षाएँ नियमित, टीमों के पार, और ग्राहक इनपुट सहित |
| उपभोक्ता-पक्ष का प्रमाण | किस्से | कुछ सेवाओं के लिए सर्वेक्षण | हर सेवा के लिए उपभोक्ता-पक्ष का माप | उपभोक्ता प्रमाण का रुझान देखा और संचालन डेटा के साथ पढ़ा जाता है | ग्राहक परिणाम मापों को परिभाषित और व्याख्यायित करने में मदद करते हैं |
चेकलिस्ट
- हर सेवा का कम से कम एक परिणाम वाक्य है जो किसी व्यक्ति या सेवा और एक बदलाव का नाम लेता है।
- हर रिपोर्ट की गई मेट्रिक गतिविधि से प्रभाव की कड़ी पर रखी गई है।
- हर मेट्रिक का एक नामित निर्णय है जिसे वह जानकारी देती है; जिनका कोई नहीं, वे सेवानिवृत्त हैं।
- रिपोर्ट पर हर आउटपुट माप के बगल में एक परिणाम माप है।
- हर सेवा का कम से कम एक उपभोक्ता-पक्ष का माप है।
- हर पश्चगामी संकेतक का एक अग्रगामी संकेतक है, कड़ी के लिखित कारण के साथ।
- अग्रगामी संकेतकों को साल में कम से कम दो बार नतीजों के विरुद्ध जाँचा जाता है।
- प्रॉक्सी को प्रॉक्सी के रूप में लेबल किया गया है, और वे क्या चूकती हैं यह बताया गया है।
- हर वित्त पोषित बदलाव का एक इच्छित परिणाम, एक माप और एक समीक्षा तिथि है।
- परिणाम माप टीमों और सेवाओं से जुड़े हैं, व्यक्तियों से कभी नहीं।
AI प्रॉम्प्ट
आउटपुट मेट्रिक को परिणाम-प्रधान समूह में बदलें।
हमारी टीम [टीम का नाम] है, जो [ग्राहकों या उपयोगकर्ताओं] को [सेवा या उत्पाद] प्रदान
करती है। हम वर्तमान में [आउटपुट या गतिविधि मेट्रिक्स की सूची] रिपोर्ट करते हैं। हम
परिणामों की ओर बढ़ना चाहते हैं। हर मेट्रिक के लिए किसी ग्राहक या सेवा के बारे में एक
परिणाम वाक्य सुझाएँ जिसका वह समर्थन कर सकती है, और एक परिणाम माप तथा एक अग्रगामी
संकेतक प्रस्तावित करें जिन पर हम विचार कर सकें। हर सुझाव के लिए बताएँ कि माप क्या
चूकेगा और उसमें हेरफेर कैसे हो सकता है। बेंचमार्क मान या स्रोत न गढ़ें। अपनी
मान्यताएँ और मुझसे चाहिए तथ्य सूचीबद्ध करें।
जाँचें कि अग्रगामी संकेतक विश्वसनीय है या नहीं।
हम [अग्रगामी संकेतक] को [पश्चगामी परिणाम माप] के लिए अग्रगामी संकेतक के रूप में उपयोग
करते हैं। यहाँ दोनों के [संख्या] अवधियों का डेटा नीचे चिपकाया गया है, उस समय के दौरान
बदली किसी भी चीज़ के नोट के साथ: [डेटा और नोट]। वर्णन करें कि क्या अग्रगामी संकेतक
पश्चगामी से पहले हिलता दिखता है, और डेटा से मेल खाने वाली अन्य व्याख्याएँ क्या हैं।
कारणता का दावा न करें। अपनी मान्यताएँ, इतने डेटा की सीमाएँ, और कौन-सा अतिरिक्त डेटा
मदद करेगा, सूचीबद्ध करें।
हाल के बदलाव के लिए परिणाम समीक्षा का मसौदा बनाएँ।
हमने यह बदलाव किया: [विवरण], [तारीख] को स्वीकृत, इच्छित परिणाम [परिणाम वाक्य] और माप
[माप] के साथ। वर्तमान डेटा: [डेटा]। परिणाम समीक्षा की कार्यसूची और एक छोटी सार संरचना
का मसौदा बनाएँ जो इच्छित परिणाम की तुलना हम जो देखते हैं उससे करे, टीम ने जो
प्रभावित किया उसे उससे अलग करे जो उसने केवल देखा, और उपयोगकर्ताओं के लिए प्रश्न
सूचीबद्ध करे। डेटा जितना समर्थन करता है उससे आगे सफलता का आकलन न करें। अपनी
मान्यताएँ और किसी भी डेटा अंतर को सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: जिस आउटपुट मेट्रिक की आप रिपोर्ट करने वाले हैं, उसके लिए विषय और साथी परिणाम माप खोजने में उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि नया मेट्रिक विषय अपने आउटपुट मापों को परिणामों और रेलिंगों से जोड़ता है।
मुख्य निष्कर्ष
- गतिविधि, आउटपुट, परिणाम और प्रभाव अलग-अलग चीज़ें हैं, और पहले दो का डैशबोर्ड मूल्य नहीं दिखा सकता।
- ITIL में मूल्य उपभोक्ता के साथ सह-सृजित होता है, इसलिए हर समूह को उपभोक्ता की ओर का एक माप चाहिए।
- आउटपुट को परिणामों से जोड़ें, और पश्चगामी संकेतकों को उन अग्रगामी संकेतकों से जिन्हें आपने परखा है।
- स्पष्ट रहें कि टीम क्या प्रभावित करती है और क्या केवल देखती है।
- वित्त पोषित बदलावों की उनके इच्छित परिणामों के विरुद्ध समीक्षा करें, और नतीजों को योजना बदलने दें।
- परिणाम माप हेरफेर घटाते हैं, उसे समाप्त नहीं करते, इसलिए हर एक को अब भी रेलिंग चाहिए।
संदर्भ और आगे पढ़ें
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.