सारांश और प्रेरणा

गुडहार्ट का नियम मापन की सबसे पुरानी चेतावनी है। अर्थशास्त्री चार्ल्स गुडहार्ट ने 1975 में ब्रिटिश मौद्रिक नीति के बारे में लिखते हुए देखा कि जब अधिकारी नियंत्रण के उद्देश्य से किसी सांख्यिकीय नियमितता पर दबाव डालते हैं तो वह बिखर जाती है। लोकप्रिय शब्दावली बाद में आई। मानवविज्ञानी मैरिलिन स्ट्रैथर्न ने इसे 1997 में यों कहा: "जब कोई माप लक्ष्य बन जाता है, तो वह अच्छा माप नहीं रहता।" दोनों वाक्य एक ही बात कहते हैं: जिस क्षण किसी संख्या का उपयोग लोगों को चलाने के लिए होता है, लोग संख्या को चलाने लगते हैं।

इसी विचार के और नाम भी हैं। कैंपबेल का नियम, समाजशास्त्री डोनाल्ड कैंपबेल से, कहता है कि किसी मात्रात्मक संकेतक का निर्णयों के लिए जितना अधिक उपयोग होता है, वह उतना ही भ्रष्टाचार के दबावों के अधीन होता है और उतना ही उन प्रक्रियाओं को बिगाड़ता है जिनकी निगरानी के लिए बना था। कोबरा प्रभाव एक ऐसे इनाम की कहानी है जिसने उसी चीज़ को और बढ़ा दिया जिसे हटाना था। हर एक विकृत प्रोत्साहन का उदाहरण है: ऐसा पुरस्कार जो व्यवहार को पुरस्कार देने वाले की इच्छा से दूर धकेलता है।

आईटी सेवाएँ बनाने और चलाने वाली टीमें असामान्य रूप से उजागर हैं। सतत डिलीवरी और आईटी सेवा प्रबंधन (ITSM), जैसा ITIL द्वारा संहिताबद्ध है, दोनों टाइमस्टैम्प, गिनतियों और स्थितियों की लगातार धारा पैदा करते हैं। टिकटिंग प्रणाली दर्ज करती है कि टिकट कब खुला, कब सौंपा गया, घड़ी कब रुकी और कब बंद हुआ। डिलीवरी उपकरण दर्ज करता है कि काम कब शुरू और खत्म हुआ। ये संख्याएँ इकट्ठा करने में सस्ती, चार्ट बनाने में आसान और लक्ष्यों में बदलने में आसान हैं। इन्हें किसी की मदद किए बिना हिलाना भी आसान है।

तीन शब्द इस विषय और बाकी पुस्तक में बार-बार आते हैं। माप (measure) कुछ वर्णन करता है। लक्ष्य (target) वह संख्या है जिसे छूने की किसी से अपेक्षा है। रेलिंग (guardrail) एक दूसरा माप या अभ्यास है, पहले से चुना हुआ, जो तब हिलेगा जब पहले माप में हेरफेर हो रहा हो। माप से लक्ष्य की ओर कदम वहीं है जहाँ परेशानी शुरू होती है, और रेलिंग वह तरीका है जिससे आप ध्यान देते हैं।

यह विषय वह नियम तय करता है जो हर अन्य विषय को शासित करता है। पुस्तक का हर मेट्रिक परिवार अपने हेरफेर के तरीके (आम तौर पर उसमें हेरफेर कैसे होता है) और अपनी रेलिंग के साथ आता है। यदि कोई बाद का विषय इसे छोड़ता लगे, तो उस विषय को अधूरा मानें।

लोग संख्याओं में हेरफेर क्यों करते हैं

हेरफेर आमतौर पर बेईमानी नहीं होता। यह सक्षम लोगों की अपने सामने के प्रोत्साहनों के प्रति सामान्य प्रतिक्रिया है। चार शक्तियाँ काम करती हैं।

  • दबाव। किसी का बोनस, समीक्षा, अनुबंध का नवीनीकरण या प्रतिष्ठा संख्या पर निर्भर है। औपचारिक कड़ी के बिना भी, लोग इस बात से अनुमान लगाते हैं कि नेतृत्व किसकी परवाह करता है कि वह किसका चार्ट बनाता है।
  • प्रतिस्थापन। प्रतिस्थापन (surrogation) माप को ऐसे मानने की प्रवृत्ति है जैसे वही वह चीज़ हो जिसका वह प्रतिनिधित्व करता है। संगठनों में इसका अध्ययन करने वाले शोधकर्ताओं ने पाया कि किसी माप से बँधा प्रोत्साहन वेतन इसकी संभावना बढ़ाता है। "बंद टिकट" ट्रैक करने वाली टीम मानने लगती है कि लक्ष्य बंद टिकट है, सुलझी समस्याएँ नहीं।
  • भय। जब खराब संख्या दोष लाती है, तो लोग बुरी खबर छिपाते हैं। घटनाओं की गंभीरता घटा दी जाती है, आउटेज "नियोजित रखरखाव" के रूप में दोबारा नामित हो जाते हैं, और खामियाँ सुविधा-अनुरोध के रूप में दर्ज होती हैं।
  • स्थानीय अनुकूलन। टीम प्रणाली के उस हिस्से को सुधारती है जिस पर उसे आँका जाता है और लागत उस हिस्से पर डाल देती है जिस पर नहीं। सेवा डेस्क जल्दी बंद करता है और दूसरी पंक्ति को दोहराव विरासत में मिलते हैं।

इन शक्तियों को समझना मायने रखता है क्योंकि उपाय कड़ी निगरानी नहीं है। उपाय उन परिस्थितियों को बदलना है जो हेरफेर को तर्कसंगत बनाती हैं।

मुख्य सिद्धांत

  • सीखने के लिए मापें, आँकने के लिए नहीं। संख्याएँ पहले उस टीम को दिखाएँ जो काम करती है, और उनका उपयोग प्रश्न पूछने के लिए करें।
  • हर मेट्रिक को रेलिंग से जोड़ें। गति के साथ गुणवत्ता, मात्रा के साथ परिणाम, लागत के साथ अनुभव।
  • टीमों और प्रणालियों का वर्णन करें, लोगों को रैंक न करें। व्यक्तिगत लीग तालिकाएँ डेटा स्रोत को बिगाड़ने का सबसे तेज़ तरीका हैं।
  • लक्ष्यों की बजाय परिणाम और प्रवृत्तियाँ पसंद करें। एक दिशा और बातचीत सीमा से बेहतर है।
  • परिभाषा लिखें, घड़ियों सहित। अस्पष्ट परिभाषाओं में ही हेरफेर छिपता है।
  • बदलाव की अपेक्षा रखें। जब मेट्रिक निर्णयों को जानकारी देना बंद कर दे तो उसे सेवानिवृत्त या पुनर्डिज़ाइन करें।
  • बुरी खबर को सुरक्षित बनाएँ। यदि ईमानदार रिपोर्टिंग को दंडित किया जाता है, तो डेटा झूठ बोलेगा।

मेट्रिक परिभाषाएँ

नीचे की मेट्रिक्स सेवा या डिलीवरी के माप नहीं हैं। वे स्वयं मेट्रिक्स अभ्यास के स्वास्थ्य के माप हैं, और वे वह रूप दिखाती हैं जो इस पुस्तक की हर मेट्रिक तालिका लेती है। पहली तीन रेलिंग के उदाहरण हैं जो बाद के विषयों में पूरे समय आते हैं।

मेट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL अभ्यास एजाइल समकक्ष आवृत्ति
रेलिंग कवरेज रिपोर्ट की गई उन मेट्रिक्स का हिस्सा जिनकी एक नामित, ट्रैक की जाने वाली रेलिंग है रेलिंग वाली मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स प्रतिशत मेट्रिक रजिस्टर (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व) मापन और रिपोर्टिंग; सतत सुधार कार्य समझौतों का रेट्रोस्पेक्टिव तिमाही
पुनः खुलने की दर बंद किए गए उन टिकटों या कार्य मदों का हिस्सा जो बताई गई अवधि में दोबारा खोले गए अवधि में बंद मदों में से 14 दिनों के भीतर दोबारा खोली गई मदें / बंद मदें प्रतिशत ITSM उपकरण या इश्यू ट्रैकर का स्थिति इतिहास घटना प्रबंधन; समस्या प्रबंधन पूर्णता की परिभाषा; बच निकली खामियाँ मासिक
परिभाषा बदलाव की गिनती अवधि में मेट्रिक परिभाषाओं या स्थिति कार्यप्रवाहों में कारण सहित बदलावों की संख्या परिभाषा बदलाव लॉग में प्रविष्टियों की गिनती गिनती मेट्रिक रजिस्टर का बदलाव लॉग मापन और रिपोर्टिंग कार्य समझौते तिमाही
मेट्रिक उपयोग दर अवधि में किसी निर्णय में उद्धृत की गई रिपोर्ट की गई मेट्रिक्स का हिस्सा दर्ज निर्णय में उद्धृत मेट्रिक्स / रिपोर्ट की गई मेट्रिक्स प्रतिशत निर्णय लॉग या समीक्षा नोट सतत सुधार रेट्रोस्पेक्टिव कार्रवाइयाँ तिमाही
धारणा अंतर उसी सेवा के लिए संतुष्टि सर्वेक्षण परिणाम और टिकट-व्युत्पन्न सेवा स्तर के बीच का अंतर सर्वेक्षण-व्युत्पन्न दर घटा ट्रैकर-व्युत्पन्न दर प्रतिशत अंक सर्वेक्षण उपकरण और ITSM उपकरण सेवा स्तर प्रबंधन हितधारक समीक्षा प्रतिक्रिया तिमाही

पुनः खुलने की दर केवल उन मदों को गिनती है जो उसी रिकॉर्ड में दोबारा खोली गईं। जो मद बंद होकर नए टिकट के रूप में फिर उठाई गई वह नहीं दिखती। अगले खंड के मकसद का एक हिस्सा यह है कि रेलिंग को भी अपनी रेलिंग चाहिए, जैसे दोहराए गए टिकटों को उनके मूल से जोड़ना।

सिफ़ारिशें

मापन प्रणाली डिज़ाइन करें

1. संख्या से नहीं, प्रश्न से शुरू करें। कोई मेट्रिक जोड़ने से पहले वह प्रश्न लिखें जिसका वह उत्तर देती है और वह निर्णय जिसे वह जानकारी देती है। "क्या उपयोगकर्ताओं की समस्याएँ पहली बार में सुलझ रही हैं?" एक प्रश्न है। "औसत हैंडलिंग समय घटाओ" प्रश्न का रूप धरे लक्ष्य है। जिस मेट्रिक से कोई निर्णय नहीं जुड़ा, वह सेवानिवृत्ति की उम्मीदवार है।

2. तनाव में मेट्रिक्स चुनें। एक अकेली संख्या अति-अनुकूलन को न्योता देती है, इसलिए ऐसी जोड़ियाँ चुनें जो एक-दूसरे के विरुद्ध खिंचें: लीड टाइम के साथ बदलाव विफलता दर, टिकट बंद होने की गति के साथ पुनः खुलने की दर, उपलब्धता के साथ उपयोगकर्ता-रिपोर्टेड अनुभव। जोड़ी का सूत्र होना ज़रूरी नहीं। उसे साथ-साथ, एक ही पृष्ठ पर दिखना चाहिए।

3. घड़ियों और अपवादों को परिभाषित करें। हर समय-माप के लिए लिखें कि घड़ी कहाँ शुरू होती है, कहाँ रुकती है और कब ठहर सकती है। सेवा डेटा में अधिकतर हेरफेर इन्हीं सीमाओं में रहता है: "ग्राहक की प्रतीक्षा" में डाला गया टिकट सेवा स्तर की घड़ी रोक देता है, और केवल लागू होने के बाद दर्ज बदलाव बदलाव के लीड टाइम से बच निकलता है। यदि ठहराव की स्थिति मौजूद है, तो रिपोर्ट करें कि उसका उपयोग कितनी बार होता है।

4. वितरण और पर्सेंटाइल का उपयोग करें। टिकट समाधान समय का औसत इसलिए सुधर सकता है कि कुछ आसान टिकट जल्दी बंद हुए जबकि कठिन टिकट पुराने होते गए। माध्यिका और एक ऊँचा पर्सेंटाइल (जैसे 85वाँ या 95वाँ) दिखाएँ, और सबसे पुराने खुले मद दिखाएँ। कार्य मद की आयु और सबसे पुराना खुला टिकट काम वास्तव में पूरा किए बिना गढ़ना कठिन है (देखें विषय 2.1, प्रवाह माप)।

5. मेट्रिक रजिस्टर रखें। एक छोटा रजिस्टर हर मेट्रिक, उसका स्वामी, परिभाषा, डेटा स्रोत, हेरफेर का तरीका, रेलिंग और अंतिम समीक्षा की तारीख सूचीबद्ध करता है। यह उबाऊ है और इस विषय की सबसे प्रभावी आदत है (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व)।

मेट्रिक्स को सुरक्षित रूप से लाएँ

6. पहले टीम को दिखाएँ, और कच्चा डेटा दिखाएँ। जो टीमें नेतृत्व से पहले संख्याएँ देखती हैं वे उनकी सटीकता पर प्रश्न उठाने को अधिक तैयार होती हैं। चार्ट से नहीं, अंतर्निहित मदों से शुरू करें। यदि डेटा उन लोगों से बातचीत में टिक नहीं सकता जिन्होंने उसे पैदा किया, तो वह डैशबोर्ड पर नहीं टिक सकता।

7. सीखने के दृश्यों को जवाबदेही के दृश्यों से अलग करें। टीम के कामकाजी दृश्य में कई माप हो सकते हैं, बदसूरत भी। नेतृत्व तक जो जाए वह एक छोटा, स्थिर समूह होना चाहिए। यदि नेतृत्व कामकाजी दृश्य माँगता है, तो अपेक्षा रखें कि कामकाजी दृश्य बेहतर दिखने के लिए बदलेगा।

8. व्यक्तिगत वेतन, अनुशासन या रैंकिंग को मेट्रिक से न बाँधें। टीमों से कहा जा सकता है कि अपनी संख्याएँ समझाएँ और उन्हें सुधारें। टिकट गिनती, स्टोरी पॉइंट या कमिट पर व्यक्तिगत लक्ष्य लोगों को गिनती अधिकतम करना सिखाते हैं। प्रमुख प्रदर्शन संकेतक का तरीका तब काम कर सकता है जब संकेतक पूरी प्रणाली के लिए चुने जाएँ और नियमित रूप से समीक्षित हों। जब यह प्रति-व्यक्ति स्कोरकार्ड बन जाता है तो विफल हो जाता है।

9. ईमानदार रिपोर्टिंग को सुरक्षित बनाएँ। मनोवैज्ञानिक सुरक्षा यह विश्वास है कि गलती या चिंता के साथ बोलने पर आपको दंडित नहीं किया जाएगा। किसी घटना की दोषरहित समीक्षा व्यवहार में इसका एक उदाहरण है। इसके बिना घटना की गिनतियाँ गलत कारण से गिरती हैं: लोग रिपोर्ट करना बंद कर देते हैं।

प्रणाली को ईमानदार रखें

10. हेरफेर की समीक्षा चलाएँ। तिमाही में एक बार, हर रिपोर्ट की गई मेट्रिक के बारे में टीम से एक प्रश्न पूछें: "यदि हम इस संख्या को किसी की मदद किए बिना अच्छा दिखाना चाहते, तो हम क्या करते?" उत्तर लिखें, फिर जाँचें कि क्या रेलिंग हर एक को पकड़ लेती। यह अभ्यास सस्ता है, उपयोगी विचार देता है, और बातचीत को संदेह से डिज़ाइन की ओर ले जाता है।

11. परिभाषाओं को वास्तविकता के विरुद्ध जाँचें। बंद मदों की थोड़ी संख्या का नमूना लें और उन्हें पढ़ें। क्या वे सचमुच सुलझाई गई थीं? क्या प्राथमिकता ईमानदार थी? क्या "ग्राहक की प्रतीक्षा" स्थिति का मतलब था कि ग्राहक की प्रतीक्षा हो रही थी? पंद्रह मिनट का नमूना अक्सर एक महीने के डैशबोर्डों से अधिक बताता है।

12. मेट्रिक्स को सेवानिवृत्त करें। जो मेट्रिक दो तिमाहियों से किसी निर्णय में उद्धृत नहीं हुई, वह अतिरिक्त बोझ है। उसे हटाएँ, और कहें कि हटाई है। कम मेट्रिक्स, हर एक पर भरोसे के साथ, बहुतों से बेहतर हैं।

हेरफेर के तरीके और रेलिंग

तालिका ऊपर के खंड की मेट्रिक्स को कवर करती है। बाद के विषय यही रूप सेवा और डिलीवरी मापों पर लागू करते हैं।

मेट्रिक हेरफेर कैसे होता है जोड़ी गई रेलिंग मेट्रिक या अभ्यास
रेलिंग कवरेज कागज़ पर रेलिंग का नाम लेना और उसे कभी ट्रैक न करना रजिस्टर की समीक्षा करें: रेलिंग तभी गिनी जाती है जब उसका नवीनतम मान उसी डैशबोर्ड पर दिखे
पुनः खुलने की दर दोबारा खोलने की बजाय टिकट बंद करके नया उठाना; खिड़की इतनी लंबी करना कि पुनः खुलने उससे बाहर गिरें दोहराए और जुड़े टिकटों की दर; टिकटों में एक ही कारण की पुनरावृत्ति
परिभाषा बदलाव की गिनती बदलाव लॉग न करना ताकि गिनती कम रहे; किसी को बताए बिना कार्यप्रवाह बदलना हर समीक्षा में उपकरण के स्थिति मॉडल की रजिस्टर से तुलना करें
मेट्रिक उपयोग दर औपचारिकता के रूप में हर मेट्रिक को निर्णय लॉग में उद्धृत करना पूछें कि उद्धरण के कारण क्या बदला; लॉग का नमूना लें
धारणा अंतर केवल संतुष्ट उपयोगकर्ताओं का सर्वेक्षण; अच्छी बातचीत के बाद के समय पर सर्वेक्षण को मोड़ना सर्वेक्षण प्रतिक्रिया दर और उत्तरदाताओं का मिश्रण; समीक्षा में खुली टिप्पणियाँ ज़ोर से पढ़ी जाएँ

स्वस्थ पठन एक मेट्रिक्स अभ्यास है जो बदलता है: परिभाषाएँ लिखित कारणों से समायोजित होती हैं, मेट्रिक्स आती-जाती हैं, और टीम ऐसे निर्णय की कहानी सुना सकती है जिसे किसी संख्या ने बदला।

समझौते: लाभ और हानि

दृष्टिकोण ताकत कमज़ोरी
लक्ष्य के बिना मापन हेरफेर घटाता है; ईमानदार चर्चा को न्योता ऐसी रिपोर्टिंग में बदल सकता है जिस पर कोई कार्रवाई नहीं करता
रेलिंग के साथ लक्ष्य दिशा और तात्कालिकता देते हैं; जोड़ी हेरफेर सीमित करती है बनाए रखने में अधिक काम; समय के साथ रेलिंग में भी हेरफेर होता है
व्यक्तिगत मेट्रिक्स समझने में आसान; निष्पक्ष लगती हैं डेटा बिगाड़ती हैं; सहयोग को नुकसान
टीम और सेवा मेट्रिक्स काम वास्तव में जैसे होता है उससे मेल खाती हैं आरोपित करना कठिन; व्यक्तिगत सहायता ज़रूरतें छिपाती हैं
कम मेट्रिक्स भरोसा और याद रखना आसान अंधे धब्बे; नई समस्या छूट सकती है
बहुत मेट्रिक्स व्यापक कवरेज ध्यान बँटता है; हर मेट्रिक का शासन कमज़ोर

गद्य में उत्तर है कि लक्ष्यों का उपयोग संयम से करें, ऐसी स्थितियों के लिए जो भली-भाँति समझी हों और जिनमें हेरफेर कठिन हो, जैसे उपयोगकर्ताओं द्वारा माँगा गया सेवा स्तर उद्देश्य। तब भी लक्ष्य को सेवा से जोड़ें, किसी व्यक्ति की समीक्षा से नहीं। उद्देश्य निर्णय-निर्माण से संख्याओं को हटाना नहीं है। उद्देश्य संख्याओं को वास्तविकता से जुड़ा रखना है, उन्हें पैदा करने वाले लोगों को अपने पक्ष में रखकर।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारे वर्तमान डैशबोर्ड की कौन-सी संख्या को हम काम सुधारे बिना सुधारने के लिए सबसे अधिक ललचाएँगे? उस मेट्रिक से शुरू करें जिसे लोग सबसे पहले देखते हैं, फिर उसकी ओर जाएँ जिसके बारे में नेतृत्व पूछता है। विशिष्ट चालें पूछें: यदि हम दबाव में होते तो डेटा के साथ क्या करते? सुगमकर्ता को हर उत्तर बिना आँके दर्ज करना चाहिए, क्योंकि सूची रजिस्टर के लिए हेरफेर के तरीके बन जाती है। अंत में पूछें कि हमारी रेलिंगें इनमें से किन चालों को पकड़ेंगी और किन्हें चूकेंगी।

2. हमारे सबसे महत्वपूर्ण समय-माप में घड़ी कहाँ शुरू और बंद होती है, और यह किसने तय किया? समूह से व्हाइटबोर्ड पर टिकट या कार्य मद का जीवनचक्र बनाने और हर स्थिति चिह्नित करने को कहें। उन स्थितियों को खोजें जहाँ समय गायब हो सकता है, जैसे ग्राहक की प्रतीक्षा या रोक। गिनें कि हर स्थिति का उपयोग कितनी बार और किसके द्वारा होता है। बातचीत से अक्सर पता चलता है कि दो टीमें एक ही शब्द का अलग-अलग उपयोग करती हैं।

3. किसी संख्या ने हमसे आखिरी बार कुछ अनुपयोगी कब करवाया? कहानियाँ आमंत्रित करें, दोष नहीं। आम उदाहरण हैं सत्यापित करने से पहले टिकट बंद करना, तैनाती गिनती बढ़ाने के लिए बदलाव बाँटना, या उल्लंघन रिपोर्ट से बचने के लिए घटना का पुनर्वर्गीकरण। सुगमकर्ता को पूछना चाहिए कि व्यक्ति किसकी रक्षा करने की कोशिश कर रहा था। उत्तर आमतौर पर वह प्रोत्साहन दिखाता है जिसे बदलने की ज़रूरत है।

4. हमारी मेट्रिक्स कौन देखता है, और वहाँ उनके साथ क्या होता है? हर मेट्रिक को टीम से उसके दर्शकों तक ट्रेस करें। पूछें कि क्या उसका कोई संस्करण टीमों या लोगों की तुलना के लिए उपयोग होता है। पूछें कि यदि दर्शक अलग होते तो टीम क्या दिखाती। जहाँ टीम अपनी दिखाई संख्याएँ बदलेगी, वहाँ दर्शकों के साथ चर्चा के लिए भरोसे का अंतर है।

5. हमारी पाँच सबसे महत्वपूर्ण मेट्रिक्स में से हर एक की रेलिंग क्या है, और क्या वह उसी पृष्ठ पर है? बोर्ड पर दो-स्तंभ वाली सूची बनाएँ। यदि किसी मेट्रिक की कोई रेलिंग नहीं है, तो एक उम्मीदवार पर सहमत हों और एक तिमाही आज़माने के लिए एक स्वामी तय करें। यदि रेलिंग है पर शायद ही देखी जाती है, तो चर्चा करें कि क्यों। ऐसी रेलिंग चुनने से बचें जो केवल मेट्रिक का उलटा हो, क्योंकि वह कुछ नया नहीं बताती।

6. इस तिमाही हमें कौन-सी मेट्रिक सेवानिवृत्त करनी चाहिए? प्रमाण माँगें: उसका आखिरी बार निर्णय में उपयोग कब हुआ? यदि किसी को याद नहीं, तो परीक्षण अवधि के लिए उसे सेवानिवृत्त करें और देखें कि किसी को पता चलता है या नहीं। सुगमकर्ता को सेवानिवृत्ति को सामान्य घटना मानना चाहिए। जो टीमें कभी मेट्रिक्स नहीं छोड़तीं वे ऐसी रिपोर्टों के साथ रह जाती हैं जिन पर कोई भरोसा या पठन नहीं करता।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें वेलोसिटी, थ्रूपुट और तैनाती गिनतियों के ज़रिए हेरफेर से मिलती हैं। विशेषकर वेलोसिटी एक टीम के लिए योजना उपकरण है, उत्पादकता का माप नहीं, और उससे टीमों की तुलना बढ़ाए गए अनुमानों की ओर ले जाती है। डिलीवरी टीमों को अपने कामकाजी माप अपने पास रखने चाहिए, बाहर एक छोटा समूह प्रकाशित करना चाहिए, और हर गति माप को एक गुणवत्ता माप से जोड़ना चाहिए (देखें विषय 2.5, डिलीवरी पूर्वानुमान और योजना मेट्रिक्स)।

सेवा और संचालन टीमें

सेवा टीमें समाधान समय, पहले संपर्क पर समाधान और सेवा स्तर अनुपालन के ज़रिए हेरफेर से मिलती हैं। घड़ी रोकने वाली स्थितियाँ और प्राथमिकता क्षेत्र बहाव के आम बिंदु हैं। संचालन टीमों को स्थिति संक्रमणों का नियमित ऑडिट करना चाहिए, ठहराव स्थितियों का उपयोग रिपोर्ट करना चाहिए, और गति के बगल में दोहराए संपर्क और पुनः खुलने की दर देखनी चाहिए। ऑन-कॉल टीमों को उन मापों से विशेष रूप से सावधान रहना चाहिए जो पेज न होने को पुरस्कृत करते हैं, क्योंकि वे ईमानदार अलर्टिंग को दंडित करते हैं (देखें विषय 3.3, घटना प्रतिक्रिया और समाधान समय)।

नेतृत्व और शासन

नेता प्रोत्साहन तय करते हैं, अक्सर बिना इरादे के। समीक्षा में पूछा गया प्रश्न ("यह लाल क्यों है?") टीम को सिखाता है कि क्या छिपाना है। नेताओं को पूछना चाहिए कि टीम ने किसी संख्या से क्या सीखा, लीग तालिकाओं को कमरे से बाहर रखना चाहिए, स्पष्ट रिपोर्टिंग की रक्षा करनी चाहिए, और खराब संख्या से उजागर सुधार कार्य को वित्त पोषित करना चाहिए। शासन निकायों को रिपोर्टिंग के भाग के रूप में मेट्रिक रजिस्टर और हेरफेर की समीक्षा की अपेक्षा करनी चाहिए, और मेट्रिक में परिभाषित बदलाव को सामान्य मानना चाहिए।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता हेरफेर का असर ऐसी सेवा के रूप में अनुभव करते हैं जो कागज़ पर अच्छी दिखती है और व्यवहार में खराब लगती है: बंद किया गया पर ठीक न हुआ टिकट, "नियोजित" कहा गया आउटेज, कभी उन तक न पहुँचा सर्वेक्षण। उपयोगकर्ता सबसे अच्छी रेलिंग भी हैं। सर्वेक्षणों, शिकायतों और टिप्पणियों के रूप में उनकी प्रतिक्रिया संचालन की संख्याओं के बगल में होनी चाहिए, और उसे पूरा पढ़ा जाना चाहिए, स्कोर में घटाया नहीं जाना चाहिए (देखें विषय 6.1, ग्राहक संतुष्टि मेट्रिक्स)।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक क्षेत्रीय अस्पताल का आईटी विभाग सेवा डेस्क और कई उत्पाद टीमें चलाता है जो नैदानिक अनुप्रयोग बनाती हैं। इस उदाहरण की संख्याएँ उदाहरणार्थ संख्याएँ हैं।

नेतृत्व 90 प्रतिशत घटनाओं को सहमत समय में बंद करने का लक्ष्य रखता है। दो महीनों में डैशबोर्ड 94 प्रतिशत दिखाता है। सेवा संचालन प्रमुख प्रसन्न है पर असहज, क्योंकि नैदानिक कर्मचारी कम नहीं, ज़्यादा शिकायत करते हैं। वह टीम से मेट्रिक पर हेरफेर की समीक्षा करने को कहती है।

टीम टिकट जीवनचक्र का खाका बनाती है। उन्हें पता चलता है कि टिकट औसतन दो बार "ग्राहक की प्रतीक्षा" में जाते हैं, और उस स्थिति में बिताया समय बढ़ा है। 30 बंद टिकटों का नमूना दिखाता है कि 7 "उपयोगकर्ता से कोई प्रतिक्रिया नहीं" टिप्पणी के साथ फ़ोन करने के एक प्रयास के बाद बंद कर दिए गए थे। उन्हें यह भी पता चलता है कि पुनः खुलने की दर इसलिए सपाट है क्योंकि समस्या लौटने पर उपयोगकर्ताओं से "नया टिकट उठाने" को कहा गया था।

टीम तीन बदलाव करती है। पहला, समाधान-समय चार्ट अब माध्यिका, 90वाँ पर्सेंटाइल और सबसे पुराना खुला टिकट दिखाता है, साथ में ठहराव स्थितियों में बिताए समय का हिस्सा। दूसरा, डैशबोर्ड दोहराए संपर्क की दर जोड़ता है, जिसे उसी सेवा के बारे में उसी उपयोगकर्ता के 14 दिनों के भीतर नए टिकटों के हिस्से के रूप में परिभाषित किया गया है। तीसरा, बंद टिकटों के यादृच्छिक नमूने को एक संक्षिप्त सर्वेक्षण जाता है, और उसकी खुली टिप्पणियाँ मासिक समीक्षा में पढ़ी जाती हैं।

तीन महीने बाद प्रमुख अनुपालन संख्या गिरकर 88 प्रतिशत हो जाती है, जो बुरी खबर लगती है। फिर भी दोहराए संपर्क की दर गिरी है, और अनसुलझी समस्याओं के बारे में सर्वेक्षण टिप्पणियाँ कम हो गई हैं। संचालन प्रमुख नेतृत्व को बताती है कि पुरानी संख्या फूली हुई थी और नई तस्वीर अधिक ईमानदार है, और उनसे सुधारी गई परिभाषा पर आधारित सेवा स्तर लक्ष्य स्वीकार करने को कहती है। निर्णय लॉग में दर्ज निर्णय यह है कि तुरंत नहीं, बल्कि एक और तिमाही के डेटा के बाद लक्ष्य तय किया जाए।

क्षेत्र के अनुसार दृष्टि

स्टार्टअप। छोटी टीमों में मेट्रिक्स कम और भरोसा मज़बूत होता है, जो मदद करता है। खतरा यह है कि बहुत जल्दी बड़े उद्यम का डैशबोर्ड आयात कर लिया जाए। दो-तीन माप से शुरू करें जिनका संस्थापक सचमुच उपयोग करते हैं, उनकी परिभाषाएँ लिखें, और उन्हें व्यक्तिगत प्रदर्शन की बातचीत से दूर रखें।

छोटा व्यवसाय। संसाधन कम हैं, और आईटी चलाने वाला व्यक्ति अक्सर सीधे मालिक को रिपोर्ट करता है। एक अकेली ग्राहक शिकायत किसी भी डैशबोर्ड पर भारी पड़ सकती है। समूह छोटा रखें, उपयोगकर्ताओं की सीधी प्रतिक्रिया को तरजीह दें, और विक्रेता द्वारा दी गई रिपोर्टों को कुछ सावधानी से लें, क्योंकि विक्रेता के अपने प्रोत्साहन होते हैं।

उद्यम। पैमाना तुलनीय संख्याओं की माँग और उनमें हेरफेर के दबाव, दोनों को कई गुना कर देता है। लिखित परिभाषाओं के साथ एक छोटा मानक समूह उपयोग करें, टीम के कामकाजी दृश्यों को रोल-अप से अलग रखें, और अलग-अलग किस्म की सेवाओं पर काम करने वाली टीमों की तुलना से बचें। मेट्रिक रजिस्टर और समीक्षा की लय अनिवार्य हो जाती है।

सरकार और सार्वजनिक क्षेत्र। रिपोर्टिंग दायित्व और अनुबंधित सेवा स्तर कुछ लक्ष्यों को अपरिहार्य बना सकते हैं। उन्हें डिज़ाइन के इनपुट मानें: उन्हें पूरा करें, उनके बगल में रेलिंग दिखाएँ, और प्रयुक्त परिभाषाएँ बताएँ। सार्वजनिक जवाबदेही बुरी खबर छिपाने की लागत बढ़ाती है, इसलिए सुरक्षित आंतरिक माध्यम बनाएँ और सुधारी गई परिभाषाओं के बारे में खुले रहें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

इस विषय को लागू करने की लागत मुख्यतः समय है: परिभाषाएँ और रजिस्टर लिखने के कुछ घंटे, एक छोटी तिमाही हेरफेर समीक्षा, और बंद मदों का कभी-कभार नमूना। उपकरण की लागत कम है। बड़ी लागत नेतृत्व का ध्यान है, क्योंकि अनुशासन तभी काम करता है जब संख्याएँ पढ़ने वाले लोग एकसमान आचरण करें।

प्रतिफल टाली गई बर्बादी और बेहतर निर्णयों से आता है। भ्रष्ट डेटा पर लिए गए निर्णय निवेश को गलत समस्या की ओर निर्देशित कर सकते हैं, जैसे टिकट तेज़ी से बंद करने के लिए सेवा डेस्क में स्टाफ़ लगाना जबकि असली समस्या किसी खामी से दोहराए संपर्क हैं। हेरफेर टीम और उस पर निर्भर लोगों के बीच भरोसे को भी खोखला करता है, जिसकी मरम्मत कठिन है। लाभ का वर्णन पैटर्न में करें, गढ़े हुए प्रतिशत से नहीं: निर्णयों के कम उलटाव, ऑडिट में कम आश्चर्य, और संचालन की संख्याओं तथा उपयोगकर्ता अनुभव के बीच बेहतर मेल। यदि आपको व्यावसायिक औचित्य के लिए आँकड़े चाहिए, तो बदलाव से पहले और बाद में अपनी आधाररेखाएँ मापें, जैसे धारणा अंतर और दोहराए संपर्क की दर।

प्रति-पैटर्न और जाल

  • रेलिंग के बिना लक्ष्य। अकेला लक्ष्य किसी भी उपलब्ध रास्ते से पूरा हो जाता है। लक्ष्य की घोषणा से पहले जोड़ी गई माप जोड़ें।
  • लोगों या टीमों की लीग तालिकाएँ। वे हेरफेर को न्योता देती हैं और टीमों के बीच मदद को हतोत्साहित करती हैं। हर टीम को उसकी अपनी प्रवृत्ति संदर्भ सहित दिखाएँ।
  • सज़ा के रूप में मेट्रिक्स। दोष लाने वाली लाल संख्या छिपाने से हरी हो जाएगी। इसकी बजाय पूछें कि टीम को क्या चाहिए।
  • असमान डेटा के औसत। वे उस पूँछ को छिपाते हैं जहाँ उपयोगकर्ता कष्ट पाते हैं। पर्सेंटाइल और सबसे पुरानी मद की आयु उपयोग करें।
  • परिभाषाओं को चुपचाप बदलना। प्रवृत्ति रेखाएँ अर्थहीन हो जाती हैं। हर बदलाव को उसके कारण के साथ लॉग करें और चार्ट पर चिह्नित करें।
  • रेलिंग को नया लक्ष्य मानना। तब रेलिंग में हेरफेर हो जाता है। दोनों की साथ समीक्षा करें और जब रेलिंग असर खो दें तो उन्हें बदलें।
  • दिखावटी मेट्रिक्स। केवल बढ़ने वाली गिनतियाँ, जैसे संभाले गए टिकट या किए गए कमिट, परिणामों के बारे में कुछ नहीं बतातीं। ऐसे माप पसंद करें जो गिर भी सकें और बढ़ भी सकें।
  • गुणात्मक प्रमाण की अनदेखी। अकेली संख्याएँ नहीं दिखा सकतीं कि बंद टिकट अनसुलझा लगा। टिप्पणियाँ पढ़ें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वय
परिभाषाएँ और घड़ियाँ अनौपचारिक; हर व्यक्ति अलग गिनता है कुछ मेट्रिक्स के लिए लिखित हर मेट्रिक की एक लिखित परिभाषा, घड़ियों और अपवादों सहित परिभाषाओं की समीक्षा और कारण सहित लॉग किए बदलाव टीमों और आपूर्तिकर्ताओं में संरेखित परिभाषाएँ, निर्णयों को जानकारी देना बंद करने पर संशोधित
रेलिंग कोई नहीं कुछ मेट्रिक्स के लिए नामित हर रिपोर्ट की गई मेट्रिक की रेलिंग उसी पृष्ठ पर हर तिमाही रेलिंग में हेरफेर की समीक्षा रेलिंग बदलती रहती हैं और मापे जा रहे लोगों के साथ सह-डिज़ाइन होती हैं
उपयोग और सुरक्षा संख्याएँ दोष देने के लिए टीम अपनी संख्याएँ देखती है टीम पहले डेटा देखती है; कोई व्यक्तिगत रैंकिंग नहीं नेतृत्व सीखने वाले प्रश्न पूछता है; रिपोर्टिंग सुरक्षित है ग्राहक और आपूर्तिकर्ता संख्याओं का स्पष्ट दृश्य साझा करते हैं

चेकलिस्ट

  • हर रिपोर्ट की गई मेट्रिक का एक लिखित प्रश्न और वह निर्णय है जिसे वह जानकारी देती है।
  • हर समय-माप का लिखित आरंभ, समाप्ति और ठहराव नियम है।
  • हर रिपोर्ट की गई मेट्रिक की एक नामित रेलिंग उसके बगल में दिखाई गई है।
  • समय-माप पर्सेंटाइल और सबसे पुरानी खुली मद की आयु दिखाते हैं।
  • स्वामी, परिभाषा, हेरफेर का तरीका, रेलिंग और समीक्षा तिथि के साथ मेट्रिक रजिस्टर मौजूद है।
  • टीम नेतृत्व से पहले अपना डेटा देखती है।
  • कोई व्यक्तिगत रैंकिंग, वेतन या अनुशासन किसी मेट्रिक से जुड़ा नहीं है।
  • तिमाही हेरफेर समीक्षा कैलेंडर में है।
  • हर तिमाही ईमानदारी के लिए बंद मदों के नमूने को पढ़ा जाता है।
  • पिछले वर्ष में कम से कम एक मेट्रिक सेवानिवृत्त या पुनर्डिज़ाइन की गई है।

AI प्रॉम्प्ट

किसी मेट्रिक पर हेरफेर की समीक्षा चलाएँ।

मैं [टीम का नाम] का नेतृत्व करता/करती हूँ, जो [सेवा या डिलीवरी कार्य का प्रकार] चलाती है।
हम यह मेट्रिक रिपोर्ट करते हैं: [मेट्रिक का नाम], जिसकी परिभाषा [घड़ी कहाँ शुरू और बंद
होती है सहित परिभाषा] है। इसका उपयोग [दर्शक] द्वारा [निर्णय या लक्ष्य] के लिए होता है।
हमारा डेटा [उपकरण] से आता है।

उन यथार्थवादी तरीकों की सूची बनाएँ जिनसे इस मेट्रिक को उपयोगकर्ताओं के लिए सेवा
सुधारे बिना बेहतर दिखाया जा सकता है। हर एक के लिए ऐसी रेलिंग मेट्रिक या अभ्यास
सुझाएँ जो उसे उजागर करे, और बताएँ कि रेलिंग के अपने हेरफेर का तरीका क्या होगा।
बेंचमार्क मान न गढ़ें। अपनी मान्यताएँ और जो कुछ मैंने दिया उससे आप तय नहीं कर सके,
सूचीबद्ध करें।

मेट्रिक रजिस्टर प्रविष्टि का मसौदा बनाएँ।

[टीम का नाम] के लिए [मेट्रिक का नाम] की मेट्रिक रजिस्टर प्रविष्टि का मसौदा बनाएँ।
क्षेत्र: वह प्रश्न जिसका वह उत्तर देती है, वह निर्णय जिसे वह जानकारी देती है, परिभाषा,
सूत्र, इकाई, डेटा स्रोत, स्वामी की भूमिका, समीक्षा की लय, हेरफेर का तरीका, रेलिंग,
और उपयोगकर्ताओं या ग्राहकों को कैसे पता चलेगा कि वह गलत है। प्रविष्टि केवल इस
विवरण पर आधारित करें: [मेट्रिक और वर्तमान प्रक्रिया का वर्णन करें]। जिस भी क्षेत्र को
आपको मानना पड़ा उसे चिह्नित करें, और प्रविष्टि पूरी करने के लिए मुझे किन प्रश्नों के
उत्तर देने चाहिए, सूचीबद्ध करें।

बंद टिकटों के नमूने का ऑडिट करें।

यहाँ [सेवा] के [संख्या] बंद टिकट हैं, क्षेत्र [क्षेत्रों की सूची] के साथ, और समाधान
नोट नीचे चिपकाए गए हैं। हर एक की समीक्षा करें और देखें कि क्या टिकट समस्या सुलझे
बिना बंद किया गया, क्या घड़ी रोकने के लिए ठहराव स्थिति का उपयोग हुआ, या प्राथमिकता
या श्रेणी में समायोजन दिखता है। पैटर्न रिपोर्ट करें, व्यक्तियों को नहीं। पाठ से अपुष्ट
कारणों का अनुमान न लगाएँ। बताएँ कि आप डेटा से क्या तय नहीं कर सके और कौन-से
अतिरिक्त क्षेत्र मदद करेंगे।

[टिकट चिपकाएँ, व्यक्तिगत डेटा हटाकर]

मेट्रिक को सुरक्षित रूप से लाने की योजना बनाएँ।

हम [दर्शक] के सामने [मेट्रिक] लाने की योजना बनाते हैं। वर्तमान संदर्भ: [टीम का आकार,
संस्कृति, मेट्रिक्स के साथ पिछला अनुभव]। एक रोलआउट योजना प्रस्तावित करें जिसमें हो कि
डेटा पहले कौन देखेगा, हम उद्देश्य कैसे समझाएँगे, हम इसका उपयोग किसके लिए नहीं करेंगे,
इसके साथ कौन-सी रेलिंग दिखाएँगे, और हम कब समीक्षा करेंगे कि यह काम कर रही है या
नहीं। हेरफेर या भय के जोखिमों को चिह्नित करें और उन्हें घटाने के सुझाव दें। अपनी
मान्यताएँ सूचीबद्ध करें और आँकड़े न गढ़ें।

AI कौशल

मुख्य निष्कर्ष

  • जो माप लक्ष्य बन जाता है वह काम का वर्णन करना बंद कर देता है, इसलिए संख्याओं का उपयोग प्रश्न पूछने के लिए करें।
  • हेरफेर दबाव और भय की सामान्य प्रतिक्रिया है, और वह निगरानी से नहीं, परिस्थितियाँ बदलने से घटता है।
  • हर मेट्रिक को घड़ियों सहित लिखित परिभाषा और उसके बगल में दिखाई गई रेलिंग चाहिए।
  • औसत की बजाय पर्सेंटाइल और सबसे पुरानी मद की आयु पसंद करें।
  • टीमों और सेवाओं का वर्णन करें, व्यक्तियों को कभी रैंक न करें, और टीम को पहले अपना डेटा देखने दें।
  • हर तिमाही हेरफेर की समीक्षा करें और जो मेट्रिक्स अब निर्णयों को जानकारी नहीं देतीं उन्हें सेवानिवृत्त करें।

संदर्भ और आगे पढ़ें

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Cobra effect.
  11. Wikipedia, Perverse incentive.
  12. Wikipedia, Surrogation.
  13. Wikipedia, ITIL.
  14. Wikipedia, Key performance indicator.
  15. Wikipedia, Psychological safety.
  16. Wikipedia, Velocity (software development).

एजाइल ITIL मेट्रिक्स — एजाइल आईटी सेवाओं को मापें, काम को बिगाड़े बिना।

स्रोत और योगदान: github.com/agile-itil-metrics. इनसे बनाया गया Lily Design System™.

नेतृत्व Joel Parker Henderson.