निगरानी और अलर्ट गुणवत्ता मेट्रिक्स
अलर्ट किसी व्यक्ति के ध्यान का अनुरोध है, इसलिए निगरानी को इस आधार पर मापें कि वह अनुरोध कितनी बार करने लायक था, उसने वास्तविक परेशानी का कितना हिस्सा पकड़ा, और उसकी कितनी नींद और भरोसे की कीमत चुकानी पड़ी।
सारांश और प्रेरणा
निगरानी प्रणाली के बारे में वास्तविक-समय डेटा का संग्रह, प्रसंस्करण और प्रदर्शन है। प्रणाली निगरानी इस प्रश्न का उत्तर देती है "क्या सेवा वैसे काम कर रही है जैसे उपयोगकर्ताओं को चाहिए?" अलर्ट वह बिंदु है जहाँ वह डेटा मानव से कुछ करने को कहता है। अधिकांश टीमें पहली गतिविधि को खराब ढंग से या बिल्कुल नहीं मापतीं, और दूसरी को केवल शिकायतों के ज़रिए। यह विषय दोनों के लिए मापों का छोटा समूह देता है: क्या निगरानी वे विफलताएँ देखती है जो मायने रखती हैं, और क्या उसके उठाए अलर्ट उस ध्यान के हक़दार हैं जो वे माँगते हैं।
पहले कुछ शब्द। ITIL 4 की शब्दावली में घटना (इवेंट) ऐसी स्थिति का बदलाव है जो सेवा प्रबंधन के लिए महत्व रखता है, और इवेंट प्रबंधन घटनाओं को पहचानने, तय करने कि कौन-सी मायने रखती हैं, और प्रतिक्रिया चुनने का अभ्यास है। अलर्ट मानव को सूचना है, पेज, संदेश या टिकट के रूप में दी गई। पेज वह अलर्ट है जो किसी को तुरंत बाधित करता है। झूठा सकारात्मक वह अलर्ट है जो तब बजा जब किसी ध्यान की ज़रूरत नहीं थी, और झूठा नकारात्मक वह विफलता है जिसकी किसी अलर्ट ने रिपोर्ट नहीं की; दोनों शब्द झूठे सकारात्मक और झूठे नकारात्मक की भाषा से आते हैं। कार्रवाई-योग्य अलर्ट वह है जिसमें व्यक्ति के पास करने की उपयोगी कार्रवाई थी, और उसने की या दर्ज कारण से जान-बूझकर नहीं की।
निगरानी के दोनों पक्ष एक-दूसरे के विरुद्ध खिंचते हैं। हर घटना के बाद अलर्ट जोड़ना शोर की दीवार बनाता है; उसे शांत करने के लिए घटाना उस विफलता के दौरान खामोशी का जोखिम लेता है जो मायने रखती है। प्रिसिज़न और रिकॉल की भाषा अच्छी बैठती है। प्रिसिज़न पूछता है कि उठाए अलर्ट का कितना हिस्सा उठाने लायक था। रिकॉल पूछता है कि वास्तविक समस्याओं का कितना हिस्सा अलर्ट ने पकड़ा। अलर्ट गुणवत्ता दोनों के बीच का संतुलन है, और जो माप केवल एक को देखता है वह टीम को दूसरे का बलिदान करने को न्योता देता है। सिग्नल-टू-नॉइज़ अनुपात वही तनाव पकड़ता है।
मानवीय लागत इसका कारण है कि यह सेवा मेट्रिक्स की पुस्तक में आता है। अलार्म थकान उन लोगों की अच्छी तरह प्रलेखित प्रवृत्ति है जो कई अलार्मों के संपर्क में हैं, जिनमें अधिकांश महत्वहीन हैं, कि वे असंवेदनशील हो जाएँ और जो मायने रखते हैं उन पर धीमे प्रतिक्रिया दें। इसका अध्ययन पहले नैदानिक परिवेश में हुआ और यह किसी भी ऑन-कॉल रोटेशन पर लागू होता है जिसे ऐसे अलर्ट बहुत बार पेज करते हैं जो कहीं नहीं ले जाते। थके हुए उत्तरदाता वास्तविक घटनाएँ चूकते हैं और अंततः रोटेशन छोड़ देते हैं।
जिन दो परंपराओं को यह पुस्तक जोड़ती है उनमें दृष्टिकोण भिन्न हैं। ITIL 4 इस कार्य को निगरानी और इवेंट प्रबंधन अभ्यास में रखता है, घटना प्रबंधन और सेवा स्तर प्रबंधन से कड़ियों के साथ। उसकी चिंता है कि घटनाएँ पहचानी, वर्गीकृत और भेजी जाएँ ताकि घटनाएँ जल्दी मिलें और सुसंगत रूप से सँभाली जाएँ। साइट विश्वसनीयता इंजीनियरिंग (SRE) दूसरे सिरे से आती है: Google की Site Reliability Engineering पुस्तक तर्क देती है कि पेज तत्काल, महत्वपूर्ण, कार्रवाई-योग्य और वास्तविक होने चाहिए, और बाकी सब टिकट या डैशबोर्ड का है। एजाइल टीमें इसे कार्य समझौते के रूप में मिलती हैं: किसे जगाया जाए, किसलिए, और गलत अलर्ट कौन ठीक करे। नीचे के माप तीनों से उधार लेते हैं और एक नियम रखते हैं: मेट्रिक रोटेशन, सेवा या अलर्ट नियम का वर्णन करती है, व्यक्ति का कभी नहीं।
यह विषय अपने पड़ोसियों को नहीं दोहराता। घटना समय विषय 3.3, घटना प्रतिक्रिया और समाधान समय के हैं, सबसे बुरी घटनाएँ विषय 3.4, बड़ी घटना मेट्रिक्स की, उद्देश्य और त्रुटि बजट विषय 5.2, SLI, SLO और त्रुटि बजट के, और मानवीय भार विषय 5.7, टॉइल और ऑन-कॉल मेट्रिक्स का। यहाँ विषय उस संकेत की गुणवत्ता है जो उन सबको शुरू करता है। इंस्ट्रूमेंटेशन विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन में है।
मुख्य सिद्धांत
- उन लक्षणों पर पेज करें जिन्हें उपयोगकर्ता महसूस करते हैं; बाकी के लिए टिकट या डैशबोर्ड। उपयोगकर्ता जो अनुभव करते हैं (त्रुटियाँ, धीमापन, अनुपलब्धता) उस पर अलर्ट प्रणाली के बदलने पर भी उपयोगी रहता है। कारण (भरी डिस्क, व्यस्त CPU) पर अलर्ट तभी उपयोगी है जब वह लक्षण की भविष्यवाणी करे और व्यक्ति उसके आने से पहले कार्रवाई कर सके।
- हर अलर्ट को कार्रवाई तक ले जाना चाहिए। यदि अलर्ट का सही उत्तर कुछ न करना है, तो अलर्ट बदला जाए, टिकट में घटाया जाए, या हटाया जाए। कार्रवाई तक ले जाने वालों का हिस्सा मापें, और बाकी को निगरानी की खामी मानें।
- प्रिसिज़न और रिकॉल दोनों मापें। केवल शोर गिनना खामोशी को पुरस्कृत करता है, और केवल कवरेज गिनना मात्रा को। दोनों मिलकर गुणवत्ता का वर्णन करते हैं, और हर एक दूसरे के लिए रेलिंग का कार्य करता है।
- हर अलर्ट नियम को स्वामी वाला उत्पाद मानें। नियम का उद्देश्य, सीमा, रनबुक और समीक्षा तारीख है। बिना स्वामी के नियम जमा होते हैं, और उनके पैदा किए शोर का कोई स्वामी नहीं।
- रोटेशन और सेवाओं की रिपोर्ट करें, लोगों की कभी नहीं। अलर्ट भार इसका गुण है कि प्रणाली और रोटेशन कैसे डिज़ाइन हुए। व्यक्तियों के नाम लेना डिज़ाइन समस्या को दोष समस्या बनाता है और वास्तविक सुधार छिपाता है।
मेट्रिक परिभाषाएँ
नीचे के मेट्रिक्स समूह के रूप में चुने हैं। अकेली मात्रा अर्थहीन है, कार्रवाई-योग्यता बताती है कि मात्रा समस्या है या नहीं, और कवरेज व पहचान का समय बताते हैं कि खामोशी क्या छिपा रही है। सभी प्रति सेवा या प्रति रोटेशन गणना होते हैं, और सभी निगरानी और पेजिंग उपकरणों के अलर्ट रिकॉर्ड का घटना और टिकट रिकॉर्डों से जुड़ा उपयोग करते हैं।
| मेट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL अभ्यास | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| अलर्ट मात्रा | अलर्टों की संख्या जिन्होंने मानव को सूचित किया, पेज और टिकट में बाँटी | अवधि में रोटेशन या कतार को दी अलग-अलग सूचनाओं की गिनती; उसी खुले अलर्ट की पुनरावृत्तियाँ एक में समूहित; जिन अलर्ट को पूरी तरह स्वचालन ने सँभाला और जिनमें कोई मानव सूचना नहीं गई वे बाहर; प्रति रोटेशन प्रति सप्ताह रिपोर्ट करें, और कार्य समय के बाहर का हिस्सा अलग | अलर्ट प्रति रोटेशन-सप्ताह | पेजिंग और अलर्ट-रूटिंग उपकरण | निगरानी और इवेंट प्रबंधन | ऑन-कॉल पर टीम कार्य समझौता | साप्ताहिक |
| कार्रवाई-योग्य अलर्ट दर | अलर्टों का हिस्सा जिनके बाद व्यक्ति ने उपयोगी कार्रवाई की | दर्ज कार्रवाई (सुधार, शमन, एस्केलेशन, या अलर्ट नियम में बदलाव) वाले अलर्ट / अवधि में समीक्षित अलर्ट; जो अलर्ट किसी पावती से पहले अपने आप हल हो गए वे कार्रवाई-योग्य नहीं गिने जाते; असमीक्षित अलर्ट अलग गिनती के रूप में रिपोर्ट होते हैं, छोड़े नहीं जाते | प्रतिशत | समीक्षा लेबल, टिकट, या घटना से जुड़ा अलर्ट रिकॉर्ड | निगरानी और इवेंट प्रबंधन; घटना प्रबंधन | संचालन पर टीम सुधार कार्रवाई | साप्ताहिक समीक्षा, मासिक रुझान |
| झूठा सकारात्मक दर | अलर्टों का हिस्सा जो तब बजे जब कोई समस्या नहीं थी | समीक्षा में झूठा सकारात्मक लेबल किए अलर्ट / अवधि में समीक्षित अलर्ट; "झूठा सकारात्मक" का अर्थ है कि स्थिति खराबी नहीं थी और कोई बताया जाना नहीं चाहेगा; ऐसी वास्तविक समस्या जो कार्रवाई के लिए बहुत छोटी है वह झूठा सकारात्मक नहीं | प्रतिशत | अलर्ट समीक्षा लेबल | निगरानी और इवेंट प्रबंधन | रेट्रोस्पेक्टिव शोर समीक्षा | मासिक |
| पहचान कवरेज | दायरे की सेवाओं का हिस्सा जिनके पास उपयोगकर्ता-सामने लक्षण पर कम से कम एक परखा अलर्ट है | वे सेवाएँ जिनके लक्षण अलर्ट को पिछले 12 महीनों में परीक्षण या वास्तविक घटना ने परखा / सेवा कैटलॉग दायरे की सेवाएँ; दायरे की सेवाओं की सूची अवधि की शुरुआत पर निश्चित की जाती है | प्रतिशत | सेवा कैटलॉग, अलर्ट नियम सूची, परीक्षण रिकॉर्ड | सेवा कॉन्फ़िगरेशन प्रबंधन; निगरानी और इवेंट प्रबंधन | नई सेवा के लिए पूर्णता की परिभाषा | तिमाही |
| निगरानी-पहचाना हिस्सा | घटनाओं का हिस्सा जिन्हें निगरानी ने किसी उपयोगकर्ता या सहकर्मी के रिपोर्ट करने से पहले पहचाना | वे घटनाएँ जिनका पहला संकेत अलर्ट था / अवधि की घटनाएँ; घड़ी घटना खुलने का समय है, और जिन घटनाओं का कोई पहला संकेत दर्ज नहीं वे अज्ञात रिपोर्ट होती हैं, पहचानी हुई के रूप में नहीं | प्रतिशत | पहले-संकेत फ़ील्ड वाला घटना रिकॉर्ड, अलर्ट समयरेखा | घटना प्रबंधन | घटना समीक्षा (घटना-पश्चात सीखना) | मासिक |
| पहचान का समय (TTD) | उपयोगकर्ता प्रभाव के आरंभ और पहले अलर्ट के बीच बीता समय जिसने मानव को सूचित किया | पहले मानव-सूचक अलर्ट का समय घटा प्रभाव आरंभ समय, जहाँ प्रभाव आरंभ वह सबसे पहला समय है जब सेवा स्तर संकेतक टूटा, जैसा घटना समीक्षा में स्थापित; माध्यिका और 95वाँ पर्सेंटाइल रिपोर्ट करें; बिना अलर्ट की घटनाएँ बाहर और अलग गिनी जाती हैं | मिनट | घटना समीक्षा, अलर्ट समयरेखा, सेवा स्तर संकेतक इतिहास | घटना प्रबंधन; निगरानी और इवेंट प्रबंधन | घटना-पश्चात समीक्षा | मासिक, प्रति घटना |
| अलर्ट सांद्रता | अलर्ट मात्रा का हिस्सा जो सबसे शोर वाले कुछ अलर्ट नियमों से पैदा हुआ | सबसे अधिक अलर्ट वाले पाँच नियमों के अलर्ट / अवधि के सभी अलर्ट; वही अलर्ट एक बार समूहित; पाँच की नियम संख्या परिपाटी है जिसे टीम कारण बताकर बदल सकती है | प्रतिशत | अलर्ट नियम सूची और पेजिंग रिकॉर्ड | सतत सुधार; निगरानी और इवेंट प्रबंधन | रेट्रोस्पेक्टिव सुधार बैकलॉग | मासिक |
| अलर्ट नियम वर्तमानता | पेजिंग नियमों का हिस्सा जिनका स्वामी, रनबुक कड़ी, और सहमत अंतराल में समीक्षा है | तीनों शर्तें पूरी करने वाले पेजिंग नियम / सभी पेजिंग नियम; अवधि में निष्क्रिय किए नियम बाहर | प्रतिशत | अलर्ट नियम सूची | ज्ञान प्रबंधन; निगरानी और इवेंट प्रबंधन | परिचालन तैयारी पर कार्य समझौता | तिमाही |
अलर्ट मात्रा को संदर्भ चाहिए, इसलिए उसे कार्रवाई-योग्य अलर्ट दर के बगल में पढ़ें। पहचान का समय उपयोगकर्ता प्रभाव का आरंभ उपयोग करता है, टिकट नहीं, क्योंकि टिकट घड़ी पहचान के बाद शुरू होती है; प्रभाव आरंभ घटना समीक्षा से अनुमान है और उसे वैसा ही लेबल किया जाना चाहिए। झूठा सकारात्मक दर और कार्रवाई-योग्य अलर्ट दर पूरक नहीं हैं, क्योंकि अलर्ट सच्चा होकर भी व्यक्ति के समय के लायक नहीं हो सकता।
सिफ़ारिशें
तय करें कि क्या पेज का हक़दार है
1. पेजिंग नीति लिखें और उसे छोटा रखें। एक अनुच्छेद में बताएँ कि पेज क्या कमाता है (ऐसा लक्षण जिसे उपयोगकर्ता अभी महसूस करते हैं या जल्द महसूस करेंगे, और जिस पर व्यक्ति कार्रवाई कर सकता है) और क्या नहीं। बाकी सब टिकट कतार या डैशबोर्ड में जाता है। वितरित प्रणालियों की निगरानी पर Google SRE पुस्तक का अध्याय अच्छा आरंभ बिंदु है (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)।
2. लक्षणों पर अलर्ट करें, और कारण निदान के लिए रखें। "त्रुटि दर सहमत सीमा से ऊपर" का पेज उपयोगकर्ताओं के बारे में पेज है। "CPU ऊँचा है" का पेज अंदाज़े के बारे में पेज है। कारण-स्तर के संकेत डैशबोर्डों पर रखें जहाँ उत्तरदाता लक्षण अलर्ट बजने के बाद देखेगा, और किसी को पेज तक तभी बढ़ाएँ जब वह कार्रवाई के लिए पर्याप्त चेतावनी के साथ लक्षण की भरोसेमंद भविष्यवाणी करे।
3. पेजिंग सीमाएँ सेवा स्तर उद्देश्य से जोड़ें। जहाँ सेवा का सेवा स्तर उद्देश्य (SLO) है, कच्ची सीमाओं की जगह उस दर पर अलर्ट करें जिस पर त्रुटि बजट खर्च हो रहा है। SLO पर अलर्टिंग का SRE Workbook अध्याय बर्न रेट अलर्ट और प्रिसिज़न, रिकॉल, पहचान समय और रीसेट समय के बीच समझौते वर्णित करता है। यह दृष्टिकोण उस पर पेज करता है जो उद्देश्य को खतरे में डालता है और उन संक्षिप्त झटकों के बारे में चुप रहता है जो नहीं डालते।
हर अलर्ट की लय पर समीक्षा करें
4. छोटी, नियमित समीक्षा में हर अलर्ट को लेबल करें। हर रोटेशन के लिए हर सप्ताह पंद्रह मिनट अलग रखें कि क्या बजा। हर अलर्ट के लिए एक लेबल दर्ज करें: कार्रवाई-योग्य, झूठा सकारात्मक, वास्तविक पर पेज के लायक नहीं, या डुप्लिकेट। लेबल कार्रवाई-योग्य अलर्ट दर और झूठा सकारात्मक दर का डेटा हैं, और समीक्षा वह जगह है जहाँ शोर वाले नियम अगली तिमाही नहीं, अगले दिन ठीक होते हैं।
5. समीक्षा से बदलाव निकलवाएँ। हर सप्ताह कम से कम एक नियम ट्यून, घटाने, मिलाने या हटाने के लिए चुनें, और बदलाव को टीम के बैकलॉग में सामान्य कार्य के रूप में दर्ज करें।
6. बिना भय के हटाएँ। टीमें अलर्ट इसलिए रखती हैं कि हटाना जोखिम भरा लगता है और किसी को याद नहीं कि वह क्यों है। हर पेजिंग नियम को उद्देश्य और स्वामी रखने को कहें, और सहमत हों कि जो नियम बताई अवधि में कभी कार्रवाई तक नहीं ले गया उसे हटाया या घटाया जाए, बदलाव दर्ज करके ताकि उसे उलटा जा सके। नियम वर्तमानता मेट्रिक अनुशासन को दृश्य बनाती है।
मापें कि निगरानी क्या चूकती है
7. उन घटनाओं का हिस्सा ट्रैक करें जो उपयोगकर्ताओं ने पहले पाईं। हर घटना के बाद दर्ज करें कि उसे पहली बार कैसे नोटिस किया गया: अलर्ट, सहकर्मी, ग्राहक, सहायता टिकट, या नियमित जाँच। निगरानी द्वारा पाया हिस्सा रिकॉल के सबसे निकट का व्यावहारिक माप है। वह पूर्ण नहीं है, क्योंकि जिन घटनाओं को किसी ने नोटिस नहीं किया वे नमूने में कभी नहीं आतीं, इसलिए उसे अलर्ट के आवधिक परीक्षणों से जोड़ें।
8. पहचान का समय ईमानदारी से अनुमानित करें। उपयोगकर्ता प्रभाव का आरंभ घटना-पश्चात समीक्षा में सेवा स्तर संकेतक इतिहास से स्थापित करें, तब से नहीं जब किसी ने टिकट टाइप किया। माध्यिका और ऊँचा पर्सेंटाइल रिपोर्ट करें, और बिना किसी अलर्ट की घटनाएँ अलग गिनती के रूप में दिखाएँ। एकल औसत सामान्य मामला और बुरी पूँछ दोनों छिपाता है (देखें विषय 1.6, सेवा मेट्रिक्स के लिए सांख्यिकीय साक्षरता, और विषय 3.3, घटना प्रतिक्रिया और समाधान समय)।
9. जिन अलर्ट पर आप निर्भर हैं उन्हें परखें। पहचान कवरेज तभी विश्वसनीय है जब अलर्ट को काम करते देखा गया हो। गेम डे या रिलीज़ रिहर्सल में ऐसी जाँच शामिल करें जो जान-बूझकर लक्षण पैदा करे और पुष्टि करे कि सही अलर्ट बजता है, सही रोटेशन तक पहुँचता है, और उपयोगी रनबुक से जुड़ता है। जिस अलर्ट का कभी अभ्यास नहीं हुआ वह आशा है, नियंत्रण नहीं (देखें विषय 5.6, सेवा निरंतरता मेट्रिक्स)।
संकेत का रास्ता स्वस्थ रखें
10. निगरानी की निगरानी करें। निगरानी प्रणाली की मौन विफलता ठीक स्वस्थ सेवा जैसी दिखती है। हार्टबीट जाँच जोड़ें जो अलर्ट पाइपलाइन के डिलीवर करना बंद करने पर पेज करे, और दर्ज करें कि पाइपलाइन स्वयं कितनी बार विफल होती है।
11. गिनने से पहले समूहित करें, डुप्लिकेट हटाएँ और जोड़ें। संबंधित अलर्ट एक में समूहित करें, पहले से खुले अलर्ट की पुनरावृत्तियाँ दबाएँ, और हर एक को स्वामी रोटेशन तक भेजें। हर अलर्ट को उसके रनबुक और उस घटना या टिकट से जोड़ें जो उसने बनाया, क्योंकि वही जोड़ आपको हाथ की गिनती के बिना कार्रवाई-योग्य अलर्ट दर और निगरानी-पहचाना हिस्सा गणना करने देता है (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।
हेरफेर के तरीके और रेलिंग
| मेट्रिक | हेरफेर कैसे होता है | जोड़ी गई रेलिंग मेट्रिक या अभ्यास |
|---|---|---|
| अलर्ट मात्रा | सीमाएँ बढ़ाना, लंबे विलंब जोड़ना, या अलर्ट को पेज से मौन कतार में खिसकाना ताकि समस्याएँ अनदेखी रहते गिनती गिरे; गिनती बदलने के लिए अलर्ट बाँटना या मिलाना | निगरानी-पहचाना हिस्सा और पहचान का समय; नियम कि हर घटाना कारण सहित दर्ज हो और एक तिमाही बाद समीक्षित हो |
| कार्रवाई-योग्य अलर्ट दर | तथ्य के बाद अलर्ट को कार्रवाई-योग्य लेबल करना, या योग्य होने के लिए तुच्छ कार्रवाई (टिप्पणी, पावती) करना; शोर वाले अलर्ट असमीक्षित छोड़ना ताकि वे भाजक में न आएँ | दर के बगल में दिखाई असमीक्षित अलर्ट की गिनती; रोटेशन के बाहर के किसी द्वारा नमूना जाँच; "उपयोगी कार्रवाई" की लिखी परिभाषा |
| झूठा सकारात्मक दर | झूठे सकारात्मक को संकरा परिभाषित करना ताकि "वास्तविक पर निरर्थक" अलर्ट सच्चे गिने जाएँ; बिना लेबल के शोर वाले अलर्ट बंद करना | कार्रवाई-योग्य अलर्ट दर और "वास्तविक पर पेज के लायक नहीं" लेबल अलग ट्रैक; बंद अलर्टों का आवधिक नमूना |
| पहचान कवरेज | कवरेज का दावा करने के लिए हर सेवा में तुच्छ अलर्ट (पिंग) जोड़ना; ऐसे अलर्ट गिनना जो कभी परखे नहीं गए | आवश्यकता कि अलर्ट उपयोगकर्ता-सामने लक्षण देखे और पिछले 12 महीनों में अभ्यास किया गया हो; निगरानी-पहचाना हिस्सा |
| निगरानी-पहचाना हिस्सा | हर घटना को "निगरानी द्वारा पहचानी" दर्ज करना भले उपयोगकर्ता ने पहले रिपोर्ट की हो; तथ्य के बाद अलर्ट बनाकर उसका हवाला देना; बुरी संख्या से बचने के लिए पहला-संकेत फ़ील्ड खाली छोड़ना | हिस्से के बगल में दिखाई अज्ञात गिनती; पहले-संकेत का प्रमाण स्मृति से नहीं, अलर्ट समयरेखा से; सहायता रिकॉर्ड से जुड़ी ग्राहक-रिपोर्टेड घटनाएँ |
| पहचान का समय (TTD) | प्रभाव आरंभ को वास्तविक से देर से घोषित करना; बिना अलर्ट की घटनाएँ बाहर रखना; पूँछ छिपाने के लिए माध्य रिपोर्ट करना | सेवा स्तर संकेतक इतिहास से लिया प्रभाव आरंभ; बिना-अलर्ट घटनाएँ गिनी और दिखाई; माध्यिका और 95वाँ पर्सेंटाइल साथ रिपोर्ट |
| अलर्ट सांद्रता | एक शोर वाले नियम को कई में बाँटना ताकि कोई शीर्ष पाँच में न रहे; नियमों का नाम बदलना | नियम के साथ अंतर्निहित खराबी या सेवा के अनुसार भी सांद्रता रिपोर्ट करें; बगल में कुल मात्रा और कार्रवाई-योग्य अलर्ट दर ट्रैक करें |
| अलर्ट नियम वर्तमानता | शर्त पूरी करने के लिए प्लेसहोल्डर स्वामी, खाली रनबुक कड़ियाँ, या रबर स्टैंप समीक्षा जोड़ना | जाँच कि रनबुक कड़ी हल होती है और वास्तविक प्रतिक्रिया में उपयोग हुई; गेम डे में रनबुक परखने का अभ्यास |
स्वस्थ पठन कई चीज़ें साथ दिखाता है। प्रति रोटेशन अलर्ट मात्रा स्थिर या गिरती है और टीम के चुने टिकाऊ स्तर के भीतर है। नियोजित शोर वाले नियमों के ट्यून होने के साथ कई महीनों में कार्रवाई-योग्य अलर्ट दर बढ़ती है। निगरानी-पहचाना हिस्सा ऊँचा है और पहचान का समय छोटा है और मात्रा गिरने पर लंबा नहीं हो रहा, जो सिद्ध करता है कि शांति कमाई गई थी, खरीदी नहीं। पहचान कवरेज इसलिए बढ़ता है कि सेवाएँ परखी जाती हैं, इसलिए नहीं कि तुच्छ अलर्ट जोड़े गए। यदि मात्रा गिरती है जबकि पहचान हिस्सा या पहचान का समय बिगड़ता है, तो टीम ने रिकॉल देकर शांति खरीदी है, और रेलिंग वही हैं जो इसे उजागर करती हैं।
समझौते: लाभ और हानि
| दृष्टिकोण | लाभ | हानि |
|---|---|---|
| कुछ, लक्षण-आधारित पेज | शांत रातें, हर पेज में ऊँचा भरोसा, वर्तमान रखना आसान | धीरे बनती समस्याओं की देर से पहचान का जोखिम; बाकी के लिए अच्छी टिकट और डैशबोर्ड आदतें चाहिए |
| कई संवेदनशील अलर्ट | कारण-स्तर की परेशानी की शुरुआती चेतावनी; कम छूटी घटनाएँ | अलार्म थकान, धीमी पावती, और ऑन-कॉल रोटेशन से छोड़कर जाना |
| SLO बर्न रेट अलर्ट | पेज उससे जुड़े जो उद्देश्य को खतरे में डालता है; कम झटके | अच्छे संकेतक और सहमत उद्देश्य चाहिए; पहचान समय और प्रिसिज़न संतुलित करने में ट्यूनिंग लगती है |
| साप्ताहिक अलर्ट समीक्षा | तेज़ प्रतिक्रिया; शोर वाले नियम जल्दी ठीक | हर सप्ताह समय लेती है; कोई बदलाव न आए तो नाटक बन जाती है |
| मानवों द्वारा लेबलिंग | वह विवेक पकड़ती है जो कोई उपकरण नहीं रखता | व्यक्तिपरक; परिभाषाएँ लिखी न हों तो समीक्षकों और रोटेशनों में लेबल भटकते हैं |
| स्वचालित दमन और समूहन | पैमाने पर शोर काटता है; दोहराए पेज घटाता है | नियम गलत हों तो वास्तविक संकेत छिपा सकता है; अपनी निगरानी और समीक्षा चाहिए |
हर चुनाव प्रिसिज़न को रिकॉल के विरुद्ध समझौते में बदलता है, और वह समझौता जान-बूझकर किया और प्रति सेवा लिखा जाना चाहिए, क्योंकि वही संदर्भ किसी को संख्याएँ निष्पक्ष पढ़ने देता है। जिस सेवा में छूटी विफलता के गंभीर परिणाम हैं वह जल्दी चेतावनी के लिए कम कार्रवाई-योग्य दर स्वीकार कर सकती है, ऐसी ट्राइएज परत के साथ जो रात में अतिरिक्त अलर्ट टिकट कतार में भेजती है।
अपनी टीम के साथ चर्चा के प्रश्न
1. हम किसके लिए जागना चाहेंगे, और पिछले महीने के कौन-से पेज उस मानक पर खरे उतरे? पेजिंग नीति एक या दो वाक्यों में लिखें, फिर पिछले महीने के पेज लें और हर एक को उसके विरुद्ध परखें। अभ्यास उस प्रतिशत से अधिक मूल्यवान है जो वह देता है, क्योंकि असहमतियाँ दिखाती हैं कि टीम की अपेक्षाएँ कहाँ भिन्न हैं। अनावश्यक पेज घटाने के उम्मीदवार के रूप में पकड़ें।
2. यदि सबसे शोर वाला अलर्ट नियम कल गायब हो जाए, तो हम क्या खोएँगे? मात्रा के अनुसार शीर्ष पाँच नियमों में से हर एक के लिए प्रश्न पूछें। अक्सर कोई ऐसी विशिष्ट विफलता का नाम नहीं ले सकता जो नियम ने कभी पकड़ी, और यही संकेत है कि उसे ट्यून या हटाया जा सकता है। जहाँ कोई ले सकता है, पूछें कि क्या वही विफलता लक्षण अलर्ट को भी ट्रिगर करेगी।
3. हम कैसे पता लगाते हैं कि निगरानी ने क्या चूका? पिछली कुछ घटनाएँ देखें और पूछें कि सबसे पहले किसने नोटिस किया और उससे पहले प्रभाव कितनी देर चला। उत्तर आपको नए उपकरण के बिना निगरानी-पहचाना हिस्सा और मोटा पहचान का समय देता है। चर्चा करें कि कौन-सा संकेत हर एक को जल्दी पकड़ता।
4. क्या हमारा ऑन-कॉल भार टिकाऊ है, और हम कैसे जानेंगे? सहमत हों कि रोटेशन के लिए टिकाऊ का क्या अर्थ है, जैसे प्रति सप्ताह कार्य समय के बाहर पेज की सीमा, और रुझान की समीक्षा रोटेशन के अनुसार करें, व्यक्ति के अनुसार नहीं। यदि भार सहमत स्तर से ऊपर है, तो उसे सेवा की खामी मानें और उसे घटाने के लिए कार्य की योजना बनाएँ। मापों को विषय 5.7, टॉइल और ऑन-कॉल मेट्रिक्स के अनुरूप रखें।
5. हमारे कौन-से अलर्ट हमने कभी नहीं परखे, और उन्हें सुरक्षित रूप से कैसे परखें? उन सेवाओं को सूचीबद्ध करें जो एकल लक्षण अलर्ट पर निर्भर हैं और पूछें कि क्या किसी ने उसे वास्तविक घटना या रिहर्सल में बजते देखा है। एक परीक्षण की योजना बनाएँ और पूरे रास्ते की जाँच करें: पहचान, रूटिंग, सूचना, रनबुक। विचार करें कि क्या विफल होती अलर्ट पाइपलाइन दृश्य होगी।
6. यहाँ इन संख्याओं में हेरफेर कैसे हो सकता है, और हम क्या नोटिस करेंगे? टीम से ईमानदारी से वर्णन करने को कहें कि वे बिना कुछ सुधारे हर आँकड़े को बेहतर कैसे दिखा सकते हैं। फिर सहमत हों कि कौन-सी रेलिंग उसे दिखाएगी और उसे कौन देखता है। चालों के नाम पहले से लेना उन्हें कम आकर्षक बनाता है (देखें विषय 1.2, गुडहार्ट का नियम और मेट्रिक्स का मनोविज्ञान)।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
जो टीमें सेवा बनाती और चलाती हैं वे तय करती हैं कि वह अपने बारे में क्या रिपोर्ट करती है, इसलिए अलर्ट गुणवत्ता पूर्णता की परिभाषा से शुरू होती है। जो नई सुविधा अपने परखे संकेतक और अलर्ट के साथ शिप होती है वह पहली घटना के बाद जोड़ी निगरानी से बचती है। अलर्ट ट्यूनिंग को सामान्य बैकलॉग कार्य मानें।
सेवा और संचालन टीमें
संचालन टीमें पेजर उठाती हैं और कीमत पहले महसूस करती हैं, इसलिए वे समीक्षा लय, लेबलिंग और पाइपलाइन हार्टबीट की स्वामी हैं। जब अलर्ट गलत हो, तो सुधार नियम के स्वामी का है, पेज पाने वाले का नहीं।
नेतृत्व और शासन
नेता सेवा के अनुसार पहचान और कार्रवाई-योग्यता के आँकड़े माँग सकते हैं, ट्यूनिंग का समय वित्त पोषित कर सकते हैं, और अलर्ट मात्रा पर ऐसे लक्ष्य का विरोध कर सकते हैं जो खामोशी को पुरस्कृत करे। गिरती मात्रा अच्छी खबर तभी है जब पहचान हिस्सा और पहचान का समय स्थिर रहें। टिकाऊ ऑन-कॉल सीमाएँ स्टाफ़िंग और डिज़ाइन निर्णय हैं, प्रेरणात्मक नहीं।
ग्राहक और उपयोगकर्ता
ग्राहक अलर्ट कभी नहीं देखते; वे देखते हैं कि सेवा विफल हुई या नहीं और उसे ठीक करने में कितना समय लगा। अच्छी निगरानी उन घटनाओं के रूप में दिखती है जो उनके नोटिस करने से पहले ठीक हुईं, और उन मामलों में कमी जहाँ ग्राहक ने पहले रिपोर्ट किया। जहाँ संगठन अनुभव माप उपयोग करता है (देखें विषय 5.1, SLA, OLA और XLA मेट्रिक्स), उपयोगकर्ताओं द्वारा पहले रिपोर्ट की घटनाओं का हिस्सा अनुभव अंतर का सीधा संकेतक है।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक मध्यम आकार की ऑनलाइन रिटेलर ऑर्डरिंग प्लेटफ़ॉर्म चलाती है जिसमें चार उत्पाद टीमें और ऑन-कॉल रोटेशन को सहारा देने वाली एक प्लेटफ़ॉर्म टीम है। इस उदाहरण की सभी संख्याएँ उदाहरणार्थ संख्याएँ हैं। चार सप्ताहों में (उदाहरणार्थ) रोटेशन को 240 पेज मिले, जिनमें से 70 रात 22:00 और सुबह 07:00 के बीच। टीम हर पेज की चार लेबलों से समीक्षा करती है: कार्रवाई-योग्य, झूठा सकारात्मक, वास्तविक पर पेज के लायक नहीं, और डुप्लिकेट।
समीक्षा 31 प्रतिशत (उदाहरणार्थ) की कार्रवाई-योग्य अलर्ट दर और 22 प्रतिशत (उदाहरणार्थ) की झूठा सकारात्मक दर दिखाती है। पाँच नियमों ने 58 प्रतिशत (उदाहरणार्थ) पेज पैदा किए, और सबसे बड़ा बैच सर्वर पर डिस्क सीमा थी जो हमेशा अपने आप ठीक हो जाती थी। पिछली तिमाही का निगरानी-पहचाना हिस्सा 62 प्रतिशत (उदाहरणार्थ) था, और माध्यिका पहचान का समय 14 मिनट (उदाहरणार्थ) था, 95वें पर्सेंटाइल 51 मिनट (उदाहरणार्थ) के साथ।
टीम तीन शोर वाले नियमों को टिकट कतार में घटाती है, डुप्लिकेट मिलाती है ताकि एक खराबी एक पेज पैदा करे, चेकआउट पर कच्चे त्रुटि गिनती अलर्ट को त्रुटि बजट बर्न रेट अलर्ट से बदलती है (देखें विषय 5.2, SLI, SLO और त्रुटि बजट), और ऑर्डर पुष्टि ईमेल के लिए लक्षण अलर्ट जोड़ती है, जो दो ग्राहक-रिपोर्टेड घटनाओं के पीछे का अंतर था। हर बदलाव स्वामी वाला बैकलॉग मद है। चार सप्ताह बाद पेज 96 (उदाहरणार्थ) तक गिरते हैं और कार्रवाई-योग्य दर 64 प्रतिशत (उदाहरणार्थ) तक बढ़ती है, जबकि पहचान हिस्सा 71 प्रतिशत (उदाहरणार्थ) तक बढ़ता है और माध्यिका पहचान का समय 14 मिनट पर टिकता है। शांति कमाई हुई लगती है।
हेरफेर का जोखिम तीसरे महीने में उभरता है। एक नया प्रबंधक चार सप्ताहों में 60 से कम पेज का अनौपचारिक लक्ष्य रखता है, और एक रोटेशन चेकआउट त्रुटि अलर्ट पर विलंब लंबा करके उसे पूरा करता है। उसका पहचान हिस्सा 55 प्रतिशत (उदाहरणार्थ) तक गिरता है और 95वाँ पर्सेंटाइल पहचान का समय 80 मिनट (उदाहरणार्थ) तक चढ़ता है। क्योंकि रेलिंग मात्रा के बगल में बैठी हैं, समीक्षा इसे पकड़ लेती है। टीम मात्रा लक्ष्य वापस लेती है, अलर्ट बहाल करती है, और मामले को मेट्रिक रजिस्टर में दर्ज करती है (देखें विषय 1.4, मेट्रिक्स शासन और स्वामित्व)।
क्षेत्र के अनुसार दृष्टि
स्टार्टअप। मुट्ठी भर इंजीनियर सब ऑन-कॉल हों, तो प्राथमिकता छोटी पेजिंग नीति और उन रास्तों पर कुछ लक्षण अलर्ट है जो पैसा कमाते हैं। जो लोगों को जगाया उस पर सोमवार को दस मिनट की नज़र पर्याप्त है। मुख्य जोखिम बिल्कुल अलर्ट न होना है, ताकि ग्राहक ही निगरानी हों; गिनें कि ग्राहक ने कितनी बार आपको पहले बताया।
छोटा व्यवसाय। छोटे संगठन अक्सर आपूर्तिकर्ता की निगरानी पर निर्भर होते हैं। उपयोगी माप उन कुछ प्रणालियों के लिए पहचान कवरेज हैं जो व्यवसाय रोकती हैं और उपयोगकर्ताओं द्वारा पाई गई घटनाओं का हिस्सा। आपूर्तिकर्ताओं से वह अलर्ट डेटा माँगें जिसका आपका अनुबंध हक़दार है।
उद्यम। बड़े संगठनों के पास कई उपकरण और रोटेशन हैं, और हर टीम "कार्रवाई-योग्य" को अलग परिभाषित कर सकती है। परिभाषाएँ और लेबल मानकीकृत करें, टीम स्तर पर समीक्षा करें, और उपकरण के अनुसार नहीं, सेवा के अनुसार एकत्र करें। इवेंट सहसंबंध प्लेटफ़ॉर्म पैमाने पर मात्रा घटाते हैं पर उन्हें अपनी रिकॉल जाँचें चाहिए।
सरकार और सार्वजनिक क्षेत्र। कुछ सेवाएँ कार्यालय समय चलती हैं और अन्य, जैसे आपातकालीन या लाभ प्रणालियाँ, लगातार। पहचान कवरेज और परखे अलर्ट वहाँ सबसे अधिक मायने रखते हैं जहाँ विफलता के कानूनी या सुरक्षा परिणाम हैं, और परीक्षण रिकॉर्ड ऑडिट का समर्थन कर सकते हैं। कच्ची अलर्ट गिनतियों की नहीं, कवरेज और पहचान की रिपोर्ट निरीक्षण निकायों को दें, जिन्हें गलत पढ़ना आसान है (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
निवेश के कारण व्यावहारिक हैं। बेहतर पहचान उपयोगकर्ताओं के प्रभावित रहने का समय छोटा करती है। कम निरर्थक पेज नींद की रक्षा करते हैं, रोटेशन से छोड़कर जाना घटाते हैं, और ध्यान उन अलर्ट के लिए रखते हैं जो मायने रखते हैं। खराब अलर्ट गुणवत्ता की लागत देखना कठिन है क्योंकि वह बाधित नींद, धीमे उत्तरों और अनुभवी इंजीनियरों के जाने में फैली है।
इन मेट्रिक्स को इकट्ठा करने की लागत छोटी है यदि अलर्ट, पेजिंग और घटना उपकरण जोड़े जा सकते हैं, और मध्यम यदि लेबल हाथ से जोड़े जाते हैं। मुख्य लागतें हैं साप्ताहिक समीक्षा का समय, ट्यूनिंग और हटाने का कार्य, और कभी-कभार पहचान परीक्षण। अप्रयुक्त नियम छाँटना निगरानी लाइसेंस और भंडारण लागतें भी घटाता है, और स्वामित्व की कुल लागत में लोगों का समय शामिल होना चाहिए।
प्रतिफल कुछ महीनों में शांत रोटेशनों, बढ़ते निगरानी-पहचाने हिस्से, और ऐसे पहचान समय के रूप में दिखता है जो बिगड़ता नहीं। इसे पैसे में बदलने के लिए, अपने आँकड़ों से घटना घंटों और रोटेशन टर्नओवर की लागत की तुलना समीक्षा की लागत से करें। जब तक आप सत्यापित स्रोत का उद्धरण न दे सकें, उद्योग औसत उपयोग न करें।
प्रति-पैटर्न और जाल
- अलर्ट मात्रा को लक्ष्य बनाना। गिनती पर लक्ष्य खामोशी को पुरस्कृत करता और अलर्ट छिपाने को न्योता देता है। लक्ष्य कार्रवाई-योग्य अलर्ट दर और पहचान हिस्से पर रखें, और मात्रा को संदर्भ आँकड़े के रूप में टीम की चुनी टिकाऊ सीमा के साथ उपयोग करें।
- हर कारण पर अलर्ट करना। दर्जनों कारण-स्तर के पेज शोर पैदा करते हैं और फिर भी वह लक्षण चूकते हैं जिसके बारे में किसी ने नहीं सोचा। इसकी जगह उपयोगकर्ता-सामने लक्षणों पर अलर्ट करें।
- हर घटना के बाद अलर्ट जोड़ना और कभी हटाना नहीं। हर नए अलर्ट को उन अलर्ट की समीक्षा से जोड़ें जिन्हें वह अनावश्यक बनाता है।
- बिना लेबल के अलर्ट गिनना। उपयोगिता के निर्णय के बिना गिनती शोर वाले रोटेशन को व्यस्त रोटेशन से अलग नहीं बता सकती। हर सप्ताह नमूना लेबल करें, भले केवल कुछ मिनट हों।
- कवरेज को अलर्ट की गिनती मानना। पचास कारण अलर्ट और कोई लक्षण अलर्ट न होने वाली सेवा खराब कवर है। कवरेज को परखी हुई लक्षण पहचान के रूप में परिभाषित करें।
- लोगों को सँभाले या पावती दिए पेजों से रैंक करना। यह कठिन शिफ़्ट लेने वाले रोटेशन सदस्यों को दंडित करता है और पेजर से बचने को प्रोत्साहित करता है। रोटेशन और सेवा के अनुसार रिपोर्ट करें, और डिज़ाइन सुधार खोजें।
- अलर्ट पथ का कभी परीक्षण न करना। जिस अलर्ट को काम करते नहीं देखा गया वह मान्यता है। गेम डे में अलर्ट परीक्षण शामिल करें, और पाइपलाइन की स्वयं निगरानी करें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| पेजिंग नीति और नियम स्वामित्व | अलर्ट तदर्थ जोड़े गए; किसी को पता नहीं कई क्यों हैं | कुछ टीमों के पास अपने नियमों के लिए नीति और स्वामी हैं | एक छोटी पेजिंग नीति; हर पेजिंग नियम का स्वामी और रनबुक है | नियम वर्तमानता ट्रैक और समीक्षित; अप्रयुक्त नियम अनुसूची पर हटाए जाते हैं | सेवाओं के बदलने के साथ टीमों और आपूर्तिकर्ताओं में नीति और स्वामित्व अनुकूलित |
| अलर्ट गुणवत्ता माप | शोर की शिकायतें; कोई गिनतियाँ नहीं | कुछ टीमों द्वारा मात्रा गिनी; कोई लेबलिंग नहीं | साझा लेबलों के साथ साप्ताहिक समीक्षा; सेवा के अनुसार कार्रवाई-योग्य अलर्ट दर और झूठा सकारात्मक दर रिपोर्ट | दरों का रुझान और पहचान मापों से जोड़ा; सुधार कार्य वित्त पोषित | सेवाओं और आपूर्तिकर्ताओं में गुणवत्ता जुड़ी; निर्णयों को जानकारी देना बंद करने पर परिभाषाएँ संशोधित |
| पहचान और कवरेज | ग्राहक और सहकर्मी अधिकांश समस्याएँ रिपोर्ट करते हैं | कुछ प्रमुख सेवाओं पर लक्षण अलर्ट | परखे अलर्ट के साथ पहचान कवरेज ट्रैक; हर घटना के लिए पहला संकेत दर्ज | रेलिंग के साथ पहचान का समय और निगरानी-पहचाना हिस्सा समीक्षित; अंतर नियोजित कार्य बनते हैं | अलर्ट पाइपलाइन सहित निर्भरताओं और आपूर्तिकर्ताओं में पहचान नियमित रूप से परखी जाती है |
| सुधार में उपयोग | अलर्ट सुधार सबसे बुरी रात का अनुसरण करते हैं | सुधार घटनाओं का अनुसरण करते हैं | हर समीक्षा कम से कम एक बदलाव पैदा करती है | बदलाव मात्रा, कार्रवाई-योग्यता और पहचान पर अपने प्रभाव तक ट्रैक | निवेश को दिशा देने के लिए रोटेशन भार, पहचान और त्रुटि बजट साथ समीक्षित |
चेकलिस्ट
- हमारे पास कुछ वाक्यों की लिखित पेजिंग नीति है जो बताती है कि पेज क्या कमाता है।
- हर पेजिंग नियम का स्वामी, उद्देश्य और रनबुक कड़ी है।
- हर रोटेशन कम से कम साप्ताहिक समीक्षा करता है कि क्या बजा और हर अलर्ट को लेबल करता है।
- हर समीक्षा नियम में कम से कम एक दर्ज बदलाव पैदा करती है।
- हम अलर्ट मात्रा, कार्रवाई-योग्य अलर्ट दर और झूठा सकारात्मक दर रोटेशन और सेवा के अनुसार रिपोर्ट करते हैं, व्यक्ति के अनुसार कभी नहीं।
- हर घटना अज्ञात विकल्प के साथ दर्ज करती है कि उसे पहली बार कैसे पहचाना गया।
- हम सेवा स्तर संकेतक इतिहास से प्रभाव आरंभ का अनुमान लगाते हैं और माध्यिका व 95वाँ पर्सेंटाइल पहचान का समय रिपोर्ट करते हैं।
- दायरे की हर सेवा का लक्षण अलर्ट है जो पिछले 12 महीनों में परखा गया है।
- हार्टबीट जाँच हमें पेज करती है यदि अलर्ट पाइपलाइन रुकती है।
- हमने हर रोटेशन के लिए टिकाऊ कार्य समय के बाहर का भार तय किया है और उसकी समीक्षा करते हैं।
- अकेली अलर्ट मात्रा पर कोई लक्ष्य तय नहीं है।
AI प्रॉम्प्ट
उद्देश्य: संकेतकों और परिणामों से किसी सेवा के लिए पेजिंग नीति का मसौदा बनाएँ।
सेवा [सेवा का नाम] के लिए पेजिंग नीति का मसौदा बनाने में मेरी मदद करें।
संदर्भ: उपयोगकर्ता [उपयोगकर्ता समूह] हैं; जिन उपयोगकर्ता-सामने लक्षणों की हम परवाह करते हैं वे [लक्षण, उदाहरण के लिए त्रुटियाँ, विलंबता, अनुपलब्धता] हैं; छूटी विफलता के परिणाम [परिणाम] हैं; ऑन-कॉल रोटेशन [रोटेशन का विवरण, उदाहरण के लिए घंटे और टीम का आकार] है।
एक छोटी नीति (200 शब्दों से कम) लिखें जो बताए कि पेज क्या कमाता है, क्या टिकट कतार में जाता है, और क्या डैशबोर्ड पर रहता है।
सीमाएँ या बेंचमार्क मान न गढ़ें; हमारे अपने डेटा से तय करने के लिए [सीमा] प्लेसहोल्डर छोड़ें।
उन प्रश्नों की सूची दें जो आप अंतिम रूप देने से पहले हमसे पूछेंगे, और अपनी मान्यताएँ सूचीबद्ध करें।
उद्देश्य: शोर के पैटर्न के लिए निर्यात की गई अलर्ट समीक्षा का विश्लेषण करें।
मैं रोटेशन [रोटेशन का नाम] के लिए [अवधि] के अलर्टों की तालिका चिपकाऊँगा/चिपकाऊँगी, स्तंभों के साथ: [स्तंभ के नाम, उदाहरण के लिए नियम, समय, लेबल, ली गई कार्रवाई, सेवा]।
केवल मेरे चिपकाए डेटा का उपयोग करके कार्रवाई-योग्य अलर्ट दर, झूठा सकारात्मक दर, कार्य समय के बाहर का हिस्सा, और पाँच सबसे शोर वाले नियमों के अलर्ट का हिस्सा गणना करें।
सुझाएँ कि कौन-से नियम ट्यून, मिलाने, घटाने या हटाने हैं, हर एक के कारण के साथ, और हर सुझाव को जाँचने की परिकल्पना के रूप में चिह्नित करें।
नियम, सेवा और रोटेशन के अनुसार रिपोर्ट करें, व्यक्ति के अनुसार कभी नहीं। बेंचमार्क मान न गढ़ें।
अपनी मान्यताएँ और जो पंक्तियाँ आपने बाहर कीं सूचीबद्ध करें।
उद्देश्य: प्रकाशित करने से पहले अलर्ट मेट्रिक्स का हेरफेर जोखिम जाँचें।
यहाँ वे अलर्ट गुणवत्ता मेट्रिक्स हैं जिन्हें हम प्रकाशित करने की योजना बना रहे हैं: [परिभाषाओं और सूत्रों सहित मेट्रिक्स की सूची]।
हर मेट्रिक के लिए [संगठन प्रकार और सेवा] के हमारे संदर्भ में उसमें हेरफेर या उसकी गलत व्याख्या के दो तरीके बताएँ, और उसी सूची से जोड़ी गई रेलिंग या ऐसा अभ्यास सुझाएँ जिसे हम अपना सकें।
उस किसी भी मेट्रिक की ओर इशारा करें जो अपनी रेलिंग के बिना दिखाई जाती है।
स्रोत या बेंचमार्क मान न गढ़ें।
हमारे उपकरण अलर्ट और घटनाएँ कैसे दर्ज करते हैं इस बारे में अपनी मान्यताएँ सूचीबद्ध करें।
उद्देश्य: कमज़ोर कवरेज वाली सेवाओं के लिए पहचान के परीक्षण की योजना बनाएँ।
हमारी सेवाएँ [सेवाओं की सूची] हैं, और जो लक्षण अलर्ट हमारे विश्वास में मौजूद हैं वे [अलर्ट की सूची] हैं।
अगले [गेम डे या रिहर्सल] के लिए सुरक्षित परीक्षण योजना प्रस्तावित करें जो हर सेवा के लिए जाँचे कि जान-बूझकर लक्षण अलर्ट को ट्रिगर करता है, [रोटेशन] तक पहुँचता है, और रनबुक से जुड़ता है।
बताएँ कि पहले किसे सूचित करना चाहिए और पहचान कवरेज के लिए परिणाम कैसे दर्ज करें।
उपकरण की सुविधाएँ न गढ़ें; मुझसे पूछें कि [निगरानी उपकरण] कैसे काम करता है।
अपनी मान्यताएँ सूचीबद्ध करें।
AI कौशल
- एजाइल ITIL मेट्रिक्स कौशल: संबंधित माप परिभाषित करने वाला विषय और अलर्ट गुणवत्ता मेट्रिक के बगल में होने वाली रेलिंग खोजने के लिए उपयोग करें।
- एजाइल ITIL मेट्रिक्स अनुरक्षक कौशल: यह जाँचने के लिए उपयोग करें कि इस विषय में संपादन टेम्पलेट, हेरफेर तालिका और क्रॉस-रेफ़रेंस सुसंगत रखते हैं।
मुख्य निष्कर्ष
- अलर्ट को इस आधार पर आँकें कि वे कार्रवाई तक ले गए या नहीं, और निगरानी को इस आधार पर कि उसने कितनी वास्तविक परेशानी पकड़ी; प्रिसिज़न और रिकॉल एक-दूसरे की रक्षा करते हैं।
- उन लक्षणों पर पेज करें जिन्हें उपयोगकर्ता महसूस करते हैं, जहाँ सेवा स्तर उद्देश्य है वहाँ सीमाएँ उससे जोड़ें, और कारण निदान के लिए रखें।
- हर सप्ताह समीक्षा करें कि क्या बजा, उसे लेबल करें, और हर बार कम से कम एक बदलाव करें।
- अकेली अलर्ट मात्रा पर कभी लक्ष्य न रखें; उसे कार्रवाई-योग्य अलर्ट दर, निगरानी-पहचाने हिस्से और पहचान के समय के बगल में पढ़ें।
- अलर्ट और अलर्ट पाइपलाइन को परखें, क्योंकि अपरखा अलर्ट मान्यता है।
- रोटेशन और सेवा के अनुसार रिपोर्ट करें, व्यक्ति के अनुसार कभी नहीं, और टिकाऊ ऑन-कॉल भार को डिज़ाइन लक्ष्य मानें।
संदर्भ और आगे पढ़ें
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.