পর্যবেক্ষণ ও সতর্কবার্তার মানের মেট্রিক
একটি সতর্কবার্তা হলো একজন মানুষের মনোযোগের অনুরোধ, তাই পর্যবেক্ষণ মাপুন সেই অনুরোধ কত ঘন ঘন করার যোগ্য ছিল, প্রকৃত সমস্যার কতটা তা ধরেছে, এবং এতে কতটা ঘুম ও আস্থা খরচ হয়েছে তা দিয়ে।
সারসংক্ষেপ ও অনুপ্রেরণা
পর্যবেক্ষণ হলো একটি ব্যবস্থা সম্পর্কে রিয়েল-টাইম তথ্যের সংগ্রহ, প্রক্রিয়াকরণ ও প্রদর্শন। সিস্টেম পর্যবেক্ষণ প্রশ্নের উত্তর দেয় “সেবাটি কি ব্যবহারকারীদের যেভাবে দরকার সেভাবে কাজ করছে?” একটি সতর্কবার্তা হলো সেই বিন্দু যেখানে সেই তথ্য একজন মানুষকে কিছু করতে বলে। বেশির ভাগ দল প্রথম কার্যকলাপ খারাপভাবে মাপে বা একেবারেই মাপে না, এবং দ্বিতীয়টি মাপে কেবল অভিযোগের মাধ্যমে। এই বিষয় দুটির জন্য পরিমাপের একটি ছোট সেট দেয়: পর্যবেক্ষণ যে ব্যর্থতাগুলি গুরুত্বপূর্ণ তা দেখে কি না, এবং সে যে সতর্কবার্তা তোলে তা সে যে মনোযোগ দাবি করে তার যোগ্য কি না।
প্রথমে কিছু শব্দ। ITIL 4-এর শব্দভাণ্ডারে একটি ঘটনা হলো একটি সেবা পরিচালনার জন্য তাৎপর্যপূর্ণ অবস্থার একটি পরিবর্তন, এবং ঘটনা ব্যবস্থাপনা হলো ঘটনা শনাক্ত করার, কোনটি গুরুত্বপূর্ণ তা ঠিক করার এবং সাড়া বাছার অনুশীলন। একটি সতর্কবার্তা হলো একজন মানুষের কাছে একটি বিজ্ঞপ্তি, একটি পেজ, একটি বার্তা বা একটি টিকিট হিসেবে সরবরাহ করা। একটি পেজ হলো এমন একটি সতর্কবার্তা যা তৎক্ষণাৎ কাউকে বিঘ্নিত করে। একটি মিথ্যা ধনাত্মক হলো এমন একটি সতর্কবার্তা যা কিছুর মনোযোগ দরকার না থাকলেও বেজেছে, এবং একটি মিথ্যা ঋণাত্মক হলো এমন একটি ব্যর্থতা যা কোনো সতর্কবার্তা জানায়নি; দুটি শব্দই মিথ্যা ধনাত্মক ও মিথ্যা ঋণাত্মকের ভাষা থেকে এসেছে। একটি কার্যকর সতর্কবার্তা হলো যেখানে একজন মানুষের একটি উপযোগী কর্ম ছিল, এবং তিনি তা করেছেন বা একটি লিপিবদ্ধ কারণে ইচ্ছা করে করেননি।
পর্যবেক্ষণের দুটি দিক একে অপরের বিরুদ্ধে টানে। প্রতিটি ইনসিডেন্টের পরে সতর্কবার্তা যোগ করা কোলাহলের একটি দেয়াল গড়ে; তা শান্ত করতে কমালে যে ব্যর্থতা গুরুত্বপূর্ণ তার সময় নীরবতার ঝুঁকি থাকে। নির্ভুলতা ও পুনরুদ্ধারের ভাষা ভালো মানায়। নির্ভুলতা জিজ্ঞেস করে তোলা সতর্কবার্তার কত অংশ তোলার যোগ্য ছিল। পুনরুদ্ধার জিজ্ঞেস করে সতর্কবার্তা প্রকৃত সমস্যার কত অংশ ধরেছে। সতর্কবার্তার মান হলো দুটির মধ্যে ভারসাম্য, এবং যে মেট্রিক কেবল একটি দেখে সে দলকে অন্যটি ত্যাগ করতে ডাকে। সংকেত-থেকে-কোলাহলের অনুপাত একই টানাপোড়েন ধরে।
মানবিক খরচ হলো এটি কেন একটি সেবা মেট্রিকের বইয়ে বসে। সতর্কবার্তার ক্লান্তি হলো অনেক সতর্কবার্তার, যার বেশির ভাগ গুরুত্বহীন, সম্মুখীন মানুষের সংবেদনশীলতা হারানো এবং গুরুত্বপূর্ণগুলিতে ধীর সাড়া দেওয়ার সুনথিভুক্ত প্রবণতা। এটি প্রথম ক্লিনিক্যাল পরিবেশে অধ্যয়ন করা হয়েছিল এবং এমন যেকোনো অন-কল রোটেশনে প্রযোজ্য যা কোথাও না পৌঁছানো সতর্কবার্তায় অতি ঘন ঘন পেজ হয়। ক্লান্ত সাড়াদাতারা প্রকৃত ইনসিডেন্ট মিস করেন এবং অবশেষে রোটেশন ছেড়ে যান।
এই বই যে দুটি ঐতিহ্য জোড়ে সেগুলি জুড়ে দৃষ্টিভঙ্গি আলাদা। ITIL 4 এই কাজ পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা অনুশীলনে রাখে, ইনসিডেন্ট ব্যবস্থাপনা ও সেবা-স্তর ব্যবস্থাপনার সঙ্গে যোগসূত্রসহ। এর উদ্বেগ হলো ঘটনা শনাক্ত, শ্রেণিবদ্ধ ও পাঠানো হয় যাতে ইনসিডেন্ট আগে খুঁজে পাওয়া যায় এবং সংগতভাবে সামলানো হয়। সাইট নির্ভরযোগ্যতা প্রকৌশল (SRE) অন্য প্রান্ত থেকে আসে: গুগলের Site Reliability Engineering বই যুক্তি দেয় পেজ জরুরি, গুরুত্বপূর্ণ, কার্যকর ও প্রকৃত হওয়া উচিত, এবং বাকি সবকিছু একটি টিকিট বা ড্যাশবোর্ডে থাকে। এজাইল দল এটির মুখোমুখি হয় একটি কাজের চুক্তি হিসেবে: কাকে জাগানো হয়, কীসের জন্য, এবং একটি ভুল সতর্কবার্তা কে ঠিক করে। নিচের মেট্রিক তিনটি থেকেই ধার নেয় এবং একটি নিয়ম রাখে: একটি মেট্রিক একটি রোটেশন, একটি সেবা বা একটি সতর্কবার্তার নিয়ম বর্ণনা করে, কখনও কোনো ব্যক্তি নয়।
এই বিষয় তার প্রতিবেশীদের পুনরাবৃত্তি করে না। ইনসিডেন্টের সময় বিষয় 3.3-এর (ইনসিডেন্টের সাড়া ও সমাধানের সময়), বড় ইনসিডেন্ট বিষয় 3.4-এর (বড় ইনসিডেন্টের মেট্রিক), উদ্দেশ্য ও ত্রুটির বাজেট বিষয় 5.2-এর (SLI, SLO ও ত্রুটির বাজেট), এবং মানবিক ভার বিষয় 5.7-এর (একঘেয়ে কাজ ও অন-কলের মেট্রিক) অন্তর্গত। এখানে বিষয় হলো সেই সংকেতের মান যা সেগুলির সবকিছু শুরু করে। ইনস্ট্রুমেন্টেশন বিষয় 1.5-এ ধরা (তথ্যের উৎস ও ইনস্ট্রুমেন্টেশন)।
মূল নীতিসমূহ
- ব্যবহারকারীরা অনুভব করেন এমন উপসর্গে পেজ করুন; বাকিটা টিকিট বা ড্যাশবোর্ডে। ব্যবহারকারীরা যা অভিজ্ঞতা করেন (ত্রুটি, ধীরতা, অনুপলব্ধতা) তার একটি সতর্কবার্তা ব্যবস্থা বদলালেও উপযোগী থাকে। একটি কারণের সতর্কবার্তা (একটি ভরা ডিস্ক, একটি ব্যস্ত CPU) কেবল তখন উপযোগী যখন তা একটি উপসর্গের পূর্বাভাস দেয় এবং তা পৌঁছানোর আগে একজন মানুষ কাজ করতে পারে।
- প্রতিটি সতর্কবার্তাকে একটি কর্মে নিয়ে যেতে হবে। একটি সতর্কবার্তার সঠিক সাড়া কিছু না করা হলে সতর্কবার্তা বদলানো, একটি টিকিটে নামানো বা মুছে ফেলা উচিত। কর্মে নিয়ে যাওয়া অংশ মাপুন, এবং বাকিটাকে পর্যবেক্ষণের ত্রুটি হিসেবে দেখুন।
- নির্ভুলতা ও পুনরুদ্ধার দুটিই মাপুন। কেবল কোলাহল গোনা নীরবতাকে পুরস্কৃত করে, এবং কেবল আওতা গোনা পরিমাণকে পুরস্কৃত করে। দুটি একসঙ্গে মান বর্ণনা করে, এবং প্রতিটি অন্যটির রক্ষাবেষ্টনী হিসেবে কাজ করে।
- প্রতিটি সতর্কবার্তার নিয়মকে একজন মালিকসহ একটি পণ্য হিসেবে দেখুন। একটি নিয়মের উদ্দেশ্য, একটি সীমা, একটি রানবুক এবং একটি পর্যালোচনার তারিখ আছে। মালিকহীন নিয়ম জমে, এবং তারা যে কোলাহল তৈরি করে তা কারও নয়।
- রোটেশন ও সেবা সম্পর্কে প্রতিবেদন করুন, কখনও মানুষ নয়। সতর্কবার্তার ভার ব্যবস্থা ও রোটেশন কীভাবে নকশা করা হয়েছে তার একটি ধর্ম। ব্যক্তির নাম দেওয়া একটি নকশার সমস্যাকে একটি দোষারোপের সমস্যায় পরিণত করে এবং প্রকৃত সমাধান লুকায়।
মেট্রিকের সংজ্ঞা
নিচের মেট্রিক একটি সেট হিসেবে বাছা। কেবল পরিমাণ অর্থহীন, কার্যকারিতা বলে পরিমাণ একটি সমস্যা কি না, এবং আওতা ও শনাক্তকরণের সময় বলে নীরবতা কী লুকাচ্ছে। সবই প্রতি সেবা বা প্রতি রোটেশনে গণনা করা হয়, এবং সবই ইনসিডেন্ট ও টিকিটের রেকর্ডের সঙ্গে জোড়া পর্যবেক্ষণ ও পেজিং টুলের সতর্কবার্তার রেকর্ড ব্যবহার করে।
| মেট্রিক | সংজ্ঞা | সূত্র | একক | তথ্যের উৎস | ITIL অনুশীলন | এজাইল সমতুল্য | পর্যায়কাল |
|---|---|---|---|---|---|---|---|
| সতর্কবার্তার পরিমাণ | একজন মানুষকে জানানো সতর্কবার্তার সংখ্যা, পেজ ও টিকিটে ভাগ করা | সময়ে একটি রোটেশন বা সারিতে সরবরাহ করা স্বতন্ত্র বিজ্ঞপ্তির গণনা; একই খোলা সতর্কবার্তার পুনরাবৃত্তি একটিতে গোষ্ঠীবদ্ধ; কোনো মানুষকে না জানিয়ে সম্পূর্ণ স্বয়ংক্রিয়করণে সামলানো সতর্কবার্তা বাদ; প্রতি রোটেশনে প্রতি সপ্তাহে প্রতিবেদন করুন, এবং কর্মঘণ্টার বাইরের অংশ আলাদা | প্রতি রোটেশন-সপ্তাহে সতর্কবার্তা | পেজিং ও সতর্কবার্তা-পাঠানোর টুল | পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | অন-কল নিয়ে দলের কাজের চুক্তি | সাপ্তাহিক |
| কার্যকর সতর্কবার্তার হার | যে সতর্কবার্তার পরে একজন মানুষ একটি উপযোগী কর্ম নিয়েছেন তার অংশ | লিপিবদ্ধ কর্মসহ (সমাধান, প্রশমন, বৃদ্ধি, বা সতর্কবার্তার নিয়মে একটি বদল) সতর্কবার্তা / সময়ে পর্যালোচিত সতর্কবার্তা; কোনো স্বীকৃতির আগে স্বয়ংক্রিয়ভাবে সমাধান হওয়া সতর্কবার্তা কার্যকর নয় গোনা হয়; অপর্যালোচিত সতর্কবার্তা বাদ না দিয়ে একটি আলাদা গণনা হিসেবে প্রতিবেদিত | শতাংশ | পর্যালোচনার লেবেল, টিকিট বা ইনসিডেন্টের সঙ্গে জোড়া সতর্কবার্তার রেকর্ড | পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা; ইনসিডেন্ট ব্যবস্থাপনা | পরিচালনায় দলের উন্নয়নের কর্ম | সাপ্তাহিক পর্যালোচনা, মাসিক প্রবণতা |
| মিথ্যা ধনাত্মকের হার | কোনো সমস্যা না থাকাকালীন বাজা সতর্কবার্তার অংশ | পর্যালোচনায় মিথ্যা ধনাত্মক লেবেল করা সতর্কবার্তা / সময়ে পর্যালোচিত সতর্কবার্তা; “মিথ্যা ধনাত্মক” মানে অবস্থাটি ত্রুটি ছিল না এবং কেউ তা জানাতে চাইত না; কর্ম করার পক্ষে অতি ছোট একটি প্রকৃত সমস্যা মিথ্যা ধনাত্মক নয় | শতাংশ | সতর্কবার্তার পর্যালোচনার লেবেল | পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | রেট্রোস্পেক্টিভে কোলাহলের পর্যালোচনা | মাসিক |
| শনাক্তকরণের আওতা | যে পরিধির সেবায় একটি ব্যবহারকারীমুখী উপসর্গে অন্তত একটি পরীক্ষিত সতর্কবার্তা আছে তার অংশ | গত 12 মাসে একটি পরীক্ষা বা প্রকৃত ঘটনায় প্রয়োগ হওয়া একটি উপসর্গের সতর্কবার্তাসহ সেবা / সেবা ক্যাটালগের পরিধির সেবা; পরিধির সেবার তালিকা সময়ের শুরুতে ঠিক করা | শতাংশ | সেবা ক্যাটালগ, সতর্কবার্তার নিয়মের তালিকা, পরীক্ষার রেকর্ড | সেবা কনফিগারেশন ব্যবস্থাপনা; পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | একটি নতুন সেবার জন্য কাজ শেষ হওয়ার সংজ্ঞা | ত্রৈমাসিক |
| পর্যবেক্ষণ-শনাক্ত অংশ | যে ইনসিডেন্ট কোনো ব্যবহারকারী বা সহকর্মী জানানোর আগে পর্যবেক্ষণ শনাক্ত করেছে তার অংশ | যে ইনসিডেন্টের প্রথম সংকেত ছিল একটি সতর্কবার্তা / সময়ে ইনসিডেন্ট; ঘড়ি হলো ইনসিডেন্ট খোলার সময়, এবং কোনো লিপিবদ্ধ প্রথম সংকেত ছাড়া ইনসিডেন্ট শনাক্ত নয়, অজানা হিসেবে প্রতিবেদিত | শতাংশ | প্রথম-সংকেতের ক্ষেত্রসহ ইনসিডেন্টের রেকর্ড, সতর্কবার্তার সময়রেখা | ইনসিডেন্ট ব্যবস্থাপনা | ইনসিডেন্টের পর্যালোচনা (ইনসিডেন্টের পরের শিক্ষণ) | মাসিক |
| শনাক্তকরণের সময় (TTD) | ব্যবহারকারীর প্রভাবের শুরু এবং একজন মানুষকে জানানো প্রথম সতর্কবার্তার মধ্যে অতিবাহিত সময় | প্রথম মানুষ-জানানো সতর্কবার্তার সময় বিয়োগ প্রভাবের শুরুর সময়, যেখানে প্রভাবের শুরু হলো সেবা-স্তরের নির্দেশক প্রথম লঙ্ঘনের সবচেয়ে আগের সময়, ইনসিডেন্টের পর্যালোচনায় প্রতিষ্ঠিত; মধ্যমা ও 95তম পার্সেন্টাইল প্রতিবেদন করুন; সতর্কবার্তাহীন ইনসিডেন্ট বাদ এবং আলাদা গোনা | মিনিট | ইনসিডেন্টের পর্যালোচনা, সতর্কবার্তার সময়রেখা, সেবা-স্তরের নির্দেশকের ইতিহাস | ইনসিডেন্ট ব্যবস্থাপনা; পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | ইনসিডেন্টের পরের পর্যালোচনা | মাসিক, প্রতি ইনসিডেন্টে |
| সতর্কবার্তার কেন্দ্রীভবন | সবচেয়ে কোলাহলময় কয়েকটি সতর্কবার্তার নিয়মের তৈরি সতর্কবার্তার পরিমাণের অংশ | সবচেয়ে বেশি সতর্কবার্তার পাঁচটি নিয়মের সতর্কবার্তা / সময়ে সব সতর্কবার্তা; একই সতর্কবার্তা একবার গোষ্ঠীবদ্ধ; পাঁচটি নিয়মের গণনা একটি রীতি যা একটি দল কারণ বলে বদলাতে পারে | শতাংশ | সতর্কবার্তার নিয়মের তালিকা ও পেজিংয়ের রেকর্ড | ধারাবাহিক উন্নয়ন; পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | রেট্রোস্পেক্টিভের উন্নয়নের ব্যাকলগ | মাসিক |
| সতর্কবার্তার নিয়মের সাম্প্রতিকতা | যে পেজিং নিয়মের একজন মালিক, একটি রানবুকের লিঙ্ক এবং একমত ব্যবধানের মধ্যে একটি পর্যালোচনা আছে তার অংশ | তিনটি শর্তই পূরণ করা পেজিং নিয়ম / সব পেজিং নিয়ম; সময়ে নিষ্ক্রিয় করা নিয়ম বাদ | শতাংশ | সতর্কবার্তার নিয়মের তালিকা | জ্ঞান ব্যবস্থাপনা; পর্যবেক্ষণ ও ঘটনা ব্যবস্থাপনা | পরিচালনাগত প্রস্তুতি নিয়ে কাজের চুক্তি | ত্রৈমাসিক |
সতর্কবার্তার পরিমাণের প্রেক্ষাপট লাগে, তাই এটি কার্যকর সতর্কবার্তার হারের পাশে পড়ুন। শনাক্তকরণের সময় ব্যবহারকারীর প্রভাবের শুরু ব্যবহার করে, টিকিট নয়, কারণ টিকিটের ঘড়ি শনাক্তকরণের পরে শুরু হয়; প্রভাবের শুরু ইনসিডেন্টের পর্যালোচনা থেকে একটি অনুমান এবং সেভাবেই লেবেল করা উচিত। মিথ্যা ধনাত্মকের হার ও কার্যকর সতর্কবার্তার হার পরিপূরক নয়, কারণ একটি সতর্কবার্তা সত্য হয়েও একজন মানুষের সময়ের যোগ্য না হতে পারে।
সুপারিশসমূহ
কী একটি পেজের যোগ্য তা ঠিক করুন
1. একটি পেজিং নীতি লিখুন এবং সংক্ষিপ্ত রাখুন। এক অনুচ্ছেদে বলুন কী একটি পেজ অর্জন করে (ব্যবহারকারীরা এখন বা শিগগির অনুভব করবেন এমন একটি উপসর্গ যার ওপর একজন মানুষ কাজ করতে পারেন) এবং কী নয়। বাকি সব একটি টিকিটের সারি বা একটি ড্যাশবোর্ডে যায়। বিতরিত ব্যবস্থা পর্যবেক্ষণ নিয়ে গুগলের SRE বইয়ের অধ্যায় একটি ভালো শুরুর বিন্দু (দেখুন বিষয় 5.2, SLI, SLO ও ত্রুটির বাজেট)।
2. উপসর্গে সতর্ক করুন, এবং কারণ নির্ণয়ের জন্য রাখুন। “ত্রুটির হার একমত সীমার ওপরে”-র একটি পেজ ব্যবহারকারীদের সম্পর্কে একটি পেজ। “CPU উচ্চ”-র একটি পেজ একটি আন্দাজ সম্পর্কে একটি পেজ। কারণ-স্তরের সংকেত সেই ড্যাশবোর্ডে রাখুন যেখানে উপসর্গের সতর্কবার্তা বাজার পরে সাড়াদাতা দেখবেন, এবং একটিকে পেজে তুলুন কেবল যখন তা কাজ করার মতো যথেষ্ট সতর্কসংকেতসহ নির্ভরযোগ্যভাবে একটি উপসর্গের পূর্বাভাস দেয়।
3. পেজিংয়ের সীমা সেবা-স্তরের উদ্দেশ্যের সঙ্গে জুড়ুন। যেখানে একটি সেবার একটি সেবা-স্তরের উদ্দেশ্য (SLO) আছে, কাঁচা সীমার বদলে ত্রুটির বাজেট যে হারে খরচ হচ্ছে তাতে সতর্ক করুন। SLO-তে সতর্ক করা নিয়ে SRE ওয়ার্কবুকের অধ্যায় বার্ন-রেটের সতর্কবার্তা এবং নির্ভুলতা, পুনরুদ্ধার, শনাক্তকরণের সময় ও রিসেটের সময়ের মধ্যে সমঝোতা বর্ণনা করে। এই পদ্ধতি যা উদ্দেশ্য হুমকির মুখে ফেলে তাতে পেজ করে এবং যে ক্ষণিক ঝলক তা করে না সে সম্পর্কে নীরব থাকে।
একটি ছন্দে প্রতিটি সতর্কবার্তা পর্যালোচনা করুন
4. একটি সংক্ষিপ্ত, নিয়মিত পর্যালোচনায় প্রতিটি সতর্কবার্তা লেবেল করুন। কী বেজেছে তা দেখতে প্রতিটি রোটেশনের জন্য প্রতি সপ্তাহে পনেরো মিনিট আলাদা রাখুন। প্রতিটি সতর্কবার্তার জন্য একটি লেবেল লিপিবদ্ধ করুন: কার্যকর, মিথ্যা ধনাত্মক, প্রকৃত কিন্তু পেজের যোগ্য নয়, বা সদৃশ। লেবেলগুলি কার্যকর সতর্কবার্তার হার ও মিথ্যা ধনাত্মকের হারের তথ্য, এবং পর্যালোচনা সেই জায়গা যেখানে কোলাহলময় নিয়ম পরবর্তী ত্রৈমাসিকে নয়, পরের দিন ঠিক হয়।
5. পর্যালোচনাকে একটি বদল ঘটাতে দিন। প্রতি সপ্তাহে সুরে বাঁধতে, নামাতে, মেশাতে বা মুছতে অন্তত একটি নিয়ম বাছুন, এবং বদল দলের ব্যাকলগে সাধারণ কাজ হিসেবে লিপিবদ্ধ করুন।
6. ভয় ছাড়া মুছুন। দল সতর্কবার্তা রাখে কারণ একটি মুছতে ঝুঁকিপূর্ণ মনে হয় এবং কেউ মনে রাখে না এটি কেন আছে। প্রতিটি পেজিং নিয়মকে একটি উদ্দেশ্য ও একজন মালিক বহন করতে দাবি করুন, এবং একমত হোন যে একটি বলা সময়ে কখনও কর্মে নিয়ে না যাওয়া একটি নিয়ম সরানো বা নামানো হয়, বদলটি এমনভাবে লিপিবদ্ধ করে যাতে উল্টানো যায়। নিয়মের সাম্প্রতিকতার মেট্রিক শৃঙ্খলা দৃশ্যমান করে।
পর্যবেক্ষণ যা মিস করে তা মাপুন
7. ব্যবহারকারীরা আগে খুঁজে পাওয়া ইনসিডেন্টের অংশ অনুসরণ করুন। প্রতিটি ইনসিডেন্টের পরে লিপিবদ্ধ করুন এটি প্রথম কীভাবে লক্ষ করা হয়েছিল: একটি সতর্কবার্তা, একজন সহকর্মী, একজন গ্রাহক, একটি সহায়তার টিকিট বা একটি নিয়মিত যাচাই। পর্যবেক্ষণ যা খুঁজে পেয়েছে তার অংশ পুনরুদ্ধারের সবচেয়ে কাছের ব্যবহারিক পরিমাপ। এটি সম্পূর্ণ নয়, কারণ যে ইনসিডেন্ট কেউ লক্ষ করেনি তা কখনও নমুনায় ঢোকে না, তাই সতর্কবার্তা নিজেদের পর্যায়ক্রমিক পরীক্ষার সঙ্গে জুড়ুন।
8. শনাক্তকরণের সময় সততার সঙ্গে অনুমান করুন। ইনসিডেন্টের পরের পর্যালোচনায় ব্যবহারকারীর প্রভাবের শুরু সেবা-স্তরের নির্দেশকের ইতিহাস থেকে ঠিক করুন, কেউ কখন টিকিট টাইপ করেছেন তা থেকে নয়। মধ্যমা ও একটি উচ্চ পার্সেন্টাইল প্রতিবেদন করুন, এবং যে ইনসিডেন্টের কোনো সতর্কবার্তা ছিল না তা একটি আলাদা গণনা হিসেবে দেখান। একটি একক গড় সাধারণ ক্ষেত্র ও খারাপ লেজ দুটিই লুকায় (দেখুন বিষয় 1.6, সেবা মেট্রিকের জন্য পরিসংখ্যান-সাক্ষরতা, এবং বিষয় 3.3, ইনসিডেন্টের সাড়া ও সমাধানের সময়)।
9. আপনি যে সতর্কবার্তার ওপর নির্ভর করেন তা পরীক্ষা করুন। শনাক্তকরণের আওতা বিশ্বাসযোগ্য কেবল যদি সতর্কবার্তাকে কাজ করতে দেখা গিয়ে থাকে। গেম ডে বা রিলিজের মহড়ায় এমন একটি যাচাই অন্তর্ভুক্ত করুন যা ইচ্ছা করে একটি উপসর্গ ঘটায় এবং নিশ্চিত করে সঠিক সতর্কবার্তা বাজে, সঠিক রোটেশনে পৌঁছায় এবং একটি ব্যবহারযোগ্য রানবুকে যুক্ত হয়। যে সতর্কবার্তা কখনও প্রয়োগ হয়নি তা একটি আশা, নিয়ন্ত্রণ নয় (দেখুন বিষয় 5.6, সেবা-ধারাবাহিকতার মেট্রিক)।
সংকেতের পথ সুস্থ রাখুন
10. পর্যবেক্ষণকে পর্যবেক্ষণ করুন। পর্যবেক্ষণ ব্যবস্থার একটি নীরব ব্যর্থতা ঠিক একটি সুস্থ সেবার মতো দেখায়। একটি হার্টবিট যাচাই যোগ করুন যা সতর্কবার্তার পাইপলাইন সরবরাহ বন্ধ করলে পেজ করে, এবং পাইপলাইন নিজে কত ঘন ঘন ব্যর্থ হয় লিপিবদ্ধ করুন।
11. গোনার আগে গোষ্ঠীবদ্ধ করুন, ডুপ্লিকেট সরান এবং জুড়ুন। সম্পর্কিত সতর্কবার্তা একটিতে গোষ্ঠীবদ্ধ করুন, ইতিমধ্যে খোলা একটি সতর্কবার্তার পুনরাবৃত্তি দমন করুন, এবং প্রতিটি মালিক রোটেশনে পাঠান। প্রতিটি সতর্কবার্তাকে তার রানবুক এবং তা যে ইনসিডেন্ট বা টিকিট তৈরি করেছে তার সঙ্গে জুড়ুন, কারণ সেই জোড়াই আপনাকে হাতে গোনা ছাড়া কার্যকর সতর্কবার্তার হার ও পর্যবেক্ষণ-শনাক্ত অংশ গণনা করতে দেয় (দেখুন বিষয় 1.5, তথ্যের উৎস ও ইনস্ট্রুমেন্টেশন)।
কারসাজির উপায় ও রক্ষাবেষ্টনী
| মেট্রিক | কীভাবে এতে কারসাজি করা হয় | সংশ্লিষ্ট রক্ষাবেষ্টনী মেট্রিক বা অনুশীলন |
|---|---|---|
| সতর্কবার্তার পরিমাণ | সীমা বাড়ানো, দীর্ঘ বিলম্ব যোগ করা, বা সতর্কবার্তা পেজ থেকে একটি নীরব সারিতে সরানো যাতে সমস্যা অদেখা থাকা অবস্থায় গণনা কমে; গণনা বদলাতে সতর্কবার্তা ভাগ বা মেশানো | পর্যবেক্ষণ-শনাক্ত অংশ ও শনাক্তকরণের সময়; একটি নিয়ম যে প্রতিটি নামানো কারণসহ লিপিবদ্ধ এবং এক ত্রৈমাসিক পরে পর্যালোচিত |
| কার্যকর সতর্কবার্তার হার | ঘটনার পরে সতর্কবার্তা কার্যকর লেবেল করা, বা যোগ্য হতে একটি তুচ্ছ কর্ম (একটি মন্তব্য, একটি স্বীকৃতি) নেওয়া; কোলাহলময় সতর্কবার্তা অপর্যালোচিত রাখা যাতে তারা কখনও হরে না ঢোকে | হারের পাশে দেখানো অপর্যালোচিত সতর্কবার্তার গণনা; রোটেশনের বাইরের কারও একটি নমুনা যাচাই; “উপযোগী কর্ম”-র একটি লিখিত সংজ্ঞা |
| মিথ্যা ধনাত্মকের হার | মিথ্যা ধনাত্মক সংকীর্ণভাবে সংজ্ঞায়িত করা যাতে “প্রকৃত কিন্তু অর্থহীন” সতর্কবার্তা সত্য গোনা হয়; লেবেল ছাড়া কোলাহলময় সতর্কবার্তা বন্ধ করা | কার্যকর সতর্কবার্তার হার এবং “প্রকৃত কিন্তু পেজের যোগ্য নয়” লেবেল আলাদাভাবে অনুসৃত; বন্ধ সতর্কবার্তার পর্যায়ক্রমিক নমুনা |
| শনাক্তকরণের আওতা | আওতা দাবি করতে প্রতিটি সেবায় একটি তুচ্ছ সতর্কবার্তা (একটি পিং) যোগ করা; কখনও পরীক্ষা না হওয়া সতর্কবার্তা গোনা | এই শর্ত যে সতর্কবার্তা একটি ব্যবহারকারীমুখী উপসর্গ দেখে এবং গত 12 মাসে প্রয়োগ হয়েছে; পর্যবেক্ষণ-শনাক্ত অংশ |
| পর্যবেক্ষণ-শনাক্ত অংশ | একজন ব্যবহারকারী আগে জানালেও প্রতিটি ইনসিডেন্ট “পর্যবেক্ষণে শনাক্ত” লিপিবদ্ধ করা; ঘটনার পরে একটি সতর্কবার্তা তৈরি করে তারপর তা উদ্ধৃত করা; একটি খারাপ সংখ্যা এড়াতে প্রথম-সংকেতের ক্ষেত্র খালি রাখা | অংশের পাশে দেখানো অজানা গণনা; স্মৃতি থেকে নয়, সতর্কবার্তার সময়রেখা থেকে নেওয়া প্রথম-সংকেতের প্রমাণ; সহায়তার রেকর্ড থেকে যুক্ত গ্রাহক-প্রতিবেদিত ইনসিডেন্ট |
| শনাক্তকরণের সময় (TTD) | প্রভাবের শুরু যখন ছিল তার চেয়ে দেরিতে ঘোষণা করা; সতর্কবার্তাহীন ইনসিডেন্ট বাদ দেওয়া; লেজ লুকাতে গড় প্রতিবেদন করা | সেবা-স্তরের নির্দেশকের ইতিহাস থেকে নেওয়া প্রভাবের শুরু; গোনা ও দেখানো সতর্কবার্তাহীন ইনসিডেন্ট; একসঙ্গে প্রতিবেদিত মধ্যমা ও 95তম পার্সেন্টাইল |
| সতর্কবার্তার কেন্দ্রীভবন | একটি কোলাহলময় নিয়মকে কয়েকটিতে ভাগ করা যাতে কোনোটিই শীর্ষ পাঁচে নেই; নিয়মের নাম বদলানো | নিয়ম অনুযায়ীর পাশাপাশি অন্তর্নিহিত ত্রুটি বা সেবা অনুযায়ী কেন্দ্রীভবন প্রতিবেদন করুন; এর পাশে মোট পরিমাণ ও কার্যকর সতর্কবার্তার হার অনুসরণ করুন |
| সতর্কবার্তার নিয়মের সাম্প্রতিকতা | শর্ত পূরণে স্থানধারক মালিক, খালি রানবুকের লিঙ্ক, বা একটি রাবার-স্ট্যাম্প পর্যালোচনা যোগ করা | রানবুকের লিঙ্ক সমাধান হয় এবং একটি প্রকৃত সাড়ায় ব্যবহৃত হয়েছে তার একটি স্পট যাচাই; গেম ডেতে রানবুক পরীক্ষার অনুশীলন |
একটি সুস্থ পাঠ কয়েকটি জিনিস একসঙ্গে দেখায়। প্রতি রোটেশনে সতর্কবার্তার পরিমাণ স্থির বা কমছে এবং দল যে স্তর টেকসই বেছেছে তার মধ্যে। সবচেয়ে কোলাহলময় নিয়ম সুরে বাঁধার সঙ্গে কয়েক মাস ধরে কার্যকর সতর্কবার্তার হার বাড়ে। পর্যবেক্ষণ-শনাক্ত অংশ উচ্চ এবং শনাক্তকরণের সময় ছোট এবং পরিমাণ কমার সঙ্গে দীর্ঘ হচ্ছে না, যা প্রমাণ করে শান্ততা অর্জিত, কেনা নয়। শনাক্তকরণের আওতা বাড়ে কারণ সেবা পরীক্ষিত, তুচ্ছ সতর্কবার্তা যোগ হয়েছে বলে নয়। পরিমাণ কমলেও শনাক্ত অংশ বা শনাক্তকরণের সময় খারাপ হলে দল শান্তির বিনিময়ে পুনরুদ্ধার ত্যাগ করেছে, এবং রক্ষাবেষ্টনীই তা প্রকাশ করে।
সমঝোতা: সুবিধা ও অসুবিধা
| পদ্ধতি | সুবিধা | অসুবিধা |
|---|---|---|
| অল্প, উপসর্গ-ভিত্তিক পেজ | শান্ত রাত, প্রতিটি পেজে উচ্চ আস্থা, বর্তমান রাখা সহজ | ধীরে গড়ে ওঠা সমস্যার দেরিতে শনাক্তকরণের ঝুঁকি; বাকির জন্য ভালো টিকিট ও ড্যাশবোর্ডের অভ্যাস লাগে |
| অনেক সংবেদনশীল সতর্কবার্তা | কারণ-স্তরের সমস্যার আগাম সতর্কসংকেত; কম মিস হওয়া ইনসিডেন্ট | সতর্কবার্তার ক্লান্তি, ধীর স্বীকৃতি এবং অন-কল রোটেশন থেকে ঝরে পড়া |
| SLO বার্ন-রেটের সতর্কবার্তা | উদ্দেশ্য যা হুমকি দেয় তার সঙ্গে জোড়া পেজ; কম ঝলক | ভালো নির্দেশক ও একমত উদ্দেশ্য লাগে; শনাক্তকরণের সময় ও নির্ভুলতার ভারসাম্য আনতে সুরে বাঁধা লাগে |
| সাপ্তাহিক সতর্কবার্তার পর্যালোচনা | দ্রুত প্রতিক্রিয়া; কোলাহলময় নিয়ম দ্রুত ঠিক | প্রতি সপ্তাহে সময় খরচ করে; কোনো বদল না এলে নাটক হয়ে ওঠে |
| মানুষের লেবেল করা | এমন বিচার ধরে যা কোনো টুলের নেই | আত্মগত; সংজ্ঞা না লিখলে পর্যালোচক ও রোটেশনের মধ্যে লেবেল সরে যায় |
| স্বয়ংক্রিয় দমন ও গোষ্ঠীবদ্ধকরণ | মাপে কোলাহল কাটে; পুনরাবৃত্ত পেজ কমায় | নিয়ম ভুল হলে প্রকৃত সংকেত লুকাতে পারে; নিজস্ব পর্যবেক্ষণ ও পর্যালোচনা লাগে |
প্রতিটি বাছাই নির্ভুলতাকে পুনরুদ্ধারের বিপরীতে বিনিময় করে, এবং বিনিময় ইচ্ছা করে করা এবং প্রতি সেবায় লিখে রাখা উচিত, কারণ সেটিই প্রেক্ষাপট যা যে কাউকে সংখ্যা ন্যায্যভাবে পড়তে দেয়। যে সেবার একটি মিস হওয়া ব্যর্থতার গুরুতর পরিণতি আছে সে আগের সতর্কসংকেতের জন্য একটি নিম্ন কার্যকর হার মেনে নিতে পারে, রাতে বাড়তি সতর্কবার্তা একটি টিকিটের সারিতে পাঠানো একটি ট্রায়াজ স্তরসহ।
আপনার দলের সঙ্গে আলোচনার প্রশ্ন
1. কীসের জন্য আমরা জাগতে চাইব, এবং গত মাসের কোন পেজ সেই মান পূরণ করেছে? এক বা দুই বাক্যে পেজিং নীতি লিখুন, তারপর গত মাসের পেজ নিন এবং প্রতিটি তার বিপরীতে পরীক্ষা করুন। অনুশীলনটি এটি যে শতাংশ তৈরি করে তার চেয়ে বেশি মূল্যবান, কারণ মতভেদ প্রকাশ করে দলের প্রত্যাশা কোথায় আলাদা। অপ্রয়োজনীয়গুলি নামানোর প্রার্থী হিসেবে ধরুন।
2. সবচেয়ে কোলাহলময় সতর্কবার্তার নিয়ম কাল উধাও হলে আমরা কী হারাব? পরিমাণ অনুযায়ী শীর্ষ পাঁচটি নিয়মের প্রতিটির জন্য প্রশ্নটি করুন। প্রায়ই কেউ একটি নির্দিষ্ট ব্যর্থতার নাম দিতে পারে না যা নিয়মটি কখনও ধরেছে, এবং এটি একটি চিহ্ন যে তা সুরে বাঁধা বা সরানো যায়। যেখানে কেউ পারেন, জিজ্ঞেস করুন ব্যর্থতাটি কি একটি উপসর্গের সতর্কবার্তাকেও ট্রিগার করত।
3. পর্যবেক্ষণ কী মিস করেছে তা আমরা কীভাবে খুঁজে পাই? শেষ কয়েকটি ইনসিডেন্ট দেখুন এবং জিজ্ঞেস করুন কে প্রথম লক্ষ করেছিলেন এবং তার আগে প্রভাব কতক্ষণ চলেছিল। উত্তর আপনাকে নতুন টুলিং ছাড়া পর্যবেক্ষণ-শনাক্ত অংশ ও একটি মোটামুটি শনাক্তকরণের সময় দেয়। আলোচনা করুন কোন সংকেত প্রতিটিকে আগে ধরত।
4. আমাদের অন-কলের ভার কি টেকসই, এবং আমরা কীভাবে জানব? একমত হোন একটি রোটেশনের জন্য টেকসই মানে কী, যেমন প্রতি সপ্তাহে কর্মঘণ্টার বাইরের পেজের একটি সীমা, এবং প্রবণতা রোটেশন অনুযায়ী পর্যালোচনা করুন, ব্যক্তি অনুযায়ী নয়। ভার একমত স্তরের ওপরে হলে এটিকে সেবার ত্রুটি হিসেবে দেখুন এবং তা কমাতে কাজ পরিকল্পনা করুন। পরিমাপ বিষয় 5.7-এর (একঘেয়ে কাজ ও অন-কলের মেট্রিক) সঙ্গে সংগত রাখুন।
5. আমাদের কোন সতর্কবার্তা আমরা কখনও পরীক্ষা করিনি, এবং কীভাবে নিরাপদে পরীক্ষা করতে পারি? একটি একক উপসর্গের সতর্কবার্তার ওপর নির্ভর করা সেবা তালিকাভুক্ত করুন এবং জিজ্ঞেস করুন কেউ তা সত্যিকারের ঘটনায় বা একটি মহড়ায় বাজতে দেখেছেন কি না। একটি পরীক্ষার পরিকল্পনা করুন এবং পুরো পথ যাচাই করুন: শনাক্তকরণ, রাউটিং, বিজ্ঞপ্তি, রানবুক। বিবেচনা করুন একটি ব্যর্থ সতর্কবার্তার পাইপলাইন আদৌ দৃশ্যমান হবে কি না।
6. এখানে এই সংখ্যাগুলিতে কীভাবে কারসাজি হতে পারে, এবং আমরা কী লক্ষ করব? দলকে সততার সঙ্গে বর্ণনা করতে বলুন কিছু উন্নত না করে তারা প্রতিটি সংখ্যা কীভাবে ভালো দেখাতে পারত। তারপর একমত হোন কোন রক্ষাবেষ্টনী তা দেখাবে এবং কে দেখে। আগে থেকে কৌশলের নাম দিলে সেগুলি কম প্রলুব্ধকর হয় (দেখুন বিষয় 1.2, গুডহার্টের সূত্র ও মেট্রিকের মনস্তত্ত্ব)।
চারটি দৃষ্টিকোণ
পণ্য ও ডেলিভারি দল
যে দল একটি সেবা বানায় ও চালায় তারা ঠিক করে এটি নিজের সম্পর্কে কী জানায়, তাই সতর্কবার্তার মান কাজ শেষ হওয়ার সংজ্ঞায় শুরু হয়। নিজস্ব পরীক্ষিত নির্দেশক ও সতর্কবার্তাসহ পাঠানো একটি নতুন ফিচার প্রথম ইনসিডেন্টের পরে জোড়া লাগানো পর্যবেক্ষণ এড়ায়। সতর্কবার্তা সুরে বাঁধাকে সাধারণ ব্যাকলগের কাজ হিসেবে দেখুন।
সেবা ও পরিচালনা দল
পরিচালনা দল পেজার বহন করে এবং খরচ আগে অনুভব করে, তাই তারা পর্যালোচনার ছন্দ, লেবেল করা এবং পাইপলাইনের হার্টবিটের মালিক। একটি সতর্কবার্তা ভুল হলে সমাধান নিয়মের মালিকের, যিনি পেজ পেয়েছেন তাঁর নয়।
নেতৃত্ব ও গভর্ন্যান্স
নেতারা সেবা অনুযায়ী শনাক্তকরণ ও কার্যকারিতার সংখ্যা চাইতে, সুরে বাঁধার সময়ে অর্থায়ন করতে এবং নীরবতাকে পুরস্কৃত করা সতর্কবার্তার পরিমাণের লক্ষ্য প্রতিরোধ করতে পারেন। কমতে থাকা পরিমাণ সুখবর কেবল যদি শনাক্ত অংশ ও শনাক্তকরণের সময় স্থির থাকে। টেকসই অন-কলের সীমা একটি কর্মী ও নকশার সিদ্ধান্ত, অনুপ্রেরণার নয়।
গ্রাহক ও ব্যবহারকারী
গ্রাহকেরা কখনও সতর্কবার্তা দেখেন না; তাঁরা দেখেন সেবা ব্যর্থ হয়েছে কি না এবং ঠিক হতে কত সময় লেগেছে। ভালো পর্যবেক্ষণ দেখা দেয় তাঁরা লক্ষ করার আগে ঠিক হওয়া ইনসিডেন্ট হিসেবে, এবং একজন গ্রাহক প্রথম প্রতিবেদন করেন এমন ক্ষেত্র কম হিসেবে। যেখানে প্রতিষ্ঠান অভিজ্ঞতার পরিমাপ ব্যবহার করে (দেখুন বিষয় 5.1, SLA, OLA ও XLA মেট্রিক), ব্যবহারকারীরা প্রথম প্রতিবেদন করা ইনসিডেন্টের অংশ অভিজ্ঞতার ফাঁকের একটি সরাসরি নির্দেশক।
বাস্তবে: একটি এজাইল ITIL উদাহরণ
একটি মাঝারি আকারের অনলাইন খুচরা বিক্রেতা চারটি পণ্য দল এবং অন-কল রোটেশন সমর্থন করা একটি প্ল্যাটফর্ম দলসহ একটি অর্ডারের প্ল্যাটফর্ম চালায়। এই উদাহরণের সব সংখ্যা দৃষ্টান্তমূলক। চার সপ্তাহে (দৃষ্টান্তমূলক) রোটেশন 240টি পেজ পেয়েছে, তার 70টি 22:00 ও 07:00-এর মধ্যে। দল চারটি লেবেল ব্যবহার করে প্রতিটি পেজ পর্যালোচনা করে: কার্যকর, মিথ্যা ধনাত্মক, প্রকৃত কিন্তু পেজের যোগ্য নয়, এবং সদৃশ।
পর্যালোচনা 31 শতাংশ (দৃষ্টান্তমূলক) কার্যকর সতর্কবার্তার হার এবং 22 শতাংশ (দৃষ্টান্তমূলক) মিথ্যা ধনাত্মকের হার দেখায়। পাঁচটি নিয়ম 58 শতাংশ পেজ (দৃষ্টান্তমূলক) তৈরি করেছিল, এবং বৃহত্তমটি ছিল একটি ব্যাচ সার্ভারে একটি ডিস্কের সীমা যা সবসময় নিজে থেকে সেরে যেত। আগের ত্রৈমাসিকের পর্যবেক্ষণ-শনাক্ত অংশ ছিল 62 শতাংশ (দৃষ্টান্তমূলক), এবং শনাক্তকরণের সময়ের মধ্যমা ছিল 14 মিনিট (দৃষ্টান্তমূলক), 95তম পার্সেন্টাইল 51 মিনিট (দৃষ্টান্তমূলক)।
দল তিনটি কোলাহলময় নিয়ম একটি টিকিটের সারিতে নামায়, সদৃশ মেশায় যাতে একটি ত্রুটি একটি পেজ তৈরি করে, চেকআউটে কাঁচা ত্রুটির গণনার সতর্কবার্তা একটি ত্রুটির বাজেটের বার্ন-রেটের সতর্কবার্তা দিয়ে প্রতিস্থাপন করে (দেখুন বিষয় 5.2, SLI, SLO ও ত্রুটির বাজেট), এবং অর্ডার নিশ্চিতকরণের ইমেলের জন্য একটি উপসর্গের সতর্কবার্তা যোগ করে, যা দুটি গ্রাহক-প্রতিবেদিত ইনসিডেন্টের পেছনের একটি ফাঁক। প্রতিটি বদল একজন মালিকসহ একটি ব্যাকলগ আইটেম। চার সপ্তাহ পরে পেজ 96-এ নামে (দৃষ্টান্তমূলক) এবং কার্যকর হার 64 শতাংশে ওঠে (দৃষ্টান্তমূলক), যখন শনাক্ত অংশ 71 শতাংশে ওঠে (দৃষ্টান্তমূলক) এবং শনাক্তকরণের সময়ের মধ্যমা 14 মিনিটে স্থির থাকে। শান্ততা অর্জিত বলে মনে হয়।
কারসাজির ঝুঁকি তৃতীয় মাসে দেখা দেয়। একজন নতুন ব্যবস্থাপক চার সপ্তাহে 60টির কম পেজের একটি অনানুষ্ঠানিক লক্ষ্য ঠিক করেন, এবং একটি রোটেশন চেকআউটের ত্রুটির সতর্কবার্তার বিলম্ব দীর্ঘ করে তা অর্জন করে। এর শনাক্ত অংশ 55 শতাংশে নামে (দৃষ্টান্তমূলক) এবং এর 95তম পার্সেন্টাইল শনাক্তকরণের সময় 80 মিনিটে ওঠে (দৃষ্টান্তমূলক)। রক্ষাবেষ্টনী পরিমাণের পাশে থাকায় পর্যালোচনা তা ধরে। দল পরিমাণের লক্ষ্য প্রত্যাহার করে, সতর্কবার্তা পুনরুদ্ধার করে এবং ঘটনাটি মেট্রিক নিবন্ধে লিপিবদ্ধ করে (দেখুন বিষয় 1.4, মেট্রিকের গভর্ন্যান্স ও মালিকানা)।
খাতভিত্তিক দৃষ্টিভঙ্গি
স্টার্টআপ। কয়েকজন প্রকৌশলী সবাই অন-কলে থাকলে অগ্রাধিকার হলো একটি সংক্ষিপ্ত পেজিং নীতি এবং যে পথ আয় করে তাতে কয়েকটি উপসর্গের সতর্কবার্তা। কী মানুষকে জাগিয়েছে তার দিকে সোমবারের দশ মিনিটের একটি দৃষ্টিই যথেষ্ট। প্রধান ঝুঁকি হলো কোনো সতর্কবার্তা না থাকা, যাতে গ্রাহকেরাই পর্যবেক্ষণ; একজন গ্রাহক কত ঘন ঘন আপনাকে আগে জানিয়েছেন তা গুনুন।
ছোট ব্যবসা। ছোট প্রতিষ্ঠান প্রায়ই একজন সরবরাহকারীর পর্যবেক্ষণের ওপর নির্ভর করে। উপযোগী পরিমাপ হলো ব্যবসা থামিয়ে দেওয়া কয়েকটি ব্যবস্থার জন্য শনাক্তকরণের আওতা এবং ব্যবহারকারীদের খুঁজে পাওয়া ইনসিডেন্টের অংশ। সরবরাহকারীদের কাছে আপনার চুক্তি যে সতর্কবার্তার তথ্যে আপনাকে অধিকার দেয় তা চান।
বড় প্রতিষ্ঠান। বড় প্রতিষ্ঠানে অনেক টুল ও রোটেশন আছে, এবং প্রতিটি দল “কার্যকর” ভিন্নভাবে সংজ্ঞায়িত করতে পারে। সংজ্ঞা ও লেবেল প্রমিত করুন, দলের স্তরে পর্যালোচনা করুন, এবং টুল অনুযায়ী নয়, সেবা অনুযায়ী একত্র করুন। ঘটনার পারস্পরিক সম্পর্কের প্ল্যাটফর্ম মাপে পরিমাণ কমায় কিন্তু নিজস্ব পুনরুদ্ধারের যাচাই লাগে।
সরকার ও সরকারি খাত। কিছু সেবা অফিসের সময়ে চলে এবং অন্যগুলি, যেমন জরুরি বা সুবিধার ব্যবস্থা, ধারাবাহিকভাবে চলে। যেখানে ব্যর্থতার আইনি বা নিরাপত্তার পরিণতি আছে সেখানে শনাক্তকরণের আওতা ও পরীক্ষিত সতর্কবার্তা সবচেয়ে গুরুত্বপূর্ণ, এবং পরীক্ষার রেকর্ড নিরীক্ষা সমর্থন করতে পারে। তদারকি সংস্থাকে কাঁচা সতর্কবার্তার গণনা নয়, আওতা ও শনাক্তকরণ প্রতিবেদন করুন, যা ভুল পড়া সহজ (দেখুন বিষয় 8.5, নিয়ন্ত্রক ও সরকারি প্রতিবেদন)।
ব্যবসায়িক যুক্তি: প্রেরণা, ROI ও TCO
বিনিয়োগের কারণ ব্যবহারিক। ভালো শনাক্তকরণ ব্যবহারকারীরা প্রভাবিত থাকার সময় ছোট করে। কম অর্থহীন পেজ ঘুম রক্ষা করে, রোটেশন থেকে ঝরে পড়া কমায়, এবং যে সতর্কবার্তা গুরুত্বপূর্ণ তার জন্য মনোযোগ রাখে। দুর্বল সতর্কবার্তার মানের খরচ দেখা কঠিন কারণ তা বিঘ্নিত ঘুম, ধীর সাড়া এবং অভিজ্ঞ প্রকৌশলীদের চলে যাওয়ায় ছড়িয়ে থাকে।
সতর্কবার্তা, পেজিং ও ইনসিডেন্টের টুল জোড়া গেলে এই মেট্রিক সংগ্রহের খরচ কম, এবং লেবেল হাতে যোগ হলে পরিমিত। প্রধান খরচ সাপ্তাহিক পর্যালোচনার সময়, সুরে বাঁধা ও মোছার কাজ, এবং মাঝেমধ্যে শনাক্তকরণের পরীক্ষা। অব্যবহৃত নিয়ম ছাঁটাই পর্যবেক্ষণের লাইসেন্স ও সংরক্ষণের খরচও কমায়, এবং মালিকানার মোট ব্যয়ে মানুষের সময় অন্তর্ভুক্ত থাকা উচিত।
প্রতিদান কয়েক মাসের মধ্যে শান্ততর রোটেশন, বাড়তে থাকা পর্যবেক্ষণ-শনাক্ত অংশ এবং খারাপ না হওয়া শনাক্তকরণের সময় হিসেবে দেখা দেয়। এটি টাকায় পরিণত করতে আপনার নিজস্ব সংখ্যা ব্যবহার করে ইনসিডেন্টের ঘণ্টা ও রোটেশনের আবর্তনের খরচকে পর্যালোচনার খরচের সঙ্গে তুলনা করুন। যাচাইকৃত উৎস উদ্ধৃত করতে না পারলে শিল্পের গড় ব্যবহার করবেন না।
অ্যান্টি-প্যাটার্ন ও ফাঁদ
- সতর্কবার্তার পরিমাণে লক্ষ্য রাখা। গণনার লক্ষ্য নীরবতাকে পুরস্কৃত করে এবং সতর্কবার্তা লুকাতে ডাকে। লক্ষ্য রাখুন কার্যকর সতর্কবার্তার হার ও শনাক্ত অংশে, এবং পরিমাণকে দলের বাছা টেকসই সীমাসহ একটি প্রেক্ষাপটের সংখ্যা হিসেবে ব্যবহার করুন।
- প্রতিটি কারণে সতর্ক করা। কারণ-স্তরের কয়েক ডজন পেজ কোলাহল তৈরি করে এবং তবুও যে উপসর্গ কেউ ভাবেনি তা মিস করে। বদলে ব্যবহারকারীমুখী উপসর্গে সতর্ক করুন।
- প্রতিটি ইনসিডেন্টের পরে একটি সতর্কবার্তা যোগ করে কখনও একটি না সরানো। প্রতিটি নতুন সতর্কবার্তাকে সেই সতর্কবার্তাগুলির পর্যালোচনার সঙ্গে জুড়ুন যা এটি অপ্রয়োজনীয় করে।
- লেবেল না করে সতর্কবার্তা গোনা। উপযোগিতার বিচার ছাড়া একটি গণনা একটি কোলাহলময় রোটেশনকে একটি ব্যস্ত রোটেশন থেকে আলাদা করতে পারে না। কেবল কয়েক মিনিট থাকলেও প্রতি সপ্তাহে একটি নমুনা লেবেল করুন।
- আওতাকে সতর্কবার্তার গণনা গণ্য করা। পঞ্চাশটি কারণের সতর্কবার্তা এবং কোনো উপসর্গের সতর্কবার্তা না থাকা একটি সেবা দুর্বলভাবে আচ্ছাদিত। আওতাকে পরীক্ষিত উপসর্গ শনাক্তকরণ হিসেবে সংজ্ঞায়িত করুন।
- সামলানো বা স্বীকৃত পেজ দিয়ে মানুষকে ক্রম দেওয়া। এটি কঠিন শিফট নেওয়া রোটেশনের সদস্যদের শাস্তি দেয় এবং পেজার এড়াতে উৎসাহিত করে। রোটেশন ও সেবা অনুযায়ী প্রতিবেদন করুন এবং নকশার সমাধান খুঁজুন।
- সতর্কবার্তার পথ কখনও পরীক্ষা না করা। যে সতর্কবার্তা কাজ করতে দেখা যায়নি তা একটি অনুমান। গেম ডেতে সতর্কবার্তার পরীক্ষা অন্তর্ভুক্ত করুন, এবং পাইপলাইন নিজেকে পর্যবেক্ষণ করুন।
পরিপক্বতার মডেল
| মাত্রা | সূচনা | বিকাশ | প্রমিতকরণ | পরিচালনা | সমন্বয় |
|---|---|---|---|---|---|
| পেজিং নীতি ও নিয়মের মালিকানা | সতর্কবার্তা অ্যাড হক যোগ; অনেকগুলি কেন আছে কেউ জানে না | কিছু দলের তাদের নিয়মের জন্য একটি নীতি ও মালিক আছে | একটি সংক্ষিপ্ত পেজিং নীতি; প্রতিটি পেজিং নিয়মের একজন মালিক ও একটি রানবুক আছে | নিয়মের সাম্প্রতিকতা অনুসৃত ও পর্যালোচিত; অব্যবহৃত নিয়ম একটি সময়সূচিতে সরানো | সেবা বদলালে নীতি ও মালিকানা দল ও সরবরাহকারী জুড়ে অভিযোজিত |
| সতর্কবার্তার মান পরিমাপ | কোলাহল নিয়ে অভিযোগ; কোনো গণনা নেই | কিছু দল পরিমাণ গোনে; কোনো লেবেল করা নেই | সাধারণ লেবেলসহ সাপ্তাহিক পর্যালোচনা; কার্যকর সতর্কবার্তার হার ও মিথ্যা ধনাত্মকের হার সেবা অনুযায়ী প্রতিবেদিত | হার প্রবণতায় দেখা এবং শনাক্তকরণের পরিমাপের সঙ্গে জোড়া; উন্নয়নের কাজ অর্থায়িত | সেবা ও সরবরাহকারী জুড়ে মান যুক্ত; সংজ্ঞা সিদ্ধান্তকে তথ্য দেওয়া বন্ধ করলে সংশোধিত |
| শনাক্তকরণ ও আওতা | গ্রাহক ও সহকর্মীরা বেশির ভাগ সমস্যা জানান | কয়েকটি মূল সেবায় উপসর্গের সতর্কবার্তা | পরীক্ষিত সতর্কবার্তাসহ শনাক্তকরণের আওতা অনুসৃত; প্রতিটি ইনসিডেন্টের জন্য প্রথম-সংকেত লিপিবদ্ধ | শনাক্তকরণের সময় ও পর্যবেক্ষণ-শনাক্ত অংশ একটি রক্ষাবেষ্টনীসহ পর্যালোচিত; ফাঁক পরিকল্পিত কাজ হয় | সতর্কবার্তার পাইপলাইনসহ নির্ভরতা ও সরবরাহকারী জুড়ে শনাক্তকরণ নিয়মিত পরীক্ষিত |
| উন্নয়নে ব্যবহার | সতর্কবার্তার সমাধান সবচেয়ে খারাপ রাত অনুসরণ করে | সমাধান ইনসিডেন্ট অনুসরণ করে | প্রতিটি পর্যালোচনা অন্তত একটি বদল ঘটায় | বদল পরিমাণ, কার্যকারিতা ও শনাক্তকরণে তাদের প্রভাব পর্যন্ত অনুসৃত | বিনিয়োগ চালাতে রোটেশনের ভার, শনাক্তকরণ ও ত্রুটির বাজেট একসঙ্গে পর্যালোচিত |
চেকলিস্ট
- আমাদের কয়েক বাক্যের একটি লিখিত পেজিং নীতি আছে যা বলে কী একটি পেজ অর্জন করে।
- প্রতিটি পেজিং নিয়মের একজন মালিক, একটি উদ্দেশ্য ও একটি রানবুকের লিঙ্ক আছে।
- প্রতিটি রোটেশন অন্তত সাপ্তাহিক কী বেজেছে তা পর্যালোচনা করে এবং প্রতিটি সতর্কবার্তা লেবেল করে।
- প্রতিটি পর্যালোচনা একটি নিয়মে অন্তত একটি লিপিবদ্ধ বদল ঘটায়।
- আমরা সতর্কবার্তার পরিমাণ, কার্যকর সতর্কবার্তার হার ও মিথ্যা ধনাত্মকের হার রোটেশন ও সেবা অনুযায়ী প্রতিবেদন করি, কখনও ব্যক্তি অনুযায়ী নয়।
- প্রতিটি ইনসিডেন্ট লিপিবদ্ধ করে এটি প্রথম কীভাবে শনাক্ত হয়েছিল, একটি অজানা বিকল্পসহ।
- আমরা সেবা-স্তরের নির্দেশকের ইতিহাস থেকে প্রভাবের শুরু অনুমান করি এবং শনাক্তকরণের সময়ের মধ্যমা ও 95তম পার্সেন্টাইল প্রতিবেদন করি।
- প্রতিটি পরিধির সেবার একটি উপসর্গের সতর্কবার্তা আছে যা গত 12 মাসে পরীক্ষিত।
- সতর্কবার্তার পাইপলাইন থামলে একটি হার্টবিট যাচাই আমাদের পেজ করে।
- আমরা প্রতিটি রোটেশনের জন্য একটি টেকসই কর্মঘণ্টার বাইরের ভারে একমত হয়েছি এবং তা পর্যালোচনা করি।
- কেবল সতর্কবার্তার পরিমাণে কোনো লক্ষ্য ঠিক করা নেই।
এআই প্রম্পট
উদ্দেশ্য: একটি সেবার নির্দেশক ও পরিণতি থেকে একটি পেজিং নীতির খসড়া করুন।
[service name] সেবার জন্য একটি পেজিং নীতির খসড়া করতে সাহায্য করুন।
প্রেক্ষাপট: ব্যবহারকারী [user group]; আমরা যে ব্যবহারকারীমুখী উপসর্গের যত্ন নিই [symptoms, for example errors, latency, unavailability]; একটি মিস হওয়া ব্যর্থতার পরিণতি [consequences]; অন-কল রোটেশন [rotation description, for example hours and team size]।
একটি সংক্ষিপ্ত নীতি লিখুন (200 শব্দের কম) যা বলে কী একটি পেজ অর্জন করে, কী একটি টিকিটের সারিতে যায়, এবং কী একটি ড্যাশবোর্ডে থাকে।
সীমা বা বেঞ্চমার্ক মান বানাবেন না; আমাদের নিজস্ব তথ্য থেকে ঠিক করার জন্য [threshold] স্থানধারক রাখুন।
চূড়ান্ত করার আগে আপনি আমাদের যে প্রশ্ন করতেন তা এবং আপনার অনুমান তালিকাভুক্ত করুন।
উদ্দেশ্য: কোলাহলের ধরনের জন্য একটি রপ্তানি করা সতর্কবার্তার পর্যালোচনা বিশ্লেষণ করুন।
আমি [period] থেকে [rotation name] রোটেশনের সতর্কবার্তার একটি সারণি পেস্ট করব, কলামসহ: [column names, for example rule, time, label, action taken, service]।
কেবল আমি যে তথ্য পেস্ট করি তা ব্যবহার করে কার্যকর সতর্কবার্তার হার, মিথ্যা ধনাত্মকের হার, কর্মঘণ্টার বাইরের অংশ এবং পাঁচটি সবচেয়ে কোলাহলময় নিয়মের সতর্কবার্তার অংশ গণনা করুন।
কোন নিয়ম সুরে বাঁধা, মেশানো, নামানো বা মোছা উচিত তা প্রতিটির কারণসহ পরামর্শ দিন, এবং প্রতিটি পরামর্শ যাচাই করার একটি অনুমান হিসেবে চিহ্নিত করুন।
নিয়ম, সেবা ও রোটেশন অনুযায়ী প্রতিবেদন করুন, কখনও ব্যক্তি অনুযায়ী নয়। বেঞ্চমার্ক মান বানাবেন না।
আপনার অনুমান এবং আপনি যে সারি বাদ দিয়েছেন তা তালিকাভুক্ত করুন।
উদ্দেশ্য: প্রকাশের আগে কারসাজির ঝুঁকির জন্য সতর্কবার্তার মেট্রিকের একটি সেট যাচাই করুন।
এখানে আমরা যে সতর্কবার্তার মানের মেট্রিক প্রকাশ করতে চাই: [list of metrics with definitions and formulas]।
প্রতিটি মেট্রিকের জন্য, [organization type and service]-এর আমাদের প্রেক্ষাপটে এটি যে দুটি উপায়ে কারসাজি করা বা ভুল পড়া যেতে পারে তা বর্ণনা করুন, এবং একই তালিকা থেকে একটি জোড়া রক্ষাবেষ্টনী বা আমরা গ্রহণ করতে পারি এমন একটি অনুশীলন পরামর্শ দিন।
যে মেট্রিক তার রক্ষাবেষ্টনী ছাড়া দেখানো হয় তা চিহ্নিত করুন।
উৎস বা বেঞ্চমার্ক মান বানাবেন না।
আমাদের টুল কীভাবে সতর্কবার্তা ও ইনসিডেন্ট লিপিবদ্ধ করে সে সম্পর্কে আপনার অনুমান তালিকাভুক্ত করুন।
উদ্দেশ্য: দুর্বল আওতার সেবার জন্য শনাক্তকরণের একটি পরীক্ষার পরিকল্পনা করুন।
আমাদের সেবা [list of services], এবং আমরা বিশ্বাস করি যে উপসর্গের সতর্কবার্তা আছে তা [list of alerts]।
পরবর্তী [game day or rehearsal]-এর জন্য একটি নিরাপদ পরীক্ষার পরিকল্পনা প্রস্তাব করুন যা প্রতিটি সেবার জন্য যাচাই করে যে একটি ইচ্ছাকৃত উপসর্গ সতর্কবার্তা ট্রিগার করে, [rotation]-এ পৌঁছায় এবং একটি রানবুকে যুক্ত হয়।
বলুন আগে কাকে জানানো উচিত এবং শনাক্তকরণের আওতার জন্য ফল কীভাবে লিপিবদ্ধ করবেন।
টুলের বৈশিষ্ট্য বানাবেন না; [monitoring tool] কীভাবে কাজ করে তা আমাকে জিজ্ঞেস করুন।
আপনার অনুমান তালিকাভুক্ত করুন।
এআই স্কিল
- এজাইল ITIL মেট্রিক্স স্কিল: কোন বিষয় একটি সম্পর্কিত পরিমাপ সংজ্ঞায়িত করে এবং একটি সতর্কবার্তার মানের মেট্রিকের পাশে থাকা উচিত এমন রক্ষাবেষ্টনী খুঁজতে ব্যবহার করুন।
- এজাইল ITIL মেট্রিক্স রক্ষণাবেক্ষণ স্কিল: এই বিষয়ের সম্পাদনা টেমপ্লেট, কারসাজির সারণি ও পারস্পরিক উল্লেখ সংগত রাখছে কি না যাচাই করতে ব্যবহার করুন।
মূল শিক্ষণীয় বিষয়
- সতর্কবার্তা বিচার করুন তা কর্মে নিয়ে গেছে কি না দিয়ে, এবং পর্যবেক্ষণ বিচার করুন প্রকৃত সমস্যার কতটা তা ধরেছে তা দিয়ে; নির্ভুলতা ও পুনরুদ্ধার একে অপরকে পাহারা দেয়।
- ব্যবহারকারীরা অনুভব করেন এমন উপসর্গে পেজ করুন, যেখানে একটি আছে সেখানে সীমা সেবা-স্তরের উদ্দেশ্যের সঙ্গে জুড়ুন, এবং কারণ নির্ণয়ের জন্য রাখুন।
- প্রতি সপ্তাহে কী বেজেছে তা পর্যালোচনা করুন, লেবেল করুন, এবং প্রতিবার অন্তত একটি বদল করুন।
- কেবল সতর্কবার্তার পরিমাণে কখনও লক্ষ্য ঠিক করবেন না; কার্যকর সতর্কবার্তার হার, পর্যবেক্ষণ-শনাক্ত অংশ এবং শনাক্তকরণের সময়ের পাশে তা পড়ুন।
- সতর্কবার্তা ও সতর্কবার্তার পাইপলাইন পরীক্ষা করুন, কারণ একটি অপরীক্ষিত সতর্কবার্তা একটি অনুমান।
- রোটেশন ও সেবা অনুযায়ী প্রতিবেদন করুন, কখনও ব্যক্তি অনুযায়ী নয়, এবং টেকসই অন-কলের ভারকে একটি নকশার লক্ষ্য হিসেবে দেখুন।
তথ্যসূত্র ও আরও পড়ার জন্য
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.