مقاييس الحوادث الكبرى
قِس الحوادث الكبرى بوصفها أحداثًا نادرة مكلفة يُتعلَّم منها، لا جدول ترتيب: عُدّها، وأزمِنها بصدق، وحجّم أثرها في العملاء، وتحقق من أن الناس أُخبروا، وأثبت أن إجراءات المتابعة أُنجزت.
الملخص والدافع
الحادثة الكبرى حادثة جسيمة بما يكفي لتحتاج إلى استجابة تتجاوز الروتين العادي. وITIL، أشهر إطار لإدارة خدمات تقنية المعلومات، تصف إدارة الحوادث بأنها استعادة التشغيل العادي للخدمة بأسرع ما يمكن، وتتوقع من المنظمات معالجة أخطر حوادثها عبر مسار مميز أكثر تنسيقًا. وكيف ترسم المنظمة ذلك الخط قرارها هي. والاختيار الشائع حادثة تؤثر في مستخدمين كثيرين أو خدمة حرجة وتحتاج إلى عدة فرق تعمل معًا تحت منسق واحد. اكتب تعريفك أنت، لأن كل مقياس في هذا الموضوع يعتمد عليه.
الحوادث الكبرى قليلة. فقد يرى فريق عشرات الحوادث العادية أسبوعيًا وحادثتين أو ثلاثًا كبرى في الربع. وهذا يغير كيف تقيس. فإحصاءات حجم الحوادث وزمن الحل العادية (انظر الموضوع 3.2، حجم الحوادث وأولوياتها، والموضوع 3.3، زمن الاستجابة للحوادث وحلّها) تفترض أحداثًا كثيرة وتكافئ المتوسطات. ومع حفنة حوادث كبرى في الفترة يهيمن على المتوسط ليلة سيئة واحدة، ويكون خط الاتجاه ضجيجًا في معظمه، ويكون المئين بلا معنى على خمس نقاط بيانات (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة). والنهج الصادق إظهار كل حادثة كبرى صفًا خاصًا، بخطها الزمني الخاص، وعدم التلخيص إلا على نوافذ أطول.
وتلتقي رؤيتا أجايل وITIL هنا التقاءً أشد مباشرة من أي موضع آخر في الكتاب. تساهم ITIL بالبنية: حادثة كبرى معلنة، ومنسق مسمّى، وتواصل محدد مع الأطراف المتأثرة، ومراجعة بعد ذلك. وتساهم تقاليد أجايل وهندسة موثوقية المواقع (SRE) بالعادات: قائد حادثة يدير الاستجابة، ومراجعة بلا لوم لما حدث، وتركيز على التعلم يغذي التحسين المستمر. ويصف كتاب غوغل Site Reliability Engineering نمط قيادة الحادثة وممارسة مراجعة ما بعد الحادثة (انظر المراجع). وتحليل ما بعد الحادثة بهذا المعنى سرد مكتوب لحادثة وأسبابها والإجراءات التي تتبعها، ويُستخدم المصطلح هنا تبادليًا مع "مراجعة ما بعد الحادثة".
ويغطي هذا الموضوع خمسة أسئلة. كم مرة تحدث الحوادث الكبرى؟ كم تدوم، وكم من ذلك الزمن يُصرف قبل أن يعلن أحد حادثة؟ كم مستخدمًا، وأي مستخدمين، شعروا بها؟ هل سمع الناس منا في الوقت المناسب وبإيقاع ثابت؟ وهل حدثت المتابعة الموعودة؟ وتغطي المواضيع ذات الصلة ما يحيط بها: التوافر (انظر الموضوع 5.3، مقاييس التوافر)، وجودة المراجعة المكتوبة (انظر الموضوع 4.2، مقاييس تحليل ما بعد الحادثة والتعلّم)، والأسباب الكامنة (انظر الموضوع 4.1، مقاييس إدارة المشكلات)، والتغيير الذي كثيرًا ما يطلقها (انظر الموضوع 4.4، فشل التغيير وإعادة العمل).
مصطلحات مستخدمة في هذا الموضوع:
- الحادثة الكبرى: حادثة تستوفي معايير إعلانها المكتوبة وتطلق عملية الحادثة الكبرى.
- الإعلان: اللحظة التي يستدعي فيها شخص ذو صلاحية عملية الحادثة الكبرى رسميًا.
- زمن الاستعادة: الزمن منذ بدء أثر العملاء حتى لحظة استعادة الخدمة للمستخدمين. ولحظة استعادة الخدمة ليست لحظة إيجاد السبب الجذري.
- قائد الحادثة: الدور الذي ينسق الاستجابة ويوزع المهام ويقرر. وهو دور طوال الحادثة، لا مسمى وظيفي.
- مراجعة ما بعد الحادثة: الفحص المنظم بلا لوم لحادثة بعد استعادة الخدمة.
- بند الإجراء: تغيير محدد له مالك وتاريخ يتبع من مراجعة.
المبادئ الأساسية
- أظهر الأحداث ثم لخّص. الأحداث النادرة تستحق خطوطًا زمنية فردية. أبلغ بكل حادثة كبرى منفصلة ولا تستخدم إحصاءات الملخص إلا على نافذة طويلة، مع العدد بجانبها.
- ابدأ الساعة عند الأثر لا عند العلم. المدة التي تبدأ حين يلاحظ أحد تخفي فجوة الكشف، وكثيرًا ما تكون أكبر جزء من القصة.
- قِس تجربة المستخدم لا جهد الفريق. أثر العملاء سبب وجود العملية. ساعات جهد المستجيبين كلفة تُتتبع، لا درجة أبدًا.
- التواصل جزء من الاستعادة. الخدمة المستعادة بينما المستخدمون ما زالوا يخمّنون لم تُصلَح إلا نصف إصلاح. عامل توقيت التحديثات قياسًا للاستجابة.
- المراجعة لا تنتهي حتى تنتهي الإجراءات. وثيقة مكتملة بإجراءات مفتوحة لم تغيّر شيئًا. قِس المتابعة، لا وجود مراجعة فحسب.
- لا ترتب الأشخاص، ولا تعاقب على الإعلان أبدًا. إن آذى إعلان حادثة كبرى فريق المعلِن في تقرير فسيُعلَن عدد أقل من الحوادث وستتحسن المقاييس بينما تسوء الخدمة.
- أبقِ معايير الإعلان ثابتة. تحريك العتبة يغير كل مقياس في هذا الموضوع. سجّل كل تغيير بسببه وتاريخه.
تعريفات المقاييس
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| عدد الحوادث الكبرى | الحوادث الكبرى المعلنة في فترة، حسب الخدمة | عدد الحوادث التي استوفت معايير الإعلان وأُعلنت في الفترة، بوقت الإعلان؛ تُسرد الحوادث المخفَّضة خلال الساعة الأولى منفصلة وتُستبعد | عدد لكل ربع | سجلات حوادث أداة ITSM بعلامة الحادثة الكبرى | إدارة الحوادث | مراجعة صحة الفريق أو الخدمة | تقرير شهري، اتجاه ربع سنوي |
| مدة الحادثة الكبرى | الزمن الذي تأثر فيه العملاء | وقت استعادة الخدمة ناقص وقت بدء الأثر، لكل حادثة. بدء الأثر هو أبكر دليل في المراقبة أو أول بلاغ مستخدم، أيهما أسبق. تُسجَّل الاستعادة الجزئية حدثًا مستقلًا، وتوقف الاستعادة الكاملة الساعة | دقائق، لكل حادثة | الخط الزمني للمراقبة، الخط الزمني للحادثة في أداة ITSM | إدارة الحوادث؛ إدارة مستوى الخدمة | زمن التعافي في قياسات التسليم (انظر الموضوع 2.8، مقاييس DORA) | لكل حادثة؛ الوسيط والأقصى على نافذة طويلة كل ربع |
| زمن الإعلان | التأخر بين بدء الأثر وإعلان حادثة كبرى | وقت الإعلان ناقص وقت بدء الأثر، لكل حادثة. تُكتشف الحوادث التي لم تُعلن قط بمراجعة ربع سنوية للحوادث العادية عالية الأثر وتُدرج بوقت إعلان غير متوفر (لم تُعلن قط) | دقائق، لكل حادثة | الخط الزمني للمراقبة، مسار تدقيق أداة ITSM | إدارة الحوادث؛ المراقبة وإدارة الأحداث | تعريف الجاهزية للتصعيد في اتفاقيات عمل الفريق | لكل حادثة |
| أثر العملاء | كم مستخدمًا وكم استخدامًا تأثر | المستخدمون المتأثرون (أو الطلبات الفاشلة) مضروبين في الدقائق المتأثرة، لكل حادثة. يُحتسب فقط المستخدمون الذين حاولوا استخدام الخدمة خلال نافذة الأثر. تُستبعد الصيانة المخططة | مستخدم-دقيقة، أو طلبات فاشلة | قياسات الخدمة عن بعد، سجلات اتصالات الدعم | إدارة مستوى الخدمة؛ إدارة الحوادث | مؤشرات مستوى الخدمة الموجهة للمستخدم (انظر الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ) | لكل حادثة |
| توقيت التواصل | هل أُخبر الأطراف المتأثرون في الوقت المناسب | حصة الحوادث الكبرى التي صدر فيها أول إشعار موجه للعملاء ضمن الهدف بعد الإعلان، وحصة التحديثات المجدولة المرسلة ضمن الفاصل المتفق عليه. تبدأ الساعة عند الإعلان. تُستبعد الرسائل الداخلية فقط | نسبة الحوادث؛ نسبة التحديثات | سجل صفحة الحالة، سجل التواصل في أداة ITSM | إدارة الحوادث؛ إدارة مستوى الخدمة | تواصل أصحاب المصلحة في اتفاقية عمل الفريق | لكل حادثة؛ ملخص ربع سنوي |
| توقيت إتمام المراجعة | هل جرت مراجعة مبكرًا بما يكفي لتفيد | حصة الحوادث الكبرى التي لها مراجعة منشورة ضمن العدد المتفق عليه من أيام العمل بعد الاستعادة. تتوقف الساعة عند النشر، لا عند المسودة الأولى. تُستبعد الحوادث ما زالت داخل النافذة | نسبة مئوية | مستودع المراجعات، أداة ITSM | التحسين المستمر؛ إدارة المشكلات | متابعة التحسين | ربع سنوي |
| متابعة بنود الإجراءات | هل تكتمل إجراءات المراجعة | إجراءات المراجعة المكتملة بحلول موعدها / إجراءات المراجعة المستحقة في الفترة. الإجراءات المغلقة بـ"لن يُنفَّذ" تُحتسب منفصلة بسبب، ولا تُخفى | نسبة مئوية؛ عدد المتأخر | متتبع المهام المرتبط بالمراجعة | التحسين المستمر؛ إدارة المشكلات | بنود قائمة المهام من الاستعادات الرجعية | شهري |
| معدل الحوادث الكبرى المتكررة | تكرار السبب نفسه | الحوادث الكبرى في الفترة التي يطابق سببها المسجل حادثة كبرى سابقة في الاثني عشر شهرًا السابقة / الحوادث الكبرى في الفترة. تتم المطابقة بحقل السبب، ويراجع يدويًا | نسبة مئوية، مع إظهار العدد | سجلات المراجعة، سجلات المشكلات | إدارة المشكلات | عمل الوقاية في قائمة المهام | ربع سنوي |
كل صف يحتاج قاعدة ساعة مكتوبة قبل الوثوق به. والنزاعات حول بدء الأثر ووقت الاستعادة شائعة وأفضل ما تُحسم سلفًا (انظر الموضوع 1.5، مصادر البيانات والأجهزة القياسية).
التوصيات
اكتب ما يجعل الحادثة كبرى
انشر معايير إعلان يستطيع أي شخص في المناوبة تطبيقها. تجمع المعايير عادةً الأثر (مستخدمون متأثرون، أو خدمة حرجة متدهورة، أو خطر على السلامة أو القانون) مع الحاجة إلى التنسيق (أكثر من فريق مطلوب). وقائمة قصيرة بأمثلة أفضل من مصفوفة طويلة. بيّن من يحق له الإعلان، وأوضح أن الإعلان بحسن نية ليس خطأً أبدًا، حتى حين تتبين الحادثة صغيرة.
سجّل إصدار المعايير في كل سجل حادثة. حين تتحرك العتبة تتحرك الاتجاهات معها. ورقم إصدار أو تاريخ على كل سجل يتيح لك مقارنة المتماثل بالمتماثل وشرح قفزة في العدد جاءت من تغيير قاعدة.
عُدّ وصنّف دون تحويل العدد إلى هدف
أبلغ بالعدد مع سياقه. أظهر عدد الحوادث الكبرى لكل ربع بجانب الخدمة والمحفز (تغيير، سعة، اعتماد، أمن، غير ذلك) وإصدار المعايير. والعدد بلا سياق يدعو إلى أهداف مثل "أقل من ثلاث في الربع"، تعلّم الناس ألا يعلنوا. وعامل العدد المنخفض خبرًا سارًا فقط حين يكون زمن الإعلان وأثر العملاء مستقرين.
افصل المعلنة والمخفَّضة والفائتة. تتبع الحوادث التي أُعلنت ثم خُفضت، لأنها تُظهر هل المعايير معقولة. وراجع عينة من الحوادث العادية كل ربع بحثًا عن تلك التي كان ينبغي إعلانها. والفائتة أكثرها إفادة.
أزمِن الحادثة من جانب المستخدم
ابدأ الساعة حين يتأثر العملاء. استخدم أبكر دليل موثوق، وكثيرًا ما يكون إشارة مراقبة تسبق أول تذكرة. وحين يكون البدء غير مؤكد فسجّل التقدير ومصدره لا وقت ملاحظة أحد. والفجوة بين بدء الأثر والإعلان مقياس بحد ذاته وعادةً أرخص ما يُحسَّن.
قسّم الخط الزمني إلى مراحل. الكشف والإعلان والتشخيص والتخفيف والاستعادة الكاملة لكل منها أسباب تأخير مختلفة وملّاك مختلفون. وتفصيل المراحل لكل حادثة يُظهر أين ذهب الوقت دون حاجة إلى متوسط. واستعادة الخدمة بحل التفافي وإصلاح السبب حدثان منفصلان، والثاني ينتمي إلى إدارة المشكلات.
استخدم الوسيط وأسوأ حالة على نوافذ طويلة، مع العدد. لسنة من البيانات أبلغ بالوسيط وأطول مدة، وقل من كم حادثة جاءا. وتجنب متوسط زمن استعادة واحد للحوادث الكبرى. فهو غير مستقر مع أحداث قليلة، ويتشوه بانقطاع طويل واحد (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة).
حجّم أثر العملاء بعبارات يعرفها المستخدمون
فضّل الأثر القائم على المستخدم على القائم على الخادم. الطلبات الفاشلة أو المستخدمون المتأثرون أو المعاملات المتأثرة تصف ما حدث للناس. ودقائق الخدمة المتدهورة على مكوّن تصف ما حدث لآلة. وحيث توجد مؤشرات مستوى خدمة فاستخدمها (انظر الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ) واربط الحادثة بصورة التوافر (انظر الموضوع 5.3، مقاييس التوافر).
أضف بيان أثر بلغة بسيطة إلى كل سجل. جملة أو اثنتان تسميان من تأثر وما لم يستطيعوا فعله. واتصالات الدعم وإشارات وسائل التواصل وتصعيدات العملاء دليل للبيان، لا قياسات تُعظَّم.
قِس التواصل جزءًا من الاستجابة
ضع أهداف تواصل حسب الجمهور. يحتاج العملاء المتأثرون وأصحاب المصلحة الداخليون والتنفيذيون رسائل مختلفة في أوقات مختلفة. اتفق على هدف للإشعار الأول بعد الإعلان وإيقاع ثابت للتحديثات، وقِس الالتزام لكل حادثة. والإيقاع أهم من المحتوى: تحديث يقول "لا تغيير، التحديث القادم بعد ثلاثين دقيقة" ويصل في وقته يبني ثقة أكثر من الصمت.
أبقِ الاستجابة والتواصل في أيدٍ منفصلة. يحرر مسؤول التواصل قائد الحادثة للتركيز على التشخيص. ويستطيع فريق صغير استخدام قائمة تحقق وقالب مكتوب مسبقًا بدلًا من ذلك.
أغلق حلقة التعلم
أجرِ المراجعة مبكرًا وانشرها. الذاكرة تبهت، فضع نافذة للمراجعة وقِس هل تحققت. وإتمام المراجعة أقل أهمية مما تغيّره المراجعة، فاقرنه بالمتابعة. ويدافع كتاب غوغل Site Reliability Engineering عن المراجعة بلا لوم وعن كتابتها (انظر المراجع)، ويغطي الموضوع 4.2 (مقاييس تحليل ما بعد الحادثة والتعلّم) جودة المراجعة.
تتبع الإجراءات حتى النهاية، واسمح بـ"لن يُنفَّذ" الصادق. ضع كل إجراء في قائمة المهام التي يستخدمها الفريق المالك أصلًا، بمالك وتاريخ. وسجّل الإجراءات المرفوضة بسبب بدل تركها تتعفن. وراجع المتأخر منها في مراجعة عمليات أو خدمة واسأل ما الذي يعوقها. وضع سقفًا لعدد الإجراءات لكل مراجعة ليكون الباقي هو المهم.
ابحث عن أنماط عبر الحوادث وأرسلها إلى إدارة المشكلات. الأسباب المتكررة والمحفزات المشتركة وفجوات الكشف المتكررة إشارات تفوتها المراجعات المنفردة. غذِّ بها عملية المشكلات والأخطاء المعروفة (انظر الموضوع 4.1، مقاييس إدارة المشكلات) وتخطيط الفرق التي تملك الخدمات. وعامل ارتفاع معدل التكرار محفزًا للتحقيق لا حكمًا.
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| عدد الحوادث الكبرى | رفع عتبة الإعلان، أو إبقاء الحوادث عند أولوية "عالية" فلا تُعلن أبدًا، أو تقسيم حدث واحد إلى عدة سجلات، أو دمج عدة في واحد | معايير ثابتة ذات إصدارات؛ عينة ربع سنوية من الحوادث العادية عالية الأثر؛ تتبع أثر العملاء وزمن الإعلان بجانب العدد |
| مدة الحادثة الكبرى | تأخير بدء الأثر لإعادة ضبط الساعة، أو إعلان "مستعادة" بينما المستخدمون ما زالوا يخفقون، أو الإغلاق وإعادة الفتح بسجل جديد | بدء الأثر مأخوذ من المراقبة؛ الاستعادة مؤكدة بمؤشر موجه للمستخدم؛ السجلات المعاد فتحها والمرتبطة تُحتسب حادثة واحدة |
| زمن الإعلان | الإعلان مبكرًا عن كل شيء ليبدو الفريق سريعًا، أو تعديل الإعلان بأثر رجعي إلى بدء الأثر | حصة الحوادث المعلنة التي خُفضت لاحقًا؛ مسار تدقيق وقت الإعلان؛ عينة من الخطوط الزمنية مقابل المراقبة الخام |
| أثر العملاء | تضييق تعريف "متأثر"، أو عدّ المستخدمين الذين رفعوا تذكرة فقط، أو قياس اعتماد بقي قائمًا | أثر مشتق من القياس عن بعد ومن الاتصالات معًا؛ بيان أثر بلغة بسيطة يُراجع في مراجعة الحادثة |
| توقيت التواصل | نشر إشعار غامض لبدء الساعة، أو إرسال تحديثات بلا محتوى، أو عدّ الرسائل الداخلية | فحص محتوى عينة من التحديثات؛ ملاحظات العملاء عن الوضوح؛ عدّ الإشعارات الموجهة للعملاء فقط |
| توقيت إتمام المراجعة | نشر وثيقة رقيقة لبلوغ التاريخ، أو إعلان مراجعة "غير لازمة" | يقرأ نظير جودة المراجعة على عينة (انظر الموضوع 4.2، مقاييس تحليل ما بعد الحادثة والتعلّم)؛ تُظهر حصة المراجعات المعفاة |
| متابعة بنود الإجراءات | كتابة إجراءات غامضة أو تافهة يسهل إغلاقها، أو إغلاق الإجراءات دون أداء العمل، أو إعادة وسمها "لن يُنفَّذ" | أخذ عينة لجودة الإجراءات؛ التحقق من الإجراءات المغلقة مقابل تغيير النظام؛ مراجعة حصة "لن يُنفَّذ" وأسبابها |
| معدل الحوادث الكبرى المتكررة | تسجيل كل سبب جديدًا باختيار صياغة مختلفة، أو نسبة كل شيء إلى "خطأ بشري" | تصنيف قصير للأسباب بتعريفات؛ حقول السبب يراجعها من هو خارج الحادثة؛ لا يُقبل "الخطأ البشري" سببًا دون تفسير للنظام |
القراءة الصحية عدد معتدل وثابت نسبيًا من الحوادث المعلنة، مع تخفيض عرضي وفائتة عرضية تُكتشف في المراجعة. وزمن الإعلان قصير ويتناقص، وأثر العملاء لكل حادثة مفهوم وينخفض حيث أُنجز عمل الوقاية، وتقريبًا كل التحديثات الموجهة للعملاء في موعدها. والمراجعات تُنشر في وقتها وإجراءاتها مكتملة في معظمها، مع مجموعة صغيرة صادقة من الإجراءات المرفوضة. وإن بدا كل شيء مثاليًا فاسأل هل انجرفت المعايير أو هل كفّ الناس عن الإعلان (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس). والقانون الذي سُمي على اسم تشارلز غودهارت أسهل ما يُرى هنا، لأن كلفة الرقم السيئ استعداد أقل لرفع إنذار.
المفاضلات: المزايا والعيوب
| الخيار | نقطة القوة | نقطة الضعف |
|---|---|---|
| إظهار كل حادثة صفًا | يحفظ السياق ويتجنب المتوسطات المضللة على أعداد صغيرة | أصعب تلخيصًا للقادة؛ يحتاج سردًا قصيرًا لكل حادثة |
| الإبلاغ بعدد الحوادث الكبرى | بسيط ومألوف ومرئي للقيادة | يسهل تحويله هدفًا؛ يتفاعل مع تغييرات المعايير |
| الزمن من بدء الأثر | يعكس تجربة المستخدم، ويكشف فجوة الكشف | بدء الأثر غير مؤكد أحيانًا ويحتاج حكمًا |
| الزمن من الإعلان | سهل الالتقاط والمقارنة | يخفي الكشف البطيء والإعلان البطيء |
| مستخدم-دقيقة الأثر | قابل للمقارنة عبر الحوادث والخدمات | يحتاج قياسًا عن بعد؛ يعامل كل المستخدمين والدقائق بالتساوي |
| معدل إتمام المراجعة | سهل الجمع، يدفع العادة | يكافئ الوثيقة لا التعلم |
| معدل متابعة الإجراءات | يربط المراجعة بالتغيير | يمكن التلاعب به بإجراءات تافهة؛ يحتاج مالكًا وقائمة مهام |
استخدم مجموعة صغيرة من القياسات تغطي الدورة كلها (إعلان، استعادة، إخبار، تعلم، إنهاء) بدل تحسين واحد. وأضف قياسات الأثر فقط حين يوجد القياس عن بعد. وحيث ينقص القياس عن بعد فبيان أثر مكتوب بعناية يخدم أفضل من رقم مختلق.
أسئلة للنقاش مع فريقك
1. ماذا يجعل الحادثة كبرى هنا بالضبط، وهل يتفق الجميع في المناوبة؟ التعريف أساس كل رقم آخر. اطلب من ثلاثة أشخاص تصنيف الحادثة الحديثة نفسها وقارن الإجابات. يُظهر الخلاف أين المعايير غامضة. وعلى الميسّر أن يدوّن أمثلة تضاف إلى المعايير المكتوبة وأن يتفقوا على من يحق له الإعلان. واختم بتأكيد أن الإعلان بحسن نية مقبول دائمًا، حتى لو خُفضت الحادثة لاحقًا.
2. في آخر حادثة كبرى لدينا، كم كان بين بدء الأثر والإعلان؟ أعد بناء الخط الزمني من المراقبة لا الذاكرة. الفجوة كثيرًا ما تكون أكبر من المتوقع وأحيانًا أطول مرحلة. اسأل أي إشارة وُجدت ومن رآها، وهل جاءت الفجوة من معايير غير واضحة أو تنبيه مفقود أو تردد في الإعلان. اختر تغييرًا واحدًا يقصّرها وقرر كيف ستعرف.
3. من تأثر، وكيف نعرف؟ قارن ما اعتقده الفريق وقتها بما يُظهره القياس عن بعد واتصالات الدعم لاحقًا. اسأل أي العملاء، إن وُجدوا، تأثروا أكثر من غيرهم، وهل هم الأهم للعمل أم الأقل قدرة على التحمل. وناقش هل بيان الأثر شيء يعرفه عميل. واتفقوا على قياس أثر واحد تستطيعون جمعه بموثوقية المرة القادمة.
4. هل سمع الناس منا حين احتاجوا، وهل كانت الرسالة مفيدة؟ افحص الإشعار الأول وكل تحديث مقابل الإيقاع المتفق عليه. اقرأ الرسائل الفعلية كما يقرؤها عميل. واسأل هل قالت ما هو معروف وما هو غير معروف ومتى يأتي التحديث القادم. وناقش من يملك التواصل أثناء حادثة وهل هو متفرغ لذلك.
5. ماذا حدث لإجراءات آخر ثلاث مراجعات لدينا؟ اجمع الإجراءات في قائمة واحدة وعلّم كلًّا منها منجزًا أو قيد التنفيذ أو متأخرًا أو مرفوضًا. وللمتأخر اسأل ما الذي يعوقه: سعة أو ملكية أو أولوية أو نطاق غير واضح. وقرروا كيف سيُرفع المتأخر في اجتماع العمليات أو التخطيط القادم.
6. لو قِسنا بعدد الحوادث الكبرى فماذا سنفعل بشكل مختلف، وهل سيكون العملاء أفضل حالًا؟ هذا السؤال يكشف طرق التلاعب قبل أن تقع. اطلب من المجموعة الصراحة في ما قد يغيّرونه: العتبات والوسوم ومن يعلن. ثم اسأل ما الهدف الأفضل. الجواب الجيد يتجه نحو أثر العملاء وزمن الإعلان والمتابعة، وهي أصعب تلاعبًا دون مساعدة المستخدمين. وسجّل الجواب ضابط حماية.
المنظورات الأربعة
فرق المنتج والتسليم
تقابل فرق المنتج الحوادث الكبرى مقاطعات للعمل المخطط وتغذية راجعة عن تغييراتها. وتكسب أكثر من أرقام أثر واضحة ووصول سريع إلى خطوطها الزمنية وإجراءات مراجعة تصل قائمة مهامها مع مجال لتنفيذها. احجز سعة لمتابعة الحوادث، وعامل الإجراءات عملًا بالمنزلة نفسها للميزات. وشارك فئات الأسباب ليقود محفز متكرر إلى تغيير في الممارسة (انظر الموضوع 2.9، العمل التشغيلي والعمل غير المخطط).
فرق الخدمة والعمليات
تدير فرق العمليات الاستجابة وتتحمل كلفة العمل في ساعات الليل المتأخرة. وتحتاج معايير تستطيع تطبيقها عند الثالثة صباحًا، ودور قائد وتواصل تستطيع تأهيله، وأدوات تلتقط الخط الزمني أثناء حدوث الأحداث لا من الذاكرة بعد ذلك. وعليها أن تراقب الحمل الذي تضعه الحوادث الكبرى على مجموعة صغيرة من الأشخاص (انظر الموضوع 5.7، مقاييس العمل الروتيني والمناوبة) وأن تستخدم قياسات هذا الموضوع لتطلب عمل وقاية، لا لمقارنة المستجيبين.
القيادة والحوكمة
يضع القادة المناخ الذي يقرر هل يعلن الناس سريعًا ويبلّغون بصدق. وعليهم أن يطلبوا قصة كل حادثة كبرى والاتجاه على سنة، وأن يتجنبوا أهدافًا على العدد، وأن يسألوا عن أثر العملاء وفجوات الكشف والإجراءات المنتهية. وموّلوا عمل الوقاية الذي توصي به المراجعات، وراجعوه في المنتدى نفسه لخطط التسليم. وتستطيع الحوكمة حينها رؤية هل تتحول الدروس تغييرًا (انظر الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ، لطريقة تربط الموثوقية بالاستثمار).
العملاء والمستخدمون
يحكم العملاء على حادثة كبرى بمدة تأثرهم وهل أُخبروا وهل تتكرر. وهم أفضل خدمة بإشعارات مبكرة صادقة منها بمتأخرة منمقة. امنحهم قناة حالة وإيقاعًا يعتمدون عليه وسردًا واضحًا بعد ذلك لما حدث وما سيتغير. وحيث تنطبق العقود فأبلغ بالشروط المتفق عليها في اتفاقية مستوى الخدمة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA). والرضا بعد حادثة يستحق السؤال عنه (انظر الموضوع 6.1، مقاييس رضا العملاء).
عمليًا: مثال على أجايل ITIL
يشغّل متجر تجزئة إلكتروني متوسط الحجم واجهة متجر وخدمة مدفوعات وخدمة إدارة طلبات، يملك كلًّا منها فريق منتج، مع فريق منصة مشترك في المناوبة. وتدير مجموعة إدارة خدمات صغيرة عملية الحادثة الكبرى. كل الأرقام في هذا المثال توضيحية.
في الربعين الأخيرين أعلن المتجر خمس حوادث كبرى (توضيحي). وتعرض مجموعة إدارة الخدمات كلًّا منها صفًا ببدء الأثر ووقت الإعلان ووقت الاستعادة والطلبات الفاشلة المقدرة ووقت أول إشعار للعملاء وحالة المراجعة. ويلاحظون أن الوسيط للفجوة بين بدء الأثر والإعلان 38 دقيقة (توضيحي)، تقريبًا بطول الوسيط من الإعلان إلى الاستعادة وهو 52 دقيقة (توضيحي). ومع خمس حوادث يعاملون الرقمين تقريبيين ويقرؤون الخطوط الزمنية. وتُظهر ثلاث من الخمس تنبيه مراقبة انطلق مبكرًا وبقي بلا إقرار في قناة مشتركة.
يقرر الفريق توجيه فئة التنبيه تلك إلى جهاز نداء المناوبة، وإضافة سطر إلى المعايير يقول إن إشارة فشل دفع مستمرة تكفي للإعلان دون انتظار التذاكر. ويضعون أيضًا هدفًا للإشعار الأول للعملاء خلال 20 دقيقة من الإعلان (توضيحي)، ويفحصونه لكل حادثة. حققه اثنان من خمسة. ويضيف فريق النشر قالب صفحة حالة يستطيع مسؤول التواصل ملأه تحت الضغط.
وفي المراجعة نفسها يجدون خطر تلاعب. كان مدير أحد فرق المنتج قد اقترح هدفًا ربع سنويًا بـ"ما لا يزيد عن حادثتين كبيرتين". وتشير مجموعة إدارة الخدمات إلى أن الربع السابق شهد حادثة بقيت عند أولوية عالية أربع ساعات والعملاء يخفقون في الدفع، ولم تُعلن قط لأن الفريق كان قريبًا من الحد. فيستبدلون الهدف بثلاثة قياسات: زمن الإعلان، والطلبات الفاشلة لكل حادثة، وحصة إجراءات المراجعة المكتملة في وقتها. ويضيفون ضابط الحماية بعينة ربع سنوية من الحوادث عالية الأولوية يقرؤها من هو خارج الفريق المالك. وفي الربع التالي يرتفع العدد المعلن إلى أربعة (توضيحي)، وينخفض وسيط زمن الإعلان، ولا تجد المراجعة المأخوذة بعينة إعلانات فائتة.
النظرة حسب القطاع
الشركات الناشئة. قد لا يكون للشركة الناشئة عملية حادثة كبرى رسمية، فقط من هو مستيقظ. ابدأ بتعريف من فقرة واحدة ومنسق مسمّى لكل حدث ومستند مشترك يسجل الخط الزمني. عُدّ الحوادث ودوّن الأثر في جملة. ويمكن أن تكون المراجعة ملاحظة من نصف صفحة، والمتابعة بندًا في قائمة مهام الفريق.
الأعمال الصغيرة. كثيرًا ما تعتمد الأعمال الصغيرة على الموردين في جزء كبير من خدمتها، فيتضمن الخط الزمني الانتظار على مورد. سجّل أزمنة الاتصال بالمورد واستجابته في الخط الزمني للحادثة، لأنها تفسر كثيرًا من المدة وتعطي دليلًا لحوارات العقد. وأبقِ تواصل العملاء بسيطًا: قناة واحدة وشخص واحد وفاصل تحديث معلن.
المؤسسات الكبرى. تدير المؤسسات الكبرى خدمات كثيرة ولها حوادث كثيرة في كل فترة، فيفيد عدد لكل خدمة وتجميع معًا. والمخاطر معايير غير متسقة بين الأقسام وعملية ثقيلة تبطئ الإعلان. وحّدوا التعريفات، وأبقوا العملية خفيفة في الدقائق الخمس عشرة الأولى، واستخدموا صيغة سجل مشتركة ليمكن مقارنة الأثر والتواصل.
الحكومة والقطاع العام. كثيرًا ما تكون للهيئات العامة واجبات قانونية، مثل إخطار جهة تنظيمية أو الجمهور، وكلفة فشل أعلى على مواطنين بلا بديل. أضيفوا قياسات للامتثال لواجبات الإخطار وللأثر في الفئات الضعيفة، واحتفظوا بسجلات تصمد أمام التدقيق وطلبات المعلومات العامة. وقد تؤخر دورات المشتريات بنود الإجراءات، فتتبعوا الإجراءات المحجوبة وصعّدوها.
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
الدافع خفض كلفة الحوادث الأشد إيلامًا: إيراد أو خدمة ضائعة، وثقة تضررت، وإرهاق عاملين، وتعرض تنظيمي. ومجموعة صغيرة متسقة من قياسات الحوادث الكبرى تُظهر من أين تأتي تلك الكلفة، وهل يتحسن الكشف والتواصل، وهل يستقر استثمار الوقاية. والقياسات التي لا تُظهر إلا عددًا تدفع الكلفة إلى إخفاء الحوادث.
وكلف الجمع متواضعة إن كانت البيانات تعيش أصلًا في أداة ITSM ونظام المراقبة ومتتبع المهام. والكلف الرئيسية الاتفاق على التعريفات، وربط سجل الحادثة بالمراقبة وبقائمة مهام الإجراءات، ووقت كتابة كل مراجعة. وكلفة القياسات قليلة بعد جعل السجل متسقًا.
ويظهر العائد في زمن إعلان أقصر وتواصل أوضح وحوادث متكررة أقل وإعادة عمل أقل. ولا رقم عالميًا ينطبق، فقدّر رقمك: خذ آخر سنة من حوادثك الكبرى، وقدّر مع المالية كلفة ساعة أثر لكل خدمة، وقارنها بكلفة عمل المتابعة اللازم لمنع الأسباب المتكررة. وإجمالي تكلفة الملكية يشمل وقت المراجعين وأدوات الخطوط الزمنية وصفحات الحالة والسعة المخصصة لإجراءات المتابعة، وهنا تقصر معظم البرامج في الاستثمار.
الأنماط المضادة والمزالق
- هدف لعدد الحوادث الكبرى. يعلّم الناس تجنب الإعلان. تتبع بدلًا منه زمن الإعلان والأثر والمتابعة، وخذ عينات للإعلانات الفائتة.
- متوسط زمن استعادة واحد للحوادث الكبرى. مع أحداث قليلة يهيمن انقطاع طويل واحد. أظهر بدلًا منه كل حادثة، ثم الوسيط والأطول على سنة مع العدد.
- بدء الساعة عند الإعلان. يخفي تأخر الكشف والإعلان. ابدأ بدلًا منه عند أبكر دليل على أثر العملاء، وأبلغ بالفجوة منفصلة.
- ترتيب المستجيبين أو الفرق بقياسات الحوادث. يدمر الصراحة ويكسر المراجعة. أبلغ بدلًا منه حسب الخدمة والنظام، وأبقِ الأسماء خارج البيانات.
- اعتبار المراجعة منتهية حين تُنشر الوثيقة. التغيير هو الغاية. قِس بدلًا منه متابعة الإجراءات وانظر إلى المتأخر شهريًا.
- تغييرات العتبة الصامتة. تفقد الاتجاهات معناها. أصدر بدلًا منها نسخًا من المعايير ودوّن التغييرات في التقرير.
- عدّ التذاكر وحدها أثرًا. كثير من المستخدمين المتأثرين لا يتصلون أبدًا. استخدم بدلًا منها القياس عن بعد وأضف بيان أثر بلغة بسيطة.
- استخدام القياسات لإلقاء اللوم. يخفي الناس الحقائق حينها. أبقِ بدلًا منه المراجعات بلا لوم، وركّز على الظروف والقرارات، وابحث عن أسباب النظام.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| التعريف والساعات | "كبرى" تعني ما يقوله أعلى الأصوات؛ الأزمنة من الذاكرة | لبعض الفرق معايير وتكتب أوقات البدء والانتهاء | تعريف مكتوب واحد ذو إصدارات، بقواعد ساعة لبدء الأثر والإعلان والاستعادة | يُدقَّق التعريف والساعات مقابل المراقبة؛ تُسجَّل التغييرات بأسبابها | تُتفق المعايير والساعات مع الموردين والعملاء وتُنقَّح حين تكفّ عن الاستنارة بها في القرارات |
| الأثر والتواصل | الأثر يوصف بالحكايات؛ التحديثات تُرسل حين يتذكر أحد | الأثر مقدَّر لبعض الحوادث؛ بعض الفرق تستخدم صفحة حالة | الأثر مقيس من القياس عن بعد للخدمات الرئيسية؛ أهداف التحديث موضوعة ومتتبعة | يُتتبع الأثر والتواصل ويُربطان بملاحظات العملاء | يُشارَك الأثر مع العملاء والموردين بصيغة مشتركة، مع إجراءات تحسين مشتركة |
| المراجعة والمتابعة | المراجعات نادرة وغير مكتوبة؛ الإجراءات منسية | تكتب بعض الفرق مراجعات؛ تُسجَّل الإجراءات ولا تُتتبع | كل حادثة كبرى تُراجع في وقتها؛ الإجراءات تُتتبع في قائمة مهام الفريق | يُراجع المتأخر من الإجراءات والأسباب المتكررة بوتيرة، مع عمل وقاية ممول | تُشارَك الأنماط عبر الفرق والموردين؛ التعلم يغير التصميم والتخطيط روتينيًا |
| الاستخدام في القرارات | تُقتبس الأرقام بعد الواقعة | تُعرض الأعداد على القادة بلا سياق | تُعرض الخطوط الزمنية والاتجاهات على الفرق التي تملك الخدمات | تُقرن القياسات بضوابط حماية وتُستخدم لترتيب أولويات عمل الموثوقية | يُقرَّر استثمار الموثوقية بالاشتراك بدليل الأثر والتكرار عبر الخدمات |
قائمة التحقق
- معايير الإعلان مكتوبة وذات إصدارات ومعروفة لكل من في المناوبة.
- الإعلان بحسن نية آمن صراحةً، ولا هدف على العدد.
- أوقات بدء الأثر والإعلان والاستعادة معرَّفة ومأخوذة من المراقبة أو مسار التدقيق.
- كل حادثة كبرى تُعرض صفًا خاصًا بخط زمني مرحلي.
- أثر العملاء مشتق من القياس عن بعد حيث يوجد ومُوصَّف ببيان بلغة بسيطة.
- أهداف الإشعار الأول وإيقاع التحديث موضوعة ومفحوصة لكل حادثة.
- مراجعة تُنشر ضمن النافذة المتفق عليها وإجراءاتها في قائمة مهام الفريق المالك.
- تُراجع الإجراءات المتأخرة والأسباب المتكررة بجدول.
- عينة ربع سنوية من الحوادث العادية عالية الأثر تفحص الإعلانات الفائتة.
- لكل مقياس ضابط حماية مسمّى، ولا مقياس يُستخدم لترتيب الأفراد.
مطالبات الذكاء الاصطناعي
صُغ معايير إعلان للمراجعة.
I am drafting criteria for declaring a major incident in [organization type].
Our services are [list of services] and our teams are [list of teams]. Users
are [description of users]. Propose a short set of declaration criteria with
two or three examples for each, a list of ambiguities a team might argue about,
and questions I should settle with [stakeholders]. Do not invent thresholds or
benchmark values; use [placeholders] where a number is needed. List your
assumptions.
أعد بناء خط زمني لحادثة وانقده.
Here is the timeline of a major incident: [paste timeline with timestamps and
sources]. Identify the impact start, the declaration, mitigation, and full
restoration, and say which timestamps are uncertain and why. Split the duration
into phases and note where the largest delays occurred. Suggest questions to ask
the responders and monitoring evidence to look for. Do not invent facts that are
not in the timeline. List your assumptions.
راجع مجموعة إجراءات ما بعد الحادثة.
Below are the actions from [number] post-incident reviews for [service]:
[paste actions with owner, due date, and status]. Group them by theme, flag any
that are vague, trivial, or unowned, and identify patterns that suggest a
problem record or a backlog item for [owning team]. Do not rank individuals or
teams by performance. Do not invent causes. List your assumptions and the
information you would need to improve the analysis.
اختبر مقياسًا مقترحًا للتلاعب.
We plan to track [metric name], defined as [definition] and measured from
[data source]. Describe how this metric could be gamed by [role], what honest
behavior it might discourage, and which paired guardrail metric or practice
would catch each case. Keep the suggestions practical for a team of
[team size]. Do not invent benchmark values or sources. List your assumptions.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على المواضيع ذات الصلة وضابط الحماية الذي ينبغي أن يجاور كل مقياس حادثة كبرى.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن نسخة معدَّلة من هذا الموضوع ما زالت تتبع القالب والأعراف.
النقاط الرئيسية
- الحوادث الكبرى نادرة، فأظهر كل واحدة بخطها الزمني ولخّص فقط على نوافذ طويلة مع العدد بجانب الرقم.
- ابدأ الساعة عند أثر العملاء، وأبلغ بالفجوة قبل الإعلان قياسًا مستقلًا.
- قِس الأثر بدلالة المستخدمين والاستخدام، وأضف بيانًا بلغة بسيطة لما تفوته الأرقام.
- عامل توقيت التواصل جزءًا من الاستجابة، بأهداف حسب الجمهور وإيقاع تحديث ثابت.
- تنتهي المراجعة حين تنتهي إجراءاتها، فتتبع المتابعة والأسباب المتكررة.
- لا تضع هدفًا على العدد، ولا ترتب الأشخاص، وأبقِ الإعلان آمنًا.
المراجع والقراءة الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.