مقاييس جودة المراقبة والتنبيهات
التنبيه طلب لانتباه شخص، فقِس المراقبة بكم مرة كان هذا الطلب يستحق، وكم من المتاعب الحقيقية التقط، وكم كلّف من نوم وثقة.
الملخص والدافع
المراقبة هي جمع بيانات آنية عن نظام ومعالجتها وعرضها. ومراقبة النظام تجيب عن سؤال "هل الخدمة تعمل بالطريقة التي يحتاجها المستخدمون؟" والتنبيه هو النقطة التي تطلب فيها تلك البيانات من إنسان أن يفعل شيئًا. ومعظم الفرق تقيس النشاط الأول بسوء أو لا تقيسه أبدًا، وتقيس الثاني عبر الشكاوى فقط. ويعطيك هذا الموضوع مجموعة صغيرة من القياسات للاثنين: هل ترى المراقبة الإخفاقات التي تهم، وهل تستحق التنبيهات التي تطلقها الانتباه الذي تطلبه.
بعض المصطلحات أولًا. في مفردات ITIL 4 الحدث (event) تغير حالة له دلالة لإدارة خدمة، وإدارة الأحداث هي ممارسة كشف الأحداث وتقرير أيها يهم واختيار الاستجابة. والتنبيه (alert) إشعار لإنسان، يُسلَّم صفحة استدعاء أو رسالة أو تذكرة. والصفحة (page) تنبيه يقاطع أحدًا فورًا. والإيجابية الكاذبة (false positive) تنبيه أُطلق ولم يكن شيء يحتاج انتباهًا، والسلبية الكاذبة (false negative) فشل لم يبلّغ عنه أي تنبيه؛ ويأتي كلا المصطلحين من لغة الإيجابيات الكاذبة والسلبيات الكاذبة. والتنبيه القابل للتنفيذ (actionable) تنبيه كان لدى شخص فيه إجراء مفيد يفعله، ففعله أو اختار عن قصد ألّا يفعله لسبب مسجل.
وجانبا المراقبة يتجاذبان. فإضافة تنبيهات بعد كل حادثة تبني جدار ضجيج؛ وتقليصها لتهدئته يخاطر بالصمت أثناء الفشل المهم. ولغة الدقة والاستدعاء تناسب هذا جيدًا. تسأل الدقة (precision) أي حصة من التنبيهات المطلقة كانت تستحق الإطلاق. ويسأل الاستدعاء (recall) أي حصة من المشكلات الحقيقية التقطتها التنبيهات. وجودة التنبيه هي التوازن بين الاثنين، والقياس الذي يراقب أحدهما فقط يدعو الفريق إلى التضحية بالآخر. ونسبة الإشارة إلى الضجيج تلتقط التوتر نفسه.
والكلفة البشرية سبب انتماء هذا الموضوع إلى كتاب مقاييس الخدمة. فـإجهاد الإنذار (alarm fatigue) ميل موثق جيدًا لدى الناس المعرَّضين لإنذارات كثيرة، معظمها غير مهم، إلى فقدان الحساسية والبطء في الاستجابة لما يهم منها. وقد دُرس أولًا في بيئات سريرية وينطبق على أي مناوبة استدعاء تُستدعى كثيرًا بتنبيهات لا تقود إلى شيء. والمستجيبون المجهدون يفوتون الحوادث الحقيقية وفي النهاية يغادرون المناوبة.
وتختلف الرؤى عبر التقليدين اللذين يجمعهما هذا الكتاب. تضع ITIL 4 هذا العمل في ممارسة إدارة المراقبة والأحداث، بروابط مع إدارة الحوادث وإدارة مستوى الخدمة. وشاغلها أن تُكشف الأحداث وتُصنَّف وتُوجَّه ليُعثر على الحوادث مبكرًا وتُعالج باتساق. وتقترب هندسة موثوقية المواقع (SRE) من الطرف الآخر: يجادل كتاب غوغل Site Reliability Engineering بأن الصفحات ينبغي أن تكون عاجلة ومهمة وقابلة للتنفيذ وحقيقية، وأن كل ما عداها ينتمي إلى تذكرة أو لوحة. وتقابله فرق أجايل اتفاقَ عمل: من يُوقَظ، ولماذا، ومن يصلح تنبيهًا خاطئًا. وتستعير القياسات أدناه من الثلاثة وتلتزم قاعدة واحدة: القياس يصف مناوبة أو خدمة أو قاعدة تنبيه، لا فردًا أبدًا.
ولا يكرر هذا الموضوع جيرانه. فأزمنة الحوادث تنتمي إلى الموضوع 3.3، زمن الاستجابة للحوادث وحلّها، والحوادث الكبرى إلى الموضوع 3.4، مقاييس الحوادث الكبرى، والأهداف وميزانيات الخطأ إلى الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ، والحمل البشري إلى الموضوع 5.7، مقاييس العمل الروتيني والمناوبة. والموضوع هنا جودة الإشارة التي تبدأ كل هذه. والتجهيز مغطى في الموضوع 1.5، مصادر البيانات والأجهزة القياسية.
المبادئ الأساسية
- استدعِ للأعراض التي يشعر بها المستخدمون؛ وأحِل الباقي إلى تذكرة أو لوحة. يبقى التنبيه على ما يعيشه المستخدمون (أخطاء وبطء وعدم توافر) مفيدًا مع تغير النظام. أما التنبيه على سبب (قرص ممتلئ، معالج مشغول) فمفيد فقط حين يتنبأ بعرض ويستطيع شخص التصرف قبل وصوله.
- كل تنبيه يجب أن يقود إلى إجراء. إن كان الرد الصحيح على تنبيه ألّا يُفعل شيء، فينبغي تغيير التنبيه أو خفضه إلى تذكرة أو حذفه. قِس حصة ما يقود إلى إجراء، وعامل الباقي عيوبًا في المراقبة.
- قِس الدقة والاستدعاء معًا. عدّ الضجيج وحده يكافئ الصمت، وعدّ التغطية وحدها يكافئ الحجم. والاثنان معًا يصفان الجودة، ويعمل كل منهما ضابط حماية للآخر.
- عامل كل قاعدة تنبيه منتجًا بمالك. للقاعدة غرض وعتبة ودليل تشغيل وتاريخ مراجعة. والقواعد بلا مالك تتراكم، والضجيج الذي تنتجه ملك لا أحد.
- أبلغ عن المناوبات والخدمات لا الناس. حمل التنبيه خاصية لكيفية تصميم النظام والمناوبة. وتسمية الأفراد تحول مشكلة تصميم إلى مشكلة لوم وتخفي الإصلاح الحقيقي.
تعريفات المقاييس
اختيرت القياسات أدناه مجموعةً. الحجم وحده بلا معنى، والقابلية للتنفيذ تخبرك هل الحجم مشكلة، والتغطية وزمن الكشف يخبرانك ما الذي يخفيه الهدوء. وتُحسب كلها لكل خدمة أو لكل مناوبة، وتستخدم كلها سجل التنبيهات من أدوات المراقبة والاستدعاء مضمومًا إلى سجلات الحوادث والتذاكر.
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| حجم التنبيهات | عدد التنبيهات التي أشعرت إنسانًا، مقسمة إلى صفحات وتذاكر | عدد الإشعارات المميزة المسلَّمة إلى مناوبة أو طابور في الفترة؛ تكرارات التنبيه المفتوح نفسه تُجمَّع في واحد؛ التنبيهات التي عولجت بالكامل بالأتمتة بلا إشعار إنسان مستبعدة؛ أبلغ لكل مناوبة في الأسبوع، وحصة ما خارج ساعات العمل منفصلة | تنبيهات لكل أسبوع مناوبة | أداة الاستدعاء وتوجيه التنبيهات | إدارة المراقبة والأحداث | اتفاقية عمل الفريق على المناوبة | أسبوعي |
| معدل التنبيهات القابلة للتنفيذ | حصة التنبيهات التي اتخذ شخص بعدها إجراءً مفيدًا | التنبيهات التي لها إجراء مسجل (إصلاح أو تخفيف أو تصعيد أو تغيير في قاعدة التنبيه) / التنبيهات المراجَعة في الفترة؛ التنبيهات التي انحلت آليًا قبل أي إقرار تُحتسب غير قابلة للتنفيذ؛ التنبيهات غير المراجَعة تُبلَّغ عددًا منفصلًا ولا تُسقَط | نسبة مئوية | سجل التنبيه مضمومًا إلى وسم المراجعة أو التذكرة أو الحادثة | إدارة المراقبة والأحداث؛ إدارة الحوادث | إجراء تحسين الفريق على العمليات | مراجعة أسبوعية، اتجاه شهري |
| معدل الإيجابية الكاذبة | حصة التنبيهات التي أُطلقت ولم توجد مشكلة | التنبيهات الموسومة إيجابية كاذبة في المراجعة / التنبيهات المراجَعة في الفترة؛ "إيجابية كاذبة" تعني أن الحالة لم تكن عطلًا ولن يرغب أحد في أن يُخبَر بها؛ المشكلة الحقيقية الصغيرة جدًا للتصرف ليست إيجابية كاذبة | نسبة مئوية | وسوم مراجعة التنبيهات | إدارة المراقبة والأحداث | مراجعة الضجيج في الاستعادة الرجعية | شهري |
| تغطية الكشف | حصة الخدمات ضمن النطاق التي لها تنبيه مختبَر واحد على الأقل على عَرَض موجه للمستخدم | الخدمات التي لها تنبيه عَرَض جُرّب باختبار أو حدث حقيقي في آخر 12 شهرًا / الخدمات ضمن نطاق كتالوج الخدمات؛ قائمة الخدمات ضمن النطاق تُثبَّت عند بداية الفترة | نسبة مئوية | كتالوج الخدمات، جرد قواعد التنبيه، سجلات الاختبار | إدارة تهيئة الخدمة؛ إدارة المراقبة والأحداث | تعريف الإنجاز لخدمة جديدة | ربع سنوي |
| حصة الكشف المراقَب | حصة الحوادث التي كشفتها المراقبة قبل أن يبلّغ عنها مستخدم أو زميل | الحوادث التي كانت إشارتها الأولى تنبيهًا / الحوادث في الفترة؛ الساعة هي وقت فتح الحادثة، والحوادث بلا إشارة أولى مسجلة تُبلَّغ مجهولة لا مكشوفة | نسبة مئوية | سجل الحادثة بحقل الإشارة الأولى، الخط الزمني للتنبيهات | إدارة الحوادث | مراجعة الحادثة (التعلم بعد الحادثة) | شهري |
| زمن الكشف (TTD) | الزمن المنقضي بين بدء أثر المستخدمين وأول تنبيه أشعر إنسانًا | وقت أول تنبيه يُشعر إنسانًا ناقص وقت بدء الأثر، حيث بدء الأثر أبكر وقت خرق فيه مؤشر مستوى الخدمة، كما يُثبَّت في مراجعة الحادثة؛ أبلغ بالوسيط والمئين 95؛ الحوادث بلا تنبيه مستبعدة وتُحتسب منفصلة | دقائق | مراجعة الحادثة، الخط الزمني للتنبيهات، تاريخ مؤشر مستوى الخدمة | إدارة الحوادث؛ إدارة المراقبة والأحداث | مراجعة ما بعد الحادثة | شهري، لكل حادثة |
| تركز التنبيهات | حصة حجم التنبيهات التي تنتجها أكثر قواعد التنبيه ضجيجًا | التنبيهات من القواعد الخمس الأكثر تنبيهًا / كل التنبيهات في الفترة؛ التنبيه نفسه يُجمَّع مرة؛ عدد القواعد خمس اصطلاح يستطيع الفريق تغييره إن ذكر السبب | نسبة مئوية | جرد قواعد التنبيه وسجل الاستدعاء | التحسين المستمر؛ إدارة المراقبة والأحداث | قائمة تحسين الاستعادة الرجعية المتراكمة | شهري |
| حداثة قواعد التنبيه | حصة قواعد الاستدعاء التي لها مالك ورابط دليل تشغيل ومراجعة ضمن الفاصل المتفق عليه | قواعد الاستدعاء المحققة للشروط الثلاثة جميعها / كل قواعد الاستدعاء؛ القواعد المعطلة في الفترة مستبعدة | نسبة مئوية | جرد قواعد التنبيه | إدارة المعرفة؛ إدارة المراقبة والأحداث | اتفاقية العمل على الجاهزية التشغيلية | ربع سنوي |
يحتاج حجم التنبيهات سياقًا، فاقرأه بجانب معدل التنبيهات القابلة للتنفيذ. ويستخدم زمن الكشف بدء أثر المستخدمين لا التذكرة، لأن ساعة التذكرة تبدأ بعد الكشف؛ وبدء الأثر تقدير من مراجعة الحادثة وينبغي أن يوسم تقديرًا. ومعدل الإيجابية الكاذبة ومعدل التنبيهات القابلة للتنفيذ ليسا مكملين، لأن التنبيه قد يكون صحيحًا ومع ذلك لا يستحق وقت شخص.
التوصيات
قرر ما يستحق صفحة
1. اكتب سياسة استدعاء وأبقها قصيرة. اذكر في فقرة ما يستحق صفحة (عَرَض يشعر به المستخدمون الآن أو سيشعرون به قريبًا ويستطيع شخص التصرف حياله) وما لا يستحق. وكل ما عداه يذهب إلى طابور تذاكر أو لوحة. وفصل كتاب غوغل SRE عن مراقبة الأنظمة الموزعة نقطة بداية جيدة (انظر الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ).
2. نبّه على الأعراض، وأبقِ الأسباب للتشخيص. صفحة "معدل الخطأ فوق العتبة المتفق عليها" صفحة عن المستخدمين. وصفحة "المعالج مرتفع" صفحة عن تخمين. أبقِ إشارات مستوى السبب على اللوحات حيث سينظر المستجيب حين يُطلَق تنبيه العَرَض، ولا ترقِّ إشارة إلى صفحة إلا حين تتنبأ بعَرَض بموثوقية وبإنذار كافٍ للتصرف.
3. اربط عتبات الاستدعاء بهدف مستوى الخدمة. حيث تكون للخدمة هدف مستوى خدمة (SLO) نبّه على معدل استهلاك ميزانية الخطأ بدل العتبات الخام. ويصف فصل SRE Workbook عن التنبيه على SLO تنبيهات معدل الاستهلاك والمفاضلات بين الدقة والاستدعاء وزمن الكشف وزمن إعادة الضبط. وهذا النهج يستدعي لما يهدد الهدف ويصمت عن النبضات القصيرة التي لا تهدده.
راجع كل تنبيه على إيقاع
4. صنّف كل تنبيه في مراجعة قصيرة منتظمة. خصص خمس عشرة دقيقة كل أسبوع لكل مناوبة للنظر فيما أُطلق. ولكل تنبيه سجّل وسمًا واحدًا: قابل للتنفيذ، أو إيجابية كاذبة، أو حقيقي لكن لا يستحق صفحة، أو مكرر. والوسوم هي بيانات معدل التنبيهات القابلة للتنفيذ ومعدل الإيجابية الكاذبة، والمراجعة هي المكان الذي تُصلَح فيه القواعد المزعجة في اليوم التالي لا الربع التالي.
5. اجعل المراجعة تنتج تغييرًا. كل أسبوع اختر قاعدة واحدة على الأقل لتُضبط أو تُخفَّض أو تُدمج أو تُحذف، وسجّل التغيير في قائمة الفريق المتراكمة عملًا عاديًا.
6. احذف دون خوف. تحتفظ الفرق بالتنبيهات لأن الحذف يبدو خطرًا ولا يتذكر أحد لماذا وُجد. اشترط أن تحمل كل قاعدة استدعاء غرضًا ومالكًا، واتفقوا على أن القاعدة التي لم تقد إلى إجراء قط في فترة معلنة تُزال أو تُخفَّض، مع تسجيل التغيير ليمكن عكسه. ومقياس حداثة القواعد يجعل الانضباط مرئيًا.
قِس ما تفوته المراقبة
7. تتبع حصة الحوادث التي وجدها المستخدمون أولًا. بعد كل حادثة سجّل كيف لوحظت أول مرة: تنبيه أو زميل أو عميل أو تذكرة دعم أو فحص روتيني. وحصة ما وجدته المراقبة أقرب قياس عملي للاستدعاء. وهي غير كاملة، لأن الحوادث التي لم يلاحظها أحد لا تدخل العينة أبدًا، فاقرنها باختبارات دورية للتنبيهات نفسها.
8. قدّر زمن الكشف بصدق. ثبّت بدء أثر المستخدمين في مراجعة الحادثة من تاريخ مؤشر مستوى الخدمة، لا من وقت كتابة أحد التذكرة. أبلغ بالوسيط ومئين عالٍ، وأظهر الحوادث التي لم يكن لها تنبيه أصلًا عددًا منفصلًا. والمتوسط الواحد يخفي الحالة النموذجية والذيل السيئ معًا (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة، والموضوع 3.3، زمن الاستجابة للحوادث وحلّها).
9. اختبر التنبيهات التي تعتمد عليها. تغطية الكشف لا تُصدَّق إلا إن شُوهد التنبيه يعمل. أدرج فحصًا في أيام المحاكاة أو بروفات الإصدار يسبب عَرَضًا عمدًا ويؤكد أن التنبيه الصحيح يُطلَق ويبلغ المناوبة الصحيحة ويرتبط بدليل تشغيل قابل للاستخدام. والتنبيه الذي لم يُجرَّب أمل لا ضابط (انظر الموضوع 5.6، مقاييس استمرارية الخدمة).
أبقِ مسار الإشارة سليمًا
10. راقب المراقبة. الفشل الصامت لنظام المراقبة يبدو تمامًا كخدمة سليمة. أضف فحص نبض يستدعي إن توقف خط التنبيه عن التسليم، وسجّل كم مرة يفشل الخط نفسه.
11. جمّع وأزل التكرار واربط قبل أن تعدّ. جمّع التنبيهات ذات الصلة في واحد، واكتم تكرارات تنبيه مفتوح أصلًا، ووجّه كلًّا إلى المناوبة المالكة. واربط كل تنبيه بدليل تشغيله وبالحادثة أو التذكرة التي أنشأها، لأن هذا الضم هو ما يتيح حساب معدل التنبيهات القابلة للتنفيذ وحصة الكشف المراقَب دون عدّ يدوي (انظر الموضوع 1.5، مصادر البيانات والأجهزة القياسية).
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| حجم التنبيهات | رفع العتبات أو إضافة تأخيرات طويلة أو نقل التنبيهات من صفحات إلى طابور صامت فينخفض العدد وتمر المشكلات دون أن تُرى؛ تقسيم التنبيهات أو دمجها لتغيير العدد | حصة الكشف المراقَب وزمن الكشف؛ قاعدة أن كل خفض يُسجَّل بسببه ويُراجع بعد ربع |
| معدل التنبيهات القابلة للتنفيذ | وسم التنبيهات قابلة للتنفيذ بعد الواقعة، أو اتخاذ إجراء تافه (تعليق، إقرار) للتأهل؛ ترك التنبيهات المزعجة غير مراجَعة فلا تدخل المقام | عدد التنبيهات غير المراجَعة معروضًا بجانب المعدل؛ فحص عينة من شخص خارج المناوبة؛ تعريف "إجراء مفيد" مكتوب |
| معدل الإيجابية الكاذبة | تعريف الإيجابيات الكاذبة تعريفًا ضيقًا فتُحتسب التنبيهات "الحقيقية لكن عديمة الجدوى" صحيحة؛ إغلاق التنبيهات المزعجة دون وسم | معدل التنبيهات القابلة للتنفيذ ووسم "حقيقي لكن لا يستحق صفحة" يُتتبعان منفصلين؛ أخذ عينات دورية من التنبيهات المغلقة |
| تغطية الكشف | إضافة تنبيه تافه (ping) إلى كل خدمة لادعاء التغطية؛ عدّ تنبيهات لم تُختبر قط | اشتراط أن يراقب التنبيه عَرَضًا موجهًا للمستخدم وأن يكون قد جُرّب في آخر 12 شهرًا؛ حصة الكشف المراقَب |
| حصة الكشف المراقَب | تسجيل كل حادثة "كشفتها المراقبة" حتى لو أبلغ مستخدم أولًا؛ إنشاء تنبيه بعد الواقعة ثم الاستشهاد به؛ ترك حقل الإشارة الأولى فارغًا لتجنب رقم سيئ | عدد المجهول معروضًا بجانب الحصة؛ دليل الإشارة الأولى مأخوذ من الخط الزمني للتنبيهات لا من الذاكرة؛ الحوادث المبلغ عنها من العملاء مرتبطة من سجل الدعم |
| زمن الكشف (TTD) | إعلان بدء الأثر أحدث مما كان؛ استبعاد الحوادث بلا تنبيه؛ الإبلاغ بالمتوسط لإخفاء الذيل | بدء الأثر مأخوذ من تاريخ مؤشر مستوى الخدمة؛ الحوادث بلا تنبيه تُحتسب وتُعرض؛ يُبلَّغ بالوسيط والمئين 95 معًا |
| تركز التنبيهات | تقسيم قاعدة مزعجة واحدة إلى عدة قواعد فلا تقع أي منها بين الخمس الأوائل؛ إعادة تسمية القواعد | أبلِغ بالتركز بحسب العطل أو الخدمة الأساسية كما بحسب القاعدة؛ تتبع الحجم الكلي ومعدل التنبيهات القابلة للتنفيذ بجانبه |
| حداثة قواعد التنبيه | إضافة ملّاك صوريين أو روابط أدلة تشغيل فارغة أو مراجعة مختومة آليًا لتحقيق الشرط | فحص عينة أن رابط دليل التشغيل يعمل واستُخدم في استجابة حقيقية؛ ممارسة اختبار دليل التشغيل في أيام المحاكاة |
تُظهر القراءة الصحية عدة أشياء معًا. حجم التنبيهات لكل مناوبة ثابت أو يتناقص وضمن مستوى اختاره الفريق مستدامًا. ومعدل التنبيهات القابلة للتنفيذ يرتفع عبر عدة أشهر مع ضبط أكثر القواعد ضجيجًا. وحصة الكشف المراقَب عالية وزمن الكشف قصير ولا يطول مع انخفاض الحجم، مما يثبت أن الهدوء اكتُسب لا اشتُري. وتغطية الكشف تنمو لأن الخدمات تُختبر، لا لأن تنبيهات تافهة أُضيفت. وإن انخفض الحجم بينما ساءت حصة الكشف أو زمنه، فقد بادل الفريق الاستدعاء بالسلام، وضوابط الحماية هي ما يكشف ذلك.
المفاضلات: المزايا والعيوب
| النهج | المزايا | العيوب |
|---|---|---|
| صفحات قليلة قائمة على الأعراض | ليالٍ هادئة وثقة عالية بكل صفحة وسهولة إبقائها حديثة | خطر الكشف المتأخر لمشكلات تتراكم ببطء؛ تحتاج عادات تذاكر ولوحات جيدة لباقي الإشارات |
| تنبيهات كثيرة حساسة | إنذار مبكر بمتاعب على مستوى السبب؛ حوادث فائتة أقل | إجهاد الإنذار وإقرار أبطأ وتسرب من مناوبات الاستدعاء |
| تنبيهات معدل استهلاك SLO | صفحات مرتبطة بما يهدد الهدف؛ نبضات أقل | تحتاج مؤشرات جيدة وهدفًا متفقًا عليه؛ تحتاج ضبطًا لموازنة زمن الكشف والدقة |
| مراجعة تنبيهات أسبوعية | تغذية راجعة سريعة؛ القواعد المزعجة تُصلَح بسرعة | تكلف وقتًا كل أسبوع؛ تصير مسرحية إن لم يتبعها تغيير |
| الوسم بأيدي بشر | تلتقط حكمًا لا تملكه أي أداة | ذاتي؛ تنجرف الوسوم بين المراجعين والمناوبات ما لم تُكتب التعريفات |
| كتم وتجميع آليان | يقطعان الضجيج على نطاق واسع؛ يقللان الصفحات المتكررة | قد يخفيان إشارات حقيقية إن كانت القواعد خاطئة؛ تحتاجان مراقبة ومراجعة خاصتين بهما |
كل خيار يبادل الدقة بالاستدعاء، وينبغي أن تُجرى المبادلة عن قصد وتُكتب لكل خدمة، لأنها السياق الذي يتيح لأي شخص قراءة الأرقام بإنصاف. وخدمة ذات عواقب شديدة لفشل فائت قد تقبل معدل قابلية تنفيذ أدنى مقابل إنذار أبكر، بطبقة فرز ترسل التنبيهات الإضافية إلى طابور تذاكر ليلًا.
أسئلة للنقاش مع فريقك
1. لأي شيء نريد أن نُوقَظ، وأي صفحات الشهر الماضي حققت ذلك المعيار؟ اكتبوا سياسة الاستدعاء في جملة أو اثنتين، ثم خذوا صفحات الشهر الماضي واختبروا كلًّا منها مقابلها. التمرين أقيم من النسبة المئوية التي ينتجها، لأن الخلافات تكشف أين تختلف توقعات الفريق. والتقطوا الصفحات غير الضرورية مرشحة للخفض.
2. لو اختفت قاعدة التنبيه الأكثر ضجيجًا غدًا، فماذا سنخسر؟ اطرحوا السؤال لكل من أعلى خمس قواعد حجمًا. كثيرًا ما لا يستطيع أحد تسمية فشل محدد التقطته القاعدة قط، وهذه علامة على أنها تُضبط أو تُزال. وحيث يستطيع أحد، اسألوا هل كان الفشل سيُطلق تنبيه عَرَض أيضًا.
3. كيف نكتشف ما فاتته المراقبة؟ انظروا إلى آخر عدة حوادث واسألوا من لاحظ أولًا وكم استمر الأثر قبل ذلك. الجواب يعطيكم حصة الكشف المراقَب وزمن كشف تقريبيًا دون أدوات جديدة. وناقشوا أي إشارة كانت ستلتقط كلًّا منها أبكر.
4. هل حمل مناوبتنا مستدام، وكيف سنعرف؟ اتفقوا على ما يعنيه المستدام لمناوبة، مثل حد على الصفحات خارج ساعات العمل أسبوعيًا، وراجعوا الاتجاه بحسب المناوبة لا الشخص. فإن كان الحمل فوق المستوى المتفق عليه فعاملوه عيب خدمة وخططوا عملًا لتقليله. وأبقوا القياسات متسقة مع الموضوع 5.7، مقاييس العمل الروتيني والمناوبة.
5. أي تنبيهاتنا لم نختبره قط، وكيف نختبره بأمان؟ اسردوا الخدمات التي تعتمد على تنبيه عَرَض واحد واسألوا هل رآه أحد يُطلَق في موقف حقيقي أو في بروفة. خططوا لاختبار واحد وافحصوا المسار الكامل: الكشف والتوجيه والإشعار ودليل التشغيل. وفكروا هل سيكون فشل خط التنبيهات مرئيًا أصلًا.
6. كيف قد تُلاعَب هذه الأرقام هنا، وماذا سنلاحظ؟ اطلبوا من الفريق أن يصف بصدق كيف يمكنه تحسين كل رقم دون تحسين شيء. ثم اتفقوا على أي ضابط حماية سيُظهر ذلك ومن ينظر إليه. وتسمية الحيل سلفًا تجعلها أقل إغراءً (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس).
المنظورات الأربعة
فرق المنتج والتسليم
الفرق التي تبني الخدمة وتشغّلها هي من تقرر ما تبلّغ به عن نفسها، فتبدأ جودة التنبيه في تعريف الإنجاز. وميزة جديدة تُشحن بمؤشرها وتنبيهها المختبرين تتجنب مراقبة تُلحَق بعد أول حادثة. وعامل ضبط التنبيهات عملًا عاديًا في قائمة المهام.
فرق الخدمة والعمليات
تحمل فرق العمليات جهاز الاستدعاء وتشعر بالكلفة أولًا، فهي تملك إيقاع المراجعة والوسم ونبض الخط. وحين يكون التنبيه خاطئًا يعود الإصلاح إلى مالك القاعدة، لا إلى من تلقى الصفحة.
القيادة والحوكمة
يستطيع القادة طلب أرقام الكشف وقابلية التنفيذ لكل خدمة، وتمويل وقت الضبط، ومقاومة هدف على حجم التنبيهات يكافئ الصمت. وانخفاض الحجم خبر سار فقط إن بقيت حصة الكشف وزمنه ثابتين. وحدود المناوبة المستدامة قرار توظيف وتصميم، لا قرار تحفيز.
العملاء والمستخدمون
لا يرى العملاء تنبيهًا أبدًا؛ يرون هل فشلت الخدمة وكم استغرق الإصلاح. والمراقبة الجيدة تظهر في حوادث تُصلَح قبل أن يلاحظوا وحالات أقل يبلّغ فيها عميل أولًا. وحيث تستخدم المنظمة قياسات تجربة (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA) فحصة الحوادث التي أبلغ عنها المستخدمون أولًا مؤشر مباشر لفجوة التجربة.
عمليًا: مثال على أجايل ITIL
يشغّل متجر تجزئة إلكتروني متوسط الحجم منصة طلبات بأربع فرق منتج وفريق منصة واحد يدعم مناوبة الاستدعاء. كل الأرقام في هذا المثال توضيحية. على مدى أربعة أسابيع (توضيحي) تلقت المناوبة 240 صفحة، 70 منها بين 22:00 و07:00. ويراجع الفريق كل صفحة بأربعة وسوم: قابل للتنفيذ، وإيجابية كاذبة، وحقيقي لكن لا يستحق صفحة، ومكرر.
تُظهر المراجعة معدل تنبيهات قابلة للتنفيذ 31 في المئة (توضيحي) ومعدل إيجابية كاذبة 22 في المئة (توضيحي). وأنتجت خمس قواعد 58 في المئة من الصفحات (توضيحي)، وأكبرها عتبة قرص على خادم دفعي كان يتعافى دائمًا من تلقاء نفسه. وكانت حصة الكشف المراقَب في الربع السابق 62 في المئة (توضيحي)، ووسيط زمن الكشف 14 دقيقة (توضيحي) بمئين 95 يساوي 51 دقيقة (توضيحي).
يخفض الفريق ثلاث قواعد مزعجة إلى طابور تذاكر، ويدمج المكررات ليُنتج عطل واحد صفحة واحدة، ويستبدل تنبيه عدد الأخطاء الخام على الدفع بتنبيه معدل استهلاك ميزانية الخطأ (انظر الموضوع 5.2، مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ)، ويضيف تنبيه عَرَض لرسائل تأكيد الطلبات، وهي فجوة وراء حادثتين أبلغ عنهما العملاء. وكل تغيير بند في قائمة المهام بمالك. وبعد أربعة أسابيع تنخفض الصفحات إلى 96 (توضيحي) ويرتفع معدل القابلية للتنفيذ إلى 64 في المئة (توضيحي)، بينما ترتفع حصة الكشف إلى 71 في المئة (توضيحي) ويثبت وسيط زمن الكشف عند 14 دقيقة. ويبدو أن الهدوء مكتسب.
ويظهر خطر التلاعب في الشهر الثالث. يضع مدير جديد هدفًا غير رسمي بأقل من 60 صفحة كل أربعة أسابيع، وتبلغه إحدى المناوبات بإطالة التأخير على تنبيه أخطاء الدفع. فتنخفض حصة الكشف لديها إلى 55 في المئة (توضيحي) ويرتفع مئين 95 لزمن الكشف إلى 80 دقيقة (توضيحي). ولأن ضوابط الحماية تجلس بجانب الحجم، تلتقط المراجعة ذلك. ويسحب الفريق هدف الحجم ويعيد التنبيه ويسجل الحالة في سجل المقاييس (انظر الموضوع 1.4، حوكمة المقاييس وملكيتها).
النظرة حسب القطاع
الشركات الناشئة. مع حفنة مهندسين كلهم في المناوبة، الأولوية لسياسة استدعاء قصيرة وبضعة تنبيهات أعراض على المسارات التي تدر مالًا. ونظرة عشر دقائق صباح الاثنين إلى ما أوقظ الناس تكفي. والخطر الرئيسي ألّا توجد تنبيهات أصلًا، فيكون العملاء هم المراقبة؛ فعُدّ كم مرة أخبرك عميل أولًا.
الأعمال الصغيرة. كثيرًا ما تعتمد المنظمات الصغيرة على مراقبة مورد. والقياسات المفيدة تغطية الكشف للأنظمة القليلة التي توقف الأعمال وحصة الحوادث التي وجدها المستخدمون. اطلب من الموردين بيانات التنبيهات التي يخولك عقدك بها.
المؤسسات الكبرى. للمنظمات الكبيرة أدوات ومناوبات كثيرة، وقد يعرّف كل فريق "القابل للتنفيذ" بشكل مختلف. وحّدوا التعريفات والوسوم، وراجعوا على مستوى الفريق، وجمّعوا بحسب الخدمة لا الأداة. وتقلل منصات ربط الأحداث الحجم على نطاق واسع لكنها تحتاج فحوص استدعاء خاصة بها.
الحكومة والقطاع العام. بعض الخدمات تعمل في ساعات المكتب وبعضها، كأنظمة الطوارئ أو الاستحقاقات، يعمل باستمرار. وتهم تغطية الكشف والتنبيهات المختبَرة أكثر حيث يحمل الفشل عواقب قانونية أو تتعلق بالسلامة، وسجلات الاختبار تدعم التدقيق. أبلغ الجهات الرقابية بالتغطية والكشف لا بأعداد التنبيهات الخام، التي يسهل إساءة قراءتها (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
أسباب الاستثمار عملية. فالكشف الأفضل يقصّر الوقت الذي يتأثر فيه المستخدمون. والصفحات العديمة الجدوى الأقل تحمي النوم وتقلل التسرب من المناوبة وتبقي الانتباه للتنبيهات المهمة. وكلفة جودة التنبيه الرديئة يصعب رؤيتها لأنها موزعة على نوم مقطوع واستجابات بطيئة ومغادرة مهندسين ذوي خبرة.
وكلفة جمع هذه القياسات صغيرة إن أمكن ضم أدوات التنبيه والاستدعاء والحوادث، ومعتدلة إن أُضيفت الوسوم يدويًا. والكلف الرئيسية وقت المراجعة الأسبوعية وعمل الضبط والحذف واختبارات الكشف العرضية. وتقليم القواعد غير المستخدمة يقتطع أيضًا من كلف تراخيص المراقبة والتخزين، وينبغي أن يشمل إجمالي تكلفة الملكية وقت الأشخاص.
ويظهر العائد خلال أشهر قليلة مناوباتٍ أهدأ وحصة كشف مراقَب متصاعدة وزمن كشف لا يسوء. ولتحويل ذلك إلى مال قارن كلفة ساعات الحوادث ودوران المناوبة بكلفة المراجعة، بأرقامك أنت. ولا تستخدم متوسطات صناعية ما لم تستطع الاستشهاد بمصدر موثق.
الأنماط المضادة والمزالق
- وضع هدف لحجم التنبيهات. هدف على العدد يكافئ الصمت ويدعو إلى إخفاء التنبيهات. ضع الأهداف على معدل القابلية للتنفيذ وحصة الكشف، واستخدم الحجم رقم سياق مع حد استدامة يختاره الفريق.
- التنبيه على كل سبب. عشرات الصفحات على مستوى السبب تنتج ضجيجًا وتفوتها مع ذلك العَرَض الذي لم يفكر فيه أحد. نبّه على الأعراض الموجهة للمستخدم بدلًا من ذلك.
- إضافة تنبيه بعد كل حادثة وعدم إزالة أي واحد. اقرن كل تنبيه جديد بمراجعة التنبيهات التي يجعلها زائدة.
- عدّ التنبيهات دون وسمها. عدد بلا حكم على الفائدة لا يميز مناوبة مزعجة عن مناوبة مشغولة. صنّف عينة كل أسبوع، ولو كانت دقائق قليلة هي المتاحة.
- معاملة التغطية عدد تنبيهات. خدمة بخمسين تنبيه سبب وبلا تنبيه عَرَض مغطاة بسوء. عرّف التغطية كشفَ عَرَض مختبرًا.
- ترتيب الناس بالصفحات المعالجة أو المقرّ بها. يعاقب أعضاء المناوبة الذين يأخذون المناوبات الصعبة ويشجع تجنب جهاز الاستدعاء. أبلغ بحسب المناوبة والخدمة وابحث عن إصلاحات في التصميم.
- عدم اختبار مسار التنبيه أبدًا. تنبيه لم يُشاهَد يعمل افتراض. أدرج اختبارات التنبيه في أيام المحاكاة وراقب الخط نفسه.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| سياسة الاستدعاء وملكية القواعد | تنبيهات تُضاف ظرفيًا؛ لا أحد يعرف لماذا وُجد كثير منها | لبعض الفرق سياسة وملّاك لقواعدها | سياسة استدعاء قصيرة واحدة؛ لكل قاعدة استدعاء مالك ودليل تشغيل | تُتتبع حداثة القواعد وتُراجع؛ تُزال القواعد غير المستخدمة وفق جدول | تُكيَّف السياسة والملكية عبر الفرق والموردين مع تغير الخدمات |
| قياس جودة التنبيه | شكاوى من الضجيج؛ لا أعداد | بعض الفرق تعدّ الحجم؛ لا وسم | مراجعة أسبوعية بوسوم مشتركة؛ يُبلَّغ بمعدلي القابلية للتنفيذ والإيجابية الكاذبة لكل خدمة | تُتتبع المعدلات وتُقرن بقياسات الكشف؛ يُموَّل عمل التحسين | تُربط الجودة عبر الخدمات والموردين؛ تُنقَّح التعريفات حين تكفّ عن الاستنارة بها في القرارات |
| الكشف والتغطية | العملاء والزملاء يبلّغون عن معظم المشكلات | تنبيهات أعراض على بضع خدمات رئيسية | تُتتبع تغطية الكشف بتنبيهات مختبَرة؛ تُسجَّل الإشارة الأولى لكل حادثة | يُراجع زمن الكشف وحصة الكشف المراقَب بضابط حماية؛ تصير الفجوات عملًا مخططًا | يُختبر الكشف روتينيًا عبر الاعتماديات والموردين، بما فيها خط التنبيه |
| الاستخدام في التحسين | إصلاحات التنبيه تتبع أسوأ ليلة | الإصلاحات تتبع الحوادث | كل مراجعة تنتج تغييرًا واحدًا على الأقل | تُتتبع التغييرات إلى أثرها في الحجم والقابلية للتنفيذ والكشف | يُراجع حمل المناوبة والكشف وميزانيات الخطأ معًا لتوجيه الاستثمار |
قائمة التحقق
- لدينا سياسة استدعاء مكتوبة من بضع جمل تقول ما يستحق صفحة.
- لكل قاعدة استدعاء مالك وغرض ورابط دليل تشغيل.
- تراجع كل مناوبة ما أُطلق أسبوعيًا على الأقل وتصنّف كل تنبيه.
- كل مراجعة تنتج تغييرًا مسجلًا واحدًا على الأقل في قاعدة.
- نبلّغ بحجم التنبيهات ومعدل القابلية للتنفيذ ومعدل الإيجابية الكاذبة لكل مناوبة وخدمة، لا لكل شخص أبدًا.
- كل حادثة تسجل كيف كُشفت أول مرة، مع خيار مجهول.
- نقدّر بدء الأثر من تاريخ مؤشر مستوى الخدمة ونبلّغ بالوسيط والمئين 95 لزمن الكشف.
- لكل خدمة ضمن النطاق تنبيه عَرَض جُرّب في آخر 12 شهرًا.
- فحص نبض يستدعينا إن توقف خط التنبيه.
- اتفقنا على حمل مستدام خارج ساعات العمل لكل مناوبة ونراجعه.
- لا هدف مضبوط على حجم التنبيهات وحده.
مطالبات الذكاء الاصطناعي
الغرض: صُغ سياسة استدعاء لخدمة من مؤشراتها وعواقبها.
Help me draft a paging policy for the service [service name].
Context: users are [user group]; the user-facing symptoms we care about are [symptoms, for example errors, latency, unavailability]; the consequences of a missed failure are [consequences]; the on-call rotation is [rotation description, for example hours and team size].
Write a short policy (under 200 words) that says what earns a page, what goes to a ticket queue, and what stays on a dashboard.
Do not invent thresholds or benchmark values; leave [threshold] placeholders for us to set from our own data.
List the questions you would ask us before finalizing it, and list your assumptions.
الغرض: حلّل مراجعة تنبيهات مصدَّرة بحثًا عن أنماط الضجيج.
I will paste a table of alerts from [period] for the rotation [rotation name] with columns: [column names, for example rule, time, label, action taken, service].
Calculate the actionable alert rate, the false positive rate, the out-of-hours share, and the share of alerts from the five noisiest rules, using only the data I paste.
Suggest which rules to tune, merge, demote, or delete, with a reason for each, and mark each suggestion as a hypothesis to check.
Report by rule, service, and rotation, never by person. Do not invent benchmark values.
List your assumptions and any rows you excluded.
الغرض: افحص مجموعة قياسات تنبيه بحثًا عن خطر التلاعب قبل النشر.
Here are the alert quality metrics we plan to publish: [list of metrics with definitions and formulas].
For each metric, describe two ways it could be gamed or misread in our context of [organization type and service], and suggest a paired guardrail from the same list or a practice we can adopt.
Point out any metric that is shown without its guardrail.
Do not invent sources or benchmark values.
List your assumptions about how our tools record alerts and incidents.
الغرض: خطّط اختبار كشف للخدمات ضعيفة التغطية.
Our services are [list of services], and the symptom alerts we believe exist are [list of alerts].
Propose a safe test plan for the next [game day or rehearsal] that checks, for each service, that a deliberate symptom triggers the alert, reaches [rotation], and links to a runbook.
Say who should be told beforehand and how to record results for detection coverage.
Do not invent tool features; ask me how [monitoring tool] works.
List your assumptions.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على الموضوع الذي يعرّف قياسًا ذا صلة وضابط الحماية الذي ينبغي أن يجاور قياس جودة تنبيه.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن تعديلات هذا الموضوع تُبقي القالب وجدول التلاعب والإحالات المتبادلة متسقة.
النقاط الرئيسية
- احكم على التنبيهات بهل قادت إلى إجراء، وعلى المراقبة بكم من المتاعب الحقيقية التقطت؛ والدقة والاستدعاء يحرس كل منهما الآخر.
- استدعِ للأعراض التي يشعر بها المستخدمون، واربط العتبات بهدف مستوى الخدمة حيث يوجد، وأبقِ الأسباب للتشخيص.
- راجع ما أُطلق كل أسبوع، وصنّفه، وأجرِ تغييرًا واحدًا على الأقل في كل مرة.
- لا تضع هدفًا على حجم التنبيهات وحده أبدًا؛ اقرأه بجانب معدل القابلية للتنفيذ وحصة الكشف المراقَب وزمن الكشف.
- اختبر التنبيهات وخط التنبيه، لأن تنبيهًا لم يُختبر افتراض.
- أبلغ بحسب المناوبة والخدمة لا الشخص أبدًا، وعامل حمل المناوبة المستدام هدف تصميم.
المراجع والقراءة الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.