مؤشرات مستوى الخدمة وأهدافها وميزانيات الخطأ
يحوّل هدف مستوى الخدمة عبارة "موثوق بما يكفي" إلى رقم يراه المستخدمون وفرق المنتج وفرق العمليات جميعًا، وتحوّل ميزانية الخطأ التي يتركها هذا الرقم إلى قرار مشترك قابل للإنفاق بشأن المخاطرة بدل جدال حول اللوم.
الملخص والدافع
لكل خدمة مستوى موثوقية أصلًا، قاسه أحد أو لم يقسه. فإن لم يذكره أحد افترض المستخدمون مستوى، وافترض فريق المنتج آخر، ودافع فريق العمليات عن ثالث. ويُكتشف الفرق أثناء انقطاع. ويغطي هذا الموضوع الأفكار الثلاث المترابطة التي تستخدمها هندسة موثوقية المواقع (SRE) لسد هذه الفجوة: مؤشر مستوى الخدمة وهدف مستوى الخدمة وميزانية الخطأ.
مؤشر مستوى الخدمة (SLI) قياس لجانب واحد من الخدمة كما يعيشه المستخدمون. والجوانب النموذجية: هل نجح الطلب، وكم استغرق، وهل كانت البيانات المرجعة حديثة، وهل كانت صحيحة. والمؤشر الجيد يُعبَّر عنه نسبة: عدد الأحداث الجيدة مقسومًا على عدد الأحداث الصالحة، على نافذة معرَّفة. وهدف مستوى الخدمة (SLO) هو الهدف لتلك النسبة على فترة، مثل "99.9 في المئة من طلبات الدفع الصالحة تنجح على 28 يومًا متحركة". أما ميزانية الخطأ (error budget) فهي ما يسمح الهدف بأن يسوء: 100 في المئة ناقص الهدف. وعند 99.9 في المئة تكون الميزانية 0.1 في المئة من الأحداث الصالحة.
وتغيّر ميزانية الخطأ الحوار. فإن أنفقت الخدمة قليلًا من ميزانيتها كان للفريق متسع للإصدار أسرع وتجربة تغييرات خطرة وإجراء تجارب. وإن كادت الميزانية تنفد أبطأ الفريق نفسه عمل الميزات وصرف الجهد على الموثوقية حتى تتعافى الميزانية. ويأتي القرار من رقم متفق عليه سلفًا، فلا يعتمد على من هو الأقدم أو الأكثر إقناعًا في الاجتماع.
معدل الاستهلاك (burn rate) هو سرعة إنفاق الميزانية، نسبة إلى المعدل الذي سينفقها كلها بالضبط عند نهاية النافذة. ومعدل استهلاك 1 يعني أن الميزانية ستنفد تمامًا عند نهاية النافذة. ومعدل 10 يعني أنها ستنفد في عُشر النافذة. ومعدل الاستهلاك هو الجسر من الهدف إلى التنبيه، لأنه يقول كم المشكلة عاجلة بدلالة ما تكلفه الهدف.
وتلتقي هنا رؤيتا أجايل وITIL، وتستخدمان مفردات مختلفة لأفكار متصلة. ففي ITIL 4 إدارة مستوى الخدمة هي الممارسة التي تضع مستويات الخدمة وتقيسها وتبلّغ بها، واتفاقية مستوى الخدمة (SLA) هي الاتفاقية الموثقة بين مزود وعميل (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA). والـSLO هدف داخلي عادةً أشد من SLA وتملكه الفرقة التي تشغّل الخدمة. وتحمل SLA عواقب، مثل أرصدة أو غرامات. ويحمل SLO قاعدة قرار. وتستخدم فرق أجايل التي تملك خدماتها ("أنت تبنيها وأنت تشغّلها") أهداف SLO لجعل كلفة الموثوقية مرئية في قائمة المهام نفسها مع الميزات. أما الفرق التي تتبع ممارسة ITIL فتستطيع معاملة المؤشرات الشكلَ القابل للقياس لما يقول العملاء إنهم يحتاجونه، والهدف الهدفَ العامل الذي يحفظ SLA آمنة.
والتوافر أشهر المؤشرات وهو مغطى تفصيلًا في موضع آخر (انظر الموضوع 5.3، مقاييس التوافر). والتأخر والصحة والحداثة والإنتاجية مرشحات أيضًا. والمهارة في اختيار المؤشرات مما يهتم به المستخدمون، لا مما يسهل جمعه. فاستخدام المعالج على خادم سهل الجمع ويقول القليل عن هل استطاع عميل أن يدفع. أما حصة طلبات الدفع التي تكتمل خلال ثانيتين فتقول الكثير. وللتأخر أبلغ بـالمئينات لا المتوسطات، لأن المتوسط يخفي الذيل البطيء الذي يلاحظه المستخدمون (انظر الموضوع 1.6، الإلمام الإحصائي لمقاييس الخدمة، والموضوع 5.4، مقاييس السعة والأداء).
المبادئ الأساسية
- ابدأ من المستخدم لا الخادم. اختر مؤشرات تصف تجربة يتعرف إليها شخص، مثل "مرّ دفعي"، واعمل بالعكس إلى ما يُقاس.
- الهدف دون 100 في المئة قرار لا اعتراف. الموثوقية الكاملة غير ممكنة ولا تُحتمل كلفتها، والمستخدمون عادةً لا يستطيعون التمييز بعد حد معين. والميزانية تجعل هذه المفاضلة صريحة.
- ضع الهدف مع من يعتمدون عليه. الـSLO اتفاق متفاوض عليه بين المنتج والعمليات والعملاء، لا رقم تختاره فرقة وحدها.
- اتفق على العواقب قبل أن تنفد الميزانية. سياسة ميزانية خطأ مكتوبة في أسبوع هادئ تُتبع في أسبوع مضغوط. وسياسة تُخترع أثناء انقطاع يُجادَل فيها.
- نبّه على الاستهلاك لا على كل نبضة. استدعِ شخصًا فقط حين تُستهلك الميزانية بسرعة تكفي لتهديد الهدف، ووجّه الاستهلاك الأبطأ إلى تذاكر.
- أهداف SLO تصف الخدمات لا الناس. الميزانية ملك خدمة وفريقها. وليست درجة لمهندس أبدًا.
تعريفات المقاييس
تصف القياسات أدناه نظام SLO لخدمة. الأربعة الأولى جوهر الممارسة، والأخيران يصفان صحة الممارسة نفسها. وكل ساعة وحد مذكور في عمود الصيغة. و"الأحداث الصالحة" هي الأحداث التي تُحتسب في المؤشر بعد الاستثناءات المتفق عليها في وثيقة SLO، مثل طلبات اختبارات الحمل الخاصة بالفريق، وهي مستبعدة.
| المقياس | التعريف | الصيغة | الوحدة | مصدر البيانات | ممارسة ITIL | المقابل في أجايل | التكرار |
|---|---|---|---|---|---|---|---|
| تحقق SLI | حصة الأحداث الصالحة التي كانت جيدة، لمؤشر واحد من خدمة واحدة | الأحداث الجيدة / الأحداث الصالحة، للنافذة من بداية فترة الإبلاغ إلى نهايتها؛ الأحداث المستبعدة بوثيقة SLO (اختبارات الحمل، والصيانة المخططة المعلنة مسبقًا إن نصّ SLO على ذلك) تُزال من البسط والمقام | نسبة مئوية | قياس عن بعد من موازن الحمل أو التطبيق أو مسبار اصطناعي؛ منصة المراقبة أو الرصد | إدارة مستوى الخدمة؛ إدارة المراقبة والأحداث | تعريف الإنجاز لقابلية التشغيل؛ مراجعة أصحاب المصلحة لصحة الخدمة | مستمر، يُبلَّغ يوميًا ولكل نافذة |
| الامتثال لـSLO | هل حقق SLI الهدف على نافذة SLO، ولكم نافذة حديثة | النوافذ التي كان تحقق SLI فيها عند الهدف أو فوقه / النوافذ المقيّمة، على آخر 12 شهرًا؛ النافذة التي ما زالت مفتوحة مستبعدة | نسبة مئوية من النوافذ | تاريخ تحقق SLI | إدارة مستوى الخدمة؛ التحسين المستمر | هدف الفريق أو اتفاقية العمل على الموثوقية | شهري، مع اتجاه ربع سنوي |
| ميزانية الخطأ المتبقية | الجزء من الميزانية غير المنفق بعد في النافذة الحالية | 1 - (الأحداث السيئة حتى الآن / الأحداث السيئة المسموحة للنافذة كلها)، حيث الأحداث السيئة المسموحة = (1 - SLO) × الأحداث الصالحة المتوقعة للنافذة كلها؛ تبدأ الساعة عند بداية النافذة وتتوقف عند نهايتها | نسبة مئوية من الميزانية | تحقق SLI وتوقع الحجم | إدارة مستوى الخدمة؛ إدارة المخاطر | فحص جاهزية الإصدار؛ مدخل للعمل المخطط | يوميًا، يُراجع أسبوعيًا |
| معدل الاستهلاك | سرعة إنفاق الميزانية نسبة إلى معدل الإنفاق المتساوي | (الأحداث السيئة / الأحداث الصالحة على فترة استرجاع) / (1 - SLO)؛ فترة الاسترجاع معلنة، مثل ساعة أو 6 ساعات | نسبة (1 تعني على الميزانية بالضبط) | قياس SLI عن بعد بدقة زمنية دقيقة | إدارة المراقبة والأحداث؛ إدارة الحوادث | قواعد التنبيه للمناوبة؛ محفز التكاتف | مستمر، يُقيَّم في قواعد التنبيه |
| الالتزام بسياسة الميزانية | كم مرة طُبقت العاقبة المتفق عليها حين بلغ محفز في سياسة ميزانية الخطأ | المحفزات في الفترة التي اتُّخذ فيها إجراء السياسة ضمن الزمن المتفق عليه / المحفزات المبلوغة في الفترة؛ المحفزات المعفاة رسميًا بسبب مسجل تُحتسب منفصلة ولا تُزال | نسبة مئوية | وثيقة السياسة وسجل القرارات وتاريخ قائمة المهام | إدارة مستوى الخدمة؛ تمكين التغيير | اتفاقية العمل؛ متابعة الاستعادة الرجعية | ربع سنوي |
| تغطية SLO | حصة رحلات المستخدمين الحرجة، أو الخدمات ضمن النطاق، التي لها SLO حالي وSLI عامل | الخدمات أو الرحلات ضمن النطاق التي لها SLO واحد على الأقل وصلت بيانات SLI له في آخر 7 أيام / الخدمات أو الرحلات ضمن النطاق؛ "ضمن النطاق" مدرج في كتالوج الخدمات | نسبة مئوية | كتالوج الخدمات وسجل SLO وتهيئة المراقبة | إدارة كتالوج الخدمات؛ إدارة مستوى الخدمة | قائمة ملكية الفريق للخدمات | ربع سنوي |
واسترجاع معدل الاستهلاك ونافذة SLO خياران. ونافذة متحركة من 28 يومًا تغطي أسابيع كاملة. اذكر الخيار في وثيقة SLO وأبقه ثابتًا وإلا ضلّل الاتجاه.
التوصيات
اختر المؤشرات مما يهتم به المستخدمون
1. ابدأ برحلات المستخدمين الحرجة. اسرد الأشياء الثلاثة إلى الستة التي يجب أن يستطيع المستخدم فعلها لتستحق الخدمة الاستخدام، مثل تسجيل الدخول والبحث والدفع وتنزيل كشف. واكتب كلًّا منها جملة من جانب المستخدم. ثم اختر المؤشر الذي يُظهر هل صدقت تلك الجملة. هذا يُبقي الأهداف قليلة ويمنع كتالوجًا من المقاييس التقنية لا يقرؤها أحد.
2. عبّر عن كل SLI أحداثًا جيدة على أحداث صالحة. النسبة سهلة الشرح والتجميع والتحويل إلى ميزانية. عرّف "الجيد" بعتبة يقبلها المستخدمون، وعرّف "الصالح" بحيث تُستبعد الحركة التي لا تستطيع خدمتها بمعقولية، مثل الطلبات المحجوبة لإساءة استخدام، بطريقة موثقة. واكتب التعريفين في وثيقة SLO، لأن المقام هو حيث يختبئ معظم الخلاف.
3. قِس قريبًا من المستخدم بقدر ما هو عملي. قد يكون معدل نجاح جهة الخادم مثاليًا بينما مشكلة شبكة أو عميل تجعل الخدمة غير قابلة للاستخدام. قِس عند موازن الحمل أو الحافة، وأضف مسبارًا اصطناعيًا أو قياسًا من جهة العميل للرحلات الأهم. ولكل نقطة قياس كلفة ونقطة عمياء، فسجّل أيها يستخدمه كل SLI (انظر الموضوع 1.5، مصادر البيانات والأجهزة القياسية).
4. استخدم المئينات للتأخر، بعتبة. "95 في المئة من طلبات البحث تكتمل في أقل من 800 مللي ثانية" مؤشر. أما "متوسط التأخر" فليس كذلك، لأن بضعة طلبات سريعة قد تعوض كثيرًا من البطيئة. وحيث يفيد استخدم عتبتين، مثل الوسيط والمئين 99، لأن الذيل البطيء يشكل إحساس الخدمة (انظر الموضوع 5.4، مقاييس السعة والأداء).
ضع أهدافًا يستطيع الناس الدفاع عنها
5. ضع أول SLO من الأداء الحالي وحاجة المستخدم، ثم شدّد. قِس المؤشر أسابيع، واسأل المستخدمين وموظفي الدعم أي مستوى يلاحظون، وضع هدفًا تستطيع الخدمة بلوغه اليوم بقليل من المتسع. والهدف الموضوع فوق الأداء الحالي بكثير خرق دائم، ويكف الناس عن النظر إليه. والهدف الموضوع دون ما يناله المستخدمون بكثير يترك الجودة تتدهور دون أن تُرى. وأعد النظر فيه بعد ربع.
6. أبقِ SLO أشد من SLA، وأبقهما منفصلين. إن وعدت اتفاقية العميل بـ99.5 في المئة فقد يكون هدف الفريق 99.9 في المئة، فتُستنفد الميزانية قبل عبور الخط التعاقدي. لا تجعل SLO وSLA الرقم نفسه ولا تبلّغ بأحدهما بدل الآخر. الاتفاقية وثيقة تجارية وقانونية، والهدف قاعدة قرار هندسية (انظر الموضوع 5.1، مقاييس SLA وOLA وXLA).
7. احسب حساب الاعتماديات. لا تستطيع خدمة أن تكون أوثق مما تعتمد عليه، ما لم تتدهور بسلاسة. اسرد الاعتماديات الرئيسية، بما فيها الموردون، واسأل عما يعنيه أداؤها الفعلي لهدفك.
شغّل الميزانية أداة قرار
8. اكتب سياسة ميزانية خطأ قبل أن تحتاجها. تقول السياسة ما يحدث عند مستويات استهلاك معرَّفة. وصيغة بسيطة منها بثلاث خطوات: تشغيل عادي ما دامت الميزانية باقية، ومراجعة إضافية للتغييرات الخطرة وأولوية لعمل الموثوقية حين تُنفق حصة معلنة، وإيقاف إصدارات الميزات غير الضرورية حين تُستنفد حتى تتعافى. سمِّ من يستطيع منح استثناء وكيف يُسجَّل. وينبغي لقائدي المنتج والعمليات توقيعها معًا، لتنطبق السياسة على الجانبين بالتساوي.
9. أنفق الميزانية عن قصد. ميزانية لا تُمس أبدًا توحي بأن الهدف أشد مما ينبغي أو أن الفريق شديد الحذر. استخدم الميزانية الفائضة للتجارب وإيقاع إصدار أسرع وإطلاقات تجريبية محدودة ومفاتيح الميزات التي تتيح الاختبار في الإنتاج بتعرض محدود، واستخدم الإصدارات التجريبية المحدودة لالتقاط المشكلات بينما يتأثر جزء صغير من المستخدمين فقط. وعامل ميزانية لا تُمس باستمرار دافعًا إلى السؤال هل يطابق الهدف ما يحتاجه المستخدمون (انظر الموضوع 4.5، مقاييس الإصدار والنشر).
10. نبّه على معدلات استهلاك متعددة. الاستهلاك السريع، مثل معدل يكفي لإنفاق حصة كبيرة من الميزانية خلال ساعة، يستدعي شخصًا. والاستهلاك البطيء، مثل معدل متواضع لكنه سيستنفد الميزانية خلال أيام، ينشئ تذكرة لساعات العمل. واستخدام نافذتي استرجاع أو أكثر يلتقط الأعطال المفاجئة والتسربات البطيئة معًا، ويقلل الاستدعاءات لنبضات قصيرة تكلف ميزانية قليلة. ويشرح فصل التنبيه على SLO في Site Reliability Workbook النمط، وينبغي ضبط العتبات لخدمتك لا نسخها (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات).
11. اربط الحوادث والمشكلات والتعلم بالميزانية. بعد حادثة سجّل كم ميزانية استهلكت بجانب مدتها وأثرها. واستخدم الرقم لترتيب أولويات سجل المشكلة وإجراءات المتابعة (انظر الموضوع 4.1، مقاييس إدارة المشكلات، والموضوع 4.2، مقاييس تحليل ما بعد الحادثة والتعلّم). وكلفة الميزانية تعطي أيضًا مراجعات الحوادث الكبرى وحدة مشتركة لمقارنة إخفاقات شديدة الاختلاف (انظر الموضوع 3.4، مقاييس الحوادث الكبرى).
أبقِ الممارسة صادقة وحية
12. راجع أهداف SLO مقابل الواقع كل ربع. قارن SLO باتصالات الدعم والشكاوى ونتائج الرضا. فإن كان المستخدمون غير راضين وSLO أخضر فالمؤشر خاطئ أو الهدف رخو. وإن كان SLO أحمر ولا يشتكي أحد فقد يكون الهدف أشد مما ينبغي. سجّل كل تغيير وسببه، وأظهر التغيير على مخطط الاتجاه (انظر الموضوع 6.2، اتفاقيات مستوى التجربة).
طرق التلاعب وضوابط الحماية
| المقياس | كيف يُتلاعب به | ضابط الحماية المقترن (مقياس أو ممارسة) |
|---|---|---|
| تحقق SLI | تضييق الأحداث "الصالحة" حتى تسقط الإخفاقات، مثل استبعاد الطلبات المعادة أو فئات خطأ كاملة؛ قياس المكوّن الأصح فقط؛ المسبار من موقع مناسب فقط | نشر تعريف SLI والاستثناءات في وثيقة SLO بسجل تغييرات؛ مقارنة SLI باتصالات الدعم وشكاوى المستخدمين؛ مراجعة منتظمة للأحداث المستبعدة وحجمها |
| الامتثال لـSLO | وضع الهدف منخفضًا بما يكفي ليُمرَّر دائمًا؛ تغيير طول النافذة بعد فترة سيئة؛ إعادة تعريف خرق بوصفه فترة صيانة | هدف يوضع بمدخلات المستخدمين ويُراجع وفق جدول؛ نافذة ثابتة في الوثيقة؛ يُبلَّغ بعدد الاستثناءات والتغييرات غير المخططة في النافذة بجانب الامتثال |
| ميزانية الخطأ المتبقية | إعادة تصنيف الأحداث السيئة مستبعدة؛ تضخيم الحجم المتوقع ليبدو عدد الأحداث السيئة المسموح أكبر؛ إعادة ضبط النافذة مبكرًا | حساب الأحداث السيئة المسموحة من الحجم الفعلي عند نهاية النافذة؛ إظهار حجم الأحداث المستبعدة بجانب الميزانية؛ تواريخ نافذة ثابتة سلفًا |
| معدل الاستهلاك | ضبط عتبات التنبيه فلا يُطلق الاستهلاك أبدًا؛ استخدام استرجاع طويل جدًا تتلاشى فيه الاستهلاكات السريعة | اختبار تغطية التنبيه باستخدام حوادث سابقة ("هل كانت هذه القاعدة ستستدعي؟")؛ معدل التنبيهات القابلة للتنفيذ وعدد الكشوف الفائتة (انظر الموضوع 5.5، مقاييس جودة المراقبة والتنبيهات) |
| الالتزام بسياسة الميزانية | منح استثناءات روتينيًا؛ كتابة سياسة بمحفزات لا تُبلَغ أبدًا؛ عدّ تذكرة موثوقية رمزية إجراء سياسة | الاستثناءات تُحتسب وتُراجع منفصلة؛ حصة الاستثناءات في الفترة؛ عمل الموثوقية المكتمل (انظر الموضوع 4.1، مقاييس إدارة المشكلات) |
| تغطية SLO | إضافة SLO تافه إلى كل خدمة لرفع النسبة؛ عدّ رحلة مغطاة حين لا تتدفق بيانات | فحص حداثة بيانات SLI (وصلت البيانات في آخر 7 أيام)؛ مراجعة هل يغطي SLO رحلة حرجة لا نقطة نهاية ثانوية |
القراءة الصحية تُظهر SLI يتتبع ما يبلغ عنه المستخدمون، وهدفًا يُفوَّت أحيانًا ويُحقَّق براحة أحيانًا، وميزانية تُنفق عن قصد. وتُطبَّق السياسة حين يُبلَغ محفزها، والاستثناءات نادرة ومسجلة، وكل تغيير تعريف مرئي على المخطط. وخدمة عند 100 في المئة من الميزانية المتبقية دائمًا، أو خدمة في خرق دائمًا، تستحق حوارًا حول الهدف لا مديحًا أو لومًا. وتذكّر أن أي رقم منفرد دافع لسؤال (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس).
المفاضلات: المزايا والعيوب
| النهج | نقطة القوة | نقطة الضعف |
|---|---|---|
| مؤشرات رحلات المستخدمين | تطابق ما يشعر به المستخدمون؛ قليلة العدد؛ سهلة الشرح لغير المهندسين | تحتاج جهدًا لتجهيزها من البداية إلى النهاية؛ قد تفوتها أعطال داخلية لم تبلغ المستخدمين بعد |
| مؤشرات المكوّنات أو الموارد (المعالج، الذاكرة، عمق الطابور) | رخيصة الجمع؛ مفيدة للتشخيص والسعة | بدائل رديئة لتجربة المستخدم؛ تنتج تنبيهات كثيرة لا تهم |
| نافذة متحركة | سلسة؛ بلا منحدر عند نهاية الشهر؛ حديثة دائمًا | أصعب شرحًا للمديرين التنفيذيين من الشهر التقويمي؛ يوم سيئ يبقى في النافذة كلها |
| التنبيه بمعدل الاستهلاك | يستدعي حين يكون الهدف مهددًا فعلًا؛ إنذارات كاذبة أقل | أعقد تهيئة واختبارًا؛ العتبات تحتاج ضبطًا لكل خدمة |
اختر مؤشرات قليلة، وضعها مع المستخدمين، ودع الميزانية تقرر وتيرة التغيير. والصرامة الصحيحة هي أرخى هدف يبقي المستخدمين راضين، لأن كل تسعة إضافية تكلف أكثر من سابقتها.
أسئلة للنقاش مع فريقك
1. ماذا يحتاج مستخدم هذه الخدمة أن يستطيع فعله، وكيف سنعرف لو لم يستطع؟ اطلب من كل شخص أن يكتب أهم ثلاثة أشياء يفعلها المستخدم بالخدمة، دون النظر إلى أي لوحة. قارنوا القوائم ودوّنوا الفروق بين المنتج والعمليات والدعم. ثم اسألوا أي تلك الرحلات لها SLI حاليًا. وعلى الميسّر أن يبحث عن رحلات مهمة بلا قياس وعن قياسات لا تصف أي رحلة.
2. لو كان SLO لدينا 99.9 في المئة وحققناه، فهل سيكون المستخدمون راضين، وكيف نعرف؟ ضعوا SLO الحالي بجانب آخر ربع من اتصالات الدعم والشكاوى ونتائج الرضا. واسألوا هل تتفق. فإن كان SLO أخضر والمستخدمون غير راضين فالمؤشر أو الهدف يحتاج عملًا. وإن كان المستخدمون راضين وSLO أحمر فقد يكون الهدف أشد مما يحتاجه أحد. اتفقوا على إجراء واحد لتقريب الهدف من التجربة.
3. ماذا سنفعل مختلفًا فعلًا لو نفدت ميزانية الخطأ؟ اقرأوا سياسة ميزانية الخطأ الحالية بصوت عالٍ، أو صوغوا واحدة معًا إن لم تكن موجودة. واسألوا من سيوقف ماذا، ومن لديه سلطة منح استثناء. وعلى الميسّر أن يلحّ على إجراءات ملموسة، مثل إيقاف الإصدارات غير الضرورية ونقل أشخاص مسمين إلى عمل الموثوقية، بدل النوايا العامة. وسياسة لا يصدق أحد أنها ستُتبع أسوأ من لا سياسة.
4. متى كانت آخر مرة خاطرنا فيها لأن لدينا ميزانية فائضة؟ ناقشوا هل يستخدم الفريق ميزانيته أم يحرسها فقط. انظروا إلى آخر ربع: هل كانت فترة تكاد الميزانية فيها لا تُمس بينما الإصدارات بطيئة؟ واسألوا ماذا كان الفريق سيجرب لو علم أن ذلك آمن. هذا السؤال يكشف الحذر المفرط، والجواب كثيرًا ما يشير إلى إصدار تجريبي محدود أو مفتاح أو خط تسليم أسرع يتيح للفريق استخدام ميزانيته جيدًا.
5. أي تنبيهاتنا كان سيُطلق في الوقت المناسب لآخر حادثة سيئة، وأيها كان سيُطلق بلا طائل؟ خذوا آخر حادثة مهمة وأعيدوا تشغيل تاريخ التنبيهات مقابلها. عُدّوا الاستدعاءات التي وصلت، وبعد كم من بدء الأثر، وكم استدعاءً وصل لأحداث كلفت ميزانية تكاد لا تُذكر. وناقشوا هل كانت تنبيهات معدل الاستهلاك ستؤدي أفضل. والغاية قائمة قصيرة من تغييرات التنبيه، لكل منها مالك، لا نقاش لوم حول من كان في المناوبة.
6. من يملك كل SLO، ومتى غيّرنا واحدًا عن قصد آخر مرة؟ اسردوا الأهداف واكتبوا المالك بجانب كل منها، فريقًا أو دورًا. واسألوا متى روجع كل منها وما الذي تغير. وهدف لم يلمسه أحد منذ سنة علامة على أنه لم يعد ينير القرارات. اتفقوا على تاريخ مراجعة لكل منها، وعلى من يملك حق إحالة SLO توقف عن النفع إلى التقاعد.
المنظورات الأربعة
فرق المنتج والتسليم
تكسب فرق التسليم قاعدة واضحة لسرعة التحرك. فحين تبقى ميزانية تستطيع الإصدار أكثر وتجربة تغييرات أجرأ. وحين تنخفض تضع عمل الموثوقية في قائمة المهام دون تفاوض طويل. وينبغي لها المساعدة على اختيار المؤشرات لأنها تعرف أي الرحلات مهمة، وتجهيز الميزات الجديدة مع وضع SLI في الاعتبار من البداية (انظر الموضوع 2.8، مقاييس DORA). والميزانية مورد للفريق يخطط به، لا رقم يُخفى.
فرق الخدمة والعمليات
تستخدم فرق العمليات أهداف SLO لتقرر ما يستحق استدعاءً وما يستطيع الانتظار حتى الصباح. ويقلل التنبيه بمعدل الاستهلاك الضجيج ويربط عمل المناوبة بما يشعر به المستخدمون (انظر الموضوع 5.7، مقاييس العمل الروتيني والمناوبة). وتُبقي تعريفات SLI صادقة وتصون القياس عن بعد خلفها وتسجل كلفة الميزانية في سجلات الحوادث والمشكلات.
القيادة والحوكمة
ينبغي للقادة طرح ثلاثة أسئلة: ما الهدف، وكم من الميزانية بقي، وماذا سنفعل إن نفدت؟ يوقّعون سياسة ميزانية الخطأ ويدعمون الفريق حين تقول السياسة أن يبطئ. ويتجنبون تحويل الامتثال لـSLO مقياس مكافأة، فهذا يدعو إلى تضييق التعريفات ووضع أهداف رخوة.
العملاء والمستخدمون
يستفيد العملاء حين يعكس الهدف ما يحتاجونه وحين يستطيعون رؤية أداء الخدمة مقابله. وينبغي استشارتهم عند وضع الهدف، لأن تحملهم للبطء أو التعطل يختلف بالمهمة ووقت اليوم. وقياسات التجربة، مثل الرضا والجهد، تفحص هل يلتقط SLO ما يشعرون به (انظر الموضوع 6.1، مقاييس رضا العملاء).
عمليًا: مثال على أجايل ITIL
لدى متجر تجزئة إلكتروني متوسط الحجم فريق دفع ومنصة ومكتب خدمة. خدمة الدفع حرجة للأعمال. كل الأرقام في هذا المثال توضيحية.
يعرّف الفريق SLI واحدًا لرحلة "ادفع ثمن طلب": حصة طلبات الدفع الصالحة التي تعيد نجاحًا خلال ثانيتين، مقيسة عند موازن الحمل. والطلبات الصالحة تستبعد اختبارات حمل الفريق نفسه والطلبات التي ترفضها خدمة كشف الاحتيال بالتصميم. وSLO هو 99.9 في المئة على 28 يومًا متحركة. وتحمل النافذة 12,000,000 طلب صالح متوقع، فالميزانية 12,000 طلب سيئ (0.1 في المئة). وسياسة ميزانية الخطأ، الموقعة من رئيس المنتج ورئيس المنصة، لها ثلاثة مستويات: عند إنفاق 50 في المئة من الميزانية تحتاج التغييرات الخطرة إلى مراجع ثان وإطلاق تجريبي؛ وعند 75 في المئة يأخذ عمل الموثوقية أولوية في حوار التخطيط التالي؛ وعند 100 في المئة تتوقف إصدارات الميزات غير الضرورية حتى تتعافى الميزانية.
في اليوم العاشر من النافذة يرى الفريق 7,800 طلب سيئ من نحو 4,285,714 متوقعة حتى الآن، مما يعطي تحقق SLI نحو 99.82 في المئة، و65 في المئة من الميزانية منفقة، ونافذة انقضى منها 36 في المئة فقط. ومعدل الاستهلاك على الفترة نحو 1.8، فبهذه الوتيرة تنفد الميزانية نحو اليوم الخامس عشر. وكان نشر سيئ مسؤولًا عن 5,000 من الإخفاقات. ويبين سجل الحادثة أن الفشل استمر 22 دقيقة، وتحدد مراجعة الحادثة الكبرى فحصًا مفقودًا في خط التسليم، وتُسجَّل كلفة الميزانية للحادثة في سجل المشكلة (انظر الموضوع 4.1، مقاييس إدارة المشكلات).
يتبع الفريق السياسة. يُطبَّق إجراء المستوى الثاني فورًا، فتحتاج التغييرات الخطرة إلى إطلاق تجريبي، وينقل اجتماع التخطيط فحص خط التسليم إلى رأس طابور العمل. ويقبل مالك المنتج إيقاف ميزة ترويجية غير عاجلة. وبحلول اليوم 28 تكون الميزانية منفقة بنسبة 94 في المئة، وينهي الفريق النافذة ضمن الهدف.
ويظهر خطر التلاعب في المراجعة. فقد أبلغ فريق آخر، يشغّل خدمة البحث للمتجر، عن 99.95 في المئة للربع بينما سجّل مكتب الخدمة ارتفاعًا في اتصالات "البحث لا يعمل". وبالتحقيق وجد فريق المنصة أن فريق البحث أعاد تعريف "الصالح" لاستبعاد الطلبات المعادة خلال 5 ثوانٍ، مما أزال كثيرًا من الإخفاقات الحقيقية. واستعادت المراجعة التعريف الأصلي، وأعادت صياغة الربع، وأضافت ضابطين: يُسجَّل أي تغيير في تعريف في وثيقة SLO بسبب، ويُقارَن تحقق SLI باتصالات الدعم كل شهر. ولم يكذب أحد، إذ كان التغيير لتقليل الضجيج، فكان الإصلاح تعريفًا أوضح لا توبيخًا.
النظرة حسب القطاع
الشركات الناشئة. ابدأ بـSLO واحد لأهم رحلة، مقيس عند الحافة، بسياسة بسيطة تتسع لصفحة. لا تبنِ منصة لعشرات الأهداف. تساعد الميزانية فريقًا صغيرًا على الجدال أقل حول هل يُشحن يوم الجمعة.
الأعمال الصغيرة. كثيرًا ما تعتمد الأعمال الصغيرة على أدوات مستضافة وموردين، فقد يأتي SLI من بيانات حالة المورد أو مسبار خارجي بسيط. اقرأ مستويات خدمة المورد كتابةً وتحقق منها مقابل حاجتك.
المؤسسات الكبرى. الخدمات والفرق والموردون الكثيرون يرفعون رهان الاتساق. وفّر قالبًا مشتركًا لوثائق SLO وسجلًا مشتركًا وطريقة معيارية لحساب التحقق والميزانية، ليستطيع القادة المقارنة والتجميع دون جدال حول التعريفات. وأبقِ SLO ملكًا لفريق الخدمة والسجل منسَّقًا مركزيًا.
الحكومة والقطاع العام. كثيرًا ما يجب أن تبلغ الخدمات أهدافًا قانونية أو منشورة، وقد يُبلَّغ عن الفشل علنًا. أبقِ الالتزام التعاقدي أو القانوني منفصلًا عن الهدف الداخلي، وتأكد من أن SLO الداخلي أشد. ووثّق تعريف SLI والاستثناءات ونسب البيانات للتدقيق، وخطط لإمكانية الوصول وللمستخدمين الذين لا يستطيعون اختيار مزود بديل (انظر الموضوع 8.5، التقارير التنظيمية والحكومية).
دراسة الجدوى: الدوافع والعائد على الاستثمار وإجمالي تكلفة الملكية
الدافع جدال أقل وقرارات أفضل بشأن الموثوقية. فبدون هدف ينافس عمل الموثوقية الميزاتِ بقوة صوت من يجادل أعلى. ومع هدف وميزانية تكون المفاضلة مرئية ومتفقًا عليها سلفًا، وينال المستخدمون خدمة موثوقة بقدر ما يحتاجون، دون أن يدفع الفريق ثمن موثوقية تتجاوز تلك النقطة.
وللكلفة أربعة أجزاء. الأول التصميم: ورش لاختيار الرحلات والمؤشرات والأهداف وكتابة السياسة. والثاني التجهيز: قياس عن بعد في المكان الصحيح ومسابير وخط يحول الأحداث إلى تحقق وميزانية (انظر الموضوع 1.5، مصادر البيانات والأجهزة القياسية). والثالث التشغيل: قواعد التنبيه ولوحة ومراجعة ربع سنوية ووقت لإبقاء التعريفات حديثة. والرابع كلفة الفرصة البديلة حين توقف السياسة عمل الميزات، وهي كلفة احترام الاتفاق وسبب الاتفاق عليه قبل أن يأتي الضغط.
ويظهر العائد في أنماط يستطيع الفريق تتبعها بنفسه: استدعاءات أقل لم تتطلب إجراء، وجدال أقصر حول هل يُصدَر، وعمل موثوقية يُجدول قبل نفاد الميزانية بدل بعد حادثة كبرى، ومفاجآت أقل للعملاء. صِف الفائدة بمقارنة أرقام الفريق نفسه قبل وبعد، مثل الاستدعاءات لكل مناوبة وحصة الميزانية التي تستهلكها أكبر حادثة.
الأنماط المضادة والمزالق
- أهداف SLO كثيرة جدًا. عشرات الأهداف تشتت الانتباه ولا يستطيع أحد قول أيها مهم. ابدأ برحلات المستخدمين الحرجة وأحِل الباقي إلى التقاعد.
- SLO يساوي SLA. الإبلاغ برقم واحد على أنه الاثنان يزيل هامش الأمان ويخلط قاعدة هندسية بوعد تجاري. أبقِ الهدف أشد من الاتفاقية.
- سياسة لا تُنفَّذ أبدًا. إن نفدت الميزانية ولم يتغير شيء فقدت الممارسة مصداقيتها. اجعل القادة يوقعون السياسة وسجّل كل استثناء بسببه.
- استخدام الميزانية بطاقة درجات للناس. ترتيب المهندسين أو موظفي المناوبة بالميزانية المنفقة يجعل الناس يخفون الحوادث ويضيقون التعريفات. انسب الميزانية إلى الخدمة وناقش الأسباب على مستوى النظام (انظر الموضوع 1.2، قانون غودهارت وعلم نفس المقاييس).
- التنبيه على كل انخفاض. الاستدعاء على الأعراض الخام ينتج إجهاد التنبيهات ويدرب الناس على تجاهل الاستدعاءات. نبّه على معدل الاستهلاك ووجّه الاستهلاك البطيء إلى تذاكر.
- الوضع ثم النسيان. SLO لا يراجعه أحد ينجرف بعيدًا عما يحتاجه المستخدمون. جدولْ مراجعة ربع سنوية وسجّل ما تغير ولماذا.
نموذج النضج
| البُعد | 1 البدء | 2 التطوير | 3 التوحيد | 4 الإدارة | 5 التنسيق |
|---|---|---|---|---|---|
| المؤشرات والأهداف | الموثوقية موصوفة بالكلمات؛ يُبلَّغ بوقت تشغيل الخوادم | بعض الفرق تعرّف مؤشرات؛ الأهداف تختلف ونادرًا ما تُراجع | لرحلات المستخدمين الحرجة مؤشرات وأهداف موثقة في قالب مشترك | تُتتبع الأهداف وتُفحص مقابل ملاحظات المستخدمين وتُشدَّد أو تُرخَّى بالدليل | تُتفق الأهداف مع العملاء والموردين وتُوائم مع الخدمات التابعة والعقود |
| ميزانية الخطأ والسياسة | لا ميزانية؛ الموثوقية مقابل الميزات تُقرَّر بالجدال | تُحسب ميزانية لبعض الخدمات؛ لا عواقب متفق عليها | سياسة مكتوبة، موقعة من المنتج والعمليات، بمحفزات معرَّفة | يُقاس الالتزام بالسياسة وتُراجع الاستثناءات وتُنير الميزانيةُ تخطيط الإصدار | تُنسَّق قرارات الميزانية عبر الفرق التي تتشارك الاعتماديات؛ تُنقَّح السياسة مع تغير الظروف |
| التنبيه والاستجابة | تنبيهات عتبات على موارد خام؛ استدعاءات كثيرة | بعض تنبيهات معدل الاستهلاك؛ عتبات منسوخة من أمثلة | تنبيهات معدل استهلاك متعددة النوافذ لأهداف SLO الرئيسية، مع تذاكر للاستهلاك البطيء | تُقاس جودة التنبيه وتُضبط باستخدام حوادث سابقة | يُوائَم التنبيه عبر سلاسل الخدمات ويقود التحسينَ مراجعاتٌ مشتركة |
قائمة التحقق
- رحلات المستخدمين الحرجة للخدمة مسرودة، كل منها مكتوب من جانب المستخدم.
- كل SLI معرَّف أحداثًا جيدة على أحداث صالحة، والاستثناءات مكتوبة.
- مؤشرات التأخر تستخدم المئينات وعتبة معلنة، لا المتوسطات.
- كل SLO يذكر هدفه ونافذته وموضع قياس SLI.
- SLO أشد من أي SLA، ويُبلَّغ بهما منفصلين.
- توجد سياسة ميزانية خطأ، موقعة من قادة المنتج والعمليات، وتسمي من يستطيع منح الاستثناءات.
- تنبيهات معدل الاستهلاك تستخدم فترتي استرجاع على الأقل، والاستهلاك البطيء ينشئ تذاكر لا استدعاءات.
- يُظهر كل سجل حادثة الميزانية التي استهلكها.
- يُقارَن تحقق SLI باتصالات الدعم ونتائج الرضا كل شهر.
- لكل SLO مالك (فريق أو دور) وتاريخ مراجعة، والتغييرات مسجلة بأسبابها.
- لا نتيجة SLO تُستخدم لترتيب الأفراد أو مكافأتهم.
مطالبات الذكاء الاصطناعي
صُغ مؤشرات مرشحة من رحلات المستخدمين.
I run [service name], used by [type of users] to do [list of critical user
journeys]. We can measure at [list of measurement points, for example load
balancer, application logs, synthetic probe]. For each journey, propose one or two
candidate SLIs written as good events over valid events, with a suggested
definition of "good," "valid," and exclusions. Note the strengths and blind spots
of each measurement point. Do not invent target values or benchmarks; ask me what
users tolerate. List your assumptions.
صُغ سياسة ميزانية خطأ.
Help me draft an error budget policy for [service name] with an SLO of [target]
over [window]. Stakeholders are [product role] and [operations role]. Propose
trigger levels, the action at each, who may grant an exception and how it is
recorded, and how the policy is reviewed. Keep it to one page and flag decisions
that need a human sponsor. Do not invent thresholds from other organizations;
present options and trade-offs. List your assumptions.
راجع SLO بحثًا عن مخاطر التلاعب.
Here is our SLO document for [service name]: [paste SLI definition, exclusions,
target, window, and change log]. Identify ways the SLI could be narrowed, the
window or target changed, or events excluded in a way that would make results look
better than the user experience. For each risk, suggest a guardrail metric or
practice. Do not assume intent. List your assumptions and the questions I should
answer.
مهارات الذكاء الاصطناعي
- مهارة مقاييس أجايل ITIL: استخدمها للعثور على المواضيع ذات الصلة، مثل التوافر وجودة التنبيهات والحوادث الكبرى، وضابط الحماية الذي ينبغي أن يجاور كل قياس SLO.
- مهارة صيانة مقاييس أجايل ITIL: استخدمها للتحقق من أن تعديلات هذا الموضوع تُبقي كل مقياس في جدول التلاعب وكل إحالة متبادلة معنونة.
النقاط الرئيسية
- اختر مؤشرات قليلة مما يفعله المستخدمون، وعبّر عن كل منها أحداثًا جيدة على أحداث صالحة.
- SLO دون 100 في المئة قرار بشأن المخاطرة، وميزانية الخطأ هي المتسع الذي يتركه ذلك القرار للتغيير.
- اكتب سياسة ميزانية الخطأ سلفًا، ووقّعها على مستوى القيادة، وسجّل كل استثناء.
- نبّه على معدل الاستهلاك بأكثر من نافذة استرجاع، لتعكس الاستدعاءات خطرًا حقيقيًا على الهدف.
- احرس التعريفات: سجّل كل تغيير، وقارن نتائج SLI بما يبلغ عنه المستخدمون.
- انسب الميزانية إلى الخدمات والفرق لا الأفراد، وراجع كل SLO ربعيًا على الأقل.
المراجع والقراءة الإضافية
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service level indicator.
- Wikipedia, Service-level objective.
- Wikipedia, Service-level agreement.
- Wikipedia, Availability.
- Wikipedia, Percentile.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.