Les parties 2 à 4 ont regardé comment le travail circule : à quelle vitesse il s'écoule, comment les incidents sont traités et comment le changement est fait en sécurité. Cette partie se tourne vers le résultat que les utilisateurs vivent réellement. Un service qui livre souvent et résout vite les incidents peut quand même être lent, indisponible aux mauvais moments ou imprévisible. Les utilisateurs jugent le service à ce qu'il fonctionne quand ils en ont besoin, non à la manière dont l'équipe s'organise.

Deux traditions se rencontrent ici. La pratique ITIL emploie depuis longtemps des accords de niveau de service, des cibles et des rapports pour fixer les attentes entre un fournisseur et ses clients. La pratique d'ingénierie de la fiabilité des sites, exposée dans les livres Site Reliability Engineering de Google, emploie des indicateurs de niveau de service, des objectifs et des budgets d'erreur pour transformer la fiabilité en un arbitrage d'ingénierie explicite face au rythme du changement. Les deux sont compatibles. Toutes deux partent de ce qui compte pour les utilisateurs, toutes deux l'expriment comme une cible mesurable et toutes deux ont besoin d'un compte honnête de la fréquence à laquelle la cible a été atteinte.

Un risque récurrent traverse toute la partie. Un chiffre de fiabilité est facile à faire paraître bon : en choisissant un indicateur commode, en excluant des périodes gênantes ou en mesurant le composant plutôt que le parcours de l'utilisateur. Pour cette raison, chaque sujet ici nomme les horloges et les frontières de ses mesures, lit le temps et la latence comme des distributions avec des percentiles (voir le sujet 1.6, Culture statistique pour les métriques de service) et associe chaque mesure à un garde-fou (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques). Chaque métrique décrit un service, une équipe ou un système. Aucune ne classe un individu, et les mesures d'astreinte en particulier existent pour protéger les gens, non pour les noter.

Sujets de cette partie

  • 5.1 Métriques de SLA, d'OLA et de XLA : mesures d'accord de niveau de service, d'accord de niveau opérationnel et d'accord de niveau d'expérience, et comment le rapport « pastèque » cache les ennuis derrière des tableaux de bord verts et comment l'éviter.
  • 5.2 SLI, SLO et budgets d'erreur : indicateurs et objectifs de niveau de service, politique de budget d'erreur, taux de consommation et choix des indicateurs à partir de ce qui compte pour les utilisateurs.
  • 5.3 Métriques de disponibilité : calcul du temps de service et d'indisponibilité, disponibilité pondérée par les utilisateurs, panne planifiée contre non planifiée et arithmétique des neuf.
  • 5.4 Métriques de capacité et de performance : utilisation, saturation, percentiles de latence, marge et prévision de la demande.
  • 5.5 Métriques de supervision et de qualité des alertes : volume d'alertes, taux d'alertes actionnables, faux positifs, couverture de détection et fatigue d'alerte.
  • 5.6 Métriques de continuité de service : objectifs de temps et de point de rétablissement atteints dans les tests, fréquence des tests, constats des exercices de simulation et actualité des plans.
  • 5.7 Métriques de tâches répétitives et d'astreinte : appels par quart, charge hors des heures de travail, part de temps en tâches répétitives et mesures de rotation soutenable.

Comment ces sujets s'articulent

Les trois premiers sujets forment le cœur de la partie, car ils définissent la promesse et la manière dont elle est mesurée. Le sujet 5.1 (voir le sujet 5.1, Métriques de SLA, d'OLA et de XLA) couvre les accords entre fournisseurs, équipes internes et clients, et les pratiques de rapport qui rendent ces accords honnêtes ou trompeurs. Le sujet 5.2 (voir le sujet 5.2, SLI, SLO et budgets d'erreur) fournit la contrepartie d'ingénierie : des indicateurs tirés de l'expérience des utilisateurs, des objectifs fixés à partir d'eux et un budget d'erreur qui rend visible la marge restante pour le risque. Le sujet 5.3 (voir le sujet 5.3, Métriques de disponibilité) fixe l'arithmétique dont les deux dépendent, y compris ce qui compte comme indisponibilité et quels utilisateurs sont touchés.

La capacité et la performance viennent juste derrière la disponibilité. Un service techniquement en marche mais saturé ou lent déçoit ses utilisateurs d'une manière qu'un simple chiffre de disponibilité manque. Le sujet 5.4 (voir le sujet 5.4, Métriques de capacité et de performance) fournit les percentiles de latence et les mesures de marge qui complètent la disponibilité, et ses prévisions de demande donnent un avertissement précoce avant qu'un objectif soit menacé.

La détection et le rétablissement déterminent quelle part d'une panne les utilisateurs vivent. Le sujet 5.5 (voir le sujet 5.5, Métriques de supervision et de qualité des alertes) demande si l'équipe apprend vite les problèmes et à partir de signaux qui valent la peine d'agir, ce qui se relie directement aux temps de détection et de rétablissement de la partie 3. Le sujet 5.6 (voir le sujet 5.6, Métriques de continuité de service) demande si l'équipe peut se rétablir dans des limites énoncées quand quelque chose de plus grand tourne mal, et teste cette affirmation plutôt que de la supposer.

Le sujet 5.7 (voir le sujet 5.7, Métriques de tâches répétitives et d'astreinte) sert de garde-fou humain pour le reste. Des objectifs serrés, des alertes bruyantes et des incidents fréquents retombent tous sur les personnes qui portent le téléavertisseur. Les appels par quart et la part de tâches répétitives révèlent quand la fiabilité est achetée au prix d'un effort insoutenable, et ils se relient aux mesures de travail non planifié de la partie 2. La qualité des alertes du sujet 5.5 et la charge d'astreinte du sujet 5.7 devraient être lues par paire, car de mauvaises alertes sont une cause courante de rotations lourdes.

Enfin, le budget d'erreur du sujet 5.2 relie cette partie au changement de la partie 4. Quand le budget est sain, une équipe peut mettre en production plus librement. Quand il est épuisé, le changement et le travail de fiabilité devraient être rééquilibrés. La partie 6 vérifie ensuite si l'atteinte des cibles de cette partie a laissé les utilisateurs mieux lotis, ce qui est la question à laquelle un rapport vert ne peut pas répondre seul.