Introduction à la partie 4 : Métriques des problèmes, des changements et des versions
Les métriques des problèmes, des changements et des versions montrent si la manière dont une équipe modifie ses services et tire des leçons de l'échec les rend à la fois plus rapides à améliorer et plus stables à exploiter.
Chaque changement apporté à un service en production est un pari. Il peut apporter de la valeur plus tôt, ou casser quelque chose sur lequel les utilisateurs comptent. La partie 3 a mesuré dans quelle mesure le soutien et le rétablissement fonctionnent quand les choses tournent mal (voir le sujet 3.0, Introduction à la partie 3 : Métriques du centre de services, des incidents et des demandes). Cette partie regarde l'autre face de la même médaille : comment le changement entre dans l'environnement, à quelle fréquence il cause des ennuis et dans quelle mesure l'organisation apprend afin que les mêmes ennuis ne reviennent pas.
La livraison continue et ITIL abordent ce terrain depuis des directions différentes. La pratique agile favorise la livraison continue de logiciels en petits changements et traite la rétroaction rapide comme une mesure de sécurité. Les pratiques ITIL comme la gestion des problèmes, la maîtrise des changements et la gestion des versions existent pour protéger la stabilité et pour trouver et supprimer les causes des incidents. Les métriques de cette partie permettent de confronter les deux visions aux mêmes preuves. Si le changement fréquent est sûr, les mesures d'échec et de reprise le montreront. Si un contrôle ralentit la livraison sans réduire le risque, ce sont les mesures d'approbation et de délai qui le montreront.
Deux mises en garde traversent toute la partie. La vitesse et la stabilité doivent être lues ensemble, car un chiffre qui améliore l'une en abîmant discrètement l'autre est un mauvais marché. Les mesures de temps devraient aussi être lues comme des distributions avec des percentiles, comme exposé dans la partie 1 (voir le sujet 1.6, Culture statistique pour les métriques de service). Chaque métrique ici décrit une équipe, un service ou un système. Aucune ne classe un individu, et aucune n'est un objectif à pousser isolément (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques).
Sujets de cette partie
- 4.1 Métriques de gestion des problèmes : problèmes ouverts et clos, réutilisation des erreurs connues, récurrence et délai de correction permanente.
- 4.2 Métriques des analyses post-incident et de l'apprentissage : achèvement des revues, clôture des actions, récurrence des causes et signaux d'apprentissage sans reproche.
- 4.3 Métriques de maîtrise des changements : volume de changements par type, délai d'approbation, part de changements standard et automatisation de l'approbation.
- 4.4 Échecs de changement et reprises : taux d'échec des changements, part de changements d'urgence, taux de retour en arrière et de correctifs urgents, et définitions cohérentes de l'échec.
- 4.5 Métriques des versions et des déploiements : fréquence de déploiement, fréquence de mise en production, usage des bascules de fonctionnalité, délai de mise en production et séparation du déploiement et de la mise en production.
- 4.6 Dette technique et erreurs connues : backlog d'erreurs connues, stock et intérêts de la dette, et priorisation des corrections face au travail sur les fonctions.
Comment ces sujets s'articulent
La partie se divise en deux moitiés qui dépendent l'une de l'autre. Les sujets 4.1 et 4.2 portent sur l'apprentissage : comment les incidents sont reliés à des causes, et comment les revues se transforment en corrections menées à terme. Les sujets 4.3, 4.4 et 4.5 portent sur le changement : comment il est approuvé, à quelle fréquence il échoue et comment il parvient aux utilisateurs. Le sujet 4.6 joint les moitiés, car la dette et les erreurs connues que l'apprentissage met au jour sont les mêmes éléments qui concurrencent les nouvelles fonctions pour le temps de l'équipe.
L'association la plus importante est celle entre la vitesse et l'échec. La fréquence de déploiement et de mise en production du sujet 4.5 (voir le sujet 4.5, Métriques des versions et des déploiements) décrit à quelle fréquence le changement atteint la production, et le programme de recherche DORA associe de telles mesures de débit à des mesures de stabilité (voir le sujet 2.8, Métriques DORA). Le sujet 4.4 (voir le sujet 4.4, Échecs de changement et reprises) fournit ce côté stabilité. Une équipe qui déploie plus souvent pendant que ses taux d'échec et de reprise restent stables ou baissent s'améliore. Une équipe dont la fréquence monte pendant que les retours en arrière et les correctifs urgents montent avec elle déplace le coût ailleurs.
La maîtrise des changements se situe entre les deux. Le sujet 4.3 (voir le sujet 4.3, Métriques de maîtrise des changements) mesure le côté contrôle : combien de temps prend l'approbation, quelle part du changement est préautorisée comme standard et quelle part de l'approbation est automatisée. Le délai d'approbation est le coût d'un contrôle, et le taux d'échec des changements du sujet 4.4 est la preuve que ce contrôle fonctionne ou non. Lus ensemble, ils montrent si une lourde étape d'approbation achète de la sécurité ou n'ajoute que du retard, et si une approbation plus légère et automatisée a maintenu l'échec stable.
Les sujets d'apprentissage gardent les autres. La gestion des problèmes du sujet 4.1 (voir le sujet 4.1, Métriques de gestion des problèmes) mesure la récurrence et le délai de correction permanente, qui sont le test à long terme de savoir si le traitement des incidents de la partie 3 supprime des causes ou ne fait que rétablir le service. Le sujet 4.2 (voir le sujet 4.2, Métriques des analyses post-incident et de l'apprentissage) vérifie que les revues ont réellement lieu et que leurs actions sont closes, puisqu'une revue terminée sans suivi ne change rien. Compter les revues ou les problèmes clos est facile à détourner ; ces comptes devraient donc être lus à côté de la récurrence des mêmes causes, plus difficile à falsifier.
Enfin, le sujet 4.6 (voir le sujet 4.6, Dette technique et erreurs connues) explique pourquoi les autres mesures dérivent. Les erreurs connues non traitées et la dette accumulée augmentent la probabilité d'échec et le coût de chaque changement ultérieur. Lire le backlog d'erreurs connues à côté du taux d'échec des changements montre quand le report des corrections a commencé à ralentir la livraison.
Les parties suivantes s'appuient sur ces mesures. Les objectifs de niveau de service et les budgets d'erreur de la partie 5 donnent une limite de fiabilité à laquelle juger le rythme du changement, et la partie 11 montre comment introduire ces mesures sans semer la peur.