Un service peut être rapide, bon marché et bien aimé et pourtant décevoir les personnes qui en dépendent, à cause d'une faiblesse non corrigée, d'un risque non examiné, d'une obligation que personne n'a suivie ou d'un fournisseur qui a cessé de livrer. Les mesures de cette partie décrivent les conditions qui protègent contre ces défaillances : combien de temps les faiblesses restent ouvertes, si les contrôles fonctionnent, si des preuves existent quand quelqu'un les demande, et si vous savez de quoi vous dépendez et pourriez vous en passer.

Les pratiques agile et ITIL prennent toutes deux ces préoccupations au sérieux, sous des angles différents. ITIL apporte la gestion de la sécurité de l'information, la gestion des risques, la gestion des fournisseurs et la gouvernance, avec leur insistance sur la politique, la responsabilité et les enregistrements. L'agile et le DevOps apportent l'idée que la sécurité et le contrôle appartiennent à l'intérieur de la livraison continue : petits changements, retour rapide, vérifications automatisées et responsabilité partagée entre développement, sécurité, exploitation et assurance. Les organisations les plus efficaces combinent les deux, de sorte que les contrôles sont intégrés à la chaîne de livraison, que les preuves sont un sous-produit de la livraison et que les auditeurs, les régulateurs et les fournisseurs sont des partenaires d'une conversation continue plutôt que des adversaires occasionnels.

Ces mesures portent aussi les plus gros enjeux de distorsion. Des objectifs sur les constats, les risques rouges ou les violations apprennent aux gens à détourner le regard, à reclasser ou à cacher. Les mesures qui touchent au comportement humain, comme les signalements d'activité suspecte, peuvent glisser vers la surveillance ou le blâme. Chaque métrique de cette partie vient donc avec la façon dont elle est détournée et un garde-fou, et la partie traite le signalement sûr et l'apprentissage sans reproche comme des contrôles à part entière. Aucune des mesures ne classe des individus. Elles décrivent des systèmes, des services et des relations (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques).

Sujets de cette partie

  • 8.1 Métriques des incidents de sécurité et des vulnérabilités : fenêtres d'exposition, conformité des correctifs, couverture des balayages, temps de confinement, exceptions et culture de signalement qui maintient le flux des signaux.
  • 8.2 Métriques des risques et des contrôles : un registre des risques court et détenu, tests des contrôles, indicateurs clés de risque et approbation des changements fondée sur le risque.
  • 8.3 Métriques de conformité et d'audit : couverture des obligations, automatisation des preuves, clôture et répétition des constats, et collaboration avec les auditeurs.
  • 8.4 Métriques des fournisseurs et des contrats : performance des fournisseurs au regard de l'expérience, concentration, diligence raisonnable, revues conjointes et plans de sortie éprouvés.
  • 8.5 Rapports réglementaires et gouvernementaux : obligations de rapport comme intrants de conception, rapports traçables, définitions rapprochées et information publique utilisable.

Comment ces sujets s'articulent

Les mesures de sécurité (voir le sujet 8.1, Métriques des incidents de sécurité et des vulnérabilités) décrivent les menaces et les faiblesses en termes concrets, et elles fournissent certains des indicateurs clés de risque les plus solides pour le registre des risques. Les mesures de risque et de contrôle (voir le sujet 8.2, Métriques des risques et des contrôles) placent ces indicateurs en contexte, décident quels contrôles comptent et vérifient qu'ils fonctionnent. Les mesures de conformité et d'audit (voir le sujet 8.3, Métriques de conformité et d'audit) transforment les mêmes contrôles et tests en preuves pour les tiers, et montrent quelle part de ces preuves le travail produit de lui-même.

Les mesures de fournisseurs (voir le sujet 8.4, Métriques des fournisseurs et des contrats) étendent chacune de celles-ci au-delà de la frontière de l'organisation. Les vulnérabilités, les risques et la posture de conformité d'un fournisseur deviennent les vôtres, et le contrat est l'un des contrôles. Le sujet des rapports (voir le sujet 8.5, Rapports réglementaires et gouvernementaux) clôt la partie en demandant ce qui doit être dit à qui, et comment le dire avec exactitude sans laisser la vue de rapport fausser le travail qu'elle décrit.

Plusieurs paires de garde-fous suivent. Une fenêtre d'exposition devrait se lire avec la couverture des balayages, pour qu'un chiffre propre ne soit pas simplement un balayage étroit. Un taux d'efficacité des contrôles devrait se lire avec le suivi des échecs, car un taux parfait peut venir de tests faibles. Un décompte de constats d'audit devrait se lire avec le taux de répétition et la vérification de clôture. Un niveau de service de fournisseur devrait se lire avec l'expérience des utilisateurs (voir le sujet 6.2, Accords de niveau d'expérience). Un chiffre réglementaire devrait se lire avec ses mesures compagnes et un rapprochement avec la définition interne.

La partie s'appuie sur les précédentes. Les enregistrements d'actifs, de configuration et de coûts (voir le sujet 7.1, Métriques de gestion des actifs informatiques, et le sujet 7.4, Métriques de qualité de la configuration et de la CMDB) rendent possibles le balayage, la cartographie des dépendances et l'analyse des fournisseurs. Les mesures d'analyse post-incident et de changement de la partie 4 fournissent les boucles d'apprentissage qui gardent ce travail honnête. La partie 9 se tourne vers les personnes derrière tout cela : leur santé, leur collaboration et les habitudes d'amélioration qui rendent l'ensemble du système meilleur avec le temps.