Introduction à la partie 10 : Les métriques à l'ère de l'IA
L'IA rend la production bon marché et fluide, ce qui rompt le lien ancien entre ce qui est produit et ce qui vaut la peine d'être gardé ; mesurez donc ce qui survit, ce qui aide et ce qui reste sous contrôle.
Chaque métrique de ce livre repose sur l'hypothèse que produire la chose comptée demande un effort réel. Un ticket résolu reflétait un travail. Un article écrit reflétait une connaissance. Un changement fusionné reflétait du soin. L'IA générative affaiblit cette hypothèse. Elle peut rédiger une réponse, un article, un test ou un bloc de code en quelques secondes, et ce qu'elle rédige est souvent plausible et parfois faux. Les décomptes montent. Savoir si les personnes servies s'en trouvent mieux est une question distincte à laquelle les décomptes ne peuvent pas répondre.
L'IA ajoute aussi de nouvelles choses à mesurer. Les assistants conversationnels et les agents qui agissent au nom d'un utilisateur ont besoin de mesures de résolution, de transmission et du préjudice des actions erronées. La gouvernance des modèles, des instructions et des fournisseurs a besoin de mesures de couverture, de contrôle et de traitement des incidents. Et les gens qui travaillent aux côtés de ces outils ont besoin que leurs compétences, leur compréhension et leur rythme soutenable soient protégés. Les mesures de cette partie s'inspirent du reste du livre, car les garde-fous sont les mêmes : associer chaque métrique à une vérification de ce qu'elle pourrait cacher, comparer à une ligne de base, échantillonner avec des gens et garder les données sur les personnes hors de l'évaluation (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques).
Les façons de travailler agiles et ITIL offrent une posture sensée face à tout cela. Traitez chaque usage de l'IA comme une petite expérience. Énoncez le bénéfice attendu, essayez-le avec des personnes volontaires, comparez avec un travail semblable fait sans lui et décidez selon les preuves. Gardez les parties prenantes continuellement impliquées, car elles sont les premières à remarquer quand le signal se dégrade. Visez un rythme soutenable, pour que le temps gagné soit un choix sur la qualité et l'apprentissage, non une hausse automatique de la demande. Et souvenez-vous du but de bâtir autour d'individus motivés : l'IA devrait soulager le travail fastidieux et respecter le jugement des gens, et elle ne devrait pas devenir un moyen de les surveiller.
Les faits sur les outils, produits et règles d'IA changent rapidement. Les énoncés de cette partie sur des réglementations, des normes et des outils précis sont datés d'octobre 2026, et le lecteur devrait les revérifier. Les principes de mesure sont plus durables que n'importe laquelle des technologies qu'ils décrivent.
Sujets de cette partie
- 10.1 L'IA dans la mesure de la gestion des services : où l'IA entre dans le travail, lignes de base avant l'adoption, comparaisons, temps jusqu'à un résultat vérifié et coût complet.
- 10.2 Mesurer le travail assisté par l'IA : rétention, reprise, charge de revue, défauts échappés, compréhension et compétences.
- 10.3 Métriques des agents d'IA et des agents conversationnels : résolution vérifiée, contacts répétés, transmissions, temps jusqu'à une personne, exactitude des réponses et annulation des actions des agents.
- 10.4 Inflation des métriques et dilution de la qualité : comment le volume et la vitesse gonflent, échantillonnage de l'utilité, charge de vérification et rupture des boucles de rétroaction.
- 10.5 Métriques de gouvernance et de risque de l'IA : le registre des usages, les classes de risque, la maîtrise des changements pour les modèles et les instructions, l'évaluation, la supervision et les incidents.
Comment ces sujets s'articulent
Le sujet des fondations (voir le sujet 10.1, L'IA dans la mesure de la gestion des services) fixe la méthode : ligne de base, comparaison, échantillonnage et coût complet. Elle s'applique à tous les autres sujets de la partie. Le sujet du travail assisté (voir le sujet 10.2, Mesurer le travail assisté par l'IA) applique cette méthode au travail que font les gens avec l'IA à leurs côtés, et regarde ce qui survit et ce qui arrive à la compréhension. Le sujet des agents conversationnels et des agents (voir le sujet 10.3, Métriques des agents d'IA et des agents conversationnels) l'applique aux systèmes qui font face directement aux utilisateurs ou agissent en leur nom, où le coût d'une réponse ou d'une action erronée retombe sur quelqu'un d'autre.
L'inflation et la dilution (voir le sujet 10.4, Inflation des métriques et dilution de la qualité) sont la compagne de mise en garde de tous ces sujets. Elles expliquent pourquoi les chiffres faciles montent et ce qu'il faut leur associer, et elles se relient aux vérifications d'utilité des autres sujets. La gouvernance (voir le sujet 10.5, Métriques de gouvernance et de risque de l'IA) est la structure qui tient le reste en place : elle fournit le registre qui dit quoi mesurer, les classes de risque qui disent avec quelle profondeur, la maîtrise des changements qui empêche le comportement de dériver sans qu'on le voie et le processus d'incident pour quand quelque chose tourne mal.
Plusieurs paires de garde-fous suivent. Une mesure de vitesse devrait se lire avec le temps jusqu'à un résultat vérifié et la charge de vérification. Un chiffre de confinement ou de détournement devrait se lire avec la résolution vérifiée et les contacts répétés. Un décompte d'usages enregistrés devrait se lire par rapport à une découverte indépendante. Un chiffre d'adoption d'un outil d'IA devrait être traité comme descriptif, et ce sont les résultats par rapport à une comparaison qui portent le poids.
La partie renvoie aux précédentes : les mesures de revue et de flux de la partie 2, les mesures de connaissances et de libre-service de la partie 3, les mesures de sécurité et de risque de la partie 8 et les mesures sur les personnes de la partie 9. Elle mène à la dernière partie de contenu, qui porte sur la construction d'un programme de métriques lui-même, car un programme qui introduit la mesure sans soin subira les mêmes distorsions que celles que cette partie décrit.