第 10 部分导言:人工智能时代的指标
AI 使产出变得廉价而流畅,这打破了所产出之物与值得拥有之物之间的旧联系,所以要度量什么留存下来、什么有帮助、什么仍处于控制之下。
本书中的每项指标都建立在一个假设之上:产生被计数之物需要真实的努力。一张已解决的工单反映了工作。一篇写成的文章反映了知识。一项合并的变更反映了用心。生成式 AI 削弱了这个假设。它能在几秒钟内起草一份回复、一篇文章、一个测试或一段代码,而它起草的东西往往看似合理,有时是错的。计数上升了。被服务的人是否过得更好,是计数无法回答的另一个问题。
AI 还增加了新的度量对象。会话式助手和代表用户行事的智能体,需要关于解决、移交和错误行动之危害的度量。模型、提示词和供应商的治理,需要关于覆盖、控制和事件处理的度量。而与这些工具并肩工作的人,需要他们的技能、理解和可持续的节奏得到保护。本部分的度量借鉴了本书的其余部分,因为护栏是相同的:为每项指标配上对它可能隐藏之物的检查,与基线比较,与人一起抽样,并让关于人的数据远离评价(见主题 1.2,古德哈特定律与指标心理学)。
敏捷和 ITIL 的工作方式对这一切提供了合理的立场。把每一次使用 AI 都视为一个小实验。说明预期的收益,与愿意的人一起尝试,与不用它所做的类似工作比较,并依据证据作决定。让利益相关方持续参与,因为当信号退化时,他们最先注意到。以可持续的节奏为目标,使节省下来的时间是关于质量和学习的选择,而不是需求的自动增加。并记住围绕积极投入的个人开展工作的目标:AI 应当减轻乏味的工作并尊重人们的判断,而不应当成为监视他们的办法。
关于 AI 工具、产品和规则的事实变化很快。本部分中关于具体法规、标准和工具的陈述,其日期截至 2026 年 10 月,读者应当重新核对。度量原则比它们所描述的任何技术都更持久。
本部分的主题
- 10.1 服务管理中的 AI 度量:AI 在何处进入工作、采用之前的基线、比较、到达经检查结果的时间,以及完整成本。
- 10.2 度量 AI 辅助工作:留存、返工、评审负荷、逃逸缺陷、理解和技能。
- 10.3 AI 智能体与聊天机器人指标:经验证的解决、回头联系、移交、到达真人的时间、回答准确率,以及智能体行动的撤销。
- 10.4 指标膨胀与质量稀释:数量和速度如何膨胀、有用性抽样、验证负担,以及打破反馈回路。
- 10.5 AI 治理与风险指标:使用登记册、风险类别、模型和提示词的变更控制、评估、监督和事件。
这些主题如何相互关联
基础主题(见主题 10.1,服务管理中的 AI 度量)确立了方法:基线、比较、抽样和完整成本。它适用于本部分的每一个其他主题。辅助工作主题(见主题 10.2,度量 AI 辅助工作)把这种方法用于人们在 AI 陪伴下所做的工作,并查看什么留存下来以及理解会发生什么。聊天机器人与智能体主题(见主题 10.3,AI 智能体与聊天机器人指标)把它应用于直接面对用户或代表他们行事的系统,在那里错误回答或行动的代价落在别人身上。
膨胀与稀释(见主题 10.4,指标膨胀与质量稀释)是所有这些的警示性伴侣。它解释为什么容易的数字会上升,以及用什么与它们配对,并与其他主题中的有用性检查相联。治理(见主题 10.5,AI 治理与风险指标)是把其余部分固定在位的结构:它提供告诉你度量什么的登记册、告诉你度量多深的风险类别、防止行为在无人察觉下漂移的变更控制,以及出错时的事件流程。
下面是几组护栏配对。速度度量应当与到达经检查结果的时间和验证负担一起阅读。遏制或分流的数字应当与经验证的解决和回头联系一起阅读。已登记使用的计数应当对照独立的发现来阅读。AI 工具的采用数字应当被视为描述性的,而相对于对照的成果才承担分量。
本部分与较早的部分相联:第 2 部分的评审和流动度量、第 3 部分的知识和自助服务度量、第 8 部分的安全和风险度量,以及第 9 部分的人员度量。它通向最后的内容部分,该部分关于建设指标体系本身,因为不加留意地引入度量的项目,将遭受本部分所描述的同样扭曲。