服务管理中的 AI 度量
在 AI 改变工作之前,写下工作今天的样子,然后对照那个基线、并对照不用 AI 所做的可比工作来度量每一次对 AI 的使用,因为主张将会很大,而证据通常很小。
概述与动因
人工智能如今存在于团队用来构建和运行服务的许多工具之中。人工智能(AI)是计算系统执行与人类智能相关联的任务的能力。在其中,机器学习系统从数据中学习模式,而生成式 AI系统(常常建立在大语言模型之上)则根据提示词产生文本、代码和其他内容。在 IT 服务管理(ITSM)中,这些能力出现在工单分诊、事件摘要、知识文章起草、服务台的建议回复、交付流水线中的代码补全和评审、监控中的异常检测,以及面向用户的会话式助手中。AIOps 是常用来称呼把 AI 应用于 IT 运维数据的名字。
对这些工具的主张很大,而任何特定组织中的证据通常很小。供应商报告节省的时间。早期采用者报告热情。高管要求兑现所承诺的效率收益。与此同时,团队报告输出需要检查,有些建议自信地出错,而且工作感觉不同了。度量是组织弄清楚其中哪一个对自己的工作为真的办法。本书的这一部分严肃地把 AI 当作一个要度量的对象,并采用与任何其他指标族相同的护栏。
AI 以四种方式改变度量问题。
- 数量和速度上升,而质量变得更难看到。AI 能快速产生工单、回复、代码和文档,所以产出的度量上升。产出好不好是另一个问题(见主题 10.4,指标膨胀与质量稀释)。
- 基线消失。一旦 AI 进入日常使用,你就无法恢复没有它时工作的样子。必须在变更之前捕获基线,或存在对照组。
- 人仍在回路之中,并承担后果。人在回路的设计让一个人对结果负责。评审机器输出的人可能过于轻易地服从它,这种模式称为自动化偏见,或者他们花在检查上的时间可能超过节省的时间。
- 输出可能流畅而错误。幻觉是一种没有输入或事实支持的自信输出。度量必须包括由人抽样的正确性检查。
敏捷和 ITIL 的工作方式都对此提供了一种立场。持续交付、持续改进和持续演进的敏捷目标,建议把每一次使用 AI 都视为一个小实验:说明预期的收益,与几位愿意的人一起尝试,比较,并作决定。ITIL 带反馈地迭代推进的指导原则指向同一方向,它对价值的强调问的是,对用户和业务而言什么成果得到改善,而不是产生了多少文本。当 AI 减轻乏味的工作并尊重人们的判断时,积极投入之人的目标得到满足;当 AI 成为提高节奏或监视使用者的办法时,则没有得到满足。可持续的节奏意味着,节省下来的时间不应当被悄悄转换成更多的需求。
古德哈特定律的护栏以最尖锐的形式适用于 AI。如果"AI 采用"或"AI 生成的代码占比"成为目标,人们就会在无益之处使用工具,质量将为这个数字付出代价(见主题 1.2,古德哈特定律与指标心理学)。
本主题涵盖基础:AI 在何处进入工作、要捕获什么基线,以及哪些度量显示某项对 AI 的使用是否有帮助。接下来的主题更深入地讨论辅助工作、智能体和聊天机器人、膨胀与稀释,以及治理。关于 AI 产品和规则的事实变化很快,本部分中关于具体工具或法规的陈述,其日期截至 2026 年 10 月,应当重新核对。
关键原则
- 在引入 AI 之前捕获基线。没有基线,每一项收益主张都只是意见。
- 把每次使用视为带对照的实验。与同一期间不用 AI 所做的类似工作比较。
- 通过与人一起抽样来度量质量。流畅的输出不是正确的输出。
- 计入完整成本。包括评审时间、返工、许可证和推理成本。
- 让人保持负责并知情。使用 AI 的人对结果负责。
- 不要让 AI 成为节奏的提高或监视器。节省下来的时间,是关于如何使用这段时间的选择。
- 从愿意的人和真实的问题开始。强制产生没有价值的使用。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 基线完整度 | 其主要指标有已记录的采用前基线的、计划中的 AI 用例占比 | 有注明日期基线的用例数 / 计划的用例数 | 百分比 | 用例登记册 | 持续改进;度量与报告 | 实验之前的基线 | 每季度 |
| AI 使用覆盖率 | 按用例,使用了 AI 的合格工作项或任务占比 | 使用了 AI 协助的项目数 / 合格项目数,来自工具日志或用户标签,在团队层面 | 百分比 | 工具使用日志、标签 | 服务台;事件管理;发布与部署管理 | 愿意的团队采用一款工具 | 每月 |
| 建议接受与推翻率 | 原样接受、编辑后接受或被拒绝的 AI 建议占比 | 每个类别中的建议数 / 提供的建议数 | 百分比 | 按团队汇总的工具日志 | 服务台;知识管理 | 对机器建议的评审 | 每月 |
| 经评审的输出准确率 | 经合格评审者判断为正确且适合用途的 AI 抽样输出占比 | 被判断为正确的输出数 / 抽样的输出数 | 百分比 | 抽样评审记录 | 质量保证;知识管理 | 输出的完成定义 | 每月 |
| 相对基线的任务时间 | 使用 AI 完成已定义任务的时间,与基线或对照组比较 | 使用 AI 的任务时间的中位数和第 85 百分位数,减去基线或对照的同一数值 | 分钟或小时 | 计时的任务、工单时间戳 | 服务台;事件管理 | 任务的周期时间 | 每季度 |
| 每个 AI 辅助任务的成本 | 每项任务的 AI 辅助工作总成本,包括评审和返工 | (许可证和使用成本 + 评审和返工的时间成本)/ 使用 AI 完成的任务数 | 每任务货币额 | 供应商发票、时间估算、工作跟踪器 | 服务财务管理 | 每项成果的服务成本 | 每季度 |
| 相对于对照的成果变动 | AI 辅助工作的成果指标,与类似的非辅助工作相比的变化 | AI 辅助组的指标变化 减去 对照组的变化 | 指标单位 | 每个用例的成果度量(质量、满意度、重开率、缺陷) | 持续改进 | 从实验中学习 | 每季度 |
按任务、用户和成果指标定义每个用例,并记录在登记册中。AI 使用覆盖率是描述性度量,不是目标。经评审的输出准确率,由一位没有产生该输出的合格人员依据书面标准判断。任务时间包括提示、评审和修正的时间,以及生成的时间。每任务成本计入用于检查和修复的人员时间。成果变动需要事先选定的对照,以及关于该期间其他变化的说明。
建议
决定 AI 属于何处
1. 列出任务以及每项 AI 使用所解决的问题。从痛点出发,而不是从工具出发:重复起草、缓慢的分诊、分散的知识、冗长的评审、嘈杂的告警。对每个候选的使用,写下问题、谁感受到它、应当改善的成果,以及风险。跳过没有明确问题的使用。这就是基线和度量所依托的登记册。
2. 对每项使用的风险分类。起草内部笔记的工具,与更改生产系统、回复客户或作出关于人的决定的工具,风险不同。按输出出错时的危害、谁受影响,以及一个人是否在其生效前评审它,对使用分类。风险较高的使用需要更强的度量、抽样和治理(见主题 10.5,AI 治理与风险指标)。
3. 从愿意的人和有界的任务开始。与志愿者一起,在一项常见且可检查的任务上试点。志愿者给出诚实的反馈,并使工具适应他们的工作。有界的任务使基线和比较变得可行。避免从最敏感的工作开始。
捕获基线并建立比较
4. 在首次使用之前记录基线。对每个用例,捕获指标的当前状态:完成时间、质量或缺陷率、返工、用户满意度和成本。取足够多的观察值,以看到正常的变异(见主题 1.6,服务指标的统计素养)。给基线注明日期并保留它。在推出之后取得的基线,是对新世界的记录。
5. 建立对照。在可能之处,在试点期间保留一个不使用 AI 的类似群体或任务集,或者以公平的方式按周或按任务类型交替使用。随机化是理想的,却常常不切实际。直白地说明还有什么发生了变化。没有对照,由季节性、人员配置或学习带来的改善会被记在工具的功劳上。
6. 诚实地度量时间。到达初稿的时间很少是正确的度量。度量到达完成的、经检查的结果的时间,包括提示、评审和修正。人们常常基于生成步骤报告节省的时间,而评审步骤吃掉了其中一部分或全部。对任务样本做时间研究,值得付出努力。
度量质量和成本
7. 抽样输出供合格的人评审。每月随机抽取 AI 辅助输出的样本,让一位合格的人依据书面标准加以判断。报告准确率、发现的错误种类和趋势。这是防止流畅的错误扩散的主要保护。让评审者独立于产出者,并轮换评审者。
8. 留意接受和推翻的模式。很高的接受率可能表明自动化偏见,即人们不检查就接受。很低的接受率可能表明工具无用。把这些比率作为与团队交谈的提示,问这些数字在他们的经验中意味着什么。不要为接受率设定目标。
9. 统计每项任务的完整成本。包括许可证费用、按使用量计的费用、用于提示、评审和修正的时间、培训和治理工作。与基线成本比较。快速制作草稿却需要大量修正的工具,可能比旧办法花费更多。计入到达用户的错误的成本。
把人的一面做对
10. 保护人们免受监视和节奏蠕变。在团队层面汇总 AI 使用数据,不要用它来评价个人。不要把使用情况用作绩效度量。事先约定,节省的时间不会自动变成额外的工作量,并与团队决定如何处置它:质量、学习、改进或其他工作。恒定的节奏是一个设计目标(见主题 9.2,满意度与福祉指标)。
11. 询问使用它的人。简短的脉搏调查和交谈揭示数字所遗漏的东西:工具在哪里有帮助、在哪里令人沮丧、在哪里把工作从创造转向检查,以及它是否改变了工作的满意度。以尊重对待关于技能、质量和工作保障的关切。
12. 决定、公布并重新审视。在每次试点结束时,决定扩大、调整或停止,并记录证据。诚实地分享结果,包括零结果和负面结果。随着工具的变化重新审视决定,它们变化得很快。去年没有帮助的使用,现在可能有帮助,反之亦然。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 基线完整度 | 事后记录基线;使用方便的指标 | 注明日期的基线;对基线方法的独立评审 |
| AI 使用覆盖率 | 强制使用;统计琐碎或自动的调用 | 绝不作为目标;与成果变动比较;统计有意义的使用 |
| 建议接受与推翻率 | 奖励接受;使拒绝变得麻烦 | 无目标;经评审的输出准确率;询问用户的体验 |
| 经评审的输出准确率 | 抽样容易的输出;宽松的评审者 | 由独立评审者随机抽样;书面标准;评审者轮换 |
| 相对基线的任务时间 | 只计生成的时间;挑选容易的任务 | 到达经检查结果的时间;随机抽样任务;包括评审和返工 |
| 每个 AI 辅助任务的成本 | 遗漏评审时间或治理成本 | 完整成本检查清单;与时间研究比较 |
| 相对于对照的成果变动 | 选择有利的群体或期间;忽略其他变化 | 事先约定的对照和期间;其他变化的清单 |
健康的读数是:每次试点都有基线、度量到完成结果的时间、由合格的人检查的准确率、包含评审的成本、公平比较的成果,以及说这款工具服务于其判断的团队。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 与志愿者一起试点 | 诚实的反馈;风险低 | 志愿者是热心者;结果可能无法推广 |
| 强制推行 | 覆盖快 | 没有价值的使用;怨恨;操纵 |
| 受控比较 | 可信的证据 | 工作量;并不总是可能 |
| 仅前后对比 | 简单 | 被其他变化混淆 |
| 供应商报告的节省 | 容易获得 | 乐观;脱离背景 |
| 自己的计时任务 | 立足于你的工作 | 耗时;样本小 |
| 对每项输出的重度评审 | 安全 | 消除了收益 |
| 抽样评审 | 可扩展 | 有些错误会漏过 |
文字化的答案是,以基线和对照运行小型试点,抽样输出检查质量,计入完整成本,并依据证据作决定。把供应商的数字当作要检验的假设。
与团队讨论的问题
1. 我们期望 AI 在哪里帮到我们?如果它帮到了,我们会看到什么? 列出候选的使用,并对每一个,列出指标和我们今天拥有的基线。主持人应当追问具体细节:哪项任务、哪个度量、多大的变化才重要。选择一个使用来试点,并约定基线。
2. 什么会让我们信任或不信任一条 AI 建议?我们怎么知道自己错了? 讨论输出出错的情形以及它是如何被注意到的。考虑评审在实践中如何运作,以及压力是否导致跳过它。约定一种由独立人员运行的抽样方法。
3. 我们节省的时间,有多少会花在检查上? 对一项真实的任务,分别在有工具和没有工具的情况下计时,包括提示和评审。与人们的预期比较。这样的交谈常常揭示收益在哪里、不在哪里。
4. 我们该如何处置节省的时间? 事先决定。选项包括质量工作、学习、改进或更小的压力。讨论如何防止这些时间被悄悄吸收进更多的需求。与领导者约定团队将如何保护它。
5. 我们不希望 AI 在这里做什么?为什么? 列出需要人的判断、同理心或问责的任务。讨论对用户和技能的风险。主持人应将界限记录下来,作为治理的输入。
6. 我们将如何知道何时停止? 定义会终止试点或使用的证据。约定由谁决定以及何时决定。没有退出标准的试点,会成为永久的固定设施。
四种视角
产品与交付团队
交付团队把 AI 用于代码、测试、评审和文档。他们应当度量到达经评审、可工作结果的时间,留意质量和缺陷,并让人的评审保持有意义。他们应当抵制统计生成行数或接受率的指标,并坚持缺陷和稳定性等成果度量。
服务与运维团队
运维和服务台团队把 AI 用于分诊、摘要、建议和监控。他们应当把处理和解决的质量与基线比较,抽样输出,并留意对用户和重复联系的影响。在把 AI 放到用户面前之前,应当征询他们。
领导层与治理
领导者发起 AI 项目,并面临展示收益的压力。他们应当坚持基线和比较,为评审工作出资,避免使用目标,并保护人们免受监视和节奏蠕变。治理应当在扩大规模之前要求风险分类和证据。
客户与用户
用户在回答、建议和自动化行动中遇到 AI。他们想要正确、可理解的帮助,以及接触真人的能力。在适当之处,应当告诉他们何时正在与 AI 交互,他们的反馈是它是否有帮助的关键证据(见主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家中型保险公司的技术小组为 4,000 名员工和若干产品团队运行内部服务台。领导层购买了一款 AI 助手的许可证,并要求三个月后提交节省时间的报告。以下数字是示意数字。
服务管理负责人坚持要有基线。对服务台最常见的任务,即起草对访问和密码请求的回复,她为 120 张近期工单计时:处理时间中位数为 11 分钟,第 85 百分位数为 24 分钟,重开率为 6%,来自调查的满意度得分稳定。她挑选两个团队试点这款助手,并保留两个相似的团队作为对照。试点团队是志愿者。
八周后,试点团队的处理时间中位数为 8 分钟,第 85 百分位数为 19 分钟,而对照团队为 11 和 23。工具日志显示,座席在 52% 的情形下原样接受建议,38% 编辑后接受,10% 拒绝。每月从 80 条回复中随机抽样,由一位未参加试点的资深座席评审,发现 91% 完全正确,错误集中在一个很少使用的流程上,助手在那里给出了过时的步骤。试点团队的重开率略升至 7%,在正常变异之内。计入许可证和评审时间后,每张工单的成本小幅下降。一次调查显示,座席欣赏草稿,不喜欢对长回复额外的检查。两位座席说,他们感到有压力要每小时处理更多的工单。
服务管理负责人报告中位数上节省了约四分之一的时间,并说明了注意事项:两个团队、八周、志愿者,以及一个需要留意的重开率。她与领导者约定,节省下来的时间将用于知识库和复杂案例,且不会提高任何工单目标。知识库中过时的流程得到修复。一位高级经理要求全公司强制使用,并设定 80% 接受率的目标。她拒绝了该目标,解释说接受率目标会奖励不检查,并提议用同样的度量把试点扩展到另外两个团队。该决定被记录下来。
行业视角
初创企业。工具被快速而常常非正式地采用。为主要用途捕获一个简单的时间和缺陷基线,对任何面向客户的内容保持人的评审,并避免过早锁定单一供应商。当员工使用公共工具时,留意安全和数据暴露。
小型企业。现成的助手能为起草和例行任务提供真正的帮助。在小范围内度量:几项真实任务的时间和修正率。对机密数据要小心,并核对供应商关于数据如何使用的条款。
大型企业。规模要求治理、采购标准和共同的度量方法。以对照运行试点,在内部公布结果,并在团队之间共享基线和方法。当心把使用情况报告为成功的项目。
政府与公共部门。影响公民的决定,可能受制于关于透明度、公平和人工评审的法律义务。按风险对使用分类,保留关于如何在决定中使用 AI 的记录,并对此保持公开。采购规则和数据保护适用,有些司法辖区有具体的 AI 法律,应当截至今日核对(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是许可证或使用费、集成、培训、捕获基线和运行对照的时间、用于评审和修正输出的人员时间,以及治理工作。成本可能随使用量扩大,并随供应商定价而变,所以对一个范围建模。
潜在的回报是在重复性任务上收回的时间、更快的起草和搜索、对知识更好的覆盖,以及员工从乏味工作中得到的解脱。这些是要检验的可能性,不是要入账的假设。用你自己的试点建立论证:度量到达经检查结果的任务时间、经评审的准确率、返工,以及每项任务的完整成本,对照基线和对照组。避免引用来自供应商或调查来源的生产率百分比,除非你能追溯其方法及其与你的工作的契合。计入到达用户的错误的风险,以及治理这些工具的成本(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 没有基线就引入 AI。你无法知道什么变了。先捕获它。
- 度量生成速度。节省可能在评审中消失。度量到达经检查结果的时间。
- 采用目标。它们产生没有价值的使用。把覆盖率视为描述性的。
- 相信供应商的主张。它们是假设。在你的工作上检验它们。
- 名不副实的评审。自动化偏见把评审变成橡皮图章。独立地抽样和检查。
- 把节省的时间转换成更多需求。它侵蚀信任和可持续的节奏。事先决定这些时间是做什么的。
- 监视个人使用。它滋生恐惧。汇总到团队层面。
- 没有终点的试点。它们默认变成永久。设定退出标准。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 目的与基线 | 凭热情采用工具 | 列出用例 | 登记册中每项使用都有问题、风险类别、基线和指标 | 扩大规模之前要求基线和比较;公布结果 | 跨团队和伙伴共享基线和方法;证据消退时让使用退役 |
| 收益的证据 | 轶事和供应商主张 | 非正式的时间估算 | 计时的任务;抽样的准确率;每任务的完整成本 | 报告相对于对照的成果变动及其局限 | AI 在哪里有帮助的组合视图,学习被广泛分享 |
| 人与节奏 | 强制;监视 | 非正式的关怀 | 仅团队层面的数据;节省的时间经约定分配 | 跟踪关切;度量技能和满意度 | 与用户和员工共同设计 AI 的使用;保护持续的节奏 |
检查清单
- 每项 AI 使用都有书面的问题、风险类别、负责人和退出标准。
- 每次试点在首次使用之前都有注明日期的基线。
- 事先定义对照组或对照任务。
- 度量到达完成的、经检查结果的时间。
- 每月抽样输出,并由合格、独立的人评审。
- 每项任务的完整成本包括评审和返工。
- 使用数据在团队层面汇总,不用于个人。
- 团队已约定如何处置节省的时间。
- 询问用户对这款工具的体验。
- 试点以一项记录在案的扩大、调整或停止的决定结束。
AI 提示词
起草一个用例条目。
我们正在考虑在[团队和服务]中把 AI 用于[任务]。请起草一个用例登记册条目:问题及谁感受到它、
应当改善的成果、风险分类及原因、人工评审步骤、现在要捕获的基线指标、对照办法、要跟踪的
成本组成、退出标准,以及给团队的问题。不要假定具体的供应商功能,也不要声称收益。列出你的
假设。
设计一项计时任务研究。
请设计一项小型研究,度量 AI 助手对[任务]的影响。提出如何选择任务、如何公平地比较有工具和
没有工具、要计时什么(包括提示、评审和修正)、如何判断输出质量,以及如何避免偏见。保持对
一个[人数]人的团队切实可行。不要陈述预期结果。列出你的假设和设计的局限。
规划输出抽样。
我们每月的 AI 辅助输出约有[数量]件,类型为[列表]。请设计一个每月的随机抽样与评审流程:
样本量和选择方法(附理由,避免夸大精度)、由谁评审、书面标准、错误类别、如何报告,以及
如何使用发现。列出你的假设和风险。
决定如何处置节省的时间。
我们的试点在[团队]为每周[数量]项任务,每项节省了中位数[数值]。请建议支持质量、学习和可持续
节奏的使用这些时间的选项,附每项的权衡和风险,以及与团队和领导者约定选择的办法。不要假定
节省会持续。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于在报告某项 AI 相关指标之前查找与之配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查 AI 指标条目是否记录了其基线、对照、操纵途径和护栏。
关键要点
- 在使用 AI 之前捕获注明日期的基线,并与不用它所做的类似工作比较。
- 度量到达完成的、经检查结果的时间,并由独立评审者抽样输出的准确率。
- 计入完整成本,包括评审和返工。
- 把使用和接受视为描述性的,绝不作为目标。
- 事先决定如何处置节省的时间,并保持可持续的节奏。
- 让使用数据停留在团队层面,并让每次试点以一项记录在案的决定结束。
参考文献与延伸阅读
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
- Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Artificial intelligence.
- Wikipedia, Machine learning.
- Wikipedia, Generative artificial intelligence.
- Wikipedia, Large language model.
- Wikipedia, AIOps.
- Wikipedia, Human-in-the-loop.
- Wikipedia, Automation bias.
- Wikipedia, Hallucination (artificial intelligence).
- Wikipedia, Goodhart's law.