指标膨胀与质量稀释
当 AI 使数量和速度变得廉价时,每一项统计数量和速度的指标都会膨胀,所以要为每一项配上经人检查的有用性度量,并留意你数据中的信号是否正被淹没。
概述与动因
指标之所以起作用,是因为它反映了某种难以产出的东西。已解决的工单反映努力。写成的文档反映知识。增加的测试反映用心。当一种工具使可见的产出几乎免费时,产出与努力之间的联系就断了。数字不断上升,意义却被抽空。这就是指标膨胀,它的伴侣是质量稀释:所产出之物中有用部分的占比下降,而有用的部分变得更难找到。
这不是新问题。古德哈特定律及其近亲坎贝尔定律描述了用于控制的度量如何被腐蚀。虚荣指标看起来令人印象深刻,却对工作的健康说不出任何东西。AI 改变的是产出能被生成的速度和规模,以及随之而来的这些老失败可能发生的速度和规模。一个过去靠手工虚增计数的团队,现在几分钟就能做到,往往还并非出于本意。
几种模式在服务和交付工作中反复出现。
- 数量膨胀。AI 起草更多的工单、更多的回复、更多的评论、更多的测试用例、更多的文档和更多的代码。这些的计数上升。必须阅读、评审和维护它们的人的工作量也随之上升。
- 速度膨胀。到达初稿的时间急剧下降,而到达完成的、经检查结果的时间下降较少,或根本不降。报告前者的仪表板讲述的是一个讨好的故事。
- 噪声。更多的内容争夺注意力。信息过载是人无法处理所呈现信息量的状态,而知识库、工单队列或告警流的信噪比下降。告警疲劳是它的运维形式(见主题 5.5,监控与告警质量指标)。
- 低质量的生成内容。在很少评审的情况下批量产生的内容,有时被称为 AI 垃圾,看似合理却单薄。用这类文章充实的知识库变得不那么可信,用户学会不信任它。
- 验证成本。检查一项主张的工作量,往往远大于做出它的工作量,这种模式有时被称为布兰多利尼定律。当生成廉价时,验证成为瓶颈。
- 效率增加了消耗。杰文斯悖论描述这样的情形:效率的提高导致对资源更多而不是更少的使用。如果起草一份报告变得廉价,就会有更多的报告被要求。工具节省的时间可能被更多价值较低的工作所消耗。
- 反馈回路。如果生成的内容喂给下一轮生成,错误就会累积。研究文献描述了在自身输出上训练的模型中的模型崩溃。当一个助手对由某个助手根据另一个助手所总结的文章写成的工单进行总结时,组织内部也可能出现类似的回路。
- 漂移的基线。如果数据的分布因 AI 而变化,趋势和阈值就不再具有从前的含义。这类似机器学习中的概念漂移,即输入与结果之间的关系随时间而变化。工单量的上升可能反映的是创建工单变得更容易,而不是问题更多。
敏捷的目标在这里很重要。持续交付、持续改进和可持续的节奏,都依赖于信号清晰。不应当要求积极投入的人涉水穿过机器生成的噪声,或以无法持续的节奏验证成堆的输出。持续参与的利益相关方也是最好的防线:当报告不再有帮助时,他们会告诉你。
本主题给出用于察觉膨胀和稀释的度量,以及暴露它们的配对。它建立在基础和辅助工作度量之上(见主题 10.1,服务管理中的 AI 度量,以及主题 10.2,度量 AI 辅助工作)。
关键原则
- 为每一项数量或速度指标配上有用性检查。由人判断输出是否有用。
- 度量到达经验证的结果。初稿速度是个陷阱。
- 留意验证负担。它悄悄增长,并消耗节省下来的时间。
- 保护信号。让知识库、队列和告警保持足够干净以便信任。
- 打破反馈回路。不要让生成的内容在不经评审的情况下喂给生成。
- 数据变化时重设基线。跨越技术转变的趋势需要小心。
- 偏好更少而更好的输出。当注意力是限制资源时,少即是多。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 产出与成果之比 | 相对于其本应产生的成果的产出量 | 产出计数(工单、文章、变更)/ 成果度量(已解决的问题、被使用的文章、留存的变更),同一期间,作为趋势追踪 | 比率 | 工作跟踪器、知识库、成果度量 | 持续改进;度量与报告 | 可工作的软件胜过文档数量 | 每月 |
| 有用项占比 | 经合格评审者判断为有用的抽样项目占比 | 被判断为有用(正确、相关、不重复)的抽样项目数 / 抽样的项目数 | 百分比 | 随机抽样评审 | 知识管理;质量保证 | 内容的完成定义 | 每月 |
| 验证负担 | 每单位产出上,用于检查和修正生成工作的人的时间 | 评审和修正的小时数 / 产出单位数,作为趋势追踪 | 每单位小时数 | 时间估算、评审工具数据 | 服务财务管理;持续改进 | 评审容量作为约束 | 每月 |
| 内容冗余率 | 与另一项重复或实质重叠的知识项占比 | 在评审中或通过匹配被标记为重复或重叠的项目数 / 知识库中的项目数 | 百分比 | 知识库评审、匹配报告 | 知识管理 | 单一事实来源 | 每季度 |
| 生成知识的已评审占比 | 在发布之前经合格的人评审并批准的 AI 生成知识项占比 | 附有批准的评审而发布的生成项目数 / 发布的生成项目数 | 百分比 | 知识库元数据 | 知识管理;变更赋能 | 发布前评审 | 每月 |
| 积压流入对解决 | 对受 AI 影响的队列,到来的工作的增长相对于已解决工作的增长 | (创建项目数的变化)/(解决项目数的变化),与 AI 之前的基线比较 | 比率 | 工单和跟踪器历史 | 事件管理;服务请求管理 | 流动平衡 | 每月 |
| 指标漂移标记 | 引入 AI 之后,其定义或分布发生明显变化、并经评审和注释的指标数量 | 评审中被标记的指标数 / 登记册中的指标数 | 计数;百分比 | 指标登记册评审、分布检查 | 度量与报告 | 对度量的回顾 | 每季度 |
在书面评分标准中定义"有用":正确、与真实需求相关、不重复且最新。验证负担统计的是人所花的时间,包括再次提示的时间,并排除只是等待的时间。已评审占比是一种控制:未经评审的生成知识被单独追踪,并保持明显的标注。指标漂移标记是讨论,不是惩罚:标记意味着有人已决定是调整定义、注释趋势,还是重设基线。所有度量描述的是流程和内容,而不是个人。
建议
把数量与有用性配对
1. 在每项数量指标中内置有用性检查。对仪表板上的每项数量或速度度量,指定一项由人判断的有用性度量。创建的工单与解决的质量配对,写成的文章与文章的使用和准确率配对,合并的变更与留存和返工配对(见主题 10.2,度量 AI 辅助工作)。把它们放在一起展示,并在它们背离时讨论。
2. 定期抽样并判断。每月从 AI 触及的流中随机抽取项目样本,让一位合格的人依据书面评分标准加以判断。记录有用的占比以及项目不合格的原因。轮换评审者,并使其独立于产出者。抽样是防范缓慢稀释的主要防线。
3. 先报告成果,后报告产出。在领导层报告中,以成果开头:已解决的问题、满意的用户、避免的缺陷。把产出计数放在后面,作为背景。如果去掉产出计数后报告仍然有价值,它的方向就是对的。
控制验证和噪声
4. 度量验证负担。估算用于检查和修正生成工作的时间,并按每单位产出作为趋势追踪。如果它随产出上升而上升,净收益就比生成数字所暗示的要小,评审者可能正走向超载。把这一负担计入每项任务的成本(见主题 10.1,服务管理中的 AI 度量)。
5. 限制进入系统的东西。决定哪些生成的内容可以自动创建和发布,哪些需要评审。为一次评审中生成变更的规模和数量设定限制。让对数量说不变得容易。一个更小、条目更清晰的队列,对用户的服务更好。
6. 把知识库当作产品来管理。标注生成的内容,要求发布前评审,让重复和陈旧的项目退役,并追踪冗余和使用。知识库的用处与用户信任它的程度成正比。移除无人使用、也无人能担保的文章(见主题 3.6,知识管理指标)。
7. 保持告警和工单流的干净。如果 AI 根据告警或摘要创建工单,度量有用的占比和重复。积极调优。把下降的信噪比视为一起独立的事件,因为当真正的麻烦到来时,它会损害响应。
打破回路并留意基线
8. 阻止生成的内容不经检查地自我喂养。在助手依赖知识库、工单历史或过往报告之处,确保这些来源中的生成材料已被评审,或已被标注并相应加权。对链条抽样:挑一个回答,沿其来源追溯回去,看它来自哪里。未经检查的回路会放大错误。
9. 数据转变时重设基线。引入 AI 之后,为趋势图添加注释,并在数据性质发生变化之处开始新的基线。检查分布,而不仅仅是总量:工单长度、类别构成和创建时间都可能改变。指标漂移标记会促成这些交谈(见主题 1.6,服务指标的统计素养)。
10. 留意反弹。当一项任务变得更廉价时,问对它的需求是否会增长。事先决定如何使用节省的时间,使其不被更多低价值的输出所吸收。以同样的努力产出两倍报告的团队,可能在做更无用的工作。
让人的注意力留在回路里
11. 保护评审者和用户的注意力。评审容量和注意力是稀缺的。减少人们必须阅读的材料量,给评审者现实的负荷,并问他们什么正变得更困难。可持续的节奏包括阅读和判断的节奏(见主题 9.2,满意度与福祉指标)。
12. 询问用户和利益相关方信号是否清晰。持续让使用产出的人参与,是最好的检验。问知识库是更容易还是更难使用,报告是否告诉了他们所需的东西,队列是否感觉更清晰。他们的回答和评论应当与数字一并阅读。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 产出与成果之比 | 选择随数量上升的成果度量;改变期间 | 在登记册中固定成果;与满意度和重开率比较 |
| 有用项占比 | 抽样容易的项目;宽松的评分标准;受产出者影响的评审者 | 随机抽样;书面评分标准;独立、轮换的评审者 |
| 验证负担 | 不记录评审时间;把检查转嫁给下游团队 | 包括下游返工;询问评审者的负荷 |
| 内容冗余率 | 漏掉重复的狭窄匹配规则;合并不同的项目 | 手工抽样重复项;记录合并规则 |
| 生成知识的已评审占比 | 没读就标记评审完成;批量评审 | 抽样评审的实质;每次评审的时间;已发布项目中的错误率 |
| 积压流入对解决 | 自动关闭项目;拆分项目 | 检查解决的质量;重开率;抽样已关闭的项目 |
| 指标漂移标记 | 为避免工作而不标记;把一切都标记 | 每季度评审所有指标;要求对每个标记作出决定 |
健康的读数是:随数量增长而稳定或上升的有用项占比、已知且可承受的验证负担、冗余低且生成内容经过评审的知识库、信号清晰的队列,以及以成果开头的领导层视图。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 统计产出 | 容易、熟悉 | 膨胀;奖励数量 |
| 度量成果 | 反映价值 | 较慢;更难归因 |
| 抽样并判断 | 检测稀释 | 需要有技能的评审者;工作量 |
| 自动质量评分 | 可扩展 | 另一个模型的意见;可能共享同样的盲点 |
| 评审所有生成之物 | 安全 | 消除了收益;评审者超载 |
| 评审一个样本 | 实用 | 一些糟糕的项目会通过 |
| 允许开放生成 | 快速、广泛 | 噪声;信任受侵蚀 |
| 把生成限制在经批准的用途 | 信号更干净 | 采用较慢;错过收益 |
文字化的答案是,度量成果,与人一起抽样并判断有用性,限制未经评审进入共享存储的东西,并重新审视基线。把自动评分用作辅助,而不是裁判。
与团队讨论的问题
1. 自从我们开始使用 AI,我们的哪些数字上升了?这为我们所服务的人做了什么? 列出这些数字。对每一个,查看它本应反映的成果。主持人应记下成果没有移动之处。把这些数字与有用性检查配对。
2. 我们上个月发布或创建的东西,有多少是我们愿意逐行为之辩护的? 取一个随机样本,一起阅读。标出有用的、单薄的、错误的或重复的。讨论比率和原因。约定进入共享存储之物的标准。
3. 检查在哪里正成为我们的瓶颈? 询问评审者。查看评审的队列、评审的深度,以及他们现在承担的工作量。约定每次评审中生成项目的规模或数量上限,以及度量负担的办法。
4. 这里有哪些生成的内容正在喂给其他生成的内容? 把一个典型的回答追溯回它的来源。链条从哪里开始?讨论真人应当在哪里检查链条,或标注内容。
5. 与一年前相比,用户现在会怎么评价我们的知识库? 阅读近期的评论,查看使用数据。问找到一个值得信任的答案是更容易还是更难。约定一次清理和一条针对新内容的规则。
6. 我们的哪些趋势应当以新的基线重新开始? 列出依赖数量或依赖项目如何被创建的指标。查看自 AI 出现以来形状的变化。为趋势添加注释,并决定哪些需要新的基线。
四种视角
产品与交付团队
交付团队产生了大部分数量,并承担维护。他们应当偏好更小、更清晰的变更,让生成的材料保持经过评审并加标注,并留意留存和返工。他们应当拒绝基于生成数量的指标,并要求成果度量。
服务与运维团队
运维团队生活在稀释所破坏的队列、告警和知识库之中。他们应当调优 AI 创建的工单和告警以保持信号强劲,在发布之前评审生成的知识,并在流变成噪声时报告。他们最适合判断有用性。
领导层与治理
领导者收到被膨胀扭曲的仪表板。他们应当先要成果,要求在数量旁边有有用性检查,为评审容量出资,并接受有些度量需要重设基线。治理应当检查共享存储中生成的内容是否经过评审并加了标注。
客户与用户
当回答错误、文章相互矛盾、回复又长又空洞时,用户承担稀释的代价。他们想要简短、正确、相关的帮助。他们对所收到之物质量的反应,是信号是否存活的直接检验。
实践:一个敏捷 ITIL 示例
一家全球制药公司的 IT 小组启用一款 AI 助手,用于起草知识文章、总结工单和准备每周状态报告。一个季度之内,仪表板看起来很出色。以下数字是示意数字。
每月创建的知识文章从 140 篇升到 610 篇。工单带有详细的 AI 撰写的摘要。每周报告长达十二页。服务质量经理注意到,自助服务的满意度下降了,服务台报告"文章没有帮助"的联系变多。她和两位有经验的座席一起抽样 100 篇新文章。只有 54 篇被判断为有用:23 篇与现有文章重复,15 篇含有过时或不正确的步骤,8 篇太含糊无法据以行动。在这些新文章中,71% 是在没有人工评审的情况下发布的。知识库现在约有 3,200 篇文章,她估计内容冗余率为 28%,一年前为 9%。座席报告说,找到值得信任的答案花的时间更长。服务台文章编辑者的验证负担已增长到每周约 40 小时,原先为 12 小时。AI 撰写的工单摘要,使后来 AI 生成的回复依赖于无人写过的文字,在把五条回复沿来源追溯回去的过程中,有两条依赖于一份错述了问题的摘要。每周状态报告读下来,说的话很少是前一份里没有的,利益相关方已经不再读第二页之后的内容。
她提出四项改变,服务领导团队和知识负责人予以采纳。生成的文章在发布前需要一位指名的编辑评审,并在批准之前被标注。每个主题簇一篇生成文章的上限防止重复,一次清扫合并或让冗余项目退役。报告模板被削减到两页,以成果开头,AI 只用于起草随后由人编辑的部分。工单摘要被标记为生成的,每月检查一个样本。仪表板在文章数旁边报告有用项占比、冗余率、已评审占比和验证负担。
两个季度后,每月创建的文章降到 190 篇,有用项占比升到 91%,冗余率降到 11%,已评审占比为 100%,验证负担稳定在每周约 16 小时。自助服务满意度恢复,"文章没有帮助"的联系减少。利益相关方阅读这份两页的报告。一位主管要求设定每月 1,000 篇文章的目标,以展示 AI 项目的价值。服务质量经理解释说,计数正是问题所在,并提议追踪有用性和使用情况。该决定被记录下来。
行业视角
初创企业。生成廉价而评审时间稀缺。保持文档和工单简短,评审客户将阅读的内容,并大胆删除。一小套正确的文章,胜过一大套可疑的文章。
小型企业。评审的容量很少,所以要限制工具产出的东西。偏好少量经验证的指南和模板。当心在没有检查的情况下把生成的材料发布到公开页面。
大型企业。规模放大噪声。建立带负责人、标注和评审规则的内容治理,在整个知识库中度量有用性,并运行定期的清理。在团队之间共享评分标准,比较趋势,而不是比较团队。
政府与公共部门。公共内容必须准确且可及,错误可能造成伤害。要求评审生成的公共信息,保留其如何产生的记录,并应用平实语言和无障碍标准。留存和记录规则可能适用于生成的材料(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
防范膨胀的成本不大:抽样的评审时间、生成内容的编辑工作量、重复检测的工具,以及重设趋势基线的工作量。不这样做的代价更大但分散:不再信任自助服务的用户、精疲力竭的评审者、基于膨胀数字作出的决定,以及清理项目。
用你自己的数据建立论证:随时间变化的有用项占比和验证负担、由无益内容引发的联系量,以及知识库清理的成本。避免使用关于生成内容质量的已发布数字,它们因工具、任务和方法而差异很大。计入避免因发布错误信息而损害声誉的成本(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 庆祝数量。它奖励噪声。庆祝成果和有用性。
- 把初稿速度当作生产率的故事。节省可能在检查中消失。度量到达经验证结果的时间。
- 未经评审就发布生成的内容。信任悄悄受到侵蚀。评审并标注。
- 让生成的内容喂给生成。错误累积。检查链条。
- 不变的基线。技术转变之后,趋势会误导。添加注释并重设基线。
- 使评审者超载。评审变成橡皮图章。限制数量并度量负担。
- 一切都用 AI 当裁判。它可能与产出者共享盲点。让人留在回路里。
- 忽视反弹。更廉价的工作招来更多的工作。决定节省的时间用来做什么。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 配对与抽样 | 单独报告数量 | 对质量的非正式印象 | 每项数量指标与抽样的有用性检查配对 | 管理有用性、负担和冗余,目标针对评审而非数量 | 跨组织的信号质量视图;与伙伴共享评分标准 |
| 内容与回路 | 生成的内容混在其中 | 一些标注 | 生成的内容被标注,并在发布前评审;对链条抽样 | 监控回路;整理存储;按计划让重复项退役 | 跨工具和供应商端到端追踪出处 |
| 基线与注意力 | 跨越转变读取趋势 | 部分图表有注释 | 数据变化之处重设基线;考虑反弹 | 每季度评审漂移标记;管理评审者负荷 | 度量设计与利益相关方一起持续适应技术变化 |
检查清单
- 每项数量或速度指标都有一个由人判断的有用性伴侣。
- 每月依据书面评分标准评审 AI 触及项目的随机样本。
- 估算验证负担并作为趋势追踪。
- 生成的知识被标注,并在发布前评审。
- 度量并减少知识库中的冗余。
- 监控告警和工单流的有用占比和重复。
- 对从生成的输出回溯到其来源的链条抽样。
- 跨越 AI 引入的趋势已注释或重设基线。
- 领导层报告以成果开头。
- 询问用户和利益相关方信号更清晰还是更嘈杂。
AI 提示词
创建有用性评分标准。
请起草一份简短的评分标准(不超过六条标准),用于判断[组织类型]中的[知识文章、工单摘要、状态
报告]是否有用。包括正确性、与真实需求的相关性、重复、时效和清晰度,附三级评分,以及每级的
例子。不要编造统计数字。列出你的假设,以及如何保持评审者的一致性。
分析信号的下降。
自从为[任务]引入 AI 之后,这些数字发生了变化:[粘贴数量、解决、满意度、重开率、评审者小时数]。
请描述这个模式对膨胀或稀释暗示了什么、哪些变化可能是由于创建变得更容易、接下来要抽样什么,
以及哪些指标可能需要新的基线。不要假定数据无法支持的原因。列出你的假设。
规划知识库清理。
我们的知识库有[数量]篇文章,其中[数量]篇是在最近[期间]生成的。请提出清理计划:如何检测
重复和陈旧的项目、如何按使用情况排定优先级、如何评审生成的文章、防止复发的规则,以及要
追踪的度量。不要假定具体的工具。列出你的假设和风险。
追溯一条生成内容的链条。
这是一个 AI 生成的回答及其所依赖的来源:[粘贴]。请把每项主张追溯到其来源,并标明该来源是
人写的、经评审的生成内容,还是未经评审的生成内容。找出错误可能从何处进入,并建议一项检查。
不要假定文本之外的事实。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项数量或速度指标配对的有用性伴侣。
- 敏捷 ITIL 指标维护者技能:用于检查受 AI 影响的指标是否把数量与抽样的有用性配对,并带有其操纵途径和护栏。
关键要点
- 当 AI 使产出变得廉价时,数量和速度指标会膨胀,有用的占比可能下降。
- 为每项数量或速度度量配上一项抽样的、由人判断的有用性检查。
- 度量到达经验证结果的时间和验证负担,因为检查成为瓶颈。
- 在生成的内容进入共享存储之前标注并评审,并防止回路不经检查地自我喂养。
- 技术转变之后重设趋势的基线,并让报告以成果开头。
- 事先决定节省的时间用来做什么,并保护评审者和用户的注意力。
参考文献与延伸阅读
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.