概述与动因

古德哈特定律是度量领域最古老的警告。经济学家查尔斯·古德哈特在 1975 年撰写英国货币政策时注意到,一旦当局为了控制目的对某个统计规律施加压力,这一规律往往就会崩塌。流传的说法出现得更晚。人类学家玛丽莲·斯特拉森在 1997 年把它表述为:"当一项度量变成目标,它就不再是好的度量。"这两句话说的是同一件事:一个数字一旦被用来驾驭人,人就会去驾驭这个数字。

同一思想还有别的名字。社会科学家唐纳德·坎贝尔提出的坎贝尔定律说,一项量化指标越是被用于决策,就越容易受到腐蚀的压力,也越会扭曲它本要监测的过程。眼镜蛇效应讲的是一项悬赏反而制造出更多它本想消除的东西。它们都是反向激励的例子:奖励把行为推离了奖励者想要的方向。

构建和运行 IT 服务的团队特别容易受到影响。持续交付和由 ITIL 规范化的 IT 服务管理(ITSM),都会产生源源不断的时间戳、计数和状态。工单系统记录工单何时打开、何时分派、时钟何时暂停、何时关闭。交付工具记录工作何时开始、何时完成。这些数字收集成本低、容易画图,也容易变成目标。它们同样容易被挪动,却对任何人都没有帮助。

本主题和全书其余部分会反复出现三个术语。度量(measure)描述某件事。目标(target)是有人被期望达到的数字。护栏(guardrail)是预先选定的第二个度量或一项实践,如果第一个度量被操纵,它就会发生变化。从度量走到目标,麻烦就从这里开始,而护栏是你发现它的办法。

本主题确立了统领其他每个主题的规则。书中每个指标族都带着它的操纵途径(通常如何被操纵)和它的护栏。如果后面某个主题似乎略过了这一点,请把该主题视为未完成。

人们为什么操纵数字

操纵通常不是不诚实。它是有能力的人对面前的激励作出的寻常反应。有四种力量在起作用。

  • 压力。某人的奖金、考核、合同续约或声誉取决于这个数字。即使没有正式的联系,人们也会从领导层给什么画图来推断领导层在乎什么。
  • 替代(surrogation)。替代是把度量当成它所代表的事物本身的倾向。在组织中研究它的学者发现,与某项度量挂钩的激励薪酬会让这种倾向更可能出现。追踪"已关闭工单"的团队,开始相信目标是关闭的工单,而不是解决的问题。
  • 恐惧。当一个糟糕的数字招来责备,人们就会隐瞒坏消息。事件被降级,故障被改标为"计划内维护",缺陷被登记为功能请求。
  • 局部优化。团队改进自己被评判的那部分系统,把成本推给不被评判的部分。服务台关得很快,二线却继承了重复的问题。

理解这些力量很重要,因为解药不是更严的监管,而是改变使操纵变得理性的条件。

关键原则

  • 度量是为了学习,不是为了评判。先把数字给做这项工作的团队看,并用它们来提问。
  • 每个指标都配一个护栏。速度配质量,数量配成果,成本配体验。
  • 描述团队和系统,绝不给人排名。个人排行榜是腐蚀数据来源最快的办法。
  • 偏好成果和趋势,而非目标。一个方向加一次交谈,胜过一道门槛。
  • 把定义写下来,包括时钟。含糊的定义是操纵的藏身之处。
  • 预期会变。当指标不再为决定提供依据时,就将其退役或重新设计。
  • 让坏消息变得安全。如果诚实报告受到惩罚,数据就会撒谎。

指标定义

下面的指标不是服务或交付的度量。它们是度量实践本身健康状况的度量,并展示了本书每张指标表所采取的形式。前三项是在后面主题中随处可见的护栏示例。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
护栏覆盖率 已报告的指标中,有具名且被跟踪的护栏的比例 有护栏的指标数 / 已报告的指标数 百分比 指标登记册(见主题 1.4,指标治理与归属) 度量与报告;持续改进 工作约定的回顾 每季度
重开率 在规定窗口内被重新打开的已关闭工单或工作项的比例 14 天内被重新打开的项目数 / 该期间关闭的项目数 百分比 ITSM 工具或问题跟踪系统的状态历史 事件管理;问题管理 完成的定义;逃逸缺陷 每月
定义变更数 某期间内对指标定义或状态工作流的变更次数,并附理由 定义变更日志中的条目数 次数 指标登记册变更日志 度量与报告 工作约定 每季度
指标使用率 在该期间的某个决定中被引用的已报告指标所占比例 在有记录的决定中被引用的指标数 / 已报告的指标数 百分比 决定日志或评审记录 持续改进 回顾会议的行动 每季度
感知差距 同一服务的满意度调查结果与由工单得出的服务级别之间的差值 调查得出的比率减去跟踪系统得出的比率 百分点 调查工具和 ITSM 工具 服务级别管理 利益相关方评审反馈 每季度

重开率只统计在同一条记录中被重新打开的项目。一个被关闭后又作为新工单重新提出的项目,不会出现在其中。下一节的部分要点就是:护栏本身也需要护栏,例如把重复的工单关联到原始工单。

建议

设计度量体系

1. 从问题出发,而不是从数字出发。添加指标之前,先写下它回答的问题和它所依据的决定。"用户的问题是否一次就得到了解决?"是一个问题。"降低平均处理时间"是假扮成问题的目标。没有挂接任何决定的指标,是退役的候选。

2. 选择彼此牵制的指标。单一数字会招致过度优化,所以要选相互拉扯的配对:前置时间与变更失败率,工单关闭速度与重开率,可用性与用户报告的体验。这一对不必是一个公式,只需要放在同一页上一起展示。

3. 定义时钟和排除项。对每项时间度量,写明时钟从哪里开始、在哪里停止、何时可以暂停。服务数据中的大多数操纵都藏在这些边界里:被放入"等待客户"的工单会停掉服务级别时钟,只在应用之后才记录的变更会逃过变更前置时间。如果存在暂停状态,就报告它被使用的频率。

4. 使用分布和百分位数。工单解决时间的平均值可能因为一些简单工单被快速关闭而改善,而困难的工单却在老化。展示中位数和一个较高的百分位数(例如第 85 或第 95 百分位数),并展示最老的未关闭项。工作项年龄和最老的未关闭工单,不真正完成工作就很难操纵(见主题 2.1,流动度量)。

5. 维护一份指标登记册。一份简短的登记册列出每个指标、负责人、定义、数据来源、操纵途径、护栏,以及上次评审的日期。它很枯燥,却是本主题中最有效的单一习惯(见主题 1.4,指标治理与归属)。

安全地引入指标

6. 先给团队看,并展示原始数据。先于领导层看到数字的团队,更愿意质疑数字的准确性。从底层项目开始,而不是从图表开始。如果数据经不起与生成它的人的交谈,也就经不起仪表板的检验。

7. 把学习视图与问责视图分开。团队的工作视图可以包含许多度量,包括难看的。交给领导层的,应该是一小组稳定的集合。如果领导层索要工作视图,预期这个工作视图会为了更好看而改变。

8. 不要把个人薪酬、纪律处分或排名与指标挂钩。可以要求团队解释自己的数字并加以改进。针对工单数量、故事点或提交次数的个人目标,会教人去最大化这个计数。当指标是为整个系统选定并定期评审时,关键绩效指标的做法可以奏效。当它变成按人头的计分卡时,就会失败。

9. 让诚实的报告变得安全。心理安全是一种信念:你不会因为说出错误或担忧而受到惩罚。对事件进行无责评审,就是它在实践中的例子。没有它,事件数量下降是出于错误的原因:人们不再报告了。

保持体系诚实

10. 开展一次操纵评审。每季度,针对每个已报告的指标向团队问一个问题:"如果我们想让这个数字好看而不帮到任何人,我们会怎么做?"把答案写下来,然后检查护栏能否发现每一种做法。这个练习成本低,能产生有用的想法,并把交谈从猜疑转向设计。

11. 对照现实审计定义。抽取少量已关闭的项目,把它们读一遍。它们真的解决了吗?优先级是否诚实?"等待客户"状态是否真的意味着在等客户?十五分钟的抽样,往往比一个月的仪表板告诉你更多。

12. 让指标退役。一个连续两个季度没有在决定中被引用的指标就是开销。把它去掉,并说明。数量少而每个都被信任,胜过数量多。

操纵途径与护栏

下表涵盖上一节中的指标。后面的主题会把同样的形式用于服务和交付度量。

指标 被操纵的方式 配套的护栏指标或实践
护栏覆盖率 在纸面上命名护栏,却从不跟踪 复查登记册:只有最新值出现在同一个仪表板上的护栏才算数
重开率 关闭工单后另开新单,而不是重新打开;拉长窗口,让重开落到窗口之外 重复与关联工单的比率;同一原因在多张工单中的复发
定义变更数 不记录变更以使计数保持较低;不告诉任何人就改变工作流 每次评审时,把工具中的状态模型与登记册对照
指标使用率 例行公事地在决定日志里引用每个指标 追问这次引用改变了什么;抽查日志
感知差距 只调查满意的用户;把调查安排在一次良好互动之后 调查的回复率和受访者构成;在评审中朗读开放式评论

健康的读数是一种会变化的度量实践:定义因为写下来的理由而调整,指标来来去去,团队能讲出一个被某个数字改变的决定的故事。

权衡:利弊

做法 优势 劣势
不设目标的度量 减少操纵;邀请诚实讨论 可能沦为没人行动的报告
带护栏的目标 提供方向和紧迫感;成对设置限制了操纵 维护工作更多;护栏久而久之也会被操纵
个人指标 容易理解;看上去公平 破坏数据;伤害协作
团队与服务指标 符合工作真实发生的方式 较难归因;掩盖个人的支持需求
少量指标 更容易信任和记住 有盲区;可能错过新问题
大量指标 覆盖面广 稀释注意力;每个指标治理薄弱

文字化的答案是节制地使用目标,用于条件明确且难以操纵的情形,例如用户提出要求的服务级别目标。即便如此,也宜把目标与服务挂钩,而不是与个人的考核挂钩。目标不是把数字从决策中拿走,而是通过让产生数字的人站在你这一边,使数字与现实保持联系。

与团队讨论的问题

1. 我们当前仪表板上的哪个数字,最让我们想在不改进工作的情况下把它做好看? 从大家最先看的指标开始,再到领导层追问的那个。请说出具体的动作:如果我们承受压力,会对数据做什么?主持人应记录每个答案而不加评判,因为这份清单将成为登记册中的操纵途径。最后问,这些动作中哪些会被我们的护栏发现,哪些会漏掉。

2. 在我们最重要的时间度量里,时钟从哪里开始、在哪里停止?这是谁决定的? 请小组在白板上画出工单或工作项的生命周期,并标出每个状态。寻找时间可能消失的状态,例如等待客户或搁置。统计每个状态被使用的频率和使用者。这场交谈常会揭示,两个团队对同一个词的用法不同。

3. 上一次某个数字让我们做了没有帮助的事,是什么时候? 邀请大家讲故事,不要责备。常见的例子有:核实之前就关闭工单,拆分变更以提高部署次数,或者重新归类事件以避免违规报告。主持人应追问当事人想保护的是什么。答案通常显示出需要改变的激励。

4. 谁能看到我们的指标?它们在那里会遇到什么? 追踪每个指标从团队到受众的路径。问它的任何版本是否被用来比较团队或个人。问如果受众不同,团队会展示什么。团队会改变所展示数字的地方,就是需要与受众谈一谈的信任缺口。

5. 我们最重要的五个指标,各自的护栏是什么?它们在同一页上吗? 在板上列一张两栏的清单。如果某个指标没有护栏,就约定一个候选和一位负责人,试行一个季度。如果护栏存在但很少被查看,讨论原因。避免选择仅仅是指标反面的护栏,因为这不会告诉你任何新东西。

6. 本季度我们应当让哪个指标退役? 要求拿出证据:它上一次被用于决定是什么时候?如果没人记得,就让它试退役一段时间,看看有没有人注意到。主持人应把退役当作正常事件。从不舍弃指标的团队,最终会得到没人信任也没人读的报告。

四种视角

产品与交付团队

交付团队通过速度、吞吐量和部署次数遇到操纵。尤其是速度(velocity),它是一个团队的规划工具,而不是生产力的度量,用它来比较团队会导致估算虚高。交付团队应把工作度量留给自己,只对外发布一小组,并把每项速度度量与一项质量度量配对(见主题 2.5,交付预测与规划指标)。

服务与运维团队

服务团队通过解决时间、首次联系解决率和服务级别达标遇到操纵。暂停时钟的状态和优先级字段,是常见的漂移点。运维团队应定期审计状态转换,报告暂停状态的使用情况,并在速度旁边关注重复联系和重开率。值班团队尤其要小心那些奖励"不被呼叫"的度量,因为它们惩罚诚实的告警(见主题 3.3,事件响应与解决时间)。

领导层与治理

领导层设定激励,往往是无意的。评审中的一句提问("为什么是红的?")教会团队隐藏什么。领导层应当问团队从一个数字中学到了什么,把排行榜拒之门外,保护坦率的报告,并为糟糕数字所揭示的改进工作提供资金。治理机构应当期望在报告中看到指标登记册和操纵评审,并把指标的有记录的变更视为正常。

客户与用户

用户体验到操纵的效果,就是一项在纸面上很好看、用起来却很糟的服务:一张关闭了却没修好的工单,一次被标成计划内的故障,一份从未送达他们的调查。用户也是最好的护栏。他们以调查、投诉和评论形式给出的反馈,应当与运维数字并列,并且要完整地阅读,而不是被缩减成一个分数(见主题 6.1,客户满意度指标)。

实践:一个敏捷 ITIL 示例

一家地区医院的 IT 部门运营着一个服务台和几个构建临床应用的产品团队。本示例中的数字是示意数字。

领导层设定了目标:在约定时间内关闭 90% 的事件。两个月内,仪表板显示 94%。服务运营负责人很高兴,却也不安,因为临床人员的抱怨不减反增。她请团队对该指标开展一次操纵评审。

团队勾画了工单生命周期。他们发现,工单平均每张进入"等待客户"两次,而且处于该状态的时间在增长。对 30 张已关闭工单的抽样显示,其中 7 张在一次电话尝试之后就以"用户无回应"的备注关闭。他们还发现,重开率持平,只是因为用户在问题复发时被告知"提一张新工单"。

团队做了三项改变。第一,解决时间图表现在显示中位数、第 90 百分位数和最老的未关闭工单,以及处于暂停状态的时间占比。第二,仪表板增加了重复联系率,定义为同一用户在 14 天内就同一服务提出新工单的占比。第三,一份简短的调查发送给随机抽取的已关闭工单样本,其开放式评论在每月评审中被朗读。

三个月后,总体达标数字降到 88%,这感觉像是坏消息。然而重复联系率下降了,关于未解决问题的调查评论也变少了。运营负责人告诉领导层,原来的数字是虚高的,新的画面更诚实,并请他们接受基于修正后定义的服务级别目标。记录在决定日志中的决定是:再积累一个季度的数据后再设定目标,而不是立即设定。

行业视角

初创企业。小团队度量少、信任强,这是好事。危险在于过早引入庞大的企业级仪表板。从创始人真正会用的两三项度量开始,写下它们的定义,并让它们远离个人绩效的交谈。

小型企业。资源紧张,负责 IT 的人往往直接向老板汇报。一次客户投诉的分量可能超过任何仪表板。保持集合精简,偏重用户的直接反馈,对供应商提供的报告保持一定谨慎,因为供应商有自己的激励。

大型企业。规模同时放大了对可比数字的需求和操纵它们的压力。使用一小组带书面定义的标准集合,把团队工作视图与汇总视图分开,避免比较从事不同类型服务的团队。指标登记册和评审节奏变得必不可少。

政府与公共部门。报告义务和合同约定的服务级别,会使某些目标不可商量。把它们当作设计输入:满足它们,在旁边展示护栏,并报告所用的定义。公共问责提高了隐瞒坏消息的代价,因此要建立安全的内部渠道,并对修正后的定义保持公开(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

应用本主题的成本主要是时间:用几个小时写定义和登记册,每季度一次简短的操纵评审,以及偶尔对已关闭项目抽样。工具成本很小。更大的成本是领导层的注意力,因为只有读数字的人行为一致,这项纪律才会奏效。

回报来自避免浪费和更好的决定。基于被腐蚀的数据做出的决定,可能把投资导向错误的问题,例如,真正的问题是某个缺陷导致的重复联系,却去增配服务台人员以更快地关闭工单。操纵还会侵蚀团队与依赖它的人之间的信任,而这很难修复。请用模式来描述收益,而不是编造百分比:决定被推翻的次数更少,审计中的意外更少,运维数字与用户体验之间的一致性更好。如果你的商业论证需要数字,请在变更前后测量你自己的基线,例如感知差距和重复联系率。

反模式与陷阱

  • 有目标没护栏。孤零零的目标会通过任何可用的路径被达成。在宣布目标之前先加一个配对度量。
  • 人或团队的排行榜。它们招致操纵,也不利于团队之间互相帮助。向每个团队展示它自己的趋势,并附上背景。
  • 把指标当惩罚。带来责备的红色数字,会靠隐瞒变成绿色。转而问团队需要什么。
  • 对偏态数据取平均值。它们掩盖了用户受苦的长尾。使用百分位数和最老项的年龄。
  • 悄悄更改定义。趋势线从此失去意义。记录每次更改及其理由,并在图表上标出。
  • 把护栏当成新的目标。护栏随即也被操纵。把二者一起评审,并在护栏失效时轮换。
  • 虚荣指标。只增不减的计数,例如处理的工单数或提交次数,说明不了成果。偏好既能升也能降的度量。
  • 忽视定性证据。光靠数字,看不出一张已关闭的工单让人觉得并未解决。请阅读评论。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 非正式;每个人的计数方式不同 部分指标有书面定义 每个指标一份书面定义,写明时钟和排除项 定义经评审,变更连同理由记入日志 定义在团队和供应商之间对齐,在不再为决定提供依据时修订
护栏 无 部分指标有护栏 每个已报告的指标在同一页上都有护栏 每季度评审护栏是否被操纵 护栏轮换,并与被度量的人共同设计
使用与安全 用数字来追究责任 团队看到自己的数字 团队先看到数据;没有个人排名 领导层提出学习性问题;报告是安全的 客户和供应商对数字有共同的坦诚看法

检查清单

  • 每个已报告的指标都有书面问题和它所依据的决定。
  • 每项时间度量都有书面的开始、停止和暂停规则。
  • 每个已报告的指标旁都显示了一个具名的护栏。
  • 时间度量显示百分位数和最老未关闭项的年龄。
  • 存在指标登记册,含负责人、定义、操纵途径、护栏和评审日期。
  • 团队先于领导层看到自己的数据。
  • 没有任何个人排名、薪酬或纪律处分与指标挂钩。
  • 日历上安排了季度操纵评审。
  • 每季度抽取一批已关闭项目,检查其是否诚实。
  • 过去一年中至少有一个指标被退役或重新设计。

AI 提示词

对一个指标开展操纵评审。

我负责[团队名称],团队运营[服务或交付工作的类型]。我们报告这个指标:[指标
名称],定义为[定义,包括时钟从哪里开始和停止]。[受众]用它来[决定或目标]。
我们的数据来自[工具]。

请列出这个指标在不改善用户服务的前提下被做得更好看的现实方式。针对每一种,
建议一个能发现它的护栏指标或实践,并说明该护栏自身的操纵途径会是什么。不要
编造基准值。列出你的假设,以及你无法从我提供的信息中确定的内容。

起草一条指标登记册条目。

为[团队名称]起草[指标名称]的指标登记册条目。字段:它回答的问题、它所依据的
决定、定义、公式、单位、数据来源、负责人角色、评审节奏、操纵途径、护栏,以及
如果它出错,用户或客户会如何察觉。仅根据以下描述撰写条目:[描述该指标和当前
流程]。标出每个你不得不假设的字段,并列出我应当回答哪些问题才能补全这条记录。

审计一批已关闭工单。

下面是来自[服务]的[数量]张已关闭工单,字段为[字段清单],解决备注附在下方。
请逐张检查:是否存在问题未解决就关闭、利用暂停状态停掉时钟,或优先级、类别
看上去被调整过的迹象。报告模式,而不是个人。不要猜测文本不支持的原因。告诉我
哪些你无法从数据中判断,以及哪些额外字段会有帮助。

[粘贴工单,已去除个人数据]

规划如何安全地引入一个指标。

我们计划向[受众]引入[指标]。当前背景:[团队规模、文化、以往使用指标的经验]。
请提出一份推行计划,涵盖谁先看到数据、我们如何解释目的、我们不会把它用于
什么、与它一起展示哪个护栏,以及何时评审它是否有效。指出被操纵或引发恐惧的
风险,并建议如何降低。列出你的假设,不要编造统计数字。

AI 技能

关键要点

  • 一项度量一旦变成目标,就不再描述工作,所以要用数字来提问。
  • 操纵是对压力和恐惧的正常反应,靠改变条件而非监管来减少。
  • 每个指标都需要带时钟的书面定义,并在旁边显示一个护栏。
  • 偏好百分位数和最老项的年龄,而不是平均值。
  • 描述团队和服务,绝不给个人排名,并让团队先看到自己的数据。
  • 每季度评审是否被操纵,并让不再为决定提供依据的指标退役。

参考文献与延伸阅读

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Cobra effect.
  11. Wikipedia, Perverse incentive.
  12. Wikipedia, Surrogation.
  13. Wikipedia, ITIL.
  14. Wikipedia, Key performance indicator.
  15. Wikipedia, Psychological safety.
  16. Wikipedia, Velocity (software development).