概述与动因

每个构建并运行服务的团队,一整天都在做决定:下一步做什么,发布是否安全,服务台是否需要再加一个人,一次故障是偶发还是一种模式。没有度量,这些决定只能依赖记忆、轶事和最后发言的人。用错了度量,情况可能更糟,因为数字带有意见所没有的权威。本主题解释为什么度量值得投入,两种传统各自贡献了什么,以及做错的代价。

本书汇集了两种传统。敏捷软件开发是一套价值观和实践,2001 年的敏捷宣言阐明了它:看重可工作的软件、与客户密切协作、响应变化。它的度量习惯是经验式的、局部的:团队检视自己的流动,查看交付了什么,然后调整。ITIL最初是信息技术基础架构库(Information Technology Infrastructure Library),是一套 IT 服务管理(ITSM)的指导,即设计、交付和改进 IT 服务的实践。它的度量习惯面向服务、强调共享:约定的服务级别、服务目录(ITIL 自己的拼写是 "service catalogue"),以及持续改进的纪律。在 2019 年发布的 ITIL 4 中,度量与报告是通用管理实践之一,持续改进既是一项实践,也是一条指导原则。在依赖版本细节之前,请查看框架所有者当前的出版物,因为该框架仍在演进。

两种视角各有不同,且各有用处。敏捷问:"我们做的是正确的东西吗?工作流动得顺畅吗?"ITIL 问:"服务满足使用者的需要了吗?它可靠、可支持、负担得起吗?"只衡量流动的团队,可能飞快地向用户觉得不可靠的服务交付变更。只衡量服务级别的团队,可能达成每一个目标,却因为变更太慢,让服务逐渐失去意义。DevOps 运动源于这样的观察:构建与运行是同一个系统,所以描述它的数字应该放在一起读。站点可靠性工程(SRE)是 Google 在其出版的书籍中描述的学科,它在可靠性目标与变更节奏之间建立了明确的联系。

全书反复出现三个术语。度量(measure)描述工作或服务的某个方面。指标(metric)是带有明确公式、单位和数据来源的度量,因此两个人计算会得到同样的答案。护栏(guardrail)是预先选定的第二个度量或实践,当第一个被操纵时它会发生变化。护栏背后的警示是古德哈特定律:当一项度量变成目标,人们就会去操控数字,而不是改进工作(见主题 1.2,古德哈特定律与指标心理学)。

度量是为了什么

度量在完成以下四项工作之一时,才有存在的理由。

  • 看见。让看不见的工作变得可见:没人看的队列、横跨三个团队的事件模式、等了九天才拿到时段的变更。
  • 决定。为两个选项之间的选择提供依据,例如是把某类请求自动化,还是修复造成它的缺陷。
  • 学习。检验一个信念。如果团队认为新的评审实践能减少返工,数字可以说明它是否做到了。
  • 交代。向用户、客户和领导层诚实地说明服务交付了什么,让信任建立在证据之上。

一个这四项工作都不做的数字,就是开销。后面的主题会对每个指标族重复这项检验。

什么都不衡量的代价

什么都不衡量的团队并不是没有数字。它靠隐含的数字运转:最响亮的投诉、最近一次故障、经理对大家看上去有多忙的感觉。由此带来两种代价。

  • 反馈缓慢。本来趋势能及早显示的问题,变成了突然袭来的意外。重复联系的缓慢上升,看起来像是运气不好,直到变成危机。
  • 没有改进的依据。团队无法判断一次变更是否有帮助,也就无法知道该重复哪些变更。

衡量错东西的代价

衡量错东西往往比什么都不衡量更糟,因为它带着虚假的信心引导精力。关闭的工单数、代码行数、完成的故事点数和登记的工时,都容易收集、容易画图,但每一个衡量的都是活动,而不是对用户的价值。SPACE 框架背后的研究(Forsgren 等人,2021)指出,生产力无法用单一维度捕捉,单独使用活动计数会产生误导。

关键原则

  • 为决定而度量。每个指标回答一个书面的问题,并为一个有名有姓的选择提供依据。如果没人说得出是哪个,就把它退役。
  • 把两种视角合在一起。把交付流动和服务健康放在同一页上阅读,这样速度就不会以稳定性为代价换来,反之亦然。
  • 先衡量成果,再衡量活动。用户过得更好才是检验标准。活动计数可以佐证故事,但讲不了故事(见主题 1.3,结果优先于产出:选择衡量什么)。
  • 描述团队和服务,绝不描述个人。个人排名会破坏数据,伤害协作。
  • 从小处开始,逐步增长。少数受信任的指标,胜过一整面治理薄弱的指标墙。
  • 先给团队看。做这项工作的人是第一批受众,也是检查数据是否准确的最佳把关者。
  • 预期会变。当定义、指标和目标不再为决定提供依据时,就要修订。

指标定义

下面的指标描述度量实践本身的健康状况,"为何衡量"在这里变得可以检验。能拿出这些指标的团队,是有理由地在衡量。每个基于时间或计数的公式都写明了边界。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
与决定挂钩的指标占比 已报告的指标中,有书面问题并有名有姓的决定可依据的指标所占的比例 有记录的问题和决定的指标数 / 季度末仪表板上报告的指标数 百分比 指标登记册(见主题 1.4,指标治理与归属) 度量与报告;持续改进 回顾会议的行动;工作约定 每季度
基线覆盖率 在范围内的服务和团队中,对每项约定的核心度量记录了起始值的比例 过去 12 个月内记录了基线的服务-度量对数 / 范围内所有服务-度量对数;服务目录之外的服务不计入 百分比 服务目录和指标登记册 服务级别管理;度量与报告 利益相关方评审;团队仪表板 每季度
度量投入 用于手工收集、清洗和报告指标的人员时间 当月记录在手工收集和报告上的工时,不含根据发现采取行动的时间 每团队每月工时 时间记录或简短的团队调查 度量与报告 回顾会议的时间预算 每季度
评审时的数据年龄 小组开会讨论时,最新数据点有多旧 评审会议时间戳减去仪表板上最新数据点的时间戳;逐指标计算,报告中位数和第 85 百分位数 天 仪表板刷新日志 度量与报告 利益相关方评审 每次评审
改进行动的跟进率 由指标评审提出的改进行动中,在约定期限内完成或经审慎关闭的比例 在提出后 90 天内完成或附理由关闭的行动数 / 该期间提出的行动数,自改进登记册记录日期起算 百分比 持续改进登记册或待办列表 持续改进 回顾会议的行动项 每季度

度量投入有意只计手工工作。阅读数据并决定该怎么做的时间,正是这件事的意义所在,因此被排除,这样自动化收集就会表现为进步。

建议

从目的开始

1. 先写理由,再定指标。对每个提议的度量,写一句话:"我们衡量 X,是为了决定 Y。"如果写不出这句话,说明这项度量还没准备好。仅这一个习惯,就能在虚荣指标进入仪表板之前剔除其中大部分。

2. 写明受众和决定。同一个数字,对团队、服务负责人和高管意味着不同的东西。写下谁会读它,以及它支持什么选择。团队的工作视图可以有二十项度量,而交给领导层的应该是一小组稳定的集合(见主题 11.1,设计服务指标仪表板)。

同时运用两种传统

3. 把流动度量与服务度量配对。至少选一项衡量工作如何流动的度量,例如前置时间或工作项年龄(见主题 2.2,前置时间、周期时间与流动效率),再至少选一项衡量服务表现的度量,例如事件复发或服务级别指标(见主题 5.2,SLI、SLO 与错误预算)。把它们放在一起展示,可以避免常见的失败:速度和稳定性由不同的团体看着不同的图表来管理。

4. 把交付与运维当作一个系统。《加速》(Forsgren、Humble 和 Kim,2018)所总结的研究报告称,软件交付绩效可以用平衡吞吐量与稳定性的四项度量来描述。无论团队采用哪一组,都要让与变更相关和与事件相关的数字靠得足够近,使其中一个上升时能促使人去看另一个(见主题 2.8,DORA 指标)。

诚实地度量

5. 偏好少数相互牵制的度量。单一数字会招致过度优化,所以要选成对的:速度与质量、数量与成果、成本与体验。这一对不必是一个公式,只需要出现在同一页上。

6. 先记录基线,再做任何改变。没有起始值,所谓改进只是一个故事。先收集几周的数据,既记平均值,也记取值的分布(见主题 1.6,服务指标的统计素养)。基线也保护团队:它能表明,糟糕的季度是因为统计口径变了,而不是表现下降。

养成习惯

7. 评审的节奏要与决定相匹配。流动度量适合每周的交谈,或在持续软件交付的每一步进行的交谈。服务级别和成本度量适合每月或每季度的交谈。在错误的节奏上评审指标,要么制造噪声,要么错过本可以采取行动的时机。

8. 用改进工作闭环。以"挺有意思"收尾的评审,浪费了它的数据。每次评审都以一两项有名有姓的行动、一个负责人和一个日期结束,并跟踪完成情况。ITIL 的持续改进实践与敏捷的回顾会议,是同一种纪律的两个名字(见主题 9.5,持续改进指标)。

9. 说明你不会把数字用在哪里。明确表示团队指标不会用来给个人排名或奖惩,定义的变更会公开进行。当人们相信数字将如何使用时,才会配合度量(见主题 11.3,推行指标而不滋生恐惧)。

操纵途径与护栏

即使是关于度量的指标,也可能被操纵。下表每一行把指标与它通常被扭曲的方式,以及能发现这种扭曲的检查配对。

指标 被操纵的方式 配套的护栏指标或实践
与决定挂钩的指标占比 事后为每个指标编写看似合理的问题和决定,以抬高百分比 抽查决定日志:问问这个指标改变了什么,并对照条目写入日期与指标首次出现的日期
基线覆盖率 只记录一次基线且从不刷新,或挑选方便的平静时段 要求每条基线写明日期范围和样本量;服务发生重大变化后复审基线
度量投入 通过不登记工时,或转移给供应商,把收集工作移出账面 与简短调查中人们所说的报告耗时对照;评审时把供应商的投入计入
评审时的数据年龄 会议前才刷新仪表板,而底层记录仍然陈旧 除刷新时间外,还报告源系统中最新记录的年龄
改进行动的跟进率 以"不再相关"为由关闭行动来凑百分比,或把行动拆成琐碎的小块 每季度复查关闭行动所给的理由,并跟踪该行动针对的度量是否有变化

健康的读数是一种看得见的鲜活实践:指标因书面理由进出登记册,基线是新的,评审产生的行动要么完成要么如实放弃,团队花在根据数据行动上的时间多于收集数据的时间。每一行都拿满分,是去抽查底层记录的提示,而不是庆祝的理由。

权衡:利弊

选择 优势 劣势
少量度量 成本低;被操纵的风险低;信任度高 有盲区;决定依赖轶事
大量度量 覆盖面广;多方面早期预警 注意力被稀释;治理薄弱;收集成本上升
联合视图 平衡速度与稳定性;支持共同负责 需要跨团队约定定义,并有一个共同的查看地点
给指标设目标 提供方向和紧迫感 招致操纵;需要配套护栏
指标不设目标 鼓励诚实讨论 可能沦为没人行动的报告

务实的答案是一个小而联合的集合,仅对条件明确、用户提出了要求的情形节制地使用目标,例如服务级别目标。其他一切都是待讨论的问题。目的不是把判断从决定中去除,而是为判断提供更好的证据。

与团队讨论的问题

1. 上个季度,有哪个决定确实被某个数字改变了? 请小组回忆具体的决定,然后弄清其中哪些(如果有的话)依赖了数据。如果清单很短,这本身就是有用的信息:说明当前很多报告并没有配得上它的投入。主持人应记下确实改变过决定的指标,因为它们是值得保护的候选。然后问,哪些决定是凭直觉做的,数字是否本可以帮上忙。

2. 我们现有的数字中,哪些描述活动,哪些描述对用户的价值? 把当前仪表板放到屏幕上,把每个指标标为活动(关闭的工单、运行的构建、完成的点数)或成果(用户能够工作、问题不再复发)。不要在边界情形上争论太久,重点是看清平衡。如果只有活动,就问这些活动应当产生什么成果,团队又如何得知。

3. 今天交付数字和运维数字放在哪里?看这两类数字的是同一批人吗? 追踪每一族度量存放在哪里、由谁评审。团队常常惊讶地发现,变更数据由一个团体评审,事件数据由另一个团体评审,没有共同的会议。问问,因为二者从未放在一起看,可能漏掉了什么模式。约定一个二者交汇的地方或一次会议。

4. 有什么我们没在衡量,而不知道会让我们后悔? 请大家说出担心,而不是指标:"我担心我们不会注意到……"从这些回答出发得到候选度量,再找到能显示它们的最便宜的数据。保持清单简短。

5. 在把数字给领导层看之前,我们需要相信关于这些数字的什么? 讨论是什么让数据可信:稳定的定义、抽样的准确性检查,以及对排除项的共识。列出团队的疑虑,哪怕很小,例如某个状态被不一致地使用。决定哪些疑虑必须在更广泛分享之前解决,哪些可以连同数字一起披露。

6. 如果下个季度只能保留三个指标,会是哪三个,为什么? 约束迫使排出优先级。请每个人写下三个,然后比较。寻找在成果上的一致和在活动度量上的分歧。问这三个指标各自需要什么护栏。

四种视角

产品与交付团队

交付团队最受益于快速、局部的反馈:工作等待多久、在哪里排队、变更多久引发一次问题。他们应当为自己保留丰富的工作视图,对外只发布一小组。团队应抵制把产出量作为价值替代物来衡量的拉力,并从一开始就把速度度量与质量度量配对(见主题 2.1,流动度量)。

服务与运维团队

运维团队本来就与数字共处:数量、响应和解决时间、可用性。机会在于,从报告发生了什么,转向解释为什么,方法是看复发、根本原因和计划外工作的占比(见主题 2.9,运维工作与计划外工作)。他们还应把自己的数据带入与交付团队的规划对话,使可靠性工作靠证据而不是靠抱怨来争取。

领导层与治理

领导层往往在无意中通过所提的问题设定了激励。问"为什么是红的?"的领导,教会团队隐藏红色。问"你学到了什么,需要什么?"的领导,教会团队诚实报告。治理机构应当在要数字的同时,要求登记册、护栏和改进行动,并为一个糟糕的数字所揭示的工作提供资金(见主题 1.4,指标治理与归属)。

客户与用户

用户评判服务看的是它是否好用、问题是否得到纠正,而不是内部度量。他们在调查、投诉和评论中的原话,应当与运维数字并列,以检查团队衡量的是否是真正重要的东西(见主题 6.1,客户满意度指标)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商运营着一个服务台、一个运维团队,以及三个构建店面、支付和履约服务的产品团队。下面的数字是示意数字。

领导层问,为什么客户抱怨结账缓慢,而交付团队报告每天都在发布,运维团队报告可用性为 99.9%。按各自的度量,每个团体都是对的,但没人把它们放在一起看。服务管理负责人提议,用团队已经在收集的数据,为结账服务做一页联合视图。

这个视图展示过去十二周的四件事。变更前置时间的中位数是 2 天,第 85 百分位数是 9 天。变更失败率为 8%。结账方面的事件有 14 起,其中 6 起有同一个原因,即最近一次发布引入的一条缓慢的数据库查询。恢复时间的中位数是 40 分钟,但第 95 百分位数的页面加载时间在六周里逐渐变长,可用性数字看不出这一模式,因为服务在技术上始终是可用的。

小组看到了原来被隐藏的东西。可用性被定义为"结账有响应",而用户体验到的是"结账响应得足够快"。产品团队和运维团队约定,为结账增加一项延迟指标,目标由产品负责人在阅读客户评论后设定;把重复出现的事件原因当作有负责人的问题记录;并每两周评审一次联合视图。他们记录了一个决定:在持续软件交付的一段时间内暂停新的结账功能,修复该查询,并在发布流水线中加入性能检查。

一个月内出现了操纵风险。运维团队注意到,14 起事件中有两起被登记为"服务请求",因为请求类别没有解决目标。团队意识到,事件上的目标促使人们把边界情形归为请求。他们把重新归类的占比加入视图,并每月抽查十张工单。变更之后,第 95 百分位数的页面加载时间下降,重复事件减少,团队保留这个视图,因为它改变了一个决定。

行业视角

初创企业。小团队流程少、信任强,这是好事。风险在于在还没有需要时就引入庞大的企业级仪表板。从创始人每周会看的两三项度量开始,例如变更前置时间、简单的可靠性指标和直接的用户反馈,并写下它们的定义。

小型企业。负责 IT 的人往往向老板汇报,一次客户投诉的分量可能胜过任何图表。保持集合精简,使用工具已经产生的数据,偏重与用户的交谈。对供应商提供的报告要有所保留,因为供应商有自己的激励。

大型企业。规模放大了对可比数字的需求,也放大了操纵它们的压力。使用一小组带书面定义的标准集合,把团队工作视图与汇总视图分开,避免比较运行性质迥异的服务的团队。指标登记册、共享定义和评审节奏变得必不可少。

政府与公共部门。合同约定的服务级别、审计要求和公开报告义务,会使某些度量成为不可商量的。把它们当作设计输入:满足它们,在旁边展示一个护栏,并说明所用的定义。公共问责提高了隐瞒坏消息的代价,因此要建立安全的内部渠道,允许坦率报告(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

度量的动机是以更低的成本做出更好的决定。度量支持优先级排序,显示浪费在哪里,对服务衰退给出早期预警,并为投资申请提供证据。

成本包含几个部分。有工具,往往已经拥有:工单系统、问题跟踪系统、版本控制和监控。有定义指标、构建视图和维护登记册的人员时间。有评审会议的持续成本,这是最大的一项,也是最值得的一项。度量实践的总拥有成本(TCO)还包括根据发现采取行动的成本,因为一个没有预算去修复的洞察,回报很小。

回报很难用一个通用数字来表述,本书也不编造数字。构建论证的有效方法,是在一次变更前后测量你自己的基线:手工报告所花的时间、重复联系、因数据错误而被推翻的决定,以及很晚才发现的意外。可以预期的模式是:意外更少、争论更短,运维数字与用户体验之间的一致性更好。一个简单的投资回报率(ROI)比较,即比较所花的投入与节省的投入,是合理的起点,方法见主题 7.7,投资回报与商业论证。

反模式与陷阱

  • 包罗万象的仪表板。几十张图表,没有负责人,没有决定。选几个,写明每个为哪个决定提供依据,其余退役。
  • 片面的度量。只有速度没有稳定性,或只有稳定性没有相关性。把流动度量与服务度量配对。
  • 衡量个人。个人排名破坏数据,打击互助。在团队和服务层面报告。
  • 先有目标,后有基线。没有起始值的目标是猜测。先记录基线,至少经过一个评审周期后再设目标。
  • 只有报告,没有行动。不产生任何改变的评审,教会人们无视它。每次评审都以有名有姓的行动、负责人和日期结束。
  • 悄悄更改定义。趋势线从此失去意义。记录每次更改及其理由,并在图表上标出。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
目的与选择 因工具提供而选指标 部分指标有明确目的 每个报告的指标都有书面问题和决定 对照决定评审指标集,不用的就退役 围绕共同成果,与用户和供应商共同设计指标
敏捷与 ITIL 的联合视图 交付数据与服务数据分开存放 少数团队同时查看二者 每个服务有流动与服务健康的共同视图 联合视图有趋势,并与改进工作挂钩 跨团队和供应商的视图与用户成果相联
基线与投入 没有基线;手工收集 部分服务有基线;收集方式混杂 核心度量已记录基线;收集大多自动化 变更后刷新基线;跟踪并降低投入 随服务变化持续调整基线和定义
在改进中的使用 数字记下就忘 糟糕的几周后偶尔有行动 每次评审都以有名有姓的行动结束 行动的跟进率被度量并获得资助 改进来自每个人,且跨团队可见

检查清单

  • 每个报告的指标都有书面问题和一个有名有姓的、它所依据的决定。
  • 每个视图的受众都已写明,团队视图与领导层视图分开。
  • 至少一项流动度量和一项服务度量出现在同一页上。
  • 每项核心度量都有带日期范围和样本量的基线。
  • 每项时间度量都写明时钟从哪里开始、在哪里停止。
  • 每个指标旁都显示了它的护栏。
  • 已知手工收集的投入,并已评审最大的手工任务是否可以自动化。
  • 团队先于领导层看到自己的数据。
  • 没有任何个人排名、薪酬或纪律处分与指标挂钩。
  • 每次评审至少以一项有名有姓的改进行动、负责人和日期结束。
  • 过去一年中至少有一个指标被退役或重新定义。

AI 提示词

为每个指标起草目的陈述。

我们是[团队名称],负责[服务或产品]。我们当前的仪表板显示这些指标:[指标及其
定义清单]。请为每个指标起草一句话,格式为"我们衡量 X,是为了决定 Y",并标出
哪些指标仅凭我给你的信息无法推断出决定。建议我应当回答哪些问题才能补全每条
陈述。不要编造基准值或目标。列出你的假设。

联合交付视图与服务视图。

对于[服务名称],我们的交付度量是[清单,含定义和数据来源],服务度量是[清单,
含定义和数据来源]。请提出一个把二者放在一起展示的一页布局,把每项速度度量
与一项稳定性或质量度量配对,并注明各自所需的数据。指出两组之间有冲突的定义。
不要编造数值或阈值。列出你的假设以及你无法确定的内容。

规划基线。

我们想在改变[实践或工具]之前,为[团队或服务]的[指标名称]记录基线。数据来自
[来源]。请建议收集多长时间的数据,记录哪些汇总统计量(包括百分位数),排除
什么以及为什么,以及如何注明期间工作统计口径的任何变化。不要假设数值。列出
你的假设以及你看到的数据质量风险。

准备一场导向行动的评审。

我们与[受众]每[周、月或季度]评审一次[指标集]。请起草议程和一组简短的引导
问题,让讨论从读数字推进到选定一两项改进行动,每项都有负责人和日期。加入一个
提示,对照每个指标的护栏检查是否被操纵。不要编造数据。列出你对这个小组及其
文化的假设。

AI 技能

关键要点

  • 度量是为了看见、决定、学习和交代;不做这四件事的数字就是开销。
  • 敏捷提供关于流动的快速、局部的反馈;ITIL 提供关于可靠性和价值的共享的服务级别视图。把二者放在一起读。
  • 什么都不衡量,决定就交给了轶事;衡量错东西,则带着虚假的信心引导精力。
  • 从少量指标开始,每个指标都有书面的目的、基线和护栏。
  • 描述团队和服务,绝不描述个人,并让团队先看到自己的数据。
  • 闭环:不产生行动的评审,浪费了数据。

参考文献与延伸阅读

  1. Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  5. Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  7. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  8. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  9. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  10. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  11. Wikipedia, Agile software development.
  12. Wikipedia, ITIL.
  13. Wikipedia, Information technology service management.
  14. Wikipedia, DevOps.
  15. Wikipedia, Site reliability engineering.
  16. Wikipedia, Goodhart's law.
  17. Wikipedia, Return on investment.