第 1 部分导言:衡量基础
只有当度量出于明确目的而选择、有人负责、数据可信、被谨慎解读,并且不会扭曲它所描述的工作时,度量才真正帮到构建和运行服务的团队。
敏捷团队和 IT 服务管理(ITSM)团队都会产生源源不断的数字:关闭的工单、完成的故事、执行的部署、解决的事件。拥有数字很容易,拥有能帮人做决定的数字却难得多,大多数指标体系正是在这道缺口上陷入困境。本部分提供后面各部分共同依赖的基础,然后才会定义任何具体指标。
这些基础依次回答六个问题。到底为什么要衡量?什么都不衡量,或者衡量错了东西,代价是什么?一项度量如何变成目标,又如何因此不再说真话?什么才值得衡量?谁来定义、拥有并退役每一个指标?数据从哪里来,能在多大程度上信任?考虑到工单和流动数据往往偏态且稀疏,这些数字该如何解读?最后一个主题说明,成熟的框架如何帮助组织起这些答案。
如果你是第一次读这本书,请先读这一部分;当后面某个指标行为失常时,也请回到这里。后面各部分中的大多数指标失败,都能追溯到这里介绍的某个观念。本书中的指标描述团队、服务和系统,绝不用来给个人排名。
本部分的主题
- 1.1 为何衡量敏捷 ITIL:构建和运行服务的团队为什么需要数字,敏捷与 ITIL 各自为度量贡献了什么,以及什么都不衡量或衡量错东西的代价。
- 1.2 古德哈特定律与指标心理学:其他每个主题背后的护栏,涵盖度量如何变成目标、工单和交付数据中的操纵如何发生,以及防止操纵的习惯。
- 1.3 结果优先于产出:选择衡量什么:价值、成果、产出与活动,领先指标与滞后指标,以及把 ITIL 的价值共创作为检验好指标的标准。
- 1.4 指标治理与归属:指标负责人、定义、评审节奏、退役,以及谁可以看到什么。
- 1.5 数据来源与埋点:作为数据来源的 ITSM 工具、问题跟踪系统、版本控制、持续集成与交付流水线、监控、配置管理数据库(CMDB)和调查问卷,并关注数据质量、时间戳和状态模型。
- 1.6 服务指标的统计素养:用百分位数而不是平均值,偏态分布,小样本,控制图,以及对工单和流动数据诚实地表达不确定性。
- 1.7 度量框架:目标-问题-指标(Goal-Question-Metric)、目标与关键结果(OKR)、平衡计分卡、关键成功因素与关键绩效指标,以及它们如何与 ITIL 实践结合。
这些主题如何相互关联
这些主题构成一个循环,而不是一架阶梯。主题 1.1(见主题 1.1,为何衡量敏捷 ITIL)给出目的,主题 1.3(见主题 1.3,结果优先于产出:选择衡量什么)把目的转化为对衡量对象的选择。一个因关注成果而被选中的指标,仍然需要定义、负责人和评审日期,这就是主题 1.4(见主题 1.4,指标治理与归属)的工作。像目标-问题-指标这样的框架在主题 1.7(见主题 1.7,度量框架)中介绍,它提供了一种可重复的方法,从目标出发得到一小组度量,因此与主题 1.3 和 1.4 天然搭配。
数据与统计构成第二对。再好的指标,也只能和背后的记录一样好,主题 1.5(见主题 1.5,数据来源与埋点)解释时间戳、状态模型和工具配置如何决定一个数字的含义。主题 1.6(见主题 1.6,服务指标的统计素养)接着讲如何诚实地解读这个数字,使用百分位数、控制图和对不确定性的朴素陈述。糟糕的数据会让好的统计失效,糟糕的统计会浪费好的数据,所以二者最好一起读。
主题 1.2(见主题 1.2,古德哈特定律与指标心理学)作为护栏横跨所有其他主题。按主题 1.3 选出、按主题 1.4 治理、取自主题 1.5 所述来源的任何指标,一旦人们据此被评判,仍然可能被操纵。治理限制谁能看到什么、指标如何使用。以成果为导向的选择让操纵不那么划算。配对的度量在这里引入,并在全书中展开,让一个数字去核对另一个。因此,后面各部分中的每个指标都带有操纵途径和护栏,本部分解释其原因。