概述与动因

大多数服务指标以仪表板上的一个数字出现:平均解决时间、在目标内解决的事件百分比、本周关闭的工单数。单个数字让人觉得精确。它通常是对一堆杂乱事件的压缩汇总,而压缩的方式决定了读者能看到什么。就本书而言,统计素养是让这种汇总保持诚实的一小组习惯:选择与数据形状相符的汇总方式,知道背后有多少数据,并分得清真实的变化与噪声。

服务数据的形状是第一个问题。解决时间、周期时间和等待时间这类时间度量以零为下界,右侧有一条长尾。多数项目很快完成,少数项目耗时很长。这类数据是偏态的,算术平均值被拉向尾部,因此一张卡住的工单对平均值的影响,可能超过一百张例行工单。中位数,即项目排序后位于中间的值,受到的影响小得多。百分位数是它的推广:第 85 百分位数是 85% 的项目在该时间内完成的那个值。这类持续时间常被建模为对数正态分布,即取值的对数是对称的。教训是,对于偏态数据,"典型"与"平均"是两回事。

样本量是第二个问题。一个团队在一个季度里解决了 12 起一级事件,报告"83% 在目标内",描述的其实是 12 个中的 10 个。再多一次未达标,数字就会变动八个百分点。诚实的表述要包括计数,通常还要包括一个范围。置信区间是由数据计算出来的范围,表示真实值与观察值可能相距多远。区间在小样本时宽,在大样本时窄,这对于只有 12 起事件的季度恰是正确的信息。

波动是第三个问题。每个过程产生的数字,周与周之间都会起伏,而没有任何东西改变。沃尔特·休哈特在 1920 年代研究制造质量时,把这种例行的起伏与值得调查的信号区分开来,并给了我们控制图。把这类图表应用于一个过程,叫作统计过程控制。最后这个错误的一部分是向均值回归:极端值之后往往跟着不那么极端的值,所以糟糕的一周之后的那一周,无论有没有人做过什么,看起来都像是复苏。

敏捷的流动实践,例如看板指南对周期时间百分位数和工作项年龄的运用,本来就要求分布,以及用可能性来表达的预测(见主题 2.1,流动度量)。在 ITIL 4 中,度量与报告实践和持续改进实践,都依赖于含义与表面一致的度量,而服务级别管理依赖于针对现实波动设定的目标。统计素养是两者之下共享的一层。它也支撑主题 1.2(古德哈特定律与指标心理学)中的护栏:展示整个分布的团队,被操纵的平均值就少了藏身之处。

共因变异(common-cause variation)是过程内在的,特殊原因变异(special-cause variation)来自某件具体的发生了变化或出了错的事。服务级别协议(SLA)是对客户有文件记载的承诺,服务级别目标(SLO)是对某项度量设定的目标。

关键原则

  • 让汇总方式与形状相符。对持续时间使用中位数和百分位数,当决定重大时展示完整分布。只对大致对称的数据,或成本这样的总量使用平均值。
  • 每个比率都带着它的计数。不带分子和分母的百分比,是没有附证据的断言。低于规定的最小计数时,展示原始项目而不是比率。
  • 普通的波动不是新闻。在作出反应之前,先知道度量的正常范围。回应信号,而不是每一次起伏。
  • 不确定性是答案的一部分。把预测表述为可能性("85% 的项目在 9 天内完成"),把估计表述为范围,抵制虚假的精确。
  • 向拥有这项工作的团队展示分布。原始项目和直方图让异常情形可见,也让悄悄的操纵更难。
  • 相关性、选择和时机解释了许多"改进"。问还有什么发生了变化,谁被排除在数据之外,起点是否异常糟糕。
  • 保持统计的适度。团队需要的是一小组始终如一使用的技术,而不是一门统计课程。用平实的话解释每一张图。

指标定义

下面的指标描述度量实践的统计质量以及服务工作的分布。时间度量使用每一行所述的时钟,这些定义旨在被后面的主题复用(见主题 3.3,事件响应与解决时间,以及主题 2.2,前置时间、周期时间与流动效率)。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
解决时间中位数 该期间内已解决事件的解决时间中间值 该期间已解决事件的(解决时间戳减去创建时间戳)的第 50 百分位数;时钟从工单创建开始,到解决停止;暂停单独报告,不扣除;已取消和重复的工单不计入 小时或天 ITSM 工具状态历史 事件管理;度量与报告 周期时间中位数 每周或每月
高百分位解决时间 大多数事件得到解决所需的时间,并写明百分位数 同上所述经过时间的第 85(或第 95)百分位数;仅当至少有 20 个项目已解决才计算,否则列出原始项目 小时或天 ITSM 工具状态历史 事件管理;服务级别管理 周期时间百分位预测 每周或每月
最老未关闭项年龄 仍未关闭的最老项目的年龄,以及比高百分位数更老的项目数 现在减去未关闭项目的创建时间戳,不扣除暂停;统计服务队列中全部未关闭项目,包括等待客户的 天 ITSM 工具或问题跟踪系统 事件管理;问题管理 工作项年龄 每周
比率报告覆盖率 显示了分子、分母和最小计数检查的已报告比率所占比例 带有计数和样本标记的已报告比率数 / 已报告的比率数;仅统计在该期间评审材料中公布的比率 百分比 指标登记册(见主题 1.4,指标治理与归属) 度量与报告 工作约定 每季度
控制图信号率 在团队书面规则下,度量的控制图上显示特殊原因变异信号的点所占比例 按规则被标记的点数 / 最近 20 个或更多个点中绘制的点数;规则事先确定并记入日志 百分比 控制图工具或电子表格 持续改进 对过程的回顾式检视 每月
区间宽度 头条比率上所述不确定性范围的宽度 使用登记册中所指明方法得到的该期间头条比率区间的上界减下界 百分点 由 ITSM 计数计算而得 服务级别管理 规划中的预测范围 每月

当合同指明用平均值时,报告合同规定的数字,并在旁边显示中位数和百分位数。

建议

诚实地汇总时间数据

1. 默认使用中位数和一个具名的高百分位数。对解决时间、周期时间和履行时间,同时发布中位数和第 85 或第 95 百分位数,并把百分位数写进指标名称。中位数说明什么是典型的,高百分位数说明可以合理地向客户承诺什么。如果必须为承诺选一个数字,就选百分位数。

2. 除了汇总,也展示形状。按关闭日期画出解决时间的直方图或散点图,可以显示任何汇总都显示不出的聚集、长尾和突变。当图与数字不一致时,相信图,去调查数字。

3. 加上最老未关闭项的年龄。已完成工作的百分位数是向后看的,忽略了仍然卡住的一切。报告最老的未关闭项,以及已经比你的高百分位数更老的未关闭项有多少(见主题 2.1,流动度量)。对于因困难项目被留着老化而变好的平均值,这是最有用的单一纠正办法。

尊重小样本和不确定性

4. 每个比率都发布计数。写"12 个中有 10 个在目标内解决",而不是"83%"。增加一条规则:基于少于规定数量项目的比率,以计数或底层项目的形式展示。这个阈值是一种判断:把它写下来,评审它,并在各处应用。

5. 对头条比率和预测使用区间。对变更失败占比这样的比例,用团队商定的方法计算置信区间,并在登记册中注明方法。对于交付预测,基于样本的范围(例如"每周可能在 8 到 14 项之间")比单一的吞吐量数字告诉规划者更多。如果区间太宽,无法为决定提供依据,就直说。

区分信号与噪声

6. 为你据以行动的度量画控制图。一张简单的个体值图按时间顺序绘制每个点,带有中心线和由数据计算出的界限,并标出界限之外的点,或位于中心一侧的连续点。从每周的解决时间中位数和每周的数量开始。把信号规则一次性写下来(例如,一个点超出界限,或同侧连续八点),并保持固定,这样团队就不会调整规则,直到图表与自己的感觉相符。

7. 对信号采取行动,对共因变异置之不理。当一个点在界限之内时,抵制为它找解释的冲动;这是过程在正常表现。当信号出现时,问那一周发生了什么变化:一次发布、一次人手缺口、一次供应商故障、一个新类别。如果过程稳定但不令人满意,改进就是对系统的改变,而不是与那个红色一周的当事人谈话。

8. 预期极端时期之后会向均值回归。如果你在一年中最糟的月份启动一项举措,一些改善会偶然随之而来。在把功劳记给这项举措之前,先与更长的基线、与一项没有变化的类似服务,或与控制界限比较。前后两个点的配对,是最弱的证据形式。

谨慎地推理因果与选择

9. 问数据里缺了什么。调查回复来自选择回答的人。已关闭工单排除了仍未关闭的。在下结论之前,列出缺了谁或缺了什么,以及这会如何使结果倾斜。

10. 有意地更改定义,并在图表上标出。新的状态模型、新的优先级矩阵或新的类别清单,改变了数据而没有改变工作。在图表上标注每次变更,并在其后重新计算控制界限(见主题 1.5,数据来源与埋点)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
解决时间中位数 先关闭快的工单,把难的留着;把一张工单拆成几张容易的;在等待客户状态下暂停时钟 高百分位解决时间和最老未关闭项年龄;处于暂停状态的时间占比;关联工单比率
高百分位解决时间 选择对结果有利的百分位数,或在两次报告之间更改;把长个案作为"异常值"排除或重新归类 百分位数在登记册中固定;列出被排除项目及其理由;最老未关闭项年龄
最老未关闭项年龄 不解决就关闭或合并最老项;把它移到另一个队列或类别 重开率;对最老已关闭项目的抽样审计;队列转移计数
比率报告覆盖率 用小字附上计数,而头条仍以百分比为主;把最小计数设得很低,使其从不触发 评审真正的仪表板,而不是登记册;最小计数与区间宽度一并评审
控制图信号率 放宽界限、增加规则,或重启基线,使信号消失;通过更改度量来挪动点 规则和界限连同变更历史保存在登记册中;与原始直方图比较
区间宽度 选择产生窄范围的方法或窗口;把不相似的服务合并以扩大样本 方法在登记册中指明;可按需提供按服务的细分;比较合并与未合并的结果

健康的读数显示:中位数和百分位数的变化方向与用户的体验一致,一小串老旧项目在缩短而不是被悄悄重新归类,比率与其计数一同出现。控制图信号率应当低但不为零:从不发出信号的图表可能根本发不出信号,总是发出信号的图表则反映出过程不稳定或规则选得不好。

权衡:利弊

做法 优势 劣势
平均解决时间 简单,符合许多合同,容易求和 被尾部主导;掩盖了客户通常的体验
中位数加高百分位数 抗异常值;支持对客户的承诺 需要稍作解释;百分位数需要足够多的项目才稳定
不带计数的原始比率 紧凑而熟悉 掩盖小样本,诱使过度解读
带计数和区间的比率 对不确定性诚实;抑制过度反应 看上去不够果断;区间方法需要达成一致
控制图 区分信号与噪声;指导何时行动 需要足够的点和稳定的定义;界限可能被误读或操纵
前后对比 快速,容易沟通 容易受向均值回归和同时发生的变化影响

对于一年只有寥寥几起事件的服务,没有任何统计量是稳定的,正确的方法是逐个阅读每一起事件。对于高流量的服务台,关注分布的度量成本低,而且明显更优。请依据数量和决定的重要程度来选择。

与团队讨论的问题

1. 我们当前仪表板上的哪个数字是对偏态数据取的平均值?中位数和第 95 百分位数会显示什么? 挑选最受关注的时间度量,在会议前对同一批项目计算这三个值。问平均值讲述的故事是否与用户所说相符。最后约定哪种汇总成为头条,其他的出现在哪里。

2. 我们最常被引用的百分比背后有多少个项目?如果写出计数,我们还会引用它吗? 列出领导层最常读的三个百分比。在每个旁边,写下上个期间的分子和分母。问再多一次成功或失败,会对这个数字造成什么影响。约定一个最小计数,低于它时团队展示项目而不是比率。

3. 上一次我们把改善归功于某项举措是什么时候?当时还有什么是真实的? 选一个最近的成功故事。问度量最差是什么时候,更长的历史是什么样子,是否有可比的服务同样改善了。保持好奇的语气。

4. 我们关键度量的正常范围是什么?谁能说出某一周是异常的? 把一项度量最近 20 个或更多个每周的值画出来,画出中心线和界限,或粗略地计算它们。问团队对哪些在范围之内的周作出了反应。约定谁拥有这张图,信号规则写在哪里。

5. 我们的数据里缺了谁、缺了什么? 列出度量的来源:已关闭工单、调查回复、受监控的服务、带时间戳的工具。对每一个,问谁被排除、为什么。把每个缺口记录为一个修复项或一条附注。

6. 我们怎样向领导层解释一个很宽的范围或"我们还不知道",而不让它听起来像是借口? 在一个真实的例子上预演措辞:"在 70% 到 95% 之间,基于 12 起事件;我们预计在下个季度之后会收窄。"问受众需要决定什么,这个范围是否改变决定。在会上写一个简短的说法。

四种视角

产品与交付团队

交付团队用周期时间和吞吐量来预测,最受益于基于百分位数而非平均值的预测(见主题 2.1,流动度量)。用带可能性的范围表述的预测,比一个日期更容易辩护。抵制把一个期间的变化读作趋势的冲动(见主题 2.5,交付预测与规划指标)。

服务与运维团队

运维团队拥有工单数据和事件时钟,因此最适合发布中位数、百分位数和最老未关闭项,并解释暂停规则。他们应当用控制界限为每周数量和解决时间画图,这样真实的转变,例如一次有缺陷的发布,才能与糟糕的一周区分开。当某项服务只有很少事件时,他们应当逐个评审每一起,而不是计算比率(见主题 3.3,事件响应与解决时间)。

领导层与治理

领导层提出的问题,塑造了团队展示什么。对每一次起伏都问"为什么上升了?",会训练组织去解释噪声,也去隐藏噪声。领导层应当问某个变动是否在正常范围之内,一个数字背后有多少项目,以及过程中发生了什么变化。治理机构可以要求头条比率附上计数。

客户与用户

客户体验的是单个个案,而不是平均值。他们记得那个花了五周的请求,两天的平均值修复不了这段记忆。百分位承诺("十个请求里有九个在三个工作日内")比平均时间更符合客户的心理模型。调查结果应连同回复数一并展示,开放式评论应与数字一起阅读(见主题 6.1,客户满意度指标)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商有一个服务台和一个支持其网店的运维团队。下面的数字是示意数字。

领导层看到月度头条:"平均事件解决时间从 9.1 小时降至 7.4 小时。"运维负责人被要求确认这一点,并提出下一个目标 6 小时的计划。在同意之前,她请分析员提取底层项目并画出来。在本月的 240 起事件中(示意数字),中位数是 2.5 小时,第 85 百分位数是 14 小时,有 9 起事件已超过 5 天仍未关闭。上个月的中位数是 2.6 小时。平均值下降,是因为上月的三起很长的事件(其中一起已有 11 天)碰巧在本期较早地解决了,也因为一批密码重置工单被重新归类到快速关闭的请求类型。

团队为过去 26 周的每周中位数画图。中心线在 2.6 小时附近,过去两个月的每一点都在界限之内。头条的下降不是信号。第二周的重新归类在图表中途改变了定义,所以团队将其标出,并从该点开始重启界限。

他们决定做三项改变。月度报告将显示中位数、第 85 百分位数和最老未关闭项,并附上每个数字背后的事件数。提议的 6 小时平均目标,改为讨论一个百分位目标,在新定义下积累一个季度的数据后再设定。团队还会列出那 9 起老事件,每起有一位负责人和一个下一步行动。

他们在下一次评审时捕获了操纵风险。一位经理提议把那 9 起最老的事件以"无法再复现"为由关闭,使最老项的数字好看些。因为登记册把最老未关闭项年龄与重开率及对旧关闭项的抽样审计配对,团队读了三个提议关闭的事件,发现其中两个仍然有效,于是保持它们打开。最老项的数字又让人不舒服地多留了一个月。这正是预期的行为。

行业视角

初创企业。数量少,所以大多数比率只由几个项目构成,区间很宽。逐个阅读每起事件,而不是计算统计量,保持一两项度量的简单每周图表,避免根据三个点宣布趋势。随着数量增长,及早转用中位数和百分位数,使习惯已经养成。

小型企业。运行 IT 的人同时拥有数据,样本通常很小。对罕见事件报告计数而不是百分比,并与自己更长的历史比较。查清供应商的"响应时间"时钟究竟度量什么。

大型企业。数量使分布有了意义,同时也鼓励把不相似的服务混在一起汇总。比较同类,发布定义和所用的百分位数,并保存一个共享的图表与计算规则库,使各团队不会用三种方式计算同一项度量。

政府与公共部门。合同和法定报告常常固定了平均值或阈值百分比,这些定义没有商量余地。严格按定义报告要求的数字,并在旁边展示中位数、百分位数和计数,使监督机构看到全貌。公众的审视使诚实的不确定性更有价值,因为一个过于自信的数字,撤回的代价很高(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

商定汇总规则、用一份导出数据构建直方图和控制图、在报告模板中加入计数,需要几个小时,每个周期再用几分钟保持更新。大多数工具已经能计算百分位数。更大的成本是与习惯了一个令人安心的数字的人谈话。

回报是更好的决定和更少的无谓反应。团队不再因为糟糕的一周而重组,不再把偶然的改善归功于举措,不再承诺一半客户体验不到的平均值。不要借用数字:数一数去年有多少决定被推翻,有多少"改进"在下一个期间消失了,用这些计数来衡量论证的规模。

反模式与陷阱

  • 对偏态的持续时间取平均值。平均值被尾部拖着走,掩盖了用户的感受。报告中位数和具名的高百分位数,并显示最老未关闭项。
  • 来自极小样本的百分比。三个项目得出的"100%"只是一则轶事。展示计数,并应用最小计数规则。
  • 对每次起伏都作出反应。追逐每一个红色的周浪费精力,也教会团队去解释噪声。使用控制界限和书面的信号规则。
  • 前后对比当证明。两个点分不清干预与偶然或向均值回归。使用更长的基线和对照。
  • 在图表上移动球门。事后改变界限、规则或定义,会让任何图表都与故事相符。固定规则,记录变更,并加以标注。
  • 默认排除异常值。最长的个案通常正是客户记得的。只在有书面理由时才排除,并列出被排除的内容。
  • 虚假的精确。从 12 个项目报告 83.3%,暗示了数据所没有的知识。诚实地取整,并显示范围。
  • 合并不相似的工作。密码重置与数据中心故障的混合时间,二者都描述不了。先分段。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
时间数据的汇总 只有平均值 部分团队显示中位数 中位数加具名百分位数以及最老未关闭项成为标准 分布连同护栏被评审并有趋势 与客户和供应商约定百分位承诺,并随数据变化修订
样本量与不确定性 引用比率不带计数 部分报告显示计数 每个比率都有计数和最小计数规则 头条比率有区间,方法记入登记册 与客户公开分享不确定性,并用于跨团队规划
变异与因果 每个变化都要解释 少量带界限的图表 关键度量有带书面规则的控制图 信号触发有计划的调查;举措对照基线核查 跨服务共享图表库;在不排名的前提下跨团队比较基线

检查清单

  • 每项时间度量都报告中位数和具名的高百分位数,而不是只有平均值。
  • 报告了最老未关闭项的年龄,以及超过高百分位数的项目数。
  • 每个已报告的比率都显示其分子和分母。
  • 写下了最小计数规则,并应用于所有比率。
  • 头条比率和预测显示范围,方法在登记册中指明。
  • 团队据以行动的三项度量有控制图,并有书面的信号规则。
  • 定义变更在图表上标注,并记入登记册。
  • 被排除的项目连同理由一并列出。
  • 改进主张在被重复之前,先对照更长的基线核查。
  • 每个指标的操纵途径和护栏都在登记册中(见主题 1.4,指标治理与归属)。

AI 提示词

检查汇总方式是否与数据相符。

我有[服务]在[期间]的[度量,例如事件解决时间]的[数量]个值。时钟从[开始事件]
开始,到[停止事件]停止。暂停[如何处理]。这些值粘贴在下面。

请描述分布的形状,计算平均值、中位数、[百分位数,例如第 85]和[第二个百分位数,
例如第 95],并告诉我哪种汇总最能代表典型情形,哪种能支持对客户的承诺。指出
任何看起来像数据错误的值,但不要删除它们。不要编造基准值。列出你的假设,以及
你无法从数据中确定的内容。

[粘贴数值,已去除个人数据]

连同不确定性一起表达一个比率。

我们的团队为[期间]和[服务]报告[比率名称]为[分母]中的[分子]。请说明如何连同
计数一起呈现它,用平实的话解释再多一次或少一次成功会使它变化多少,并使用
[方法,或"你推荐并命名的方法"]计算置信区间。建议非技术背景的领导能理解的措辞,
以及何时展示项目而不是比率的最小计数规则。不要编造比较数字。列出你的假设,包括
方法及其所需的任何数据条件。

判断一次变化是信号还是噪声。

这是[服务]的[度量]连续[数量]个[每周或每月]的值。在[期间]发生了一次变化:
[描述干预、发布或定义变更]。请绘制或描述一张带中心线和界限的控制图,应用这些
信号规则:[规则清单,例如一个点超出界限或同侧连续八点],并告诉我哪些点发出
信号。说明这次变化是否能与普通波动区分开,以及我还应排除哪些其他解释,例如
向均值回归或定义变更。不要断言因果。列出你的假设以及会有帮助的额外数据。

[粘贴数值]

AI 技能

关键要点

  • 服务持续时间是偏态的,所以报告中位数和具名的高百分位数,并加上最老未关闭项的年龄。
  • 每个比率都带着它的计数,小样本以项目或范围展示,而不是一个自信的百分比。
  • 在对单独一周作出反应之前,先用控制图了解度量的正常范围。
  • 对用两个点衡量的改善保持怀疑:向均值回归和定义变更解释了其中许多。
  • 诚实的不确定性是报告中的优点,也是防范古德哈特式操纵的护栏(见主题 1.2,古德哈特定律与指标心理学)。
  • 让技术保持适度:少数始终如一、用平实语言解释的方法,比许多未经解释的方法更能服务团队。

参考文献与延伸阅读

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Skewness.
  10. Wikipedia, Median.
  11. Wikipedia, Percentile.
  12. Wikipedia, Log-normal distribution.
  13. Wikipedia, Confidence interval.
  14. Wikipedia, Control chart.
  15. Wikipedia, Statistical process control.
  16. Wikipedia, Regression toward the mean.