第 4 部分导言:问题、变更与发布指标
问题、变更与发布指标,显示团队改变其服务的方式和从失败中学习的方式,是否在使服务既改进得更快,又运行得更稳。
对在线服务的每一次变更都是一场赌注。它可能更早地交付价值,也可能破坏用户所依赖的东西。第 3 部分度量了在出问题时,支持和恢复工作做得有多好(见主题 3.0,第 3 部分导言:服务台、事件与请求指标)。本部分看同一枚硬币的另一面:变更如何进入环境,它多频繁地造成麻烦,以及组织学习得有多好,使同样的麻烦不再回来。
持续交付和 ITIL 从不同的方向走近这片领域。敏捷实践倾向于以小变更持续交付软件,并把快速反馈视为一项安全措施。问题管理、变更赋能和发布管理等 ITIL 实践,则是为了保护稳定性,并找出和消除事件的原因。本部分的指标让两种视角都能对照同一份证据来检验。如果频繁的变更是安全的,失败和返工的度量会显示出来。如果某项控制在减慢交付而没有降低风险,批准和前置时间的度量会显示出这一点。
有两点提醒贯穿整个部分。速度和稳定性必须一起阅读,因为一个改善了其中之一、却悄悄损害另一个的数字,是一笔糟糕的交易。时间度量也应当按第 1 部分所述,作为带百分位数的分布来阅读(见主题 1.6,服务指标的统计素养)。这里的每项指标都描述团队、服务或系统。没有一项给个人排名,也没有一项是该被孤立推动的目标(见主题 1.2,古德哈特定律与指标心理学)。
本部分的主题
- 4.1 问题管理指标:问题的打开与关闭、已知错误的复用、复发,以及永久修复的时间。
- 4.2 事后复盘与学习指标:评审的完成、行动项的关闭、原因的复发,以及无责学习的信号。
- 4.3 变更赋能指标:按类型的变更数量、批准前置时间、标准变更占比,以及批准的自动化。
- 4.4 变更失败与返工:变更失败率、紧急变更占比、回滚和热修复率,以及对失败的一致定义。
- 4.5 发布与部署指标:部署频率、发布频率、功能开关的使用、发布前置时间,以及把部署与发布分开。
- 4.6 技术债务与已知错误:已知错误待办、债务存量与利息,以及对照功能工作为修复排定优先级。
这些主题如何相互关联
本部分分为相互依赖的两半。主题 4.1 和 4.2 讲学习:事件如何被追溯到原因,以及评审如何变成已完成的修复。主题 4.3、4.4 和 4.5 讲变更:它如何获批,多频繁地失败,以及如何到达用户。主题 4.6 把两半连在一起,因为学习所发现的债务和已知错误,正是与新功能争夺团队时间的那些项目。
最重要的配对是速度与失败之间的配对。主题 4.5 中的部署和发布频率(见主题 4.5,发布与部署指标)描述变更多频繁地到达生产环境,而 DORA 研究项目把这类吞吐度量与稳定性度量配对(见主题 2.8,DORA 指标)。主题 4.4(见主题 4.4,变更失败与返工)提供稳定性的一面。一个部署更频繁、而失败和返工率保持平稳或下降的团队,正在改进。一个频率上升、而回滚和热修复随之上升的团队,则是把成本转移到了别处。
变更赋能处于两者之间。主题 4.3(见主题 4.3,变更赋能指标)度量控制的一面:批准要花多久,有多少变更作为标准变更被预先授权,以及批准有多少是自动化的。批准前置时间是一项控制的成本,而主题 4.4 中的变更失败率,是这项控制是否有效的证据。放在一起阅读,它们显示繁重的批准步骤买到的是安全还是只增加了延迟,以及更轻量的自动化批准是否让失败保持稳定。
学习类的主题守护着其他主题。主题 4.1 中的问题管理(见主题 4.1,问题管理指标)度量复发和永久修复的时间,这是第 3 部分中的事件处理是在消除原因还是仅仅恢复服务的长期检验。主题 4.2(见主题 4.2,事后复盘与学习指标)检查评审是否真的发生,以及它们的行动是否被关闭,因为一次没有后续跟进的完成的评审,什么也改变不了。统计评审或已关闭的问题很容易被操纵,所以这些计数应当与同一原因的复发放在一起阅读,后者更难造假。
最后,主题 4.6(见主题 4.6,技术债务与已知错误)解释了为什么其他度量会漂移。未处理的已知错误和累积的债务,提高了失败的可能性,也提高了之后每次变更的成本。把已知错误待办与变更失败率并排阅读,可以看出推迟修复何时开始拖慢交付。
后面的部分建立在这些度量之上。第 5 部分中的服务级别目标和错误预算,给出了一个可靠性限度,可据此评判变更的节奏,而第 11 部分展示了如何在不滋生恐惧的前提下引入这些度量。