概述与动因

对在线服务的每一次变更,都带有使事情变糟的某种可能。实际的问题是:这种情况多频繁地发生,它创造了多少计划外工作,以及团队恢复得多快。本主题涵盖回答这些问题的度量:失败变更的占比、需要走紧急路径的占比、回滚和热修复的比率,以及糟糕变更之后的返工。它还涵盖这个主题最不光鲜的部分,也就是就什么才算失败达成一致。

先说几个术语。在 ITIL 4 中,名为变更赋能的实践,涵盖对任何可能影响服务的东西的添加、修改或移除。因此,变更比一次代码部署更宽泛:它包括配置修改、证书续期、防火墙规则或数据库迁移。标准变更是预先授权且风险低的,常规变更要经过评估,紧急变更是紧急做出的,通常是为了恢复服务或堵住严重的漏洞。部署是把软件的某个版本放进某个环境的行为,而发布则是把一项能力提供给用户。使用功能开关的团队,可以部署代码而不发布它(见主题 4.5,发布与部署指标)。

变更失败是导致服务降级或需要补救的变更。补救有几种形态。回滚让系统返回先前的状态。热修复是在正常发布节奏之外应用的紧急补丁。向前修复是在坏掉的变更之上发布一个新的变更。返工是花在重做或修复本应已经完成的东西上的计划外工作量。在持续交付的环境中,小变更频繁地流向生产环境,这些度量是关于速度是否在消耗稳定性的主要证据。

这两种传统以不同的方式看待同一个事件。ITIL 的视角围绕变更记录组织:变更是否获得授权,是否成功,结果是否被记录?一个纸面上成功的变更,仍可能在一小时后造成事件。敏捷的视角围绕工作项和部署组织:团队的完成定义是否成立,变更是否很快造成了计划外工作?两种视角单独都不完整。DORA 项目背后的研究,把变更失败率和部署返工率视为吞吐度量旁边的两项"不稳定性"度量(见主题 2.8,DORA 指标,它在项目层面定义了它们)。本主题更深入地讲解机制:如何定义失败,如何把事件与变更关联起来,紧急工作如何统计,以及这些数字如何被操纵。

一条警告从一开始就适用。这些度量描述的是团队、服务或流水线。它们绝不描述一个人。附在某位工程师个人身上的变更失败率,会教会人们回避有风险而有价值的工作,把变更拆分到计数看起来不错为止,并停止上报问题(见主题 1.2,古德哈特定律与指标心理学)。古德哈特定律在这里咬得很重,因为"更少的失败",通过记录更少的失败就很容易实现。

事件的计时属于主题 3.3(事件响应与解决时间),最糟的事件属于主题 3.4(重大事件指标),批准流程和标准变更占比属于主题 4.3(变更赋能指标),根本原因属于主题 4.1(问题管理指标),书面评审属于主题 4.2(事后复盘与学习指标)。

关键原则

  • 失败需要一份书面的定义。逐案决定的团队,产生的数字无法形成趋势或比较,而对定义的争论取代了对工作的争论。
  • 失败必须可以追溯到它的变更。如果事件、回滚或热修复与导致它的变更之间没有记录在案的链接,失败率就是猜测。
  • 统计每一条补救路径。回滚、热修复、向前修复和手工变通办法,是通往同一事件的四条路。只统计其中之一的度量,会奖励团队去选择另一条。
  • 把失败与速度和恢复放在一起阅读。孤立的变更失败率,可以通过更少地变更来改善,而这很少是目标。把它与前置时间、部署频率和恢复时间配对。
  • 小样本需要计数,而不只是百分比。一个月里有八个变更、一次失败的团队,失败率是 12.5%,这几乎说明不了什么,所以要显示计数并使用更长的窗口(见主题 1.6,服务指标的统计素养)。
  • 紧急是一个信号,不是一种罪。稳定的、有解释的紧急变更占比是正常的。上升的占比通常指向上游的质量、计划或检测问题。

指标定义

失败和返工的度量,依赖于把变更记录、部署日志和事件工具连接起来。下面的每个定义都说明统计什么、排除什么,以及时钟在何处启动和停止。团队应当把这些定义复制到自己的指标登记册里,并附明确的理由进行调整。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
变更失败率 导致服务降级或需要补救的生产变更占比 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更数 / 该期间完成的全部生产变更数;窗口从变更完成时开始,在固定天数(例如 7 天)之后结束,写入指标登记册;仍在窗口之内的变更单独报告,并在窗口关闭之前从比率中排除 百分比 与事件工具和热修复清单关联的变更记录或部署日志 变更赋能;事件管理 完成的定义;逃逸缺陷 每月,按 90 天滚动窗口
紧急变更占比 通过紧急路径做出的变更占比 记录为紧急的变更数 / 该期间完成的全部变更数;紧急是指因紧迫而绕过或缩短了正常评估,预先授权的标准变更从两个计数中都排除 百分比 变更记录的类型字段 变更赋能 计划外工作和加急服务类别 每月
回滚率 被还原到先前版本的变更占比 在到达生产环境之后被还原的变更数 / 该期间全部生产变更数;在变更到达任何用户之前做出的回滚(例如金丝雀在第一步就被停止)单独统计 百分比 部署日志和发布工具 发布管理;部署管理 流水线和发布实践 每月
热修复率 在正常发布流程之外应用的紧急补丁的变更占比 被标记或分支为热修复的变更数 / 该期间全部生产变更数;分母包括热修复本身 百分比 版本控制的分支或标签及部署日志 变更赋能;事件管理 计划外工作;加急 每月
部署返工率 作为对较早部署中问题的计划外修复的部署占比 在同一失败窗口内,修复近期较早部署中的缺陷或失败的生产部署数 / 该期间全部生产部署数;来自路线图的计划内后续工作被排除 百分比 带"修复"链接或标签的部署日志,以及工作跟踪器 变更赋能;持续改进 返工;逃逸缺陷;失败需求 每月
变更到事件的链接率 记录了是否由变更造成、以及是哪个变更的已解决事件占比 带有已填写的"由变更引起"字段(是或否,为"是"时加上变更标识符)的事件数 / 该期间已解决的事件数;时钟在事件关闭时停止 百分比 事件工具和变更记录 事件管理;变更赋能 事件后评审;完成的定义 每月
失败定义的一致性 两位评审者对一份样本变更是否失败的一致程度 两位独立评审者依据书面定义得出相同失败结论的样本变更数 / 样本变更数;每季度随机抽取至少 20 个变更的样本 百分比 与指标登记册一起保存的样本评审表 持续改进;度量与报告 回顾会议 每季度

关于这张表的两点说明。失败率和返工率有重叠但不同:未经新部署而被还原的失败,计入失败率,不计入返工率。而且单位是变更或部署,不是事件,因为一个变更可以造成三起事件,一起事件也可能来自三个变更。

建议

在收集任何数据之前先写下失败的定义

就"失败"意味着什么达成一致,并把它放进指标登记册。一个可行的定义是:如果一个变更在完成之后的规定窗口内被回滚、需要热修复或向前修复,或与规定严重级别及以上的事件相关联,那么它就失败了。说明窗口(常见的是 7 天,正确的值取决于你的服务多快显露问题)、事件严重级别的阈值,以及在有争议的情况下由谁决定。写下至少五个有解答的例子,包括棘手的例子,比如在没有任何中断的情况下降低了性能的变更。每年重新审视定义,并连同理由记录变更,使趋势线在规则移动时可以被重新陈述。

在事件记录中把失败关联到变更

在事件记录中加一个必填字段:是否由变更引起,是或否,为"是"时填变更标识符。这个字段应当在解决期间填写,并在事件后评审中检查(见主题 4.2,事后复盘与学习指标)。把链接率作为独立的指标来跟踪。如果只有一半的事件带有该字段,失败率就以未知的量低估了真相,你应当在数字旁边说明这一点。在能做到之处自动化第一次猜测,例如列出受影响服务在事件开始前几小时内完成的变更,并由人来确认。

统计所有补救路径,而不只是一条

从若干信号定义一次失败。从部署工具中拉取回滚,从版本控制或发布日志中拉取热修复,从"修复"链接中拉取向前修复,从事件工具中拉取事件,然后按变更去重。只统计回滚的团队,会在转而向前修复的那天看到失败消失。也要把每条路径保留为单独的细分,因为这种构成讲述着一个故事:热修复多而回滚少,表明回滚很困难,这本身就值得修复。

把紧急变更占比当作一个问题,而不是分数

把紧急变更作为一个群体来评审,而不是作为目标。每个季度阅读所有紧急变更,并对原因分类:恢复服务、堵住漏洞、业务的迟到请求、漏掉的计划步骤,或对普通工作而言太慢的批准路径。最后两个是系统问题,应当通过改进标准路径来修复,使人们无需绕过它(见主题 4.3,变更赋能指标)。占比为零是可疑的,因为真正的紧急情况是会发生的。稳步上升的占比,值得开一条问题记录(见主题 4.1,问题管理指标)。

把返工度量为失败需求

把返工作为先前失败所产生的工作来跟踪。失败需求的思想来自服务设计:因为某件事没有一次做对而存在的需求。在交付的语言中,统计其唯一目的是纠正近期变更的部署和工作项。这直接连到计划内与计划外的划分(见主题 2.9,运维工作与计划外工作)。把用于返工的容量占比,用作与产品负责人交谈的起点,因为它把一个抽象的比率变成了关于接下来做什么的取舍。

报告带计数、分布和窗口的比率

在百分比旁边显示计数,并使用滚动窗口。对一个部署十次的团队,月度失败率是嘈杂的。使用 90 天的滚动窗口,显示比率背后的变更数和失败数,并给出不确定性的大致提示(见主题 1.6,服务指标的统计素养)。对恢复,显示从失败到恢复时间的中位数和第 85 百分位数,而不是平均值。当一项服务的变更很少时,用实际失败的清单来讲述故事,而不是用比率。

把失败与速度配对,使改善无法藏在任何一方

始终把变更失败率显示在前置时间和部署频率旁边。如果失败率下降,而部署频率也急剧下降、前置时间增长,团队可能是在合批变更,这提高了每个变更的风险。如果速度上升而失败率保持稳定,系统在变更上正变得更好。这种配对,是防止操纵、以及防止"部署更少意味着更安全"这种舒适信念的主要防御(见主题 2.8,DORA 指标)。

用这些数字改进变更本身

把失败数据变成工程实验。查看失败变更的共同特征:规模、一天中的时间、类型、参与的人数、是否触及共享组件,以及测试覆盖是否单薄。然后尝试一个小的、可逆的实验,比如更小的批量、针对风险区域的自动化回归测试、对下一个有风险变更的金丝雀发布,或把部署与发布分开的功能开关。在一个完整的窗口之后重新度量。目标是更好的变更,改善的指标只是证据。

在一个无责的论坛中共同评审这些指标

与做出变更的人一起,每月举行一次失败变更的评审。议程有三项:计数和趋势、选出两三个失败的变更作研究,以及一项带负责人的改进行动。使用无责的评审实践,使人们描述他们当时所知道的东西。把评审记录与指标一起发布。如果人们因为数字的使用方式而不愿上报失败,那就在改变任何其他事情之前先修复它(见主题 11.3,推行指标而不滋生恐惧)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
变更失败率 收窄失败窗口;不把事件关联到变更;把糟糕的变更归类为"服务请求"或"维护";向前修复并称之为新变更;把许多修改捆绑成一个变更,使一次失败覆盖它们 变更到事件的链接率;对照事件清单的季度样本审计;失败定义的一致性;旁边显示前置时间和部署频率
紧急变更占比 用虚假的风险评级让紧急工作走标准路径;把普通工作当作紧急以避开批准;把一个紧急变更拆成几个常规变更 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能指标)
回滚率 向前修复以避免记录回滚;让坏掉的版本一直在线;把变更压在生产之外,使没有东西可还原 旁边显示热修复率和返工率;恢复时间的分布;对照部署日志的事件样本
热修复率 不给热修复打标签;通过正常分支推送;把热修复称为"一个小改进" 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作)
部署返工率 不把修复关联到原始部署;把修复标为"计划内";把修复与新功能捆绑 纠正性部署上必填的"修复"链接;对标为计划内的部署做抽样评审;旁边显示变更失败率
变更到事件的链接率 不检查就把字段填为"否";让字段默认为"否";批量关闭事件以提高百分比 在事件后评审中对"否"的答案做抽样检查;没有默认值;对样本的评审者评论
失败定义的一致性 为样本挑选容易的例子;评审者就是被度量的人;放宽定义使每个人都一致 由团队之外的人抽取的随机样本;有意包括边界案例;公布分歧并修复定义

健康的读数是这样的:失败率处于团队理解并能解释的范围内,链接率高到足以信任失败率,紧急变更很少且有解释,回滚和热修复短暂而经过演练。失败被迅速上报,并不加责备地讨论。一个不自然地低的失败率,伴随着低链接率、下降的部署频率和增长的批量,是警告,不是成功。把任何突然的改善,都当作先检查度量工具的提示(见主题 1.5,数据来源与埋点)。

权衡:利弊

做法 优势 劣势
严格的、自动化的失败定义 一致、重复成本低、易于形成趋势 漏掉细微的降级;可能把良性的回滚算作失败
对每个变更作基于判断的评审 捕捉背景和严重程度 慢、主观、易受压力和漂移影响
长失败窗口(数周) 捕捉延迟的失败 模糊因果;近期的变更还无法报告
统计所有补救路径 难以靠切换路径来操纵 需要小心地连接多个数据来源

以自动化的定义为基础,加上抽样的人工评审,并在构建其他任何东西之前,先改进变更与事件之间的连接。

与团队讨论的问题

1. 在这里,究竟什么算失败的变更?我们两个人会对同一个变更产生分歧吗? 取五个近期的变更,请每个人就它们是否失败投票。比较投票和理由。分歧显示书面定义在哪里单薄。就棘手的情形约定一条规则,比如没有中断的性能下降,并连同一个例子写下来。

2. 我们怎么知道哪些事件是由变更引起的? 问链接今天是如何记录的,谁来填。评审十起近期的事件,看有多少附有变更,又有多少应当附有。讨论该字段是否可选,是否默认为"否",以及谁来检查它。主持人应争取对记录作一项具体的改进,比如没有默认值的必填字段。

3. 我们使用哪些补救路径?它们都被统计了吗? 列出回滚、热修复、向前修复、手工变通办法,以及关闭功能开关。对每一种,问这个事件记录在哪里,是否进入失败率。注意那些不留痕迹的路径。讨论常会揭示,团队偏好的路径恰恰是度量看不见的那条。

4. 我们上一次紧急变更是什么时候?它本可以避免吗? 走一遍最近的三四个。问是什么使每一个变得紧急,更早时知道什么,以及更好的标准路径会是什么样子。把真正的紧急情况与迟到的发现和缓慢的批准分开。约定一项对普通路径的修复,以消除紧急的一个反复出现的原因。

5. 我们每周有多少时间花在修复近期的变更上? 用跟踪器而不是记忆,估计过去四周用于返工的容量占比。把估计与跟踪器比较。谈谈这个数字在计划内工作上的代价,以及产品负责人将如何使用它。挑一种失败模式和一个实验来减少它。

6. 如果我们的失败率下个季度减半,我们会相信吗? 想象那个头条,问还必须有什么是真的:链接率稳定、部署频率稳定、恢复迅速,并且没有新的"维护"类别。讨论团队已经做了其中哪些检查,缺少哪些。约定在庆祝之前,如何调查突然的改善。

四种视角

产品与交付团队

交付团队拥有这些变更,所以他们拥有失败的定义和修复。从工作出发:在评审中查看失败的变更,找到共同特征,并尝试更小的批量、更好的测试或开关。把返工作为看板的一部分来跟踪,使计划外的修复在计划内的工作旁边可见。把数字留给团队自己学习,并抵制分享个人层面的数据。如果一项指标展示给领导层,团队应当能够解释其中的每一个变更。

服务与运维团队

运维团队在事件队列中看到变更的后果,最适合维护事件与变更之间的链接。他们可以加上必填字段,在解决步骤中检查它,并把结果不带责备地反馈给交付团队。运维还拥有紧急路径,应当评审它的使用。与交付团队一起分享关于恢复路径的信息,并演练回滚,因为削减失败成本的最好办法,是让变更可逆成为共同的习惯(见主题 3.3,事件响应与解决时间)。

领导层与治理

领导层应当要求按服务的趋势、两类不稳定性度量与速度的并列,以及背后的改进实验。避免像"失败率低于 5%"这样的固定目标,它们招致重新定义,并避免在个人评估中使用这些数字。治理机构可以把数据用作更轻的批准路径是否安全的证据,方法是检查随着控制放松,失败和恢复是否保持稳定。紧急变更的上升趋势,是去查看计划和批准设计的信号,而不是责备值班工程师的信号。

客户与用户

客户不关心失败率。他们关心服务在一次更新之后是否会坏,以及多快恢复。失败数据支持诚实的沟通:对有风险的变更提前通知,变更造成麻烦时发出清晰的状态信息,以及可见的学习承诺。在用户依赖某项服务完成关键任务之处,提前与他们约定维护窗口和回滚期望(见主题 3.4,重大事件指标)。

实践:一个敏捷 ITIL 示例

一家地区医疗机构的 IT 部门运行着一个患者预约服务。一个七人的产品团队每周发布数次变更,一个五人的运维团队处理事件和变更流程。本示例中的所有数字都是示意数字。

在一个季度里,月度报告显示变更失败率为 4%,上一个季度为 11%。首席信息官很高兴。平台负责人并不信服,因为值班团队说他们的夜晚并没有改善。她请团队运行指标登记册中的样本审计。

审计随机抽取 30 个变更,两位评审者应用书面定义。30 个结论中他们在 24 个上一致,所以失败定义的一致性为 80%(示意数字)。然后他们把样本与事件清单比较。在该季度解决的 22 起事件中,只有 9 起带有"由变更引起"字段,链接率为 41%。手工阅读另外 13 起,评审者发现有 5 起开始于一次变更之后的一天之内。更正后的计数把失败率提高到约 9%,审计也发现了数字看起来不错的原因:一个新习惯,即把修复以"维护"的标签部署,而报告把它从分母和分子中都排除了。

操纵风险就是这个标签,而且没有人事先计划过。团队曾被告知失败令人担忧,而"维护"避开了一次谈话。团队作出三项决定。"由变更引起"字段变为必填且没有默认值,事件后评审会检查它。"维护"标签被退役,纠正性部署必须带有指向其所修复变更的链接,这为返工率提供输入。失败的定义被重写,附有六个有解答的例子,包括一个从未造成中断的慢查询回归。

下一个季度显示,重新陈述的失败率为 8%,链接率为 90%(示意数字)。领导层的报告现在在前置时间旁边显示计数、链接率和返工率,首席信息官不再引用单一的百分比。

行业视角

初创企业。变更小而频繁,团队往往对每次失败了然于胸。把定义保持在一段话,在部署工具中给回滚和热修复打标签,并在每周的回顾会议上评审失败。20 个变更上的失败率是嘈杂的,所以以失败清单为主要证据。风险在于随意:没有书面定义,比率会随着计数的人而变。

小型企业。同样的人部署、运维和支持,所以返工直接与计划内的工作竞争。在你已经使用的任何工具中记录失败,给事件记录加一个必填字段,并每季度评审紧急变更。避免仅为了改善数字而采用繁重的批准。一份共享的回滚检查清单,比变更委员会更有价值。

大型企业。众多团队、供应商和工具意味着众多定义。跨团队标准化失败的定义和链接字段,把它发布在指标目录中,并在汇总之前按服务计算比率。用抽样审计找出分歧,并把每个供应商的变更记录视为另一个质量各异的来源(见主题 1.5,数据来源与埋点)。小心汇总不要变成团队的排行榜。

政府与公共部门。变更记录服务于审计和问责,而回滚可能受到法规、采购或共享平台的约束。保留正式的记录,并把失败链接作为其一部分加入。向监督机构仔细解释这些数字,附上计数和背景,因为关键服务上的一次失败,可能引来不成比例的关注。用这些数据为低风险变更的更轻路径提供依据,并证明失败和恢复保持稳定。

商业论证:动机、投资回报与总拥有成本

动机是失败变更的成本:事件工作、返工、被延迟的路线图项目,以及用户信任的丧失。许多组织说不出自己有多少精力花在修复近期的变更上,而返工度量给出了第一个诚实的答案。还有一项间接的好处。能够显示变更是安全的团队,可以为更轻的批准辩护,这缩短了前置时间。DORA 研究报告了繁重的外部批准与较弱的交付表现之间的关联(见主题 4.3,变更赋能指标),而失败数据正是团队对照自己的历史检验这一主张的办法。

如果基础已经具备,收集的成本是适度的:事件记录中的一个必填字段、被标记的纠正性部署、三个数据来源的连接,以及月度评审。更大的成本是注意力,因为必须有人拥有定义、运行审计并据发现采取行动。在定义和链接可以手工运作之前,避免购买工具。

回报表现为更少的重复失败、更短的恢复、更少的计划外工作,以及与治理机构更好的交谈。不要承诺一个百分比。相反,估算你自己的基线:统计一个季度中与变更相关的返工和事件响应所花的小时数,按你通常的内部费率计价,并在改进之后比较。说明假设,并把结果报告为范围,而不是单一的数字。把它与项目的成本,以及关键服务上一次严重失败的成本相比较。

反模式与陷阱

  • 为失败率设目标。它招致重新定义和隐藏失败。相反,为学习设目标,比如完成每一次评审并关闭每一项纠正行动,并观察比率的趋势。
  • 按失败给团队或个人排名。它摧毁上报,并惩罚承担有风险而有价值工作的团队。把团队与它自己的过去比较,并讨论背景。
  • 只把事件算作失败。被及早发现并回滚的失败会消失。包括每一条补救路径,并把事件当作若干信号之一。
  • 把紧急变更视为坏事。压力导致伪装的紧急情况。评审它们的原因,并修复普通路径。
  • 让事件链接默认为"否"。默认值产生一个讨好却错误的数字。让字段必填,并检查一份样本。
  • 报告没有计数的比率。小样本摆动剧烈。显示计数和滚动窗口。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
失败的定义 由被问到的人逐案决定 部分团队写下定义;各团队不同 一份书面定义,附有解答的例子和说明的窗口 定义经抽样审计检验,并度量一致性 当定义不再为决定提供依据时,与供应商和客户一起修订
关联变更与事件 链接靠人记着,如果有的话 部分团队使用可选字段 必填字段且没有默认值,在事件后评审中检查 链接率有趋势并被评审,缺口得到处理 通过约定的接口,在团队和供应商之间共享链接
补救与紧急处理 回滚和热修复被临时处理且无记录 部分团队给回滚和热修复打标签 记录所有补救路径;写下紧急的检验标准 每季度评审紧急变更;演练回滚 恢复路径设计进服务,并在团队之间联合测试
在改进中的使用 数字在报告中被引用,没有跟进 在重大事件之后讨论失败 每月对失败变更作无责评审并产生行动 失败和返工与速度配对;实验被规划并获得资助 改进成为常规并在团队之间共享,学习被发布

检查清单

  • 存在变更失败的书面定义,有说明的窗口和至少五个有解答的例子。
  • 指标登记册中指明了统计单位(变更、部署或发布)。
  • 事件记录有一个必填的"由变更引起"字段,没有默认值。
  • 在部署或版本控制工具中给回滚、热修复和向前修复打标签。
  • 纠正性部署带有指向其所修复变更的链接。
  • 紧急变更有一个简短的书面检验标准,每个紧急变更都在规定天数内被评审。
  • 比率总是带计数和滚动窗口显示,绝不是孤立的百分比。
  • 变更失败率总是显示在前置时间、部署频率和恢复时间旁边。
  • 每季度的样本审计检查失败结论和事件链接。
  • 每月运行一次对失败变更的无责评审,每项行动都有负责人。
  • 本主题中没有任何指标被用来给个人排名或评估个人。

AI 提示词

起草变更失败的书面定义。

我们运营[服务或产品类型],有[团队规模]人,发布频率为[频率,例如每周数次]。我们的
工具是[变更工具、部署工具、事件工具]。请起草一页纸的"失败变更"定义,说明统计单位
(变更、部署或发布)、失败窗口、计入的补救路径(回滚、热修复、向前修复、关联事件)
和排除项。包括[数量]个有解答的例子,包括边界案例。不要编造基准值或阈值;需要时请向我
询问。列出你的假设。

设计变更到事件的链接。

这是我们的事件记录模板:[字段]。这是我们的变更记录模板:[字段]。请建议如何记录哪个
变更导致了哪起事件,包括必填字段、允许的取值、由谁填写,以及评审应当如何检查它。
提出一种依据[可用数据,例如部署时间和服务名称]自动建议候选变更的办法。不要猜测我们
的工具是如何配置的。列出你的假设,以及我应当回答的问题。

分析一份失败变更清单中的模式。

下面是[期间]内的[数量]个失败变更,字段有:[字段清单,例如规模、类型、日期和时间、
服务、补救路径、恢复时间]。请找出模式和可能的促成因素,并建议最多[数量]个小的、可逆
的实验来减少失败。把分析保持在团队和服务层面,不要给个人排名。不要编造统计数字或
基准值。说明在样本量下你对每种模式有多大把握,并列出你的假设。

检查失败仪表板的操纵风险。

我们的仪表板显示[指标清单,例如变更失败率、紧急占比、回滚率、热修复率、返工率],
定义如下:[定义]。请对每项指标,列出数字在服务没有改善的情况下得到改善的可能方式,
以及每种的护栏。建议一个[团队规模]人的团队每季度可以运行的两项审计检查。不要编造
基准值或合规声明。列出你的假设。

AI 技能

  • 敏捷 ITIL 指标技能:用于查找哪个主题定义了相关的指标,比如前置时间或事件持续时间,以及应当放在失败率旁边的护栏。
  • 敏捷 ITIL 指标维护者技能:用于检查新增或编辑的失败指标是否说明了它的时钟、来源和操纵途径。

关键要点

  • 变更失败率的好坏取决于它的定义,所以写一份带有窗口、有解答的例子和指明单位的定义。
  • 通过事件记录中的必填字段,把每次失败关联到它的变更,并度量链接率。
  • 把回滚、热修复、向前修复和关联的事件一起统计,使团队无法靠切换路径来躲避这项指标。
  • 把紧急变更占比和返工读作关于计划和普通路径的信号,而不是分数。
  • 始终把失败显示在速度和恢复旁边,带计数和滚动窗口,并绝不给人排名。

参考文献与延伸阅读

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Feature toggle.
  8. Wikipedia, Rollback (data management).
  9. Wikipedia, Hotfix.
  10. Wikipedia, Rework.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, Regression testing.
  14. Wikipedia, Canary release.