变更失败与返工
把"失败的变更"以书面形式定义一次,把每次失败关联回导致它的变更,并把失败和返工与速度放在一起阅读,使数字变低意味着变更更安全,而绝不只是报告变少了。
概述与动因
对在线服务的每一次变更,都带有使事情变糟的某种可能。实际的问题是:这种情况多频繁地发生,它创造了多少计划外工作,以及团队恢复得多快。本主题涵盖回答这些问题的度量:失败变更的占比、需要走紧急路径的占比、回滚和热修复的比率,以及糟糕变更之后的返工。它还涵盖这个主题最不光鲜的部分,也就是就什么才算失败达成一致。
先说几个术语。在 ITIL 4 中,名为变更赋能的实践,涵盖对任何可能影响服务的东西的添加、修改或移除。因此,变更比一次代码部署更宽泛:它包括配置修改、证书续期、防火墙规则或数据库迁移。标准变更是预先授权且风险低的,常规变更要经过评估,紧急变更是紧急做出的,通常是为了恢复服务或堵住严重的漏洞。部署是把软件的某个版本放进某个环境的行为,而发布则是把一项能力提供给用户。使用功能开关的团队,可以部署代码而不发布它(见主题 4.5,发布与部署指标)。
变更失败是导致服务降级或需要补救的变更。补救有几种形态。回滚让系统返回先前的状态。热修复是在正常发布节奏之外应用的紧急补丁。向前修复是在坏掉的变更之上发布一个新的变更。返工是花在重做或修复本应已经完成的东西上的计划外工作量。在持续交付的环境中,小变更频繁地流向生产环境,这些度量是关于速度是否在消耗稳定性的主要证据。
这两种传统以不同的方式看待同一个事件。ITIL 的视角围绕变更记录组织:变更是否获得授权,是否成功,结果是否被记录?一个纸面上成功的变更,仍可能在一小时后造成事件。敏捷的视角围绕工作项和部署组织:团队的完成定义是否成立,变更是否很快造成了计划外工作?两种视角单独都不完整。DORA 项目背后的研究,把变更失败率和部署返工率视为吞吐度量旁边的两项"不稳定性"度量(见主题 2.8,DORA 指标,它在项目层面定义了它们)。本主题更深入地讲解机制:如何定义失败,如何把事件与变更关联起来,紧急工作如何统计,以及这些数字如何被操纵。
一条警告从一开始就适用。这些度量描述的是团队、服务或流水线。它们绝不描述一个人。附在某位工程师个人身上的变更失败率,会教会人们回避有风险而有价值的工作,把变更拆分到计数看起来不错为止,并停止上报问题(见主题 1.2,古德哈特定律与指标心理学)。古德哈特定律在这里咬得很重,因为"更少的失败",通过记录更少的失败就很容易实现。
事件的计时属于主题 3.3(事件响应与解决时间),最糟的事件属于主题 3.4(重大事件指标),批准流程和标准变更占比属于主题 4.3(变更赋能指标),根本原因属于主题 4.1(问题管理指标),书面评审属于主题 4.2(事后复盘与学习指标)。
关键原则
- 失败需要一份书面的定义。逐案决定的团队,产生的数字无法形成趋势或比较,而对定义的争论取代了对工作的争论。
- 失败必须可以追溯到它的变更。如果事件、回滚或热修复与导致它的变更之间没有记录在案的链接,失败率就是猜测。
- 统计每一条补救路径。回滚、热修复、向前修复和手工变通办法,是通往同一事件的四条路。只统计其中之一的度量,会奖励团队去选择另一条。
- 把失败与速度和恢复放在一起阅读。孤立的变更失败率,可以通过更少地变更来改善,而这很少是目标。把它与前置时间、部署频率和恢复时间配对。
- 小样本需要计数,而不只是百分比。一个月里有八个变更、一次失败的团队,失败率是 12.5%,这几乎说明不了什么,所以要显示计数并使用更长的窗口(见主题 1.6,服务指标的统计素养)。
- 紧急是一个信号,不是一种罪。稳定的、有解释的紧急变更占比是正常的。上升的占比通常指向上游的质量、计划或检测问题。
指标定义
失败和返工的度量,依赖于把变更记录、部署日志和事件工具连接起来。下面的每个定义都说明统计什么、排除什么,以及时钟在何处启动和停止。团队应当把这些定义复制到自己的指标登记册里,并附明确的理由进行调整。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 变更失败率 | 导致服务降级或需要补救的生产变更占比 | 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更数 / 该期间完成的全部生产变更数;窗口从变更完成时开始,在固定天数(例如 7 天)之后结束,写入指标登记册;仍在窗口之内的变更单独报告,并在窗口关闭之前从比率中排除 | 百分比 | 与事件工具和热修复清单关联的变更记录或部署日志 | 变更赋能;事件管理 | 完成的定义;逃逸缺陷 | 每月,按 90 天滚动窗口 |
| 紧急变更占比 | 通过紧急路径做出的变更占比 | 记录为紧急的变更数 / 该期间完成的全部变更数;紧急是指因紧迫而绕过或缩短了正常评估,预先授权的标准变更从两个计数中都排除 | 百分比 | 变更记录的类型字段 | 变更赋能 | 计划外工作和加急服务类别 | 每月 |
| 回滚率 | 被还原到先前版本的变更占比 | 在到达生产环境之后被还原的变更数 / 该期间全部生产变更数;在变更到达任何用户之前做出的回滚(例如金丝雀在第一步就被停止)单独统计 | 百分比 | 部署日志和发布工具 | 发布管理;部署管理 | 流水线和发布实践 | 每月 |
| 热修复率 | 在正常发布流程之外应用的紧急补丁的变更占比 | 被标记或分支为热修复的变更数 / 该期间全部生产变更数;分母包括热修复本身 | 百分比 | 版本控制的分支或标签及部署日志 | 变更赋能;事件管理 | 计划外工作;加急 | 每月 |
| 部署返工率 | 作为对较早部署中问题的计划外修复的部署占比 | 在同一失败窗口内,修复近期较早部署中的缺陷或失败的生产部署数 / 该期间全部生产部署数;来自路线图的计划内后续工作被排除 | 百分比 | 带"修复"链接或标签的部署日志,以及工作跟踪器 | 变更赋能;持续改进 | 返工;逃逸缺陷;失败需求 | 每月 |
| 变更到事件的链接率 | 记录了是否由变更造成、以及是哪个变更的已解决事件占比 | 带有已填写的"由变更引起"字段(是或否,为"是"时加上变更标识符)的事件数 / 该期间已解决的事件数;时钟在事件关闭时停止 | 百分比 | 事件工具和变更记录 | 事件管理;变更赋能 | 事件后评审;完成的定义 | 每月 |
| 失败定义的一致性 | 两位评审者对一份样本变更是否失败的一致程度 | 两位独立评审者依据书面定义得出相同失败结论的样本变更数 / 样本变更数;每季度随机抽取至少 20 个变更的样本 | 百分比 | 与指标登记册一起保存的样本评审表 | 持续改进;度量与报告 | 回顾会议 | 每季度 |
关于这张表的两点说明。失败率和返工率有重叠但不同:未经新部署而被还原的失败,计入失败率,不计入返工率。而且单位是变更或部署,不是事件,因为一个变更可以造成三起事件,一起事件也可能来自三个变更。
建议
在收集任何数据之前先写下失败的定义
就"失败"意味着什么达成一致,并把它放进指标登记册。一个可行的定义是:如果一个变更在完成之后的规定窗口内被回滚、需要热修复或向前修复,或与规定严重级别及以上的事件相关联,那么它就失败了。说明窗口(常见的是 7 天,正确的值取决于你的服务多快显露问题)、事件严重级别的阈值,以及在有争议的情况下由谁决定。写下至少五个有解答的例子,包括棘手的例子,比如在没有任何中断的情况下降低了性能的变更。每年重新审视定义,并连同理由记录变更,使趋势线在规则移动时可以被重新陈述。
在事件记录中把失败关联到变更
在事件记录中加一个必填字段:是否由变更引起,是或否,为"是"时填变更标识符。这个字段应当在解决期间填写,并在事件后评审中检查(见主题 4.2,事后复盘与学习指标)。把链接率作为独立的指标来跟踪。如果只有一半的事件带有该字段,失败率就以未知的量低估了真相,你应当在数字旁边说明这一点。在能做到之处自动化第一次猜测,例如列出受影响服务在事件开始前几小时内完成的变更,并由人来确认。
统计所有补救路径,而不只是一条
从若干信号定义一次失败。从部署工具中拉取回滚,从版本控制或发布日志中拉取热修复,从"修复"链接中拉取向前修复,从事件工具中拉取事件,然后按变更去重。只统计回滚的团队,会在转而向前修复的那天看到失败消失。也要把每条路径保留为单独的细分,因为这种构成讲述着一个故事:热修复多而回滚少,表明回滚很困难,这本身就值得修复。
把紧急变更占比当作一个问题,而不是分数
把紧急变更作为一个群体来评审,而不是作为目标。每个季度阅读所有紧急变更,并对原因分类:恢复服务、堵住漏洞、业务的迟到请求、漏掉的计划步骤,或对普通工作而言太慢的批准路径。最后两个是系统问题,应当通过改进标准路径来修复,使人们无需绕过它(见主题 4.3,变更赋能指标)。占比为零是可疑的,因为真正的紧急情况是会发生的。稳步上升的占比,值得开一条问题记录(见主题 4.1,问题管理指标)。
把返工度量为失败需求
把返工作为先前失败所产生的工作来跟踪。失败需求的思想来自服务设计:因为某件事没有一次做对而存在的需求。在交付的语言中,统计其唯一目的是纠正近期变更的部署和工作项。这直接连到计划内与计划外的划分(见主题 2.9,运维工作与计划外工作)。把用于返工的容量占比,用作与产品负责人交谈的起点,因为它把一个抽象的比率变成了关于接下来做什么的取舍。
报告带计数、分布和窗口的比率
在百分比旁边显示计数,并使用滚动窗口。对一个部署十次的团队,月度失败率是嘈杂的。使用 90 天的滚动窗口,显示比率背后的变更数和失败数,并给出不确定性的大致提示(见主题 1.6,服务指标的统计素养)。对恢复,显示从失败到恢复时间的中位数和第 85 百分位数,而不是平均值。当一项服务的变更很少时,用实际失败的清单来讲述故事,而不是用比率。
把失败与速度配对,使改善无法藏在任何一方
始终把变更失败率显示在前置时间和部署频率旁边。如果失败率下降,而部署频率也急剧下降、前置时间增长,团队可能是在合批变更,这提高了每个变更的风险。如果速度上升而失败率保持稳定,系统在变更上正变得更好。这种配对,是防止操纵、以及防止"部署更少意味着更安全"这种舒适信念的主要防御(见主题 2.8,DORA 指标)。
用这些数字改进变更本身
把失败数据变成工程实验。查看失败变更的共同特征:规模、一天中的时间、类型、参与的人数、是否触及共享组件,以及测试覆盖是否单薄。然后尝试一个小的、可逆的实验,比如更小的批量、针对风险区域的自动化回归测试、对下一个有风险变更的金丝雀发布,或把部署与发布分开的功能开关。在一个完整的窗口之后重新度量。目标是更好的变更,改善的指标只是证据。
在一个无责的论坛中共同评审这些指标
与做出变更的人一起,每月举行一次失败变更的评审。议程有三项:计数和趋势、选出两三个失败的变更作研究,以及一项带负责人的改进行动。使用无责的评审实践,使人们描述他们当时所知道的东西。把评审记录与指标一起发布。如果人们因为数字的使用方式而不愿上报失败,那就在改变任何其他事情之前先修复它(见主题 11.3,推行指标而不滋生恐惧)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 变更失败率 | 收窄失败窗口;不把事件关联到变更;把糟糕的变更归类为"服务请求"或"维护";向前修复并称之为新变更;把许多修改捆绑成一个变更,使一次失败覆盖它们 | 变更到事件的链接率;对照事件清单的季度样本审计;失败定义的一致性;旁边显示前置时间和部署频率 |
| 紧急变更占比 | 用虚假的风险评级让紧急工作走标准路径;把普通工作当作紧急以避开批准;把一个紧急变更拆成几个常规变更 | 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能指标) |
| 回滚率 | 向前修复以避免记录回滚;让坏掉的版本一直在线;把变更压在生产之外,使没有东西可还原 | 旁边显示热修复率和返工率;恢复时间的分布;对照部署日志的事件样本 |
| 热修复率 | 不给热修复打标签;通过正常分支推送;把热修复称为"一个小改进" | 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作) |
| 部署返工率 | 不把修复关联到原始部署;把修复标为"计划内";把修复与新功能捆绑 | 纠正性部署上必填的"修复"链接;对标为计划内的部署做抽样评审;旁边显示变更失败率 |
| 变更到事件的链接率 | 不检查就把字段填为"否";让字段默认为"否";批量关闭事件以提高百分比 | 在事件后评审中对"否"的答案做抽样检查;没有默认值;对样本的评审者评论 |
| 失败定义的一致性 | 为样本挑选容易的例子;评审者就是被度量的人;放宽定义使每个人都一致 | 由团队之外的人抽取的随机样本;有意包括边界案例;公布分歧并修复定义 |
健康的读数是这样的:失败率处于团队理解并能解释的范围内,链接率高到足以信任失败率,紧急变更很少且有解释,回滚和热修复短暂而经过演练。失败被迅速上报,并不加责备地讨论。一个不自然地低的失败率,伴随着低链接率、下降的部署频率和增长的批量,是警告,不是成功。把任何突然的改善,都当作先检查度量工具的提示(见主题 1.5,数据来源与埋点)。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 严格的、自动化的失败定义 | 一致、重复成本低、易于形成趋势 | 漏掉细微的降级;可能把良性的回滚算作失败 |
| 对每个变更作基于判断的评审 | 捕捉背景和严重程度 | 慢、主观、易受压力和漂移影响 |
| 长失败窗口(数周) | 捕捉延迟的失败 | 模糊因果;近期的变更还无法报告 |
| 统计所有补救路径 | 难以靠切换路径来操纵 | 需要小心地连接多个数据来源 |
以自动化的定义为基础,加上抽样的人工评审,并在构建其他任何东西之前,先改进变更与事件之间的连接。
与团队讨论的问题
1. 在这里,究竟什么算失败的变更?我们两个人会对同一个变更产生分歧吗? 取五个近期的变更,请每个人就它们是否失败投票。比较投票和理由。分歧显示书面定义在哪里单薄。就棘手的情形约定一条规则,比如没有中断的性能下降,并连同一个例子写下来。
2. 我们怎么知道哪些事件是由变更引起的? 问链接今天是如何记录的,谁来填。评审十起近期的事件,看有多少附有变更,又有多少应当附有。讨论该字段是否可选,是否默认为"否",以及谁来检查它。主持人应争取对记录作一项具体的改进,比如没有默认值的必填字段。
3. 我们使用哪些补救路径?它们都被统计了吗? 列出回滚、热修复、向前修复、手工变通办法,以及关闭功能开关。对每一种,问这个事件记录在哪里,是否进入失败率。注意那些不留痕迹的路径。讨论常会揭示,团队偏好的路径恰恰是度量看不见的那条。
4. 我们上一次紧急变更是什么时候?它本可以避免吗? 走一遍最近的三四个。问是什么使每一个变得紧急,更早时知道什么,以及更好的标准路径会是什么样子。把真正的紧急情况与迟到的发现和缓慢的批准分开。约定一项对普通路径的修复,以消除紧急的一个反复出现的原因。
5. 我们每周有多少时间花在修复近期的变更上? 用跟踪器而不是记忆,估计过去四周用于返工的容量占比。把估计与跟踪器比较。谈谈这个数字在计划内工作上的代价,以及产品负责人将如何使用它。挑一种失败模式和一个实验来减少它。
6. 如果我们的失败率下个季度减半,我们会相信吗? 想象那个头条,问还必须有什么是真的:链接率稳定、部署频率稳定、恢复迅速,并且没有新的"维护"类别。讨论团队已经做了其中哪些检查,缺少哪些。约定在庆祝之前,如何调查突然的改善。
四种视角
产品与交付团队
交付团队拥有这些变更,所以他们拥有失败的定义和修复。从工作出发:在评审中查看失败的变更,找到共同特征,并尝试更小的批量、更好的测试或开关。把返工作为看板的一部分来跟踪,使计划外的修复在计划内的工作旁边可见。把数字留给团队自己学习,并抵制分享个人层面的数据。如果一项指标展示给领导层,团队应当能够解释其中的每一个变更。
服务与运维团队
运维团队在事件队列中看到变更的后果,最适合维护事件与变更之间的链接。他们可以加上必填字段,在解决步骤中检查它,并把结果不带责备地反馈给交付团队。运维还拥有紧急路径,应当评审它的使用。与交付团队一起分享关于恢复路径的信息,并演练回滚,因为削减失败成本的最好办法,是让变更可逆成为共同的习惯(见主题 3.3,事件响应与解决时间)。
领导层与治理
领导层应当要求按服务的趋势、两类不稳定性度量与速度的并列,以及背后的改进实验。避免像"失败率低于 5%"这样的固定目标,它们招致重新定义,并避免在个人评估中使用这些数字。治理机构可以把数据用作更轻的批准路径是否安全的证据,方法是检查随着控制放松,失败和恢复是否保持稳定。紧急变更的上升趋势,是去查看计划和批准设计的信号,而不是责备值班工程师的信号。
客户与用户
客户不关心失败率。他们关心服务在一次更新之后是否会坏,以及多快恢复。失败数据支持诚实的沟通:对有风险的变更提前通知,变更造成麻烦时发出清晰的状态信息,以及可见的学习承诺。在用户依赖某项服务完成关键任务之处,提前与他们约定维护窗口和回滚期望(见主题 3.4,重大事件指标)。
实践:一个敏捷 ITIL 示例
一家地区医疗机构的 IT 部门运行着一个患者预约服务。一个七人的产品团队每周发布数次变更,一个五人的运维团队处理事件和变更流程。本示例中的所有数字都是示意数字。
在一个季度里,月度报告显示变更失败率为 4%,上一个季度为 11%。首席信息官很高兴。平台负责人并不信服,因为值班团队说他们的夜晚并没有改善。她请团队运行指标登记册中的样本审计。
审计随机抽取 30 个变更,两位评审者应用书面定义。30 个结论中他们在 24 个上一致,所以失败定义的一致性为 80%(示意数字)。然后他们把样本与事件清单比较。在该季度解决的 22 起事件中,只有 9 起带有"由变更引起"字段,链接率为 41%。手工阅读另外 13 起,评审者发现有 5 起开始于一次变更之后的一天之内。更正后的计数把失败率提高到约 9%,审计也发现了数字看起来不错的原因:一个新习惯,即把修复以"维护"的标签部署,而报告把它从分母和分子中都排除了。
操纵风险就是这个标签,而且没有人事先计划过。团队曾被告知失败令人担忧,而"维护"避开了一次谈话。团队作出三项决定。"由变更引起"字段变为必填且没有默认值,事件后评审会检查它。"维护"标签被退役,纠正性部署必须带有指向其所修复变更的链接,这为返工率提供输入。失败的定义被重写,附有六个有解答的例子,包括一个从未造成中断的慢查询回归。
下一个季度显示,重新陈述的失败率为 8%,链接率为 90%(示意数字)。领导层的报告现在在前置时间旁边显示计数、链接率和返工率,首席信息官不再引用单一的百分比。
行业视角
初创企业。变更小而频繁,团队往往对每次失败了然于胸。把定义保持在一段话,在部署工具中给回滚和热修复打标签,并在每周的回顾会议上评审失败。20 个变更上的失败率是嘈杂的,所以以失败清单为主要证据。风险在于随意:没有书面定义,比率会随着计数的人而变。
小型企业。同样的人部署、运维和支持,所以返工直接与计划内的工作竞争。在你已经使用的任何工具中记录失败,给事件记录加一个必填字段,并每季度评审紧急变更。避免仅为了改善数字而采用繁重的批准。一份共享的回滚检查清单,比变更委员会更有价值。
大型企业。众多团队、供应商和工具意味着众多定义。跨团队标准化失败的定义和链接字段,把它发布在指标目录中,并在汇总之前按服务计算比率。用抽样审计找出分歧,并把每个供应商的变更记录视为另一个质量各异的来源(见主题 1.5,数据来源与埋点)。小心汇总不要变成团队的排行榜。
政府与公共部门。变更记录服务于审计和问责,而回滚可能受到法规、采购或共享平台的约束。保留正式的记录,并把失败链接作为其一部分加入。向监督机构仔细解释这些数字,附上计数和背景,因为关键服务上的一次失败,可能引来不成比例的关注。用这些数据为低风险变更的更轻路径提供依据,并证明失败和恢复保持稳定。
商业论证:动机、投资回报与总拥有成本
动机是失败变更的成本:事件工作、返工、被延迟的路线图项目,以及用户信任的丧失。许多组织说不出自己有多少精力花在修复近期的变更上,而返工度量给出了第一个诚实的答案。还有一项间接的好处。能够显示变更是安全的团队,可以为更轻的批准辩护,这缩短了前置时间。DORA 研究报告了繁重的外部批准与较弱的交付表现之间的关联(见主题 4.3,变更赋能指标),而失败数据正是团队对照自己的历史检验这一主张的办法。
如果基础已经具备,收集的成本是适度的:事件记录中的一个必填字段、被标记的纠正性部署、三个数据来源的连接,以及月度评审。更大的成本是注意力,因为必须有人拥有定义、运行审计并据发现采取行动。在定义和链接可以手工运作之前,避免购买工具。
回报表现为更少的重复失败、更短的恢复、更少的计划外工作,以及与治理机构更好的交谈。不要承诺一个百分比。相反,估算你自己的基线:统计一个季度中与变更相关的返工和事件响应所花的小时数,按你通常的内部费率计价,并在改进之后比较。说明假设,并把结果报告为范围,而不是单一的数字。把它与项目的成本,以及关键服务上一次严重失败的成本相比较。
反模式与陷阱
- 为失败率设目标。它招致重新定义和隐藏失败。相反,为学习设目标,比如完成每一次评审并关闭每一项纠正行动,并观察比率的趋势。
- 按失败给团队或个人排名。它摧毁上报,并惩罚承担有风险而有价值工作的团队。把团队与它自己的过去比较,并讨论背景。
- 只把事件算作失败。被及早发现并回滚的失败会消失。包括每一条补救路径,并把事件当作若干信号之一。
- 把紧急变更视为坏事。压力导致伪装的紧急情况。评审它们的原因,并修复普通路径。
- 让事件链接默认为"否"。默认值产生一个讨好却错误的数字。让字段必填,并检查一份样本。
- 报告没有计数的比率。小样本摆动剧烈。显示计数和滚动窗口。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 失败的定义 | 由被问到的人逐案决定 | 部分团队写下定义;各团队不同 | 一份书面定义,附有解答的例子和说明的窗口 | 定义经抽样审计检验,并度量一致性 | 当定义不再为决定提供依据时,与供应商和客户一起修订 |
| 关联变更与事件 | 链接靠人记着,如果有的话 | 部分团队使用可选字段 | 必填字段且没有默认值,在事件后评审中检查 | 链接率有趋势并被评审,缺口得到处理 | 通过约定的接口,在团队和供应商之间共享链接 |
| 补救与紧急处理 | 回滚和热修复被临时处理且无记录 | 部分团队给回滚和热修复打标签 | 记录所有补救路径;写下紧急的检验标准 | 每季度评审紧急变更;演练回滚 | 恢复路径设计进服务,并在团队之间联合测试 |
| 在改进中的使用 | 数字在报告中被引用,没有跟进 | 在重大事件之后讨论失败 | 每月对失败变更作无责评审并产生行动 | 失败和返工与速度配对;实验被规划并获得资助 | 改进成为常规并在团队之间共享,学习被发布 |
检查清单
- 存在变更失败的书面定义,有说明的窗口和至少五个有解答的例子。
- 指标登记册中指明了统计单位(变更、部署或发布)。
- 事件记录有一个必填的"由变更引起"字段,没有默认值。
- 在部署或版本控制工具中给回滚、热修复和向前修复打标签。
- 纠正性部署带有指向其所修复变更的链接。
- 紧急变更有一个简短的书面检验标准,每个紧急变更都在规定天数内被评审。
- 比率总是带计数和滚动窗口显示,绝不是孤立的百分比。
- 变更失败率总是显示在前置时间、部署频率和恢复时间旁边。
- 每季度的样本审计检查失败结论和事件链接。
- 每月运行一次对失败变更的无责评审,每项行动都有负责人。
- 本主题中没有任何指标被用来给个人排名或评估个人。
AI 提示词
起草变更失败的书面定义。
我们运营[服务或产品类型],有[团队规模]人,发布频率为[频率,例如每周数次]。我们的
工具是[变更工具、部署工具、事件工具]。请起草一页纸的"失败变更"定义,说明统计单位
(变更、部署或发布)、失败窗口、计入的补救路径(回滚、热修复、向前修复、关联事件)
和排除项。包括[数量]个有解答的例子,包括边界案例。不要编造基准值或阈值;需要时请向我
询问。列出你的假设。
设计变更到事件的链接。
这是我们的事件记录模板:[字段]。这是我们的变更记录模板:[字段]。请建议如何记录哪个
变更导致了哪起事件,包括必填字段、允许的取值、由谁填写,以及评审应当如何检查它。
提出一种依据[可用数据,例如部署时间和服务名称]自动建议候选变更的办法。不要猜测我们
的工具是如何配置的。列出你的假设,以及我应当回答的问题。
分析一份失败变更清单中的模式。
下面是[期间]内的[数量]个失败变更,字段有:[字段清单,例如规模、类型、日期和时间、
服务、补救路径、恢复时间]。请找出模式和可能的促成因素,并建议最多[数量]个小的、可逆
的实验来减少失败。把分析保持在团队和服务层面,不要给个人排名。不要编造统计数字或
基准值。说明在样本量下你对每种模式有多大把握,并列出你的假设。
检查失败仪表板的操纵风险。
我们的仪表板显示[指标清单,例如变更失败率、紧急占比、回滚率、热修复率、返工率],
定义如下:[定义]。请对每项指标,列出数字在服务没有改善的情况下得到改善的可能方式,
以及每种的护栏。建议一个[团队规模]人的团队每季度可以运行的两项审计检查。不要编造
基准值或合规声明。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找哪个主题定义了相关的指标,比如前置时间或事件持续时间,以及应当放在失败率旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查新增或编辑的失败指标是否说明了它的时钟、来源和操纵途径。
关键要点
- 变更失败率的好坏取决于它的定义,所以写一份带有窗口、有解答的例子和指明单位的定义。
- 通过事件记录中的必填字段,把每次失败关联到它的变更,并度量链接率。
- 把回滚、热修复、向前修复和关联的事件一起统计,使团队无法靠切换路径来躲避这项指标。
- 把紧急变更占比和返工读作关于计划和普通路径的信号,而不是分数。
- 始终把失败显示在速度和恢复旁边,带计数和滚动窗口,并绝不给人排名。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Hotfix.
- Wikipedia, Rework.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.
- Wikipedia, Regression testing.
- Wikipedia, Canary release.