发布与部署指标
部署代码和把它发布给用户,是风险各异的两个不同事件,所以要分别度量它们,依据书面规则统计每一个,并把频率、前置时间、批量大小和开关卫生放在一起阅读,而不是为任何单一的计数喝彩。
概述与动因
许多团队把"部署"和"发布"这两个词当作同一回事来用。它们不是,而这个差别是本主题最有用的思想。部署是把软件的某个版本放入某个环境(通常是生产环境)的行为,如软件部署一文所述。发布是一个变更对其预期用户变得可用的那一刻,发布管理的存在,就是为了管理这一决定。当两者同时发生时,一次部署就是一次发布,一个数字描述两者。当它们被分开时,团队可以频繁而安静地部署,并有意地发布。
这种分离之所以重要,是因为这两个事件承担不同的风险。部署承担技术风险:新构建可能无法启动、可能破坏某个依赖,或者可能需要回滚。发布承担业务和用户风险:变更可能让客户困惑,或者可能需要在约定的日期落地。把这两个事件耦合在一起的团队,同时接受两种风险,这把它们推向很少发布的大批量变更。把它们分开的团队,则以小步承担技术风险,以受控的步骤承担用户风险。
分离的主要工具是功能开关,也叫功能标志:配置中的一个开关,无需新的部署就能打开或关闭某种行为。相关的技术包括金丝雀发布,它先把变更暴露给一小部分流量;以及蓝绿部署,它保留两个生产环境并在它们之间切换流量。它们都让你回答两个独立的问题:新版本是否在安全地运行,以及谁应当在何时看到新的行为。
下列术语在本主题中反复出现。
- 发布是提供给用户的一个版本或一组变更。
- 部署是版本向某个环境的移动。ITIL 4 为此命名了一项实践,即部署管理。
- 暗启动是一次其新行为对用户处于关闭状态的部署。
- 渐进式推出是分阶段扩大暴露范围的发布,例如 1%、10%,然后是所有人。
- 批量是在一次部署或发布中一起发出的那组变更。批量大小是其中变更的数量,或变更的量。
- 发布前置时间是从规定的起点到变更对其用户可用的经过时间。你的团队要写下起点,因为有几个起点都很常用。
- 百分位数是指在所有观测值中,有规定比例落在其下方的值。发布前置时间的第 85 百分位数,是 85% 的发布都优于的那个数。
敏捷与 ITIL 的视角在这里汇合。遵循持续交付的敏捷团队,希望每个变更在任何时候都可以发布,并把发布视为与技术行为分开作出的业务决定。ITIL 从业者把发布管理、部署管理和变更赋能,看作计划、排程和控制变更进入线上使用的实践。当发布管理被理解为一份大事件的日历时,两种视角就发生冲突。当这项实践被理解为按需安全发布的能力,控制被构建进流水线和开关时,它们就契合了。
本主题不重复 DORA 研究项目五项交付表现度量的定义(见主题 2.8,DORA 指标),也不重复发布之后的失败和返工度量(见主题 4.4,变更失败与返工),或变更的数量和批准(见主题 4.3,变更赋能指标)。它补充这些主题留下的空白:如何把发布与部署区分开来统计,一个完成的变更在用户拿到之前要等多久,批量有多大,以及使分离成为可能的开关是否被保持整洁。
最后,发布和部署的计数是很诱人的、可放进领导层仪表板的数字,而古德哈特定律立刻适用(见主题 1.2,古德哈特定律与指标心理学)。当变更被拆成琐碎的碎片时,部署计数会上升。当标签被改变时,发布计数会上升。因此,下面的每项指标,都附有它被扭曲的方式,以及抓住这种扭曲的护栏。
关键原则
- 部署和发布是两个事件。凡架构允许之处,就分别度量它们,并明白说出它们仍是同一事件之处。
- 依据书面规则统计。当一个具名的环境收到一个具名的版本并成功时,部署才算数。当预期用户能够触及变更时,发布才算数。把规则写一次,并每次都以同样的方式应用。
- 描述服务,而不是人。计数属于服务及其团队,绝不属于个人。
- 度量等待,而不只是工作。发布前置时间往往包含数天等待窗口、批准或决定的时间。等待是改进通常所在之处。
- 小批量是杠杆。频率和大小是同一件事的两种视图。把每个计数与每次发布承载了多少变更的度量配对。
- 开关是有持有成本的库存。存活太久的开关会变成死代码和失败的来源,所以要像跟踪开关覆盖一样仔细地跟踪开关的年龄。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 部署频率 | 某项服务多频繁地收到一次成功的生产部署 | 该期间该服务的成功生产部署数 / 该期间的天数;部署到测试或预发布环境、失败或被回滚的部署,以及未变更构建的重新部署被排除;仅配置的部署计入单独的系列 | 每天或每周的部署数 | 部署流水线事件日志 | 部署管理 | 持续交付;交付一个可工作的增量 | 每周 |
| 发布频率 | 用户多频繁地收到他们能触及的变更 | 该期间的发布事件数 / 该期间的天数;发布事件是一个变更或一组变更对其预期用户变得可触及的那一刻(对所有用户打开的开关、渐进式推出的最后阶段,或没有开关的变更的部署);暗启动、停在部分阶段的推出,以及只影响内部用户的开关变更被排除 | 每周或每月的发布数 | 与流水线日志和发布日历关联的开关服务审计日志 | 发布管理 | 在每个增量结束时发布;提供一个潜在可交付的增量 | 每周,每月评审 |
| 发布前置时间 | 一个完成的变更在用户能触及之前要等多久 | 时钟在变更合并到主线并通过其自动检查时启动(或者,如果你的团队这样写,则在第一次提交时启动),在变更按上述定义被发布时停止;报告该期间已发布变更的中位数和第 85 百分位数;尚未发布的变更被排除,并报告为等待中的工作的年龄 | 小时或天 | 与流水线和开关审计日志关联的版本控制 | 发布管理;部署管理 | 从完成到交付的前置时间;到客户的前置时间 | 每周,每月评审 |
| 部署到发布的间隔 | 已部署的代码在用户能触及之前保持"暗"状态多久 | 时钟在变更被部署到生产环境时启动,在其被发布时停止;报告中位数和第 85 百分位数;在部署的那一刻就发布的变更间隔为零,并包括在内;部署后未经发布就被移除的变更被排除并单独计数 | 小时或天 | 与开关审计日志关联的流水线日志 | 发布管理;部署管理 | 暗启动;把部署与发布解耦 | 每月 |
| 发布批量大小 | 一次发布中一起发出多少变更 | 该期间每次发布合并的变更数(拉取请求或工作项)的中位数和第 85 百分位数;变更的单位被写下;每个变更只计一次,计入使其可触及的那次发布 | 每次发布的变更数 | 与发布事件关联的版本控制和问题跟踪器 | 发布管理;变更赋能 | 小批量;工作的垂直切片 | 每次发布,每月评审 |
| 功能开关覆盖率 | 在开关之后发布的用户可见变更占比 | 该期间发布时带有开关的用户可见变更数 / 该期间发布的全部用户可见变更数;基础设施变更和无法设开关的缺陷修复被排除,"用户可见"的规则被写下 | 百分比 | 与问题跟踪器和发布日志关联的开关服务 | 发布管理;变更赋能 | 渐进式交付;实验驱动的开发 | 每月 |
| 陈旧开关计数 | 有多少开关已超出其目的 | 在其所守护的变更触达所有用户之后,超过规定天数仍存在于代码或配置中的发布开关数;永久的运维开关(紧急关闭开关、权限开关)被标记并排除;每种开关类型的年限被写下 | 开关数,以及发布开关的年龄中位数(天) | 与代码搜索关联的开关服务清单 | 发布管理;知识管理 | 技术债务清理;移除开关的完成标准 | 每月 |
建议
写下什么算部署、什么算发布
在统计任何一个之前,先定义这两个事件。当一个具名的版本到达一个具名的环境且流水线报告成功时,部署才算数。当预期用户能够触及变更时,发布才算数,对带开关的变更,这是开关对他们打开的那一刻,而不是代码到达的那一刻。在同一个句子里说明排除项:测试环境、回滚、未变更构建的重新部署,以及仅内部的暴露。
并排报告两个系列
把部署频率和发布频率显示在同一张图上。两条线重合之处,服务仍然耦合着这两个事件。部署远远领先于发布之处,团队已开始将它们解耦,两条线之间的距离是这种能力的标志。单一的合并数字会隐藏这一点,并让团队宣称一个用户从未见到的高频率。
从规定的起点到用户来度量发布前置时间
一次选定时钟的起点,并保持不变。从第一次提交开始,显示完整的旅程;从合并到主线开始,则把发布流水线及其批准孤立出来。只要在图表上说明、且绝不悄悄更改,两者都可以接受。让时钟在发布时结束,而不是部署时,否则这项指标就不再度量用户所等待的东西。
在频率旁边跟踪批量大小
把每个频率与一个大小配对。团队可以通过把一个变更切成各自没有独立用处的片段来提高部署计数,计数上升,而真实的流动保持不变。批量大小的中位数和第 85 百分位数,显示这些切片是否真实。小批量更容易评审、测试和还原,这就是频率所代表的好处。
把渐进式推出的各阶段视为事件
为推出的每个阶段记录一个时间戳。从 1% 到 10% 再到所有人的推出,给出三个时间戳,每一个都是停止的机会。捕获阶段、暴露占比,以及允许进入下一阶段的健康检查的结果。这使你能把因真实信号而暂停的推出,与停滞的推出区分开。
保持带有负责人和到期日的开关清单
在创建时,给每个发布开关一位负责人、一个目的和一个计划移除日期。开关服务或一份简单的登记册可以保存这些信息。每月评审登记册并计算陈旧开关计数。在完全推出之后仍然打开的开关,是仍会分支的死代码。把移除视为该变更完成的一部分。
按类型给开关打标签
把临时的发布开关与永久的运维开关分开。紧急关闭开关和权限开关按设计是永久的,而发布开关应当在完全推出之后被移除。混合这两类会使陈旧计数嘈杂,并招致团队删除某人在事件期间需要的开关。在创建开关时要求填写类型。
把发布关联到事件和变更记录
在事件和变更上记录发布标识符。发布事件应当可以从事件工具中追溯,使事件的原因可以与被发布的变更关联起来,无论它是上周部署的,还是今天早上打开的。没有这个链接,不稳定性度量会把失败归因于部署日期,而漏掉由开关变更引起的失败。生产环境中的开关变更,在 ITIL 的意义上就是变更,应当对变更赋能可见,即使它们被预先授权为标准变更(见主题 4.3,变更赋能指标)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 部署频率 | 把一个变更拆成琐碎的部署;重新部署未变更的构建;统计部署到预发布;把仅配置的部署与主系列一起统计 | 发布批量大小以及带用户可见变更的部署占比;单独的配置系列;旁边显示变更失败率 |
| 发布频率 | 把部署重新标记为发布;把对内部员工打开的开关算作发布;为达到目标而发布空洞或表面的变更;把推出的每个阶段算作单独的发布 | 发布的书面定义;每季度对照用户可见变更检查发布样本;批量大小和面向客户的变更计数 |
| 发布前置时间 | 把时钟起点推迟,例如在批准而不是合并时开始;把等待很久的变更当作"被阻塞"排除;先发布一个琐碎的变更以拉低中位数;让时钟在部署时结束 | 第 85 百分位数和等待中最老变更的年龄;固定的书面起点;每季度评审最慢的 10% 变更 |
| 部署到发布的间隔 | 为一个象征性的用户打开开关以提前记录发布;把长期处于暗状态的代码称为"不是发布"而排除出样本;删除暗代码以避免长的间隔 | 发布时的暴露占比(什么算已发布的阈值);部署后未发布即被移除的变更计数;陈旧开关计数 |
| 发布批量大小 | 把工作拆成人为的拉取请求;把无关的变更合并为一个以减少发布数;只统计捆绑中的大变更 | 以行数或文件数计的变更大小中位数作为背景度量;评审发布样本中是否有无关捆绑;频率旁边显示大小 |
| 功能开关覆盖率 | 给琐碎的变更加开关以提高比率;只给安全的变更设开关,而让有风险的变更不带开关发出;创建一个实际上无法关闭的开关 | 对一份开关样本的关闭测试结果;陈旧开关计数;没有开关的事件原因 |
| 陈旧开关计数 | 把发布开关重新标记为永久以脱离陈旧计数;删除开关记录却把它留在代码里;不经评审就延长到期日期 | 对照登记册定期搜索代码;评审每一次开关类型的变更;最老发布开关的年龄 |
健康的读数显示:对使用开关的服务,部署领先于发布,间隔适度,批量小而稳定,前置时间的第 85 百分位数没有远高于中位数。有风险的变更开关覆盖率高,陈旧开关计数低或在下降。一个看上去太好的读数,比如高频率伴随着增长的批量,或陈旧计数为零而永久开关的计数不断膨胀,在任何庆祝之前都值得作一次样本审计。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 持续部署,按开关发布 | 每次部署的技术风险小;发布时机成为业务选择;快速关闭 | 需要开关纪律和工具;增加必须被测试和移除的代码路径 |
| 把部署和发布耦合 | 易于解释;只有一个事件要统计;没有开关债务 | 每次发布同时承担技术风险和用户风险,这鼓励很少发布的大批量 |
| 定期的发布列车 | 对支持团队和监管者可预测 | 变更要等下一班列车;计数反映的是日历,而不是能力 |
| 按百分比渐进式推出 | 限制糟糕发布的影响;在每个阶段产生证据 | 需要良好的遥测和健康检查;混合版本可能并行运行一段时间 |
| 同时统计部署和发布 | 显示解耦和等待 | 需要把开关审计日志或发布记录与流水线连接起来 |
暂时无法把部署与发布解耦的服务,例如通过应用商店审核分发的移动应用,应当度量它能度量的:发布频率、发布前置时间和批量大小,并把商店的审核时间作为单独的等待来报告。
与团队讨论的问题
1. 我们对同一个事件既说"部署"又说"发布"吗?这与实际发生的情况相符吗? 请三个人描述上一个上线的变更,并记下代码何时到达、用户何时首次可以使用。主持人应帮助小组为每个术语约定一个句子,并决定每个现有仪表板数字度量的是这两个事件中的哪一个。
2. 一个完成的变更为等待发布而等待的最长时间是多久?为什么? 找出用户仍无法触及的、最老的已合并变更。追溯它从合并到现在的路径,并写下沿途的每一次等待。
3. 如果我们的部署计数翻倍,我们在称之为好消息之前会检查什么? 邀请小组说出计数在没有更多价值到达用户的情况下上升的方式。看批量大小、带用户可见变更的部署占比,以及失败和返工的数字。主持人应注意其中哪些检查已经在仪表板上,哪些需要在任何人设定目标之前补上。
4. 我们的哪些开关是我们不敢删的?这说明了什么? 走一遍开关登记册,挑出最老的三个。问各自由谁负责,守护什么,移除后会发生什么。害怕删除,通常意味着缺少测试、缺少负责人,或缺少目的的记录。至少为其中一个约定移除日期,并约定使移除变得安全的检查。
5. 谁决定变更何时发布?他们有所需的信息吗? 在发布是业务选择之处,作决定的人需要看到推出的状态、健康信号和支持的就绪情况。问这些事实今天存放在哪里,决策者能多快还原一次发布。
6. 上个季度哪次发布最糟?哪项度量本可以警告我们? 选一次造成麻烦的发布,一起阅读时间线。问批量是否很大,间隔是否很长,推出是否有阶段,以及开关是否能限制损害。作为结果,挑一项要增加的度量或一个要收紧的阈值。
四种视角
产品与交付团队
交付团队用这些度量来观察他们的流水线和开关是否真的让他们控制了暴露。最有用的视图是间隔、批量大小和等待中最老变更的年龄,因为每一个都指向团队可以改变的东西。
服务与运维团队
运维和支持团队关心生产环境中改变了什么、何时改变的。发布事件和开关变更需要对他们可见,最好在每起事件上都带有发布标识符。分阶段的推出和快速关闭,减少了需要完全恢复的事件数,这些度量帮助运维团队要求那些使他们的工作更平静的控制。
领导层与治理
领导层应当要求每项服务的趋势和分布,以及一个简单问题的答案:一个完成的变更要多久才能到达用户,又有多安全。跨团队的部署频率目标招致拆分和重新标记,所以偏好针对成果的目标,比如前置时间的分布,以及消除已知的等待。只要开关审计轨迹完整,治理就可以通过预先授权低风险的带开关变更,来减轻发布批准的负担(见主题 4.3,变更赋能指标)。
客户与用户
客户看到的是发布,而不是部署。他们关心修复是否很快到来,新的行为是否不会让他们意外,以及糟糕的变更能否被迅速还原。把两个事件分开的团队,可以让客户提前使用某项功能,可以宣布一个能守住的日期,并可以回滚一项功能而不失去其余的。把这些度量与面向客户的度量配对(见主题 5.3,可用性指标,以及主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家地区在线零售商运营着一个商品搜索服务,由一个产品团队拥有,由一个平台团队和服务台支持。该服务通过流水线部署到生产环境,并有一个六个月前引入的开关服务。以下所有数字都是示意数字。
在上一个季度里,团队做了 52 次生产部署,约为每周四次。发布频率,按变更对所有预期用户变得可触及的时刻来统计,同一季度为 11 次,约为每周一次。从合并到发布的发布前置时间中位数为 9 天,第 85 百分位数为 21 天。部署到发布的间隔中位数为 6 天。发布批量大小中位数为 3 个变更,第 85 百分位数为 14 个。用户可见变更的开关覆盖率为 58%,有 17 个发布开关在完全推出之后已超过 30 天。
操纵风险已经显现。一些部署是仅配置的,而流水线把每一个都算作部署,所以仪表板现在显示一个单独的配置系列,月度评审抽取 10 次部署,检查是否有用户可见的变更。一位区域经理看到部署计数,要求团队把它提高到与另一个团队的数字持平。团队负责人抵制这个目标,转而把全套数字带到月度评审中。评审发现,间隔之所以长,是因为发布要等每周一次的市场与支持简报会,17 个陈旧开关中有四个守护着无人测试过的代码路径,而批量大小的第 85 百分位数,来自几次在假期冻结之前捆绑了无关变更的发布。
记录在决策日志中的决定有四个部分。支持和市场部门将参加一个更短的、每周两次的简报会,使发布决定不再等待每周一次的时段。每个发布开关都有负责人和移除日期,四个未经测试的陈旧开关在接下来两周内被移除。捆绑无关变更的发布,需要在发布记录中说明理由。团队拒绝了通用的部署目标,转而提供每项服务的发布前置时间分布和开关卫生的共享视图。变更经理同意把通过流水线检查的带开关变更视为标准变更,并在下个季度评审。在下一个季度(示意数字),发布前置时间中位数降到 5 天,陈旧开关计数降到 6,变更失败率保持稳定,所以实验继续进行。
行业视角
初创企业。初创企业往往只有一项服务,代码里有一个开关库,所以部署和发布可以低成本地分开。保留一份带到期日期的简单开关登记册,并在有足够的量之后再信任百分位数。
小型企业。小型企业可能运行打包或购买的软件,由供应商控制发布。有用的度量是供应商的发布与企业采用之间的时间,以及主要版本中一起到来的变更批量。记录供应商的发布日期和你自己的部署日期,使两者之间的等待可见。
大型企业。大型企业面对许多采用不同发布风格的服务、一个中央变更流程和共享的环境。主要工作是在团队和供应商之间就部署和发布的定义达成一致,并保持一个尊重差异的汇总。为治理使用分布和趋势,并把开关平台当作有负责人的共享服务。
政府与公共部门。发布往往与固定日期、立法、采购周期或保证关卡相联,所以发布频率可能因正当理由而较低。部署频率以及部署到发布的间隔,仍然可以显示有多少风险被提前承担,有多少在等待日期。把对外部关卡的等待,与团队自己的流水线时间分开报告。
商业论证:动机、投资回报与总拥有成本
这些度量的动机,是减少完成一个变更与交付其价值之间的风险和延迟。很少发布的大批量,每个事件承载更多变更,所以失败更难诊断,也更难还原。把部署与发布分开,给团队一种及早以少量承担技术风险、并有意地承担用户风险的办法。这些度量显示分离是否真实,以及变更在哪里等待。
成本适中。收集部署和发布事件,需要把流水线日志和开关审计日志与版本控制和问题跟踪器连接起来,这是一次性的集成,之后偶尔维护(见主题 1.5,数据来源与埋点)。开关实践本身有运行成本:平台或库、登记册、测试带开关变更的两条路径,以及清理过期的开关。主要的隐性成本是开关债务,陈旧开关计数让它保持可见。
回报遵循大多数团队能在自己数据中观察到的模式。更短的发布前置时间,意味着关于变更是否帮到用户的更快反馈回路。更小的批量,意味着更容易诊断,更容易还原。更短的部署到发布的间隔,意味着完成的工作闲置而未兑现的时间更少。不要编造价值的数字。使用团队自己关于变更暗放数周的例子,以及它自己度量的趋势。
反模式与陷阱
- 为每个团队设定部署频率目标。它招致拆分和重新标记。设定成果目标,比如更窄的前置时间分布,让频率随之而来。
- 把发布列车当作能力的证明。固定的日历给出稳定的计数,却隐藏了等待中的工作的年龄。跟踪用户无法触及的、最老的已合并变更的年龄。
- 在主系列中把配置变更算作部署。它夸大了数字。保留单独的系列,并显示在主系列旁边。
- 从不移除开关。代码积累死分支和未经测试的组合。给每个发布开关一位负责人和移除日期,并把移除视为完成的一部分。
- 在生产环境中改变开关而不留记录。开关变更是对生产行为的变更。把它送入审计日志,并使其对变更赋能可见。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | "部署"和"发布"交替使用;每个人的统计各异 | 少数团队写下自己的定义 | 指标登记册中有一份关于部署和发布的书面定义,附时钟和排除项 | 定义变更被记录并标在图表上;每季度检查样本 | 当定义不再为决定提供依据时,与供应商和治理机构共同修订 |
| 部署与发布的分离 | 每次部署都是发布 | 部分团队为有风险的变更使用开关或分阶段推出 | 开关和分阶段推出是标准选项,并记录发布事件 | 间隔、批量大小和推出阶段有趋势并被评审 | 为相关服务在团队和供应商之间协调发布时机 |
| 数据捕获 | 计数由工单和聊天手工汇集 | 部分服务有流水线数据;发布由手工记录 | 大多数服务自动捕获部署、发布和开关变更 | 度量并跟踪数据质量(链接率、样本审计) | 事件通过约定的接口在团队和供应商之间共享 |
| 开关卫生 | 没有清单 | 部分团队有非正式的清单 | 每个发布开关都在登记册中有负责人、类型和到期日 | 陈旧开关计数有趋势;移除是完成的一部分并受检查 | 开关平台作为共享服务管理,带自动到期提醒 |
| 数字的使用 | 作为单一计数向上汇报 | 团队偶尔看自己的图表 | 由所属团队每月连同失败和返工的数字一起评审 | 趋势为获得资助的改进提供依据,附护栏 | 分布和趋势为整个组织的平台投资和变更政策提供依据 |
检查清单
- "部署"和"发布"有书面定义,各附时钟事件和排除项。
- 生产部署自动从流水线捕获,测试环境被排除。
- 发布事件从开关审计日志、推出阶段或发布记录中捕获。
- 发布前置时间使用规定的时钟起点,并报告中位数和第 85 百分位数。
- 部署到发布的间隔和发布批量大小报告在频率旁边。
- 仅配置的部署出现在单独的系列中。
- 每个发布开关在登记册中都有负责人、类型和到期日。
- 每月评审陈旧开关,其移除是完成的一部分。
- 发布标识符出现在事件和变更记录上。
- 每季度对照定义审计一份部署和发布的样本。
- 有一个与最长等待相联的改进实验正在进行,并有评审日期。
AI 提示词
为一项服务起草部署和发布的定义。
我正在为[服务名称]定义发布和部署指标。我们的工具是[版本控制托管、CI/CD 系统、开关
服务、问题跟踪器、ITSM 工具]。我们的发布风格是[持续、每周列车、每月、商店审核,或
其他]。请针对部署频率、发布频率、发布前置时间、部署到发布的间隔、发布批量大小、
功能开关覆盖率和陈旧开关计数,起草一份定义,说明时钟在哪里启动和停止、统计什么
和排除什么、数据来源,以及一个需要解决的含糊之处。不要编造基准值,也不要声称我们
的实践与任何已发布的表现区间相符。列出你的假设,以及为完成这些定义我应当回答的
问题。
检查一组发布指标的操纵风险。
这是我们计算和报告发布及部署指标的方式:[每项指标、其数据来源及报告方式的描述]。
受众是[团队、领导层或治理机构],目标(如果有)是[目标或无]。请对每项指标,列出数字
在没有真正改善的情况下被夸大、隐藏或扭曲的可能方式,并建议一个能抓住它的配对护栏
指标或实践。不要编造统计数字。列出你的假设,以及为更精确所需的任何信息。
分析部署、发布和开关的导出数据。
我将粘贴一份小的导出数据,字段有:[字段清单,例如部署编号、部署时间、结果、变更
编号、开关名称、开关打开时间、暴露占比、发布时间]。它涵盖[服务名称]在[开始日期]
到[结束日期]之间的[数量]次部署和[数量]个开关。请计算发布前置时间以及部署到发布间隔
的中位数和第 85 百分位数、批量大小的分布,以及完全推出后超过[年限]天的开关清单,
并显示每项背后的计数。标出链接缺失或时间戳可疑的记录。不要超出数据进行外推,也不要
把结果与外部基准比较。列出你的假设,以及限制结论的数据质量问题。
规划开关清理与发布等待实验。
我们最长的发布等待是[等待的描述,附日期范围和计数],我们的开关登记册有[数量]个
发布开关,其中[数量]个已过到期日。约束条件是[约束,例如受监管的发布、商店审核、
共享测试环境]。请提出三个为期四到六周的小实验,每个附假设、观察效果的办法、一个
护栏指标和一项风险。不要编造预期的改善数字。列出你的假设,以及我们在开始之前应当
检查的事项。
AI 技能
- 敏捷 ITIL 指标技能:用于查找相关的变更、发布和事件主题,以及应当放在每项发布指标旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查本主题的修订版是否保持其时钟、操纵途径和交叉引用的一致。
关键要点
- 部署把一个版本放入某个环境,发布使一个变更对用户可触及。凡能做到之处,就分别度量两者。
- 发布前置时间应当在发布时结束,有规定的起点,并报告为中位数和第 85 百分位数。
- 部署到发布的间隔和批量大小,显示解耦是否真实,并保护频率免于拆分和重新标记。
- 功能开关使分离成为可能,也有成本,所以要用负责人和到期日来跟踪覆盖率和陈旧开关。
- 依据书面规则统计,把发布关联到事件和变更,并把一项服务与它自己的历史比较,而不是与其他团队比较。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Software deployment.
- Wikipedia, Release management.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.
- Wikipedia, Blue-green deployment.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.