DORA 指标
DORA 指标描述一个团队的软件变更多快、多安全地到达生产环境,所以要把速度度量和稳定性度量放在一起读,由流水线和事件的事件数据计算它们,并用它们来引发关于交付系统的交谈,绝不用来给团队或个人排名。
概述与动因
DORA 指标来自 DevOps 研究与评估(DORA)的研究项目,这是一项长期的研究,探讨软件交付实践与团队和组织成果之间的关系。Nicole Forsgren、Jez Humble 和 Gene Kim 在 2018 年的《加速》一书中介绍了早期的发现,该项目此后在 Google Cloud 旗下持续进行,并发布年度报告。这项研究问的是,交付的哪些可度量方面能预测良好的成果,并最终确定了一小组软件交付绩效度量,可以由交付流水线和事件记录计算出来。
截至 2026 年 10 月,DORA 网站描述了五项软件交付绩效指标,分为两组。三项描述吞吐量,即变更移动得多快:变更前置时间、部署频率和失败部署的恢复时间。两项描述不稳定性,即一次发布多频繁地引来麻烦:变更失败率和部署返工率。早期的出版物描述的是四项指标,用"服务恢复时间"取代失败部署的恢复时间,且没有返工率。这些年定义不断被完善,所以要始终说明你遵循的是指导的哪个版本,以及你上次查阅它的日期。
使这些指标出名的研究发现是:在各团队之间,速度和稳定性往往一起变化。部署频繁、前置时间短的团队,平均而言并没有以更多的失败为代价。这推翻了"更快意味着出更多问题"的旧假设。这是调查和流水线数据中的一种模式,而不是定律,对于投资于持续交付、小批量、自动化测试和快速反馈等实践的团队成立。这些指标是那些底层能力的信号。它们不是能力本身。
下面的术语在本主题中反复出现。
- 部署(deployment)是把软件的某个版本放入给定环境的行为。除非另有说明,本主题指的是生产环境。
- 变更(change)是对软件所作的一组修改,通常是一起发布的一个或多个提交。在 ITIL 4 中这个词的含义更广,涵盖可能影响服务的任何增加、修改或移除,管辖它的 ITIL 实践是变更赋能。
- 失败部署是在生产环境中导致服务降级或中断并需要补救的部署,例如热修复、回滚或补丁。你的团队要把确切的规则写下来,因为研究将其留给本地定义。
- 回滚是把生产环境恢复到上一个已知良好版本的行为。
- 百分位数是某个说明的占比的观测值落在其下的值。前置时间的第 85 百分位数,是 85% 的变更都能优于的那个数。
敏捷与 ITIL 的视角在这块地上交汇。敏捷团队把这些数字视为对其工程实践和工作约定的反馈。ITIL 从业者把它们视为变更赋能、发布管理、部署管理和事件管理的成果证据。紧张关系通常在于控制。传统的变更批准委员会试图通过在每个变更发布之前检查它来减少失败。DORA 的研究发现,繁重的外部批准与更好的稳定性无关,而同行评审、自动化测试和小变更则有关。在 ITIL 4 中,变更赋能通过区分标准变更、正常变更和紧急变更,并允许低风险变更预先授权,对此作出了安排(见主题 4.3,变更赋能指标)。
这些指标也有研究自己所说明的局限,本主题中的实用建议建立在这些局限之上。它们描述的是一个应用或服务的交付系统,是为改进交谈而设的,对所交付的工作是否有价值则只字未提。一个团队可以在交付错误东西的同时,取得出色的数字。出于这个原因,本主题与流动度量(见主题 2.1,流动度量)、服务可靠性度量(见主题 5.2,SLI、SLO 与错误预算)和成果度量(见主题 1.3,结果优先于产出:选择衡量什么)并列,而不是凌驾其上。
最后,这些指标一出现在领导层的仪表板上,就会招来古德哈特定律。部署频率最容易虚增,失败的部署数最容易隐藏。因此,下面的每条建议都把一项度量与对其如何被扭曲的检查配对(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 由事件计算,不靠记忆。部署来自流水线,失败和恢复来自事件记录,前置时间来自与流水线相连的版本控制(见主题 1.5,数据来源与埋点)。
- 把速度和稳定性读成一幅图。一个失败在上升的快速团队,或一个每季度才发布一次的稳定团队,告诉你的东西是任何一半单独显示不出的。
- 度量一项服务或应用,而不是一个人。分析的单位是交付系统。个人不会独自部署,给他们排名会毁掉数据。
- 把团队与它自己的过去比较,而不是与别的团队比较。支付服务、数据平台和移动应用的背景截然不同,研究本身就警告不要把这些指标用作排行榜。
- 对时间使用分布。前置时间和恢复时间有长尾,所以报告中位数和一个高百分位数(见主题 1.6,服务指标的统计素养)。
- 把这些指标当作症状。当一个数字变化时,在它之下的能力中寻找原因,例如批量大小、测试自动化、评审实践和架构,然后运行实验。
- 把定义写下来。失败、部署和"工作的开始"都是判断。记录所作的选择并保持稳定,使趋势有意义。
指标定义
下面五项指标遵循截至 2026 年 10 月的 DORA 指导。公式说明了你的团队应当写下的时钟和排除项。在研究把边界留空之处,表中给出了合理的默认值,建议部分解释这一选择。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 变更前置时间 | 已提交的变更到达生产环境的时间 | 时钟在变更的首次提交时启动(或在其合并到主分支时,如果定义中这样说明),在对生产环境的部署成功完成时停止;报告该期间已部署变更的中位数和第 85 百分位数;从未部署的变更被排除,并作为在制工作单独报告 | 小时或天 | 与部署流水线相连的版本控制 | 部署管理;发布管理;变更赋能 | 周期时间;到生产环境的前置时间 | 每周或每次发布,每月评审 |
| 部署频率 | 团队多频繁地部署到生产环境 | 该期间应用的成功生产部署次数 / 期间的天数;失败或被回滚的部署不计入成功数;对测试环境的部署被排除 | 每天或每周的部署次数 | 部署流水线事件日志 | 部署管理;发布管理 | 持续交付;在每个增量结束时发布 | 每周 |
| 失败部署的恢复时间 | 当一次部署导致生产失败时,恢复所需的时间 | 时钟在检测到或报告失败时启动(每次规则相同),在用户的服务得到恢复时停止;报告该期间失败部署的中位数和第 85 百分位数;并非由部署引起的事件被排除 | 分钟或小时 | 与部署事件和监控告警相连的事件记录 | 事件管理;服务连续性管理 | 恢复时间;恢复工作 | 每次失败,每月评审 |
| 变更失败率 | 导致需要补救的失败的生产部署所占比例 | 需要热修复、回滚、补丁或事件响应的部署次数 / 该期间全部生产部署次数;把失败与其部署联系起来的规则被写下,并每次以同样方式应用 | 百分比 | 与事件、回滚和热修复部署相连的部署事件 | 变更赋能;事件管理 | 完成的定义;逃逸缺陷 | 每月 |
| 部署返工率 | 计划外并为修复面向用户的问题而进行的生产部署所占比例 | 为应对生产问题而进行的计划外部署次数 / 该期间全部生产部署次数;碰巧包含修复的计划内部署被排除;"计划外"的规则被写下 | 百分比 | 按部署原因打标签、并与事件或缺陷记录相联的流水线日志 | 变更赋能;问题管理 | 计划外工作;计划之外发布的缺陷修复 | 每月 |
对表的两点说明。第一,变更失败率和部署返工率有重叠,但并不相同:团队注意到并回滚、没有任何新部署的失败,计入变更失败率而不计入返工率,而团队排定的计划内修复则两者都不计。第二,研究把部署作为单位,并按应用计数,所以拥有五十项服务的平台有五十组数字,而不是一组。
建议
从定义和时钟开始
1. 在画图表之前,为每项指标写一页定义。说明什么算部署,哪个环境是生产,前置时间的时钟从哪里开始,以及如何把失败与部署联系起来。把这一页放入指标登记册(见主题 1.4,指标治理与归属)。只存在于某个人脑子里的定义,会在工具或团队第一次变化时漂移。
2. 选定一个前置时间起点并坚持。最常见的选择是变更的首次提交、合并到主分支,以及工单的创建。首次提交度量的是交付系统,而忽略工作在待办列表里搁置的时间。以工单为起点度量了客户更多的等待,却混进了优先级排序(见主题 2.2,前置时间、周期时间与流动效率)。始终使用一个,并在每张图表中说明是哪一个。
3. 用明确的规则归因失败。例如,当一起事件在部署后的规定窗口内打开、且其原因分析指向该变更,或者回滚或热修复被标记到它名下时,这次失败就归属于该部署。选一条人们无需争论就能应用的规则,每季度评审一批案例样本,并让规则保持足够长时间不变,以便看出趋势。
从流水线埋点
4. 部署事件取自流水线,而不是电子表格。CI/CD 系统记录每次生产部署的时间戳、版本和结果,无需人工录入,就给了你部署频率和前置时间时钟的终点。手工录入的计数滞后且不一致,还会招致主题 1.5(数据来源与埋点)所述的补录问题。DORA 团队的开源 Four Keys 项目是收集这些事件的一个实例,不过任何你自己的等效流水线都行。
5. 把事件记录与部署相连。失败和恢复度量需要两个来源:部署日志和事件工具。在事件记录中增加一个"由部署引起"的字段以及部署标识符,在处理期间填写,并在事件后评审中核对(见主题 4.2,事后复盘与学习指标)。没有这层连接,变更失败率就成了猜测。
6. 为每次部署标记原因。返工率需要把计划内部署与计划外修复区分开。流水线运行上的一个简单标签,例如"计划变更"或"生产问题修复",就够了。保持标签清单简短,使人们在压力下不必思考。
诚实地报告数字
7. 报告分布和计数,而不是单个平均值。展示前置时间和恢复时间的中位数和第 85 百分位数,并附上各自背后的观测数。一周只有两次部署和一次失败,其 50% 的变更失败率意义甚微,所以在百分比旁边显示计数,并对比率偏好更长的窗口(见主题 1.6,服务指标的统计素养)。
8. 把吞吐量组和不稳定性组并排显示。把三项吞吐量指标和两项不稳定性指标放在一个视图里,按服务,并带有至少一个季度的趋势。绝不要发布不带失败度量的部署频率。如果领导要一个数字,解释说没有单一的 DORA 分数,并提供两组视图作为替代。
9. 让比较保持在团队自己的历史之内。把中位数前置时间从九天降到五天的团队,学到了东西。把它与架构、监管负担或发布列车都不同的另一个团队排名,证明不了什么,还会教两个团队都去保护自己的数字。当为治理而必须汇总时,展示各服务之间的分布和改进趋势,而不是排行榜(见主题 1.2,古德哈特定律与指标心理学)。
改进这些数字所描述的系统
10. 先减小批量。小变更缩短前置时间,使失败更容易诊断,并降低回滚的成本。技术包括功能开关、主干式工作,以及拆分工作使每个增量可以单独发布(见主题 2.7,拉取请求与代码评审指标)。在前置时间旁边跟踪变更大小的中位数,这样你可以看到批量是否真的在缩小。
11. 投资于快速检测和快速回退。当团队能在几分钟内看到失败,并能不经新构建就回滚或关闭一项变更时,恢复时间就会下降。金丝雀发布、功能开关和自动回滚,各自缩短了失败与恢复之间的间隔。单独度量从部署到检测的时间,因为缓慢的检测隐藏在恢复时间数字之中(见主题 3.3,事件响应与解决时间)。
12. 用这些数字选择一项要改进的能力。挑一项薄弱的指标,问它为何薄弱,并从研究的能力清单中选择一项针对原因的实践,例如测试自动化、松耦合架构或轻量的变更批准。运行这一变更一个季度,并看趋势。把实验与一个回顾话题配对,使团队拥有这项改进(见主题 9.5,持续改进指标)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 变更前置时间 | 把时钟的起点往后挪,例如从合并而不是首次提交起算;过早合并到长期存在的分支;把难做的变更作为"不是代码"排除;让琐碎的变更通过流水线以拉低中位数 | 在制工作的百分位数和年龄;固定书面的时钟起点;每季度抽查最慢的 10% 变更;变更大小分布 |
| 部署频率 | 把一个变更拆成许多琐碎的部署;重新部署未改变的构建;统计对预发环境的部署或空配置变更 | 每次部署的变更大小;包含用户可见变更的部署占比;它旁边的变更失败率和返工率 |
| 失败部署的恢复时间 | 让时钟晚启动或过早关闭事件;在部分修复后把失败重新归类为新事件;提高"失败"的严重性门槛 | 同一事件在规定窗口内的复发;时钟起点取自监控告警;客户报告的影响持续时间 |
| 变更失败率 | 不把事件与部署联系起来;只统计导致完全中断的失败;放宽窗口使失败落在窗口之外;向前修复并称其为新变更 | 每季度对照部署日志评审一批事件样本;跟踪记录了部署链接的事件占比;部署返工率 |
| 部署返工率 | 把修复标为计划内工作;把修复捆绑进计划好的发布;通过推迟修复来避免修复部署 | 来自跟踪系统的缺陷和逃逸缺陷计数;未关闭生产缺陷的年龄;对部署样本的标签审计 |
健康的读数显示:前置时间和恢复时间在缩短或稳定在低位,部署频率稳定或随着小变更而上升,失败率和返工率持平或下降,计数大到值得信任。可疑的读数包括:部署频率突然跳升而工作没有变化,失败率在一个月内降到零,以及恢复时间下降而客户抱怨不变。每一种都要求在庆祝之前先去检查仪器。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 按服务使用全部五项 DORA 指标 | 基于研究,平衡速度与稳定性,由客观事件计算 | 需要能干净连接的流水线和事件记录;对工作是否有价值只字不提 |
| 只报告部署频率和前置时间 | 易于从流水线收集 | 只奖励速度,招致稳定性度量所能发现的那种操纵 |
| 每个团队使用本地定义 | 贴合团队的架构和发布风格 | 团队之间无法比较,汇总不可靠 |
| 使用一个全组织统一的定义 | 报告一致;治理简单 | 对某些系统不太合适,例如带批处理窗口的大型机或受监管的发布 |
| 把团队与已发表的绩效区间比较 | 让领导层快速了解所处位置 | 忽略背景,而且研究警告这些区间不是对每个团队的目标 |
| 把指标用于团队自我改进 | 建立所有权;支持诚实的数据 | 对想要单一分数的领导层来说不够安心 |
核心的张力在可比性与诚实之间。一个数字越是被用来评判团队,数据就弯曲得越厉害,对拥有它的团队的帮助也越小。首先用这些指标支持改进,接受不完美的可比性,并让领导层面的视图只限于趋势和分布。在受监管的报告需要标准定义之处,记录下来,并让团队层面的改进视图保持独立。
与团队讨论的问题
1. 我们的五个 DORA 数字中,哪些来自事件,哪些来自某个人的回忆? 把每项指标追溯到它的来源。记下人工敲入日期或决定某事是否算失败之处。主持人应帮助小组按对数字可能造成扭曲的程度给手工步骤排序,并约定先自动化哪一个。
2. 我们的前置时间时钟究竟从哪里开始、在哪里停止?大家一致吗? 请三个人描述上一个发布的变更的时钟起点和终点。比较答案。差异通常出现在首次提交、合并、工单和批准步骤周围。约定一个定义并写下来,并讨论所选的定义隐藏了哪些等待时间。
3. 对我们来说,什么算失败的部署?谁来决定? 过一遍最近五起生产事件,问每一起是否属于某次部署。分歧显示规则在哪里不清楚。讨论用配置变更、回滚或快速补丁修复的失败会怎样,并决定各自如何记录。
4. 如果下个季度部署频率翻倍,在称其为好消息之前我们会检查什么? 请小组说出这个数字可能在不交付更多价值的情况下上升的方式。查看变更大小、含用户可见变更的部署占比,以及失败率和返工率。主持人应记下仪表板上已有哪些检查、哪些需要增加。
5. 团队之外的人如何使用这些数字? 问谁看到它们、以什么形式,以及他们拿它们做什么。留意与其他团队的比较、来自外部的目标,以及在个人考核中的使用。讨论团队在信任自己的数据之前,需要看到这种使用发生什么改变,以及谁有立场作出改变。
6. 哪一项能力最能改进我们最薄弱的数字?有什么小实验可以试? 选最薄弱的指标,谈谈它可能的原因,例如大批量、缓慢的评审、不稳定的测试,或手工的发布步骤。选一个原因,设计一个为期四到六周、有办法观察效果的实验。约定评审结果的日期以及谁来带数据。
四种视角
产品与交付团队
交付团队拥有驱动这些数字的能力:小变更、自动化测试、快速的流水线,以及互相评审工作的习惯。他们应当把这些指标用作自己工程实践的一面镜子,设定自己的改进目标,并抵制向上报告单一数字的压力。他们还决定定义,所以肩负让它们保持诚实的责任(见主题 2.7,拉取请求与代码评审指标)。
服务与运维团队
运维团队持有失败和恢复度量所依赖的事件记录。他们通过给事件标记导致它们的部署、提供能快速检测失败的监控,以及参加每次失败部署的评审,来帮助交付团队。他们应当留意,交付的速度没有换来他们以值班负荷吸收的不稳定(见主题 5.7,琐务与值班指标),并要求能缩短恢复时间的回滚和检测投资。
领导层与治理
领导层应当要求看各服务的趋势和分布、两组指标放在一起,以及它们背后的改进实验。他们应避免把数字锁死的目标,例如"每日部署",也应避免在个人考核中使用这些指标。治理机构可以把这些数字用作较轻量的变更批准路径是安全的证据,或作为重新考虑它的理由,办法是显示随着流程的变化稳定性是否保持稳定(见主题 4.4,变更失败与返工)。
客户与用户
客户很少关心部署次数。他们关心的是修复或功能多快到达他们,一次发布多么罕见地弄坏他们所依赖的东西,以及一旦弄坏时服务多快恢复。把 DORA 指标用作这些成果可能出现的内部证据,并以面向客户的度量作为补充,例如可用性和满意度(见主题 5.3,可用性指标,以及主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运行着一个结账服务,由一个产品团队拥有,由一个平台团队和服务台支持。下面所有数字都是示意数字。
团队大约每周向生产环境部署两次,前置时间(从首次提交到生产)中位数 11 天,第 85 百分位数 26 天。上一个季度,24 次部署中有 6 次(25%,示意数字)之后紧接着回滚或事件。这些失败的恢复时间中位数为 3 小时。变更批准委员会每周开会,评审结账服务的每一项变更。
团队提出一项计划。它将拆分大的变更,在流水线中增加自动检查,把新行为放在功能开关之后,并请委员会把通过检查的低风险变更作为标准变更预先授权。变更经理心存戒备,所以团队同意每月报告全部五项指标,并在失败率连续两个月上升时停止这项实验。
一个季度之后,数字(示意数字)是每月 19 次部署,前置时间中位数 3 天、第 85 百分位数 8 天,变更失败率 8%,恢复时间中位数 40 分钟,返工率 5%。团队很高兴,一位区域经理要求把结账团队的部署频率与其他产品团队比较,并设定一个共同目标。
团队负责人把返工和失败的明细带到评审会上,并注意到一个操纵风险。部署频率受益于流水线所统计的一些微小的配置部署,而变更大小的中位数缩小得比实际工作更快。更糟的是,上个月有两起事件是通过一项配置变更修复的,流水线把它记为标有"计划内"的正常部署,所以返工率被低估了。变更失败率之所以好看,部分是因为这两起事件没有与其原始部署相联。
记录在决定日志中的决定有四个部分。仅配置的部署被单独计数,并显示在主要数字旁边。部署原因标签每月对 10 次部署的样本进行审计。当原因是一项变更时,事件工具现在要求填写部署标识符。团队婉拒了共同的部署频率目标,转而提供一个共享视图,显示每项服务的趋势及其失败率。变更经理同意保留对标准变更的预先授权,并在下个季度末评审。
行业视角
初创企业。小团队常常每天部署许多次,事件记录单薄,所以部署频率和前置时间容易取得,失败数据却残缺。先从在流水线中标记每一次回滚和热修复开始,并保留一份带部署标识符的简单事件日志。不要因为频率高就相信稳定性没问题而不去检查失败率。
小型企业。托管平台或外包开发者可能只每月部署一次,工具很少。手工统计几个月,请供应商书面提供部署和事件日期,并聚焦前置时间和失败率。用这些数字来决定持续交付的更小变更是否能降低风险,而不是去追逐某个区间。
大型企业。众多团队、几种发布风格,以及新旧系统的混合,使一致的定义变得困难。为每项指标约定一个共同的最低定义,公布它,并允许团队附理由增加更严格的本地定义。通过展示各服务的分布和趋势而不是平均值来汇总,并让团队层面的细节只对所属团队及其支持小组可见。
政府与公共部门。发布窗口、审计规则和采购合同塑造了可能性,有些系统由供应商运行。在合同中写入交付和事件数据的权利,使指标可以被计算。把这些数字用作现代化项目在缩短前置时间而不提高失败率的证据,并把全部指标一起报告,使结果不被挑选(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
动机是缩短从想法到使用之间的时间,同时保持生产环境稳定。这个项目的成本有三部分:埋点(流水线事件、部署标签和事件连接)、评审例行工作(每月看一次趋势,每季度抽查失败和返工案例),以及这些数字所指向的改进工作,例如测试自动化或更快的流水线。前两者是适度的。第三者才是真正的开支所在,而且花在工程能力上,而不是度量上。
回报来自这些数字使之更容易作出的决定。团队可以向变更委员会证明小变更是安全的,从而取消一个批准步骤。平台组可以看到哪些服务的流水线缓慢或回滚欠佳,并据此投放自己的投资。运维团队可以根据数据争取更好的检测工具。请通过你自己能观察的模式来描述回报,比如从提交到生产的时间、需要修复的发布占比,以及一次变更前后每次发布的值班负荷。避免引用其他组织的基准数字作为预期回报,因为你的背景会不同。总拥有成本以人的时间为主,所以保持指标集合小,并让它的收集自动化(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 把这些指标当作个人的绩效记分牌。这破坏了研究的基础并腐蚀数据。只在服务和团队层面报告。
- 设定"每日部署"或"前置时间在一天以内"这样的目标。目标取代了目的。设定改进的方向和一个实验,让数字保持为信号。
- 将团队相互排名,或与已发表的区间排名。背景不同,操纵随之而来。把团队与它自己的趋势比较,把区间只用作宽松的参照。
- 只报告速度而不报告稳定性。配对才是关键。始终把吞吐量组和不稳定性组一起显示。
- 任由定义漂移。失败、部署和前置时间起点会随工具悄悄改变。记录对定义的每次变更及其理由,并在图表上标出。
- 统计任何东西的部署。配置推送、测试环境发布和同一构建的重新部署会虚增计数。定义什么是生产部署,并把其他种类单独展示。
- 忽视交付的是什么。强劲的数字可能隐藏着无关紧要的工作。把它们与流动和成果度量一起阅读(见主题 2.9,运维工作与计划外工作)。
- 追逐指标而不是能力。当批量缩小、测试变快时,前置时间下降得最可靠。改进实践,让数字随之而来。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 每个人对部署和失败的定义不同 | 少数团队把定义文档化 | 指标登记册中每项指标一份书面定义,含时钟和排除项 | 定义变更被记录并在图表上标出;每季度抽查样本 | 在不再为决定提供依据时,与供应商和治理机构共同修订定义 |
| 数据捕获 | 靠工单手工拼凑计数 | 部分服务有流水线数据;事件手工关联 | 大多数服务自动捕获部署、原因和事件关联 | 度量并跟踪数据质量(关联率、标签审计)趋势 | 事件通过约定的接口在团队和供应商之间共享 |
| 数字的使用 | 作为单一分数向上汇报 | 团队偶尔看自己的图表 | 所属团队每月一起评审吞吐量组和不稳定性组 | 趋势为带护栏的、获得资助的改进实验提供依据 | 分布和趋势为跨组织的平台投资和变更政策提供依据 |
| 防范操纵的护栏 | 无 | 非正式的意识 | 为每项指标列出配对的护栏 | 评审护栏和样本,记录操纵案例 | 随团队和工具的变化持续调整护栏 |
检查清单
- 五项指标已书面定义,含时钟、排除项,以及所遵循的 DORA 指导的日期和版本。
- 流水线记录生产部署,附时间戳、版本和结果。
- 前置时间的起点(首次提交、合并或其他)已说明并一致应用。
- 事件带有一个字段,说明导致它们的部署,在处理期间填写。
- 每次部署带有原因标签,每月审计样本。
- 时间以中位数和一个高百分位数报告,并附计数。
- 每项服务的吞吐量和不稳定性指标一起展示。
- 在部署频率和前置时间旁边跟踪变更大小。
- 这些数字不用于个人考核或给团队排名。
- 有具名负责人每月评审指标,并记录对定义的任何变更。
- 一项与最薄弱指标相联的改进实验正在运行,并设有评审日期。
AI 提示词
为五项指标写一页定义集。
我正在为[服务或应用名称]定义 DORA 软件交付指标。我们的工具有[版本控制托管方、
CI/CD 系统、事件工具、ITSM 工具]。我们的发布风格是[持续、每周、每月或其他]。请
为变更前置时间、部署频率、失败部署的恢复时间、变更失败率和部署返工率各起草一份
定义:时钟从哪里开始和停止,什么被计入和排除,数据来源,以及一个含糊之处的风险。
不要编造基准值,也不要声称我们的实践符合任何已发表的绩效区间。列出你的假设,以及
我应当回答哪些问题才能完成这些定义。
检查一组指标的操纵风险。
这是我们目前计算交付指标的方式:[每项指标的描述、数据来源以及报告方式]。受众是
[团队、领导层或治理机构]。请针对每项指标,列出这个数字在没有真实改进的情况下被
虚增、隐藏或扭曲的合理方式,并建议一个能发现它的配对护栏指标或实践。不要编造
统计数据。列出你的假设,以及你需要哪些信息才能更精确。
分析部署和事件的数据导出。
我将粘贴一份小的导出数据,含[数量]次生产部署和[数量]起事件,字段有:[字段清单,
例如部署 id、时间戳、结果、原因标签、事件 id、打开时间、解决时间、部署链接]。请
计算恢复时间的中位数和第 85 百分位数、变更失败率和返工率,并显示每项背后的计数。
标出缺少链接或时间戳可疑的记录。不要超出数据进行外推,也不要将结果与外部基准
比较。列出你的假设,以及限制结论的数据质量问题。
规划一项改进实验。
我们最薄弱的交付指标是[指标名称],当前为[所报告的值,附日期范围和计数]。团队讨论
过的可能原因有[清单]。我们的约束有[约束,例如受监管的发布、共享测试环境]。请
提出三项为期四到六周的小实验,每项都有假设、观察效果的方法、一个护栏指标和一项
风险。不要编造预期改进的数字。列出你的假设,以及开始之前我们应当检查什么。
AI 技能
- 敏捷 ITIL 指标技能:用于查找相关的变更、发布和事件主题,以及应放在每项 DORA 指标旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查本主题的修订版本是否使其时钟、操纵途径和交叉引用保持一致。
关键要点
- DORA 指标是软件交付的五项度量,三项关于吞吐量,两项关于不稳定性,对一项服务放在一起读时最有用。
- 依据流水线和事件的事件数据,用书面定义来计算它们,因为失败和前置时间的起点是判断。
- 用它们来了解交付系统,并将团队与它自己的历史比较,绝不用来给人或团队排名。
- 报告中位数、高百分位数和计数,并为每项指标配一个能发现其被操纵的护栏。
- 改进底层的能力,例如小批量、快速检测和易于回滚,让数字随之而来。
- 说明你遵循的指导的版本和日期,因为定义已随时间被完善。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- DORA, DORA research program, Google Cloud, https://dora.dev/research/
- DORA, Four Keys project, https://github.com/dora-team/fourkeys
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, DevOps Research and Assessment.
- Wikipedia, Accelerate (book).
- Wikipedia, Continuous delivery.
- Wikipedia, ITIL.
- Wikipedia, Goodhart's law.
- Wikipedia, CI/CD.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Canary release.