拉取请求与代码评审指标
评审是已完成的工作最常等待的地方,所以要度量一项变更在有人查看之前搁置了多久、它有多大、有多少次被退回,并把每个速度数字与一个质量信号配对,使更快绝不意味着草率。
概述与动因
拉取请求(pull request)是把一组变更从版本控制仓库的一个分支合并到另一个分支的提议,连同关于它是否应当被合并的讨论。在许多团队里,它是"作者认为可行"与"团队同意可以发布"之间的正式关口。这场讨论是一种代码评审:作者之外的某个人阅读变更、提出问题,并批准它或要求修改。有些平台把同样的东西称为合并请求;本主题对两者都使用"拉取请求"。
评审值得度量,原因很朴素。在交付的流动视角下,一个工作项一生的大部分时间都在等待,而评审是完全处于团队控制之内的等待之一。共享平台的瓶颈或外部依赖,需要别人改变。一个等了两天才得到第一次查看的拉取请求,只需要团队自己的习惯发生改变。本书中的流动度量(见主题 2.1,流动度量,以及主题 2.2,前置时间、周期时间与流动效率)给出了通用的词汇。本主题把镜头拉近到周期中的一个阶段,并为它提供专门的仪器。
敏捷与 ITIL 的视角在这里以有益的方式交汇。从敏捷的角度看,评审是一个反馈回路和教学机制。它传播对代码库的了解,及早发现缺陷,并落实团队的工作约定和完成的定义。从 ITIL 的角度看,同样的活动支持好几项实践。在 ITIL 4 中,软件开发与管理实践涵盖软件如何被构建和检查,变更赋能涵盖变更如何被评估和授权,部署管理涵盖变更如何到达线上环境。对许多组织而言,经过同行评审的拉取请求,就是标准变更在发布之前被评估过的证据。把评审视为被度量的、可改进的活动,对两种视角都有益:敏捷团队想要更快的反馈,ITIL 实践想要变更被检查过的可靠保证。
始终要留意的风险是,评审的速度和评审的质量很容易被分开。团队可以通过见到就批准,把首次评审的时间减半,而仪表板会显示一场胜利,代码库却在变糟。古德哈特定律对这一族指标的作用异常强烈(见主题 1.2,古德哈特定律与指标心理学),因为这些数字收集成本低、对所有人可见,而且无需改变它们本来要代表的东西就极易被挪动。下面的每一条建议,都是带着这一点写成的。
作者(author)开启拉取请求,评审者(reviewer)对其进行评估。评审轮次是"作者推送、评审者回应"的一个回路。返工是在评审意见之后,或合并之后,为修复第一个版本出错之处所作的变更。持续集成(CI)是经常把工作合并到共享主线并自动检查每次合并的实践;参见持续集成。
本主题中的所有指标描述的是团队和仓库。它们绝不给评审者或作者排名。个人层面的评审计数很容易提取,也很诱人,而一用它们,协作实践就变成了竞赛(见主题 9.1,团队健康与开发者体验)。
关键原则
- 等待主导评审。在大多数团队里,评审时间的最大部分是拉取请求无人阅读地搁着,而不是评审者开始之后的讨论。先度量等待,再度量交谈。
- 小的变更评审得更快也更好。规模是少数几个能同时提高速度和彻底性的杠杆之一,因为评审者能把一个小的变更装在脑子里。
- 没有审视的速度不是改进。本主题中的每个速度指标都需要一个质量对应物,二者放在一起读。
- 评审是团队的容量,不是个人的容量。负荷应当在团队中分摊。显示集中的指标,指向的是团队设计上的问题,绝不是该被表扬或责备的某个人。
- 分布胜过平均值。评审时间有一条卡住的拉取请求构成的长尾,所以报告中位数和一个高百分位数(见主题 1.6,服务指标的统计素养)。
- 定义时钟,然后别去动它。说明时钟何时开始和停止、哪些事件使它暂停、哪些自动化活动被排除,并把这些写在数据所在之处(见主题 1.5,数据来源与埋点)。
- 评审指标服务于拥有这项工作的团队。它们是团队自己回顾会议的输入,而不是给别人看的记分牌。
指标定义
下面的时钟假定版本控制平台记录了打开、请求评审、评论、批准、推送和合并的事件时间。草稿、由机器人开启的拉取请求,以及未合并就关闭的拉取请求,除非某一行另有说明,否则都被排除。"工作时间"指团队声明的工作时间,因此周五傍晚开启的拉取请求不会累积一个周末的等待。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 首次评审时间 | 拉取请求就绪待评审与首次实质性人工回应之间的等待 | 时钟在拉取请求离开草稿状态或以就绪状态开启时启动,在作者之外的人作出首次评审评论、变更请求或批准时停止;机器人和作者的评论以及纯标签变更被排除。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台的事件历史 | 软件开发与管理;变更赋能 | 关于评审响应性的工作约定;在制工作的流动 | 每周 |
| 评审周期时间 | 从就绪待评审到合并的总时间 | 时钟在拉取请求就绪待评审时启动,在合并时停止;未合并就关闭的拉取请求被排除并单独计数。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台的事件历史 | 部署管理;变更赋能 | 团队看板上评审阶段的周期时间 | 每周 |
| 拉取请求规模 | 一个拉取请求中的变更量 | 新增行数加删除行数,不含生成的文件、锁文件、引入的第三方代码和纯重命名,按仓库的忽略规则所列。按每个已合并的拉取请求,报告中位数和第 85 百分位数 | 变更行数 | 版本控制平台的差异统计 | 软件开发与管理 | 小批量;故事的切分 | 每周 |
| 评审轮次 | 合并前作者推送与评审者回应的回路数 | 每个已合并的拉取请求中,不同的"请求变更"或"先评论后推送"回路的数量;首次提交为第零轮,自动检查失败被排除。报告中位数和第 85 百分位数 | 次数 | 版本控制平台的评审和推送事件 | 持续改进;软件开发与管理 | 评审阶段的返工信号;完成的定义 | 每周 |
| 评审负荷集中度 | 评审工作在团队中分摊得有多不均匀 | 滚动 4 周内,团队完成的评审中由最忙的两位评审者处理的占比;评审自己的拉取请求和机器人评审被排除。针对团队报告,绝不按姓名报告 | 百分比 | 版本控制平台评审事件,汇总到团队层面 | 持续改进;知识管理 | 共享的代码所有权;集体所有权 | 每月 |
| 滞留拉取请求数 | 开启时间超过团队约定上限的拉取请求 | 在快照时刻仍然开启、不处于草稿状态、且自就绪待评审以来的年龄超过团队上限的拉取请求数;草稿被排除 | 计数 | 版本控制平台的开启中拉取请求列表 | 变更赋能;持续改进 | 工作项年龄;WIP 限制 | 每周 |
| 合并后修复率 | 合并后不久紧接着一项纠正性变更的已合并拉取请求所占比例 | 合并后 14 天内紧接着有关联到同一变更的修复、回退或热修复的已合并拉取请求数 / 该期间已合并的拉取请求数;标注为计划内的后续工作被排除 | 百分比 | 版本控制历史、关联的问题,以及事件或变更记录 | 变更赋能;事件管理 | 内建质量;完成的定义 | 每月 |
首次评审时间是最大的杠杆,也是大多数团队应当从它开始的指标。评审周期时间是它的结果度量,也是主题 2.2 中讨论的更长前置时间的一个组成部分。14 天的窗口和滞留上限都是示例;每个团队选取适合自己发布节奏的值并写下来。当数字汇入更广泛的交付图景时,由 DORA 家族(见主题 2.8,DORA 指标)和变更失败度量(见主题 4.4,变更失败与返工)接手。
建议
先度量等待,再度量工作
1. 从首次评审时间开始。这通常是评审时间的最大贡献者,也是改进成本最低的。依据平台的事件历史埋点,使没有人需要输入任何东西。报告中位数和一个高百分位数,因为中位数三小时而第 95 百分位数四天,意味着有些变更被遗忘了。
2. 把机器人和草稿排除在时钟之外,并说明。自动检查、依赖更新机器人和格式化工具会在数秒内产生评论,计入它们会使等待看起来极好。让时钟在作者把变更标为就绪时启动,而不是在分支首次被推送时。把这些规则公布在图表旁边。
3. 使用工作时间,并写下团队的日历。周五深夜开启的拉取请求不应背上一个周末的等待。分布在多个时区的团队需要一条规则,规定按谁的工作时间算,而诚实的答案往往是,跨时区的交接成本才是值得看的东西。说明所作的选择,并保持稳定。
把工作塑造得便于评审
4. 让拉取请求保持小,并把规模当作团队习惯。跟踪规模的中位数和第 85 百分位数,把大的变更作为一个集合来看,而不是个别的失败。团队通常发现,大的变更来自几个原因:工作没有切得足够细、把重构与新行为混在一起,或者合并得太晚。把工作切成每个拉取请求只做一件事,这也符合主干开发和频繁部署背后的小批量原则。
5. 不要把硬性的规模上限设为目标。像"不超过 400 行"这样的限制,会诱使人把变更拆成人为的碎片,这些碎片单独看无法阅读,或者单独合并会弄坏构建。把规模用作回顾会议中的话题引子,并给团队切分的技巧,例如功能开关、在独立拉取请求中做的预备性重构,以及隐藏在开关之后合并。
6. 让评审请求明确。没有指名评审者的拉取请求会等志愿者,而志愿者很稀缺。在工作约定中约定请求谁、如何通知团队,以及对响应的期望是什么。共享的评审轮值表,或每日评审时段,通常比任何工具设置更能缩短等待。
分摊负荷与知识
7. 把负荷集中度当作团队层面的风险来关注。如果两个人处理了大部分评审,他们的可用性就限制了团队的流动,他们不在时流动就停止。每月评审集中度度量,并通过团队的设计采取行动:轮换默认评审者,让新成员与资深成员结对,并写下只有一个人能评审的那些代码区域。不要公布每人的排行榜。
8. 用评审来分享知识,并保护这个目的。评审的长期价值,除了发现缺陷,还包括学习、共同的所有权和一致的风格。结对编程和群体编程把这种交流中的一部分挪到了流程更早的位置;已经有两个人共同做过的变更,较轻的评审是合理的。把这个选择作为团队决定,写在工作约定里,使"已结对,所以轻度评审"成为一条可见的规则,而不是借口。
控制评审本身
9. 让自动化处理它擅长的事。格式化、静态检查和基础检查属于流水线,使人的注意力用在设计、正确性和风险上。静态程序分析和自动化测试减少琐碎的评审轮次。剩下的轮次更多地讲述设计上的交谈,更少地讲述风格上的分歧。
10. 把评审轮次读作关于清晰度的信号,而不是缺陷计数。许多轮次可能意味着需求不清楚、作者缺少背景、评审者要求的是品味上的修改,或者变更很大。每个拉取请求都是零轮,可能意味着出色的工作,也可能意味着没人看过。对轮次异常多或异常少的拉取请求抽几个样,并作为团队一起阅读。
把速度与质量配对,并保持时间可见
11. 总在评审速度旁边显示一个质量对应物。合并后修复率、与近期变更相关联的事件,以及发布后才发现的缺陷占比,是天然的搭档(见主题 4.4,变更失败与返工)。如果评审时间在改善而修复率在恶化,团队就是用保证换了速度,补救是一场交谈,而不是一个目标。把两者显示在同一张图上。
12. 把评审与流动图景和计划外工作联系起来。更快的评审只有在下一个阶段不是把工作排进队列时才有帮助(见主题 2.3,在制品与排队)。打断计划工作的紧急评审请求本身也有代价(见主题 2.9,运维工作与计划外工作)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 首次评审时间 | 把一句快速的"看着没问题"或一个表情符号作为首次回应;指派机器人或友好的评审者;等有人事先答应会看之后才把拉取请求标为就绪 | 合并后修复率;抽查没有评论的批准;在工作约定中要求首次回应必须是实质性的 |
| 评审周期时间 | 不等评审就合并;把一个变更拆成微小的碎片以更快通过;关闭再重开拉取请求以重置时钟 | 统计被关闭后又重开的拉取请求;评审轮次;合并后修复率;要求批准的受保护分支规则 |
| 拉取请求规模 | 把文件排除在计数之外;把单个变更拆成无法单独理解的碎片;用生成的代码填充规模 | 每季度评审忽略规则;检查拆分后的碎片能单独构建并通过测试;阅读最小和最大的样本 |
| 评审轮次 | 为保持计数低而第一遍就批准;把讨论转到聊天中,使其不留痕迹;作者在一次提交里推送许多修补以隐藏轮次 | 合并后修复率;抽查零轮次的拉取请求;把讨论保留在拉取请求中 |
| 评审负荷集中度 | 把评审拆成许多小批准来分摊计数;把评审指派给有空闲时间却没有相关知识的人 | 评审高风险区域评审者的知识;按区域观察合并后修复率;让该指标保持在团队层面 |
| 滞留拉取请求数 | 不合并就关闭滞留的拉取请求;把它们转为草稿来隐藏;提高滞留上限 | 未合并就关闭的拉取请求数;长期运行的草稿数;每季度与团队一起评审上限 |
| 合并后修复率 | 把修复记录在没有链接的新工作项下;把纠正性工作标为计划内后续;把修复推迟到窗口之后来回避该指标 | 与事件和变更失败数据比较;抽查后续项目;审计所用的标签 |
健康的读数是平静的。首次评审时间短,长尾也短,所以没有拉取请求要等好几天。规模处在团队觉得易读的范围内,有少数团队能解释的大变更。评审轮次低但不为零,负荷集中度适中,滞留数量少,合并后修复率稳定。当某个数字大幅改善时,应当有人检查它配对的护栏有没有朝错误的方向移动。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 有严格响应期望的快速评审 | 反馈回路短;作者丢失的背景更少;在制工作更少 | 有快速批准的压力;打断专注的工作 |
| 缓慢而彻底的评审 | 仔细阅读设计和风险;知识转移更强 | 周期时间更长;形成更大的批量;作者转去做别的并失去背景 |
| 小的拉取请求 | 更易阅读和回退;流动更顺畅 | 每个变更的开销更大;可能把一个功能碎成令人困惑的步骤 |
| 大的拉取请求 | 交接更少;整个功能一目了然 | 评审变得肤浅;更难回退;等待漫长 |
| 要求具名负责人批准 | 对高风险区域的问责清晰;支持变更授权 | 造成瓶颈和单点故障 |
| 人工评审之前的自动化检查 | 让人腾出手来关注设计和风险;一致 | 可能造成虚假的信心;需要维护 |
没有任何单一政策能取胜。目标是在保持审视的前提下缩短等待,通常的路径是更小的变更、清晰的评审期望、对例行检查的强大自动化,以及团队对好评审是什么样子的约定。评审指标最适合当作回顾会议的问题,最不适合当作目标。
与团队讨论的问题
1. 一个拉取请求一生的大部分时间花在哪里,是等待还是被评审? 请团队在看数据之前先猜,然后展示首次评审时间与剩余合并时间的划分。大多数小组会为有多少是等待而吃惊。主持人应记下哪些猜测是错的,并问每个错误的猜测说明了团队如何体验评审。最后约定一项针对最大等待的改变。
2. 在这个团队里,好的评审是什么样子?外人怎么看得出来? 列出团队看重的行为,例如询问设计、检查测试、解释提出请求的理由。然后问其中哪些会在拉取请求里留下可见的痕迹。讨论如何在不监视个人的前提下,区分实质性的首次回应和敷衍的回应。约定一份简短的书面描述,放入工作约定。
3. 对我们来说多大算太大?当工作确实很大时,我们怎么办? 查看规模分布,挑几个最大的拉取请求。问每一个为什么大,是否本可以切分。讨论功能开关、预备性重构,以及隐藏在开关之后合并等技巧。主持人应抵制设定数字上限,转而约定团队试行一个月的习惯。
4. 谁评审我们风险最高的代码?他们不在时会怎样? 把代码区域映射到能很好评审它们的人。查看负荷集中度,以及只有一位合格评审者的区域。讨论如何通过结对或轮换分配,在每个区域培养第二位评审者。让谈话围绕团队的韧性,而不是围绕任何人的工作量排名。
5. 如果我们的评审速度明天翻倍,我们希望质量方面是怎样的? 请小组说出他们会关注的质量信号,例如合并后修复、与近期变更相关联的事件,或回退的数量。检查这些信号目前是否紧挨着速度图表可见。讨论速度以牺牲审视为代价换来的早期迹象会是什么。约定在仪表板上显示哪个对应物。
6. 我们会很想以没有帮助的方式改善哪些评审数字? 逐项过一遍每个指标,问承受压力的人如何能在不让任何东西变好的情况下,让它看起来更好。把答案与上面的操纵表比较,并加入团队自己的想法。目的是在事情发生之前点明风险。约定每个指标旁边要评审哪个护栏。
四种视角
产品与交付团队
交付团队拥有评审流程,也应当拥有它的指标。他们从用简单的约定缩短等待中获益最多:每日评审时段、清晰的请求流程,以及小的变更。他们应当在回顾会议中使用这些数字,让在制工作保持低位,并抵制优化单一图表的诱惑。评审也是新成员学习代码库的地方,所以要保护这个目的。
服务与运维团队
运维团队在基础设施代码、配置和运行手册自动化通过拉取请求变更时接触到评审。对他们而言,评审往往是标准变更如何被批准和留证的一部分(见主题 4.3,变更赋能指标)。他们应当约定哪些变更需要第二个人评审、紧急修复多快被评审,以及紧急变更事后如何评审,使仓促的修复仍然受到检视。对高风险变更的草率评审,日后会以事件的形式显现。
领导层与治理
领导层应当把评审指标当作关于团队健康和流动的信号,而不是生产力评分。他们应当在报告速度数字时,总要求看配对的质量度量,支持仔细评审所需要的时间,并避免按原始评审时间比较团队,因为仓库和风险各不相同。治理机构可以把评审证据用作变更保证的一部分,前提是他们接受:有文档记录的、抽样的评审流程,比批准次数的计数更有力。
客户与用户
客户看不到拉取请求,却能感受到结果:修复多快到来,以及一次发布多频繁地带来新缺陷。较短的评审等待帮助紧急修复更早到达他们,周到的评审则帮助让故障远离他们。在服务有公开的发布或缺陷历史之处,随着时间推移团队展示出更少的回退和更少的重复修复,客户就受益。
实践:一个敏捷 ITIL 示例
一家地区医院的 IT 部门运营着一个患者预约网络服务,由七人的产品团队构建,并由一个小型站点可靠性小组运维。本示例中的所有数字都是示意数字。
在一次季度评审中,团队发现其评审周期时间的中位数为 26 工作小时,第 85 百分位数为 71 工作小时(示意数字)。拆分周期显示首次评审时间的中位数为 19 工作小时,所以延迟大部分是等待。拉取请求规模的中位数是 180 行,第 85 百分位数是 900 行(示意数字),最忙的两位评审者处理了 68% 的评审(示意数字)。合并后修复率为 9%(示意数字)。
团队作出三项约定。他们设置了每日 30 分钟的评审时段,在工作约定中写下一个工作日内首次回应的期望,并按周轮换"评审优先"的职责。他们还为大型工作采用了切分习惯,使用功能开关,使部分完成的功能能安全地合并。他们没有设定规模上限,也没有为首次评审时间设定目标。
两个月之后,首次评审时间的中位数降到 6 工作小时,评审周期时间的第 85 百分位数降到 34 工作小时(示意数字)。负荷集中度降到 52%(示意数字),合并后修复率保持在 9%。
随后团队发现了一个操纵风险。对批准的抽样显示,在涉及预约提醒逻辑的变更上,约三分之一的首次回应在几分钟内到达,内容只有"LGTM"。速度的提升一部分是真实的,一部分是橡皮图章。合并后修复率尚未变动,因为受影响的代码按月周期运行。团队修改了工作约定,要求首次回应必须包含一个问题、一条针对变更特定部分的评论,或一项关于检查了什么的明确说明,并把没有评论的批准的抽样占比加到评审图表里。他们还约定,涉及面向患者的提醒逻辑的变更需要两位评审者,其中一位来自运维组。该决定连同理由进入了团队的决定日志。
行业视角
初创企业。小团队可以在几分钟内完成评审,因为每个人都了解代码,主要风险是时间紧时跳过评审。保持指标精简:首次评审时间和规模就够了。尽早养成小变更的习惯,因为一旦代码库和团队成长,引入它就难得多。
小型企业。通常是一两位开发者,或一家外部供应商维护软件。评审可能由一位同事或供应商自己的员工完成。询问供应商他们如何评审,以及拉取请求数据能否共享,并保留一份简单的记录,说明哪些变更由谁评审,因为在小团队里,评审是防范错误的主要检查。
大型企业。众多的团队、仓库和批准规则造成了巨大的差异。标准化时钟及排除项的定义,使平台数据具有可比性,但不要按原始评审时间给团队排名,因为风险和代码库各不相同。留意为审计而强加、增加了等待却没有增加审视的评审要求,并寻找用自动化检查和抽样评审取代人工批准的机会。
政府与公共部门。职责分离、审计轨迹和采购规则常常要求对变更进行独立批准。把这些规则当作设计输入:记录谁在何时批准了什么,并度量它们造成的等待。在供应商编写代码之处,在合同中规定评审证据和数据访问(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
动机是缩短交付中既缓慢又可控的那一部分,同时保留同行评审的好处:更少的缺陷、共享的知识和审计轨迹。等待中的拉取请求使已完成的工作无法到达用户,增加作者上下文切换的成本,并使分支变老时合并冲突更可能发生。因此缩短等待,通过更快的交付、更少的返工和更少的沮丧来回报。
当版本控制平台提供事件历史和 API 时,收集这些指标的成本很低。主要成本是定义时钟和排除项、构建或配置报告,以及定期评审数字的时间。更大的成本是行为上的:人们用于及时评审的时间,这与其他工作竞争。这段时间才是真正的投资,应当编入预算,而不是当作免费的。
回报体现为更短的评审周期时间、更少的滞留拉取请求,以及稳定或下降的合并后修复率。不要提前宣称具体的百分比改进,因为结果取决于起点和团队。有说服力的论证,是比较团队自己前后的分布,连同它的质量对应物,而不是引用其他组织的数字。2018 年的《加速》一书报告了把技术与文化实践同交付绩效联系起来的研究,是支持一般性论点的合理来源,但你团队的数字来自你自己的数据。
反模式与陷阱
- 给评审者或作者排名。评审完成数或变更行数的个人排行榜,会腐蚀协作。在团队层面报告,并用这些数字调整团队的习惯。
- 以首次评审时间为目标而没有质量对应物。结果就是橡皮图章。在每张速度图表旁边显示合并后修复率和没有评论的批准的抽样。
- 设定硬性的规模上限。团队会为了合规而人为地拆分工作。把规模用作一场交谈,并教切分技巧。
- 把零评论当作成功。未经检视的批准可能反映信任,也可能反映疏忽。抽查这样的拉取请求,并一起阅读。
- 把机器人活动算作评审。自动评论让等待看起来很短。把机器人排除在时钟和负荷度量之外。
- 忽视时区和日历。原始时钟时间让周末和跨地区的等待看起来像是评审缓慢。使用工作时间,并说明所用日历。
- 任由滞留清单增长。旧的拉取请求积累合并冲突并失去背景。每周评审清单,对每一项要么合并、要么返工、要么附理由关闭。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 评审时间靠猜或凭感觉报告 | 部分团队按自己的规则从平台导出时间 | 每个时钟一份书面定义,对机器人、草稿和日历设有排除项 | 定义按节奏评审;变更连同理由记入日志 | 定义在团队和供应商之间对齐,并在不再为决定提供依据时修订 |
| 评审实践 | 有人注意到时才评审 | 部分团队有非正式规范 | 关于请求、响应期望和评审涵盖什么的书面工作约定 | 依据数据调整规范;跟踪知识分享和风险区域 | 评审实践在团队和供应商之间协调,由自动化处理例行检查 |
| 质量对应物 | 评审与缺陷之间没有联系 | 偶尔看一下合并后的修复 | 合并后修复率显示在评审速度旁边 | 定期评审护栏;阅读抽样的批准 | 评审证据与跨服务的变更保证和事件学习相联 |
| 在改进中的使用 | 数字无人使用 | 在部分回顾会议上展示 | 由所属团队按固定节奏评审 | 缺口促成有计划、有资源的改进工作 | 改进想法从团队流向共享实践,再流回 |
检查清单
- 首次评审时间和评审周期时间的时钟已写明,含起点、终点和排除项。
- 机器人、草稿和未合并就关闭的拉取请求被排除或单独计数,规则可见。
- 时间以工作小时的中位数和一个高百分位数报告。
- 拉取请求规模按对生成文件和引入第三方代码的约定忽略清单来度量。
- 团队有一份关于如何请求评审、多快应有首次回应的书面约定。
- 评审负荷集中度只在团队层面报告。
- 合并后修复率或另一个质量对应物显示在与评审速度同一张图上。
- 每月阅读没有评论的批准和非常快的批准的样本。
- 每周评审滞留拉取请求清单。
- 评审数据用于回顾会议,而不用于个人考核。
- 只有一位合格评审者的代码区域已列出并有应对计划。
AI 提示词
为评审指标起草时钟定义。
我想为[团队或仓库]定义评审指标。我们的平台是[版本控制平台],我们的工作流是
[描述:草稿拉取请求、必需的批准、合并规则、在用的机器人]。请为首次评审时间和
评审周期时间起草精确的定义,说明启动和停止每个时钟的事件,什么被排除(机器人、
草稿、未合并就关闭),如何处理[时区和工作日历]下的工作时间,以及报告哪些百分位
数。不要编造基准值或工具功能。列出你的假设,以及我应当回答哪些问题才能完成这些
定义。
分析评审数据导出。
这是[团队]在[期间]已合并拉取请求的匿名化导出,列有[列清单,例如就绪时间、首次
评审时间、合并时间、变更行数、评审轮次、关联修复标记]:[粘贴数据或摘要]。请计算
每项时间度量和规模的中位数与第 85 百分位数,把评审周期拆分为等待和评审,并指出
值得交谈的模式。不要给个人排名,也不要与外部基准比较。列出你的假设以及你注意到
的任何数据质量问题。
找出我们评审指标中的操纵风险。
我们的团队报告这些评审指标:[指标清单及各自的计算方式]。我们面临的压力有[例如
发布截止日期、领导层目标、供应商合同]。请针对每个指标,描述在不改善评审的情况下
让它变好的合理方式、每种方式的早期迹象,以及能发现它的配对护栏指标或实践。不要
编造统计数据。列出你的假设,并告诉我你需要知道什么才能给这些风险排序。
准备一场关于评审流动的回顾会议。
为[团队]准备一份 45 分钟的关于评审流动的回顾会议议程。输入:首次评审时间[值],
评审周期时间[值],规模中位数[值],负荷集中度[值],合并后修复率[值],全都标明各自
的定义。请建议能揭示原因的问题,团队可以运行[时长]的一个小实验,以及实验期间要
观察的质量信号。不要编造原因或目标。列出你的假设以及我应当带来的数据。
AI 技能
- 敏捷 ITIL 指标技能:用于查找定义相关流动或质量指标的主题,以及应放在评审指标旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查对本主题的编辑是否使模板、操纵表和交叉引用保持一致。
关键要点
- 大多数评审延迟是等待,所以把首次评审时间和评审周期时间作为以工作小时计的分布来度量。
- 更小的拉取请求评审得更快也更仔细;教切分,而不是强加规模上限。
- 每个速度度量都配一个质量对应物,例如合并后修复率,并把两者放在一起读。
- 把评审负荷当作团队的容量,在团队层面报告集中度,绝不作为对人的排名。
- 评审指标是回顾会议的问题,它们服务于拥有这项工作的团队。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
- Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Pull request.
- Wikipedia, Version control.
- Wikipedia, Code review.
- Wikipedia, Goodhart's law.
- Wikipedia, Continuous integration.
- Wikipedia, Trunk-based development.
- Wikipedia, Pair programming.
- Wikipedia, Static program analysis.