概述与动因

《敏捷宣言》的原则要求我们围绕积极投入的个人构建项目,给予他们所需的环境和支持,并信任他们把工作做好。它们还要求发起人、开发人员和用户能够无限期地保持恒定的节奏,并要求团队定期反思如何变得更有效。团队健康和开发者体验的度量,就是这些原则变得可以检查的办法。它们问在这里做这份工作是什么感觉,以及什么挡了路。

开发者体验是开发人员与其共事的工具、流程和人之间的所有互动的总和。这个思想比软件工程更宽。运维人员、服务台人员、分析员,以及任何构建或运行服务的其他人,对自己的环境都有体验。本主题对工程师使用"开发者体验",对更广的群体使用"团队健康",同样的度量适用于两者。

有两个研究框架被广泛引用。SPACE 框架由妮可·福斯格伦(Nicole Forsgren)及同事于 2021 年发表,主张开发者的生产力不能被还原为一个数字,并提出五个维度:满意度与福祉、绩效、活动、沟通与协作,以及效率与心流。2023 年,阿比·诺达(Abi Noda)、玛格丽特-安妮·斯托里(Margaret-Anne Storey)、妮可·福斯格伦和米凯拉·格雷勒(Michaela Greiler)发表的后续文章《DevEx:真正驱动生产力的是什么》,聚焦于开发人员能够感受到、组织能够改变的三个维度:反馈回路、认知负荷和心流状态。两篇论文都建议把关于感知的调查数据与来自系统的关于工作流的数据结合起来,并且都警告不要把任何单一度量,尤其是活动计数,用作生产力的代理。

DevEx 的三个维度是一个实用的起点。

  • 反馈回路。一个人多快得知自己所做之事的结果?缓慢的构建、缓慢的测试、缓慢的评审和缓慢的批准,每一个都增加等待,而等待打断专注。快速的反馈也是持续交付的核心支撑。
  • 认知负荷。一个人要把多少东西记在心里才能完成一件事?复杂的系统、糟糕的文档、不清楚的所有权和众多的工具,提高负荷。降低它,为重要的工作释放出容量。
  • 心流状态。一个人能否找到不被打断、可供集中精力的时段?会议、通知、计划外的请求和上下文切换,都侵蚀它。

这个领域的度量格外容易被滥用。提交、拉取请求、关闭的工单或在线时长的计数,是活动度量。它们容易收集,却几乎说明不了人们能否做好工作,并且招致操纵。关于感知的度量是主观的,也有价值,如果人们害怕诚实回答的后果,它们就可能被扭曲。任何关于人的度量都可能滑向监视。古德哈特定律的护栏带着伦理的锋芒适用:当关于人的度量变成目标时,人们就不再对自己的工作说实话(见主题 1.2,古德哈特定律与指标心理学)。

本主题建立在前面所述的内部用户体验之上(见主题 6.4,用户与员工体验),并在随后关于福祉、协作、技能和改进的主题中继续。

关键原则

  • 度量条件,而不是人。询问环境及其障碍,并在团队层面报告。
  • 把感知与工作流数据结合起来。人们的感受和系统的记录,各自漏掉一部分图景。
  • 让团队拥有自己的健康检查。最贴近工作的人选择问题,并先阅读结果。
  • 绝不用这些度量给个人排名或评估个人。那会终结诚实的回答。
  • 避免把活动计数当作生产力。提交、工单或工时的计数不是成果。
  • 对所听到的采取明显的行动。修复障碍,或说明为什么不修复。
  • 保护可持续的节奏。无限期地全速运转的团队,是在向未来借债。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
反馈回路时间 按回路类型,一个人得到一次常见操作的结果所需的时间 按团队,构建、测试运行、代码评审等待和部署的分钟数或小时数的中位数和第 85 百分位数 分钟或小时 流水线和评审工具的时间戳,按团队汇总 发布与部署管理;持续改进 持续交付中的快速反馈 每周
专注时间占比 按团队的报告,处于不短于约定最小长度的不被打断时段中的工作时间占比 在简短脉搏中收集的、团队报告的专注时段小时数 / 工作小时数 百分比 团队脉搏;仅在团队同意并汇总时才使用日历数据 持续改进;知识管理 为深度工作保护的时间 每月
认知负荷评分 团队对理解和更改某个具名系统或流程有多难的评分 按系统,在一个简短的约定量表上的平均评分和离散程度 量表点数 与系统或流程相联的简短脉搏 服务设计;知识管理 对工作的共同理解 每季度
障碍解决时间 从团队提出一个障碍到它被消除、或记录了不消除的决定之间的时间 从提出到解决或决定的天数的中位数和第 85 百分位数 天 障碍清单或跟踪器 持续改进;问题管理 被消除的障碍 每月
团队健康检查趋势 团队自己对其所选维度的评分随时间的变化 两次检查之间,团队所选维度评分的变化 量表点数 由团队拥有的团队健康检查 持续改进 团队对如何变得更有效的反思 每月或每季度
工具与流程满意度 团队对其日常使用的工具和流程的满意度评分 每个具名工具或流程的平均评分或偏正面回答的占比 量表点数或百分比 简短脉搏 服务级别管理;持续改进 环境与工作的契合 每季度
维度覆盖 团队实际使用的度量所涵盖的 SPACE 维度数量 至少有一项在用度量的五个维度中的数量 计数(0 到 5) 指标登记册 度量与报告;治理 均衡的度量 每年

所有内容都在团队层面汇总,并设定最小群体规模,例如少于五人的群体不显示结果。专注时间是团队自己的描述,任何源自日历的数字都是可选的,需汇总并经团队同意。反馈回路时间来自系统,描述的是流水线,而不是人。维度覆盖是对度量项目的检查,旨在防止依赖单一种类的度量。

建议

从人们工作所处的条件开始

1. 问团队是什么拖慢了他们。从一场交谈而不是调查开始:什么浪费你的时间,什么难以理解,什么最常打断你?用团队自己的话写下答案。交谈能发现任何仪表板都发现不了的问题,也建立之后的调查所需要的信任。约定要度量其中的两三个。

2. 把 DevEx 的三个维度用作透镜。对反馈回路、认知负荷和心流状态各选一个感知问题,并在可能之处选一项系统度量。对于反馈回路,把"您对构建所花的时间有多满意?"与构建持续时间配对。对于认知负荷,问理解和更改某个具名系统有多难。对于心流,问人们多频繁能不被打断地工作。把人们所说的与系统所记录的配对,并查看不一致之处。

3. 涵盖 SPACE 的若干维度。从五个维度中至少三个选择度量,使没有任何单一种类的数据占主导。对运行服务的团队,满意度与福祉、协作、以及效率与心流往往最重要。极其小心地对待活动度量,只把它们用作背景。维度覆盖度量使这一点保持诚实。

小心地度量

4. 让团队拥有并先阅读其健康检查。团队健康检查是对团队所选维度的简短自我评估,比如乐趣、支持、速度、学习和发布的容易程度。团队在任何其他人看到摘要之前,先阅读并讨论自己的结果。其他人看到的是趋势,以及团队请求帮助的障碍,而不是用来比较的分数。这使工具保持为学习的辅助,它依赖于心理安全,也就是人们不会因直言而受惩罚的共同信念。

5. 为重要的反馈回路计时。度量人们抱怨的回路的持续时间:本地构建、测试套件、代码评审的等待、部署到测试环境。报告中位数和第 85 百分位数,因为缓慢的长尾造成的伤害比平均值暗示的更大。与拥有流水线的团队分享这些数字,并把改进设为常规的工作(见主题 2.7,拉取请求与代码评审指标)。

6. 保护专注,并温和地度量它。在脉搏中询问专注,并查看打断的原因:会议负荷、通知、计划外的请求。如果团队希望查看日历模式,要经他们同意并汇总结果。绝不跟踪个人的活动或在线状态。目的是找出要移除的结构性打断,比如一场本可以是一份文档的会议。

7. 跟踪障碍的解决。保留一份团队所提出障碍的可见清单,并度量它们要花多久才被解决或被有意搁置。一份长长的、从不缩短的清单,教会人们提出问题是徒劳的。不消除某个障碍的决定,连同理由,也算解决。

用结果来改进

8. 一次针对一两件事采取行动。选择价值最高的障碍,修复它,并告诉团队。可见的行动比一份长报告更能赢得信任。抵制同时发起许多举措的诱惑。

9. 把人员度量与成果度量配对。查看反馈回路和认知负荷与交付和稳定性成果的关系(见主题 2.8,DORA 指标)。不要从你自己数据中的相关性宣称因果。用这种配对找出值得探究的问题,比如评审更慢的团队是否也有更长的周期时间。

10. 让活动计数远离交谈。不要报告每人的提交、代码行数或关闭的工单。团队产出的计数对流动可能有用,但对健康几乎说明不了什么。如果有人要求个人活动度量,就解释研究,并改为提供条件度量。

保护人

11. 在收集之前设定隐私规则。写下收集什么、为什么、谁能看到、保留多久,以及绝不会用它做什么。汇总到团队层面,抑制小群体,并请相关人员的代表评审这些规则。不要在绩效评估、晋升或纪律处分中使用任何这些数据。

12. 让可持续的节奏成为默认。留意团队全速运转的迹象:一长串非工作时间的事件、永久的紧迫状态、不断增长的障碍清单、下降的满意度。把这些视为要用范围、人员配置或优先级来修复的系统问题。人们能够保持的恒定节奏是设计目标,它支持质量、学习和留任(见主题 9.2,满意度与福祉指标)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
反馈回路时间 排除缓慢的情形;度量大多数工作不走的快速路径 报告第 85 百分位数;在登记册中定义每个回路的起点和终点
专注时间占比 占用日历时间却不专注;为取悦经理而夸大专注 团队拥有的脉搏;与打断原因比较;不按个人报告
认知负荷评分 把系统评得低以避免审视;挑选容易的系统去评 评一份固定的系统清单;与入职时间和事件模式比较
障碍解决时间 不修复就关闭障碍;拒绝记录障碍 团队确认解决;重新打开的障碍比率
团队健康检查趋势 经理施压要求好分数;团队调整分数以避免关注 团队拥有结果;仅在团队同意下分享趋势
工具与流程满意度 调查满意的用户;训练员工回答得好 回复率和构成;阅读评论;与系统度量相联
维度覆盖 用象征性的度量来算一个维度 检查每项被计入的度量是否用于某个决定

健康的读数是:更短而更稳定的反馈回路、关键系统上不断下降的认知负荷、报告真正专注的团队、被提出并被解决的障碍、团队信任的健康检查,以及没有对个人使用这些数据。

权衡:利弊

做法 优势 劣势
感知调查 捕捉系统无法捕捉的;成本低 主观;易受恐惧和疲劳影响
工作流度量 客观;持续 漏掉感受和原因;有监视的风险
团队拥有的健康检查 对团队诚实而有用 难以比较;难以扩展
标准的全公司调查 可在团队之间比较 相关性较差;被用来排名
活动计数 容易收集 糟糕的代理;易被操纵
聚焦条件的度量 指向可修复的原因 需要跟进的工作量
频繁的脉搏 及时 调查疲劳
年度调查 负担低 缓慢;陈旧

文字化的答案是,把团队拥有的健康检查和简短脉搏,与人们所抱怨回路的工作流度量结合起来,避免活动计数,并保护隐私。谨慎地使用全公司的比较,绝不用它给团队排名。

与团队讨论的问题

1. 我们工作日中最慢的反馈回路是什么?它实际上要花多长时间? 挑出人们抱怨最多的回路。从系统中为它计时,并与人们所说的比较。主持人应记下任何方向上的意外。约定一项能缩短它的改变,以及由谁负责。

2. 我们害怕更改哪个系统?是什么使它困难? 说出这个系统。困难在代码、文档、工具,还是少数几个人脑中的知识?问哪一项改进最能降低负荷。计划如何得知它是否奏效。

3. 我们每个人上一次拥有一长段不被打断的时间是什么时候?是什么打断了失败的那些? 诚实而不责备地分享。列出打断,并把它们分为结构性的(会议、通知、计划外的请求)和偶发的。选择一项要减少的结构性打断。

4. 我们多次提出却没有结果的障碍是哪个? 查看障碍清单。对每个长期存在的项目,问谁可以解决它,什么阻碍了他们。如果团队已不再提出障碍,讨论原因。约定一个带着证据去升级的。

5. 什么会让我们在给出诚实的健康检查答案时犹豫? 讨论对结果可能如何被使用的担忧。主持人应记录这些关切并约定规则:谁能看到数据,绝不会用它做什么。如果规则不被信任,就说出来,并决定什么能赢得信任。

6. 我们的哪些度量可能在工作变糟的同时上升? 列出这些度量,想想每一个如何可能在不帮助任何人的情况下被改善。为每个指定一个护栏。移除任何没有用于任何决定的度量。

四种视角

产品与交付团队

交付团队最了解是什么拖慢了他们,也是自己健康检查的拥有者。他们应当指出障碍,为自己控制的回路计时,并与团队一起决定先修复什么。他们应当抵制报告个人活动的压力,并坚持团队层面的度量。

服务与运维团队

运维团队承担侵蚀专注和节奏的值班、打断和计划外工作。他们应当把结构性负荷作为系统问题提出,度量自己工具的回路,并保持可持续的轮班。他们受益于与交付团队共享的障碍清单,因为许多障碍跨越边界。

领导层与治理

领导层设定条件,并决定数据如何使用。他们应当为条件度量所揭示的修复出资,保护隐私规则,并要趋势和障碍,而不是用来比较的分数。治理应当把对个人活动度量的要求,视为重新审视规则的理由,并期望改进工作是可见的。

客户与用户

用户受益于能够平静工作、快速学习的团队,因为他们的问题得到很好的解决。他们也注意到团队不堪重负:回答更慢、重复犯错、高离职率。他们的反馈是来自外部的关于团队健康的证据,而他们理应得到关于修复如何被排定优先级的诚实说明。

实践:一个敏捷 ITIL 示例

一家国家保险公司的技术小组有 14 个团队,构建并运行保单和理赔服务。领导层要求一个开发者生产力仪表板。第一个要求是每人的提交数和关闭的工单数。工程效能负责人提议一种不同的做法。以下数字是示意数字。

她从五个团队中的交谈开始。三个障碍反复出现:测试套件要花 70 分钟,在依赖两位资深评审者的团队中代码评审要等很久,以及没有人觉得自己能够更改遗留的理赔计算服务。她从系统中度量她能度量的。构建与测试回路的中位数是 58 分钟,第 85 百分位数是 92 分钟。首次评审等待的中位数是 9 个工作小时,第 85 百分位数是 31 小时。她加入一份简短的季度脉搏,附三个 DevEx 问题,最小报告群体为五人。理赔计算服务的认知负荷评分,在 5 分表示非常难的五分制量表上是 4.4,而保单门户是 2.6。团队报告的专注时间约为每天 3 小时,会议和计划外的请求是主要原因。每个团队就自己选择的维度运行自己的健康检查,并且只阅读合并后的趋势。

该小组与团队约定四项行动。测试套件被拆分并行化,第 85 百分位数在两个月内从 92 分钟降到 41 分钟。一份评审轮值表把负荷分摊到两位资深评审者之外,第 85 百分位数的等待降到 14 小时。三个团队同意每周留出一个没有会议的时段,一个团队重新设计了计划外的请求到达它的方式。理赔计算服务成为一个共享的学习项目,配以结对和文档,其认知负荷评分在两个季度里降到 3.5。报告的专注时间升到约 4 小时。

当一位高级经理再次要求个人提交数时,工程效能负责人解释 SPACE 和 DevEx 的研究,并提供条件仪表板。该决定被记录下来,附隐私规则,规定个人活动绝不会用于评估。一个团队请求本季度不要为领导层汇总其健康检查结果,这一请求获得批准。相关团队的离职率在接下来的一年里下降,她指出自己无法证明其联系,也不会宣称。

行业视角

初创企业。每个人都认识每个人,所以交谈胜过调查。为主要的反馈回路计时,保持构建快速,并留意不可持续节奏的迹象,因为少数几个人承担了很多。不要引入庞大的调查项目。

小型企业。小团队可能是一两个既构建又支持的人。他们的主要风险是打断和对个人的依赖。保留一份简单的障碍清单,确保缺勤时有人顶替,并定期互相问是什么在挡路。个人层面的数据天然具有识别性,所以依靠交谈。

大型企业。规模带来多样性和比较的诱惑。提供通用的工具包(脉搏问题、回路计时),同时让团队拥有自己的健康检查。小心地汇总,在团队之间分享模式以传播修复,并让排名远离。在存在劳资委员会或员工代表之处,让他们参与。

政府与公共部门。采购、安全规则和审批链拉长反馈回路,员工可能在监控方面有强有力的保护。度量回路,让代表参与设定数据规则,并用发现来简化流程。受服务价值激励的公务员,受益于可见的障碍消除(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本是团队为健康检查和脉搏花的时间、对流水线和评审工具的少量埋点、帮助解读结果和主持的分析员或教练,以及消除障碍的工程时间。这些成本大多很小,远小于缓慢的回路乘以许多人的成本。

回报来自挽回的时间、更少的返工、更好的留任,以及更快的学习。用你自己的数据估算:小组中每周花在等待构建和评审上的小时数、为替换离职者而招聘和入职的成本,以及与不堪重负的团队相联的事件或缺陷模式。把分钟换算成金钱时要谨慎,并说明假设。避免引用关于生产力提升的已发布研究的说法,除非你能追溯其方法及其适用性。记住出错的代价:被视为监视的项目,会损害信任以及之后每份调查的质量(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 个人生产力仪表板。它们度量活动,招致操纵,并损害信任。在团队层面度量条件。
  • 用健康检查分数比较团队。团队随后会管理分数。让团队拥有自己的结果。
  • 有调查而无行动。人们会不再回答。每个周期修复一些可见的东西。
  • 度量在线时间或在场。它奖励可见性,惩罚专注。度量回路和障碍。
  • 一项度量用于一切。它漏掉大部分图景。涵盖若干维度。
  • 忽视长尾。中位数隐藏了造成伤害的缓慢回路。报告百分位数。
  • 为系统问题责备人。障碍通常是结构性的。修复结构。
  • 把全速运转当作常态。永久的紧迫使人倦怠。把持续的过载视为计划的失败。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
理解条件 传闻 偶尔的调查 关于反馈回路、负荷和心流的定期交谈和脉搏 结合调查和工作流数据,附团队层面的趋势 跨团队和供应商的条件共享视图;团队共同设计度量
所有权与伦理 管理层阅读一切 非正式的关注 团队拥有的健康检查;书面的隐私规则 与代表一起评审规则;强制执行不得个人使用 规则和做法由独立方审计;团队控制数据共享
行动 投诉无人处理 临时修复 带负责人的障碍清单;每个周期修复一两件 跟踪修复并与成果相联;监控可持续的节奏 消除障碍被构建进计划;学习被广泛分享

检查清单

  • 团队已用自己的话说出是什么拖慢了他们。
  • 对反馈回路、认知负荷和心流,各至少有一个感知问题和一项系统度量。
  • 度量来自至少三个 SPACE 维度。
  • 每个团队拥有自己的健康检查,并先阅读结果。
  • 反馈回路时间以中位数和第 85 百分位数报告。
  • 一份可见的障碍清单有负责人,并跟踪解决时间。
  • 结果在团队层面报告,并有最小群体规模。
  • 书面隐私规则声明个人数据不会用于评估。
  • 活动计数不被报告为生产力。
  • 团队每个周期至少看到一项修复。

AI 提示词

为三个 DevEx 维度起草脉搏问题。

请为[团队类型]起草一份不超过六个问题的简短脉搏,涵盖反馈回路、认知负荷和心流状态。使用
中性的措辞、一致的量表和一条开放评论。对每个问题,建议一项可与之比较的匹配的系统度量。
不要声称研究结果。列出你的假设,以及问题可能被误读的方式。

分析障碍清单的模式。

这是团队过去[期间]的障碍清单,附提出日期、解决日期和简短描述:[粘贴,已清理]。请按原因
把障碍分组,指出长期存在的项目和模式,并建议先处理哪一两个及原因。不要推断动机或点名
个人。列出你的假设,以及团队应当确认的事项。

为团队健康项目撰写隐私规则。

请为[组织类型]中的团队健康和开发者体验项目,起草一页纸的规则。涵盖收集什么、目的、谁
能看到什么、最小群体规模、保留期、个人数据不会用于绩效评估的承诺,以及员工如何提出
关切。标出我应当与法务、隐私和员工代表一起评审的任何事项。不要给出法律结论。列出你的
假设。

比较条件与成果。

对于[数量]个团队,我们有条件度量(反馈回路时间、认知负荷评分、专注时间)和成果度量
(周期时间、变更失败率、事件):[粘贴表格]。请描述模式,说明数据在哪里太稀疏而无法得出
结论,并建议与团队一起检验的假设。不要宣称因果。列出你的假设和提醒。

AI 技能

关键要点

  • 度量人们工作所处的条件:反馈回路、认知负荷和心流。
  • 把人们所说的与系统所记录的结合起来,并查看不一致之处。
  • 让团队拥有自己的健康检查,在团队层面报告,并绝不对个人使用这些数据。
  • 避免把活动计数当作生产力的替身。
  • 一次针对一两个障碍采取明显的行动,并跟踪障碍要花多久才得到解决。
  • 保护团队能无限期维持的节奏。

参考文献与延伸阅读

  1. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  2. Noda, A., Storey, M.-A., Forsgren, N., and Greiler, M., "DevEx: What Actually Drives Productivity," ACM Queue, 21(2), 2023.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. Edmondson, A. C., "Psychological safety and learning behavior in work teams," Administrative Science Quarterly, 44(2), 1999.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, Productivity.
  7. Wikipedia, Psychological safety.
  8. Wikipedia, Developer experience.
  9. Wikipedia, Cognitive load.
  10. Wikipedia, Flow (psychology).
  11. Wikipedia, Goodhart's law.