为何衡量敏捷 ITIL
构建并运行服务的团队需要一小组诚实的数字,来判断自己的工作是否帮到了用户、是否在变好;敏捷与 ITIL 各自提供了这幅图景的一半。
概述与动因
每个构建并运行服务的团队,一整天都在做决定:下一步做什么,发布是否安全,服务台是否需要再加一个人,一次故障是偶发还是一种模式。没有度量,这些决定只能依赖记忆、轶事和最后发言的人。用错了度量,情况可能更糟,因为数字带有意见所没有的权威。本主题解释为什么度量值得投入,两种传统各自贡献了什么,以及做错的代价。
本书汇集了两种传统。敏捷软件开发是一套价值观和实践,2001 年的敏捷宣言阐明了它:看重可工作的软件、与客户密切协作、响应变化。它的度量习惯是经验式的、局部的:团队检视自己的流动,查看交付了什么,然后调整。ITIL最初是信息技术基础架构库(Information Technology Infrastructure Library),是一套 IT 服务管理(ITSM)的指导,即设计、交付和改进 IT 服务的实践。它的度量习惯面向服务、强调共享:约定的服务级别、服务目录(ITIL 自己的拼写是 "service catalogue"),以及持续改进的纪律。在 2019 年发布的 ITIL 4 中,度量与报告是通用管理实践之一,持续改进既是一项实践,也是一条指导原则。在依赖版本细节之前,请查看框架所有者当前的出版物,因为该框架仍在演进。
两种视角各有不同,且各有用处。敏捷问:"我们做的是正确的东西吗?工作流动得顺畅吗?"ITIL 问:"服务满足使用者的需要了吗?它可靠、可支持、负担得起吗?"只衡量流动的团队,可能飞快地向用户觉得不可靠的服务交付变更。只衡量服务级别的团队,可能达成每一个目标,却因为变更太慢,让服务逐渐失去意义。DevOps 运动源于这样的观察:构建与运行是同一个系统,所以描述它的数字应该放在一起读。站点可靠性工程(SRE)是 Google 在其出版的书籍中描述的学科,它在可靠性目标与变更节奏之间建立了明确的联系。
全书反复出现三个术语。度量(measure)描述工作或服务的某个方面。指标(metric)是带有明确公式、单位和数据来源的度量,因此两个人计算会得到同样的答案。护栏(guardrail)是预先选定的第二个度量或实践,当第一个被操纵时它会发生变化。护栏背后的警示是古德哈特定律:当一项度量变成目标,人们就会去操控数字,而不是改进工作(见主题 1.2,古德哈特定律与指标心理学)。
度量是为了什么
度量在完成以下四项工作之一时,才有存在的理由。
- 看见。让看不见的工作变得可见:没人看的队列、横跨三个团队的事件模式、等了九天才拿到时段的变更。
- 决定。为两个选项之间的选择提供依据,例如是把某类请求自动化,还是修复造成它的缺陷。
- 学习。检验一个信念。如果团队认为新的评审实践能减少返工,数字可以说明它是否做到了。
- 交代。向用户、客户和领导层诚实地说明服务交付了什么,让信任建立在证据之上。
一个这四项工作都不做的数字,就是开销。后面的主题会对每个指标族重复这项检验。
什么都不衡量的代价
什么都不衡量的团队并不是没有数字。它靠隐含的数字运转:最响亮的投诉、最近一次故障、经理对大家看上去有多忙的感觉。由此带来两种代价。
- 反馈缓慢。本来趋势能及早显示的问题,变成了突然袭来的意外。重复联系的缓慢上升,看起来像是运气不好,直到变成危机。
- 没有改进的依据。团队无法判断一次变更是否有帮助,也就无法知道该重复哪些变更。
衡量错东西的代价
衡量错东西往往比什么都不衡量更糟,因为它带着虚假的信心引导精力。关闭的工单数、代码行数、完成的故事点数和登记的工时,都容易收集、容易画图,但每一个衡量的都是活动,而不是对用户的价值。SPACE 框架背后的研究(Forsgren 等人,2021)指出,生产力无法用单一维度捕捉,单独使用活动计数会产生误导。
关键原则
- 为决定而度量。每个指标回答一个书面的问题,并为一个有名有姓的选择提供依据。如果没人说得出是哪个,就把它退役。
- 把两种视角合在一起。把交付流动和服务健康放在同一页上阅读,这样速度就不会以稳定性为代价换来,反之亦然。
- 先衡量成果,再衡量活动。用户过得更好才是检验标准。活动计数可以佐证故事,但讲不了故事(见主题 1.3,结果优先于产出:选择衡量什么)。
- 描述团队和服务,绝不描述个人。个人排名会破坏数据,伤害协作。
- 从小处开始,逐步增长。少数受信任的指标,胜过一整面治理薄弱的指标墙。
- 先给团队看。做这项工作的人是第一批受众,也是检查数据是否准确的最佳把关者。
- 预期会变。当定义、指标和目标不再为决定提供依据时,就要修订。
指标定义
下面的指标描述度量实践本身的健康状况,"为何衡量"在这里变得可以检验。能拿出这些指标的团队,是有理由地在衡量。每个基于时间或计数的公式都写明了边界。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 与决定挂钩的指标占比 | 已报告的指标中,有书面问题并有名有姓的决定可依据的指标所占的比例 | 有记录的问题和决定的指标数 / 季度末仪表板上报告的指标数 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 回顾会议的行动;工作约定 | 每季度 |
| 基线覆盖率 | 在范围内的服务和团队中,对每项约定的核心度量记录了起始值的比例 | 过去 12 个月内记录了基线的服务-度量对数 / 范围内所有服务-度量对数;服务目录之外的服务不计入 | 百分比 | 服务目录和指标登记册 | 服务级别管理;度量与报告 | 利益相关方评审;团队仪表板 | 每季度 |
| 度量投入 | 用于手工收集、清洗和报告指标的人员时间 | 当月记录在手工收集和报告上的工时,不含根据发现采取行动的时间 | 每团队每月工时 | 时间记录或简短的团队调查 | 度量与报告 | 回顾会议的时间预算 | 每季度 |
| 评审时的数据年龄 | 小组开会讨论时,最新数据点有多旧 | 评审会议时间戳减去仪表板上最新数据点的时间戳;逐指标计算,报告中位数和第 85 百分位数 | 天 | 仪表板刷新日志 | 度量与报告 | 利益相关方评审 | 每次评审 |
| 改进行动的跟进率 | 由指标评审提出的改进行动中,在约定期限内完成或经审慎关闭的比例 | 在提出后 90 天内完成或附理由关闭的行动数 / 该期间提出的行动数,自改进登记册记录日期起算 | 百分比 | 持续改进登记册或待办列表 | 持续改进 | 回顾会议的行动项 | 每季度 |
度量投入有意只计手工工作。阅读数据并决定该怎么做的时间,正是这件事的意义所在,因此被排除,这样自动化收集就会表现为进步。
建议
从目的开始
1. 先写理由,再定指标。对每个提议的度量,写一句话:"我们衡量 X,是为了决定 Y。"如果写不出这句话,说明这项度量还没准备好。仅这一个习惯,就能在虚荣指标进入仪表板之前剔除其中大部分。
2. 写明受众和决定。同一个数字,对团队、服务负责人和高管意味着不同的东西。写下谁会读它,以及它支持什么选择。团队的工作视图可以有二十项度量,而交给领导层的应该是一小组稳定的集合(见主题 11.1,设计服务指标仪表板)。
同时运用两种传统
3. 把流动度量与服务度量配对。至少选一项衡量工作如何流动的度量,例如前置时间或工作项年龄(见主题 2.2,前置时间、周期时间与流动效率),再至少选一项衡量服务表现的度量,例如事件复发或服务级别指标(见主题 5.2,SLI、SLO 与错误预算)。把它们放在一起展示,可以避免常见的失败:速度和稳定性由不同的团体看着不同的图表来管理。
4. 把交付与运维当作一个系统。《加速》(Forsgren、Humble 和 Kim,2018)所总结的研究报告称,软件交付绩效可以用平衡吞吐量与稳定性的四项度量来描述。无论团队采用哪一组,都要让与变更相关和与事件相关的数字靠得足够近,使其中一个上升时能促使人去看另一个(见主题 2.8,DORA 指标)。
诚实地度量
5. 偏好少数相互牵制的度量。单一数字会招致过度优化,所以要选成对的:速度与质量、数量与成果、成本与体验。这一对不必是一个公式,只需要出现在同一页上。
6. 先记录基线,再做任何改变。没有起始值,所谓改进只是一个故事。先收集几周的数据,既记平均值,也记取值的分布(见主题 1.6,服务指标的统计素养)。基线也保护团队:它能表明,糟糕的季度是因为统计口径变了,而不是表现下降。
养成习惯
7. 评审的节奏要与决定相匹配。流动度量适合每周的交谈,或在持续软件交付的每一步进行的交谈。服务级别和成本度量适合每月或每季度的交谈。在错误的节奏上评审指标,要么制造噪声,要么错过本可以采取行动的时机。
8. 用改进工作闭环。以"挺有意思"收尾的评审,浪费了它的数据。每次评审都以一两项有名有姓的行动、一个负责人和一个日期结束,并跟踪完成情况。ITIL 的持续改进实践与敏捷的回顾会议,是同一种纪律的两个名字(见主题 9.5,持续改进指标)。
9. 说明你不会把数字用在哪里。明确表示团队指标不会用来给个人排名或奖惩,定义的变更会公开进行。当人们相信数字将如何使用时,才会配合度量(见主题 11.3,推行指标而不滋生恐惧)。
操纵途径与护栏
即使是关于度量的指标,也可能被操纵。下表每一行把指标与它通常被扭曲的方式,以及能发现这种扭曲的检查配对。
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 与决定挂钩的指标占比 | 事后为每个指标编写看似合理的问题和决定,以抬高百分比 | 抽查决定日志:问问这个指标改变了什么,并对照条目写入日期与指标首次出现的日期 |
| 基线覆盖率 | 只记录一次基线且从不刷新,或挑选方便的平静时段 | 要求每条基线写明日期范围和样本量;服务发生重大变化后复审基线 |
| 度量投入 | 通过不登记工时,或转移给供应商,把收集工作移出账面 | 与简短调查中人们所说的报告耗时对照;评审时把供应商的投入计入 |
| 评审时的数据年龄 | 会议前才刷新仪表板,而底层记录仍然陈旧 | 除刷新时间外,还报告源系统中最新记录的年龄 |
| 改进行动的跟进率 | 以"不再相关"为由关闭行动来凑百分比,或把行动拆成琐碎的小块 | 每季度复查关闭行动所给的理由,并跟踪该行动针对的度量是否有变化 |
健康的读数是一种看得见的鲜活实践:指标因书面理由进出登记册,基线是新的,评审产生的行动要么完成要么如实放弃,团队花在根据数据行动上的时间多于收集数据的时间。每一行都拿满分,是去抽查底层记录的提示,而不是庆祝的理由。
权衡:利弊
| 选择 | 优势 | 劣势 |
|---|---|---|
| 少量度量 | 成本低;被操纵的风险低;信任度高 | 有盲区;决定依赖轶事 |
| 大量度量 | 覆盖面广;多方面早期预警 | 注意力被稀释;治理薄弱;收集成本上升 |
| 联合视图 | 平衡速度与稳定性;支持共同负责 | 需要跨团队约定定义,并有一个共同的查看地点 |
| 给指标设目标 | 提供方向和紧迫感 | 招致操纵;需要配套护栏 |
| 指标不设目标 | 鼓励诚实讨论 | 可能沦为没人行动的报告 |
务实的答案是一个小而联合的集合,仅对条件明确、用户提出了要求的情形节制地使用目标,例如服务级别目标。其他一切都是待讨论的问题。目的不是把判断从决定中去除,而是为判断提供更好的证据。
与团队讨论的问题
1. 上个季度,有哪个决定确实被某个数字改变了? 请小组回忆具体的决定,然后弄清其中哪些(如果有的话)依赖了数据。如果清单很短,这本身就是有用的信息:说明当前很多报告并没有配得上它的投入。主持人应记下确实改变过决定的指标,因为它们是值得保护的候选。然后问,哪些决定是凭直觉做的,数字是否本可以帮上忙。
2. 我们现有的数字中,哪些描述活动,哪些描述对用户的价值? 把当前仪表板放到屏幕上,把每个指标标为活动(关闭的工单、运行的构建、完成的点数)或成果(用户能够工作、问题不再复发)。不要在边界情形上争论太久,重点是看清平衡。如果只有活动,就问这些活动应当产生什么成果,团队又如何得知。
3. 今天交付数字和运维数字放在哪里?看这两类数字的是同一批人吗? 追踪每一族度量存放在哪里、由谁评审。团队常常惊讶地发现,变更数据由一个团体评审,事件数据由另一个团体评审,没有共同的会议。问问,因为二者从未放在一起看,可能漏掉了什么模式。约定一个二者交汇的地方或一次会议。
4. 有什么我们没在衡量,而不知道会让我们后悔? 请大家说出担心,而不是指标:"我担心我们不会注意到……"从这些回答出发得到候选度量,再找到能显示它们的最便宜的数据。保持清单简短。
5. 在把数字给领导层看之前,我们需要相信关于这些数字的什么? 讨论是什么让数据可信:稳定的定义、抽样的准确性检查,以及对排除项的共识。列出团队的疑虑,哪怕很小,例如某个状态被不一致地使用。决定哪些疑虑必须在更广泛分享之前解决,哪些可以连同数字一起披露。
6. 如果下个季度只能保留三个指标,会是哪三个,为什么? 约束迫使排出优先级。请每个人写下三个,然后比较。寻找在成果上的一致和在活动度量上的分歧。问这三个指标各自需要什么护栏。
四种视角
产品与交付团队
交付团队最受益于快速、局部的反馈:工作等待多久、在哪里排队、变更多久引发一次问题。他们应当为自己保留丰富的工作视图,对外只发布一小组。团队应抵制把产出量作为价值替代物来衡量的拉力,并从一开始就把速度度量与质量度量配对(见主题 2.1,流动度量)。
服务与运维团队
运维团队本来就与数字共处:数量、响应和解决时间、可用性。机会在于,从报告发生了什么,转向解释为什么,方法是看复发、根本原因和计划外工作的占比(见主题 2.9,运维工作与计划外工作)。他们还应把自己的数据带入与交付团队的规划对话,使可靠性工作靠证据而不是靠抱怨来争取。
领导层与治理
领导层往往在无意中通过所提的问题设定了激励。问"为什么是红的?"的领导,教会团队隐藏红色。问"你学到了什么,需要什么?"的领导,教会团队诚实报告。治理机构应当在要数字的同时,要求登记册、护栏和改进行动,并为一个糟糕的数字所揭示的工作提供资金(见主题 1.4,指标治理与归属)。
客户与用户
用户评判服务看的是它是否好用、问题是否得到纠正,而不是内部度量。他们在调查、投诉和评论中的原话,应当与运维数字并列,以检查团队衡量的是否是真正重要的东西(见主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个服务台、一个运维团队,以及三个构建店面、支付和履约服务的产品团队。下面的数字是示意数字。
领导层问,为什么客户抱怨结账缓慢,而交付团队报告每天都在发布,运维团队报告可用性为 99.9%。按各自的度量,每个团体都是对的,但没人把它们放在一起看。服务管理负责人提议,用团队已经在收集的数据,为结账服务做一页联合视图。
这个视图展示过去十二周的四件事。变更前置时间的中位数是 2 天,第 85 百分位数是 9 天。变更失败率为 8%。结账方面的事件有 14 起,其中 6 起有同一个原因,即最近一次发布引入的一条缓慢的数据库查询。恢复时间的中位数是 40 分钟,但第 95 百分位数的页面加载时间在六周里逐渐变长,可用性数字看不出这一模式,因为服务在技术上始终是可用的。
小组看到了原来被隐藏的东西。可用性被定义为"结账有响应",而用户体验到的是"结账响应得足够快"。产品团队和运维团队约定,为结账增加一项延迟指标,目标由产品负责人在阅读客户评论后设定;把重复出现的事件原因当作有负责人的问题记录;并每两周评审一次联合视图。他们记录了一个决定:在持续软件交付的一段时间内暂停新的结账功能,修复该查询,并在发布流水线中加入性能检查。
一个月内出现了操纵风险。运维团队注意到,14 起事件中有两起被登记为"服务请求",因为请求类别没有解决目标。团队意识到,事件上的目标促使人们把边界情形归为请求。他们把重新归类的占比加入视图,并每月抽查十张工单。变更之后,第 95 百分位数的页面加载时间下降,重复事件减少,团队保留这个视图,因为它改变了一个决定。
行业视角
初创企业。小团队流程少、信任强,这是好事。风险在于在还没有需要时就引入庞大的企业级仪表板。从创始人每周会看的两三项度量开始,例如变更前置时间、简单的可靠性指标和直接的用户反馈,并写下它们的定义。
小型企业。负责 IT 的人往往向老板汇报,一次客户投诉的分量可能胜过任何图表。保持集合精简,使用工具已经产生的数据,偏重与用户的交谈。对供应商提供的报告要有所保留,因为供应商有自己的激励。
大型企业。规模放大了对可比数字的需求,也放大了操纵它们的压力。使用一小组带书面定义的标准集合,把团队工作视图与汇总视图分开,避免比较运行性质迥异的服务的团队。指标登记册、共享定义和评审节奏变得必不可少。
政府与公共部门。合同约定的服务级别、审计要求和公开报告义务,会使某些度量成为不可商量的。把它们当作设计输入:满足它们,在旁边展示一个护栏,并说明所用的定义。公共问责提高了隐瞒坏消息的代价,因此要建立安全的内部渠道,允许坦率报告(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
度量的动机是以更低的成本做出更好的决定。度量支持优先级排序,显示浪费在哪里,对服务衰退给出早期预警,并为投资申请提供证据。
成本包含几个部分。有工具,往往已经拥有:工单系统、问题跟踪系统、版本控制和监控。有定义指标、构建视图和维护登记册的人员时间。有评审会议的持续成本,这是最大的一项,也是最值得的一项。度量实践的总拥有成本(TCO)还包括根据发现采取行动的成本,因为一个没有预算去修复的洞察,回报很小。
回报很难用一个通用数字来表述,本书也不编造数字。构建论证的有效方法,是在一次变更前后测量你自己的基线:手工报告所花的时间、重复联系、因数据错误而被推翻的决定,以及很晚才发现的意外。可以预期的模式是:意外更少、争论更短,运维数字与用户体验之间的一致性更好。一个简单的投资回报率(ROI)比较,即比较所花的投入与节省的投入,是合理的起点,方法见主题 7.7,投资回报与商业论证。
反模式与陷阱
- 包罗万象的仪表板。几十张图表,没有负责人,没有决定。选几个,写明每个为哪个决定提供依据,其余退役。
- 片面的度量。只有速度没有稳定性,或只有稳定性没有相关性。把流动度量与服务度量配对。
- 衡量个人。个人排名破坏数据,打击互助。在团队和服务层面报告。
- 先有目标,后有基线。没有起始值的目标是猜测。先记录基线,至少经过一个评审周期后再设目标。
- 只有报告,没有行动。不产生任何改变的评审,教会人们无视它。每次评审都以有名有姓的行动、负责人和日期结束。
- 悄悄更改定义。趋势线从此失去意义。记录每次更改及其理由,并在图表上标出。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 目的与选择 | 因工具提供而选指标 | 部分指标有明确目的 | 每个报告的指标都有书面问题和决定 | 对照决定评审指标集,不用的就退役 | 围绕共同成果,与用户和供应商共同设计指标 |
| 敏捷与 ITIL 的联合视图 | 交付数据与服务数据分开存放 | 少数团队同时查看二者 | 每个服务有流动与服务健康的共同视图 | 联合视图有趋势,并与改进工作挂钩 | 跨团队和供应商的视图与用户成果相联 |
| 基线与投入 | 没有基线;手工收集 | 部分服务有基线;收集方式混杂 | 核心度量已记录基线;收集大多自动化 | 变更后刷新基线;跟踪并降低投入 | 随服务变化持续调整基线和定义 |
| 在改进中的使用 | 数字记下就忘 | 糟糕的几周后偶尔有行动 | 每次评审都以有名有姓的行动结束 | 行动的跟进率被度量并获得资助 | 改进来自每个人,且跨团队可见 |
检查清单
- 每个报告的指标都有书面问题和一个有名有姓的、它所依据的决定。
- 每个视图的受众都已写明,团队视图与领导层视图分开。
- 至少一项流动度量和一项服务度量出现在同一页上。
- 每项核心度量都有带日期范围和样本量的基线。
- 每项时间度量都写明时钟从哪里开始、在哪里停止。
- 每个指标旁都显示了它的护栏。
- 已知手工收集的投入,并已评审最大的手工任务是否可以自动化。
- 团队先于领导层看到自己的数据。
- 没有任何个人排名、薪酬或纪律处分与指标挂钩。
- 每次评审至少以一项有名有姓的改进行动、负责人和日期结束。
- 过去一年中至少有一个指标被退役或重新定义。
AI 提示词
为每个指标起草目的陈述。
我们是[团队名称],负责[服务或产品]。我们当前的仪表板显示这些指标:[指标及其
定义清单]。请为每个指标起草一句话,格式为"我们衡量 X,是为了决定 Y",并标出
哪些指标仅凭我给你的信息无法推断出决定。建议我应当回答哪些问题才能补全每条
陈述。不要编造基准值或目标。列出你的假设。
联合交付视图与服务视图。
对于[服务名称],我们的交付度量是[清单,含定义和数据来源],服务度量是[清单,
含定义和数据来源]。请提出一个把二者放在一起展示的一页布局,把每项速度度量
与一项稳定性或质量度量配对,并注明各自所需的数据。指出两组之间有冲突的定义。
不要编造数值或阈值。列出你的假设以及你无法确定的内容。
规划基线。
我们想在改变[实践或工具]之前,为[团队或服务]的[指标名称]记录基线。数据来自
[来源]。请建议收集多长时间的数据,记录哪些汇总统计量(包括百分位数),排除
什么以及为什么,以及如何注明期间工作统计口径的任何变化。不要假设数值。列出
你的假设以及你看到的数据质量风险。
准备一场导向行动的评审。
我们与[受众]每[周、月或季度]评审一次[指标集]。请起草议程和一组简短的引导
问题,让讨论从读数字推进到选定一两项改进行动,每项都有负责人和日期。加入一个
提示,对照每个指标的护栏检查是否被操纵。不要编造数据。列出你对这个小组及其
文化的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找涵盖你正在考虑的指标的主题及其配套护栏。
- 敏捷 ITIL 指标维护者技能:用于检查新增或修订的指标主题是否保留了目的陈述、操纵途径和护栏。
关键要点
- 度量是为了看见、决定、学习和交代;不做这四件事的数字就是开销。
- 敏捷提供关于流动的快速、局部的反馈;ITIL 提供关于可靠性和价值的共享的服务级别视图。把二者放在一起读。
- 什么都不衡量,决定就交给了轶事;衡量错东西,则带着虚假的信心引导精力。
- 从少量指标开始,每个指标都有书面的目的、基线和护栏。
- 描述团队和服务,绝不描述个人,并让团队先看到自己的数据。
- 闭环:不产生行动的评审,浪费了数据。
参考文献与延伸阅读
- Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Wikipedia, Agile software development.
- Wikipedia, ITIL.
- Wikipedia, Information technology service management.
- Wikipedia, DevOps.
- Wikipedia, Site reliability engineering.
- Wikipedia, Goodhart's law.
- Wikipedia, Return on investment.