结果优先于产出:选择衡量什么
好的服务或交付指标,描述的是客户生活中的变化或服务健康状况的变化,所以选择度量时要问:谁身上发生了什么变化;活动和产出的计数至多只能作为佐证。
概述与动因
大多数仪表板都从容易计数的东西开始:关闭的工单、部署的变更、完成的故事、接听的电话。它们已经在某个工具里带有时间戳,并且在团队的控制之内。但它们都没有说明是否有人因此过得更好。
四个词有助于理清思路。活动(activity)是花掉的精力:工作的小时数、开过的会议、打出的电话。产出(output)是工作产生的东西:一次发布、一张已解决的工单、一篇发表的文章。成果(outcome)是这些产出为某人带来的变化:客户完成任务的时间缩短一半,诊所按时开门,重复出现的问题不再复发。影响(impact)是对组织目标的较长期作用,例如留住客户或降低服务成本。在 ITIL 4(由 AXELOS 发布的 2019 年版框架,现归 PeopleCert 所有)中,产出是一项活动有形或无形的交付物,成果是一项或多项产出所促成的、对利益相关方的结果。
ITIL 增加了第二个思想,可以作为检验任何指标的标准:价值由服务提供者和服务消费者共同创造,而不是一方交付给另一方。这与服务主导逻辑的思路一致,这种营销观点认为,价值产生于使用之中,即客户把提供者的能力用于自己的目标之时。完全在提供者一侧度量的指标,证明不了价值。一个团队可以关闭每一张工单、按时发布每一个版本,而用户却觉得自己的工作没有变得更容易。
敏捷的观点经由另一条路径抵达同一个地方。敏捷软件开发宣言背后的原则说,可工作的软件是进度的首要度量,而简洁,即最大化未完成工作量的艺术,是至关重要的。二者都不奖励更大的产出堆。两者都指向交付对用户有效的东西,不去构建没人需要的东西。
产出和活动指标并没有错。它们管理流动、容量和成本,后面的主题大量使用它们(见主题 2.1,流动度量)。错误在于让它们代替价值。虚荣指标是一种容易报告、几乎总在上升的数字:注册用户总数、累计处理的工单、迄今发布的功能。它让团队看上去很忙,却没告诉任何人下一步该做什么。检验办法是:这个数字能否在客户的处境变糟时依然上升?
成果指标更难。它们变化缓慢,取决于团队控制之外的因素,而且噪声大。对密码重置流程的一次改动,可能要几周才会在联系量上显现,而市场活动同样影响联系量。办法是谨慎地选择成果,把它们与团队日常用来掌舵的产出度量配对,并诚实地说明团队能认领多少变动。
领先指标(leading indicator)是在你关心的结果之前发生变化、并能及早施加影响的度量,例如拥有经过测试的支持运行手册的新服务所占的比例。滞后指标(lagging indicator)事后报告结果,例如重大事件数量或客户流失。经济学家用同样的配对,把经济指标分为领先、同步或滞后。团队两者都需要:滞后指标告诉你是否做对了,领先指标则在还来得及时给你可以采取行动的抓手。领先指标在你用多个周期检验它确实先于成果变化之前,只是一个假设。
成果度量是对付操纵的一种局部解药(见主题 1.2,古德哈特定律与指标心理学)。越接近客户体验的度量,越难在不帮到他们的情况下被改善,而操纵就栖身于与成果的距离之中。帮助做出选择的框架另有专门介绍(见主题 1.7,度量框架)。
关键原则
- 从成果出发,倒推回来。说出你想为客户、服务或组织带来的变化,然后问什么证据能显示它,再问哪些更早出现的先行迹象。
- 价值是共同创造的,所以要包括消费者一侧。每一组度量中至少有一项应来自使用服务的人:他们的成功、付出的力气或体验,而不只是提供者的记录。
- 让链条保持可见。把活动、产出、成果和影响展示成一条链。团队依据产出和领先指标掌舵,依据成果评判自己。
- 配对,绝不替代。成果度量解释产出度量为何重要,产出度量解释面对成果度量该做什么。单独哪一个都不行。
- 偏好既能升也能降的度量。只增不减的数字是计数,不是信号。
- 把领先指标当作假设。检验它们是否能预测成果,不能就放弃。
- 对归因诚实。成果有很多原因。说明团队能影响什么,只能观察什么。
指标定义
下面五个指标,是为了把一组度量推向成果而选的。它们是应采用的形式的示例,后面的主题会定义填充它们的服务和交付度量。本主题中的示意阈值不是基准。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 成果覆盖率 | 已报告指标中,在指标登记册里与某个具名客户或服务的书面成果相联的比例 | 有书面成果关联的指标数 / 该期间报告的指标数。仅统计出现在定期报告中的指标;不含单个团队保留的工作视图度量 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 产品目标与交付目标 | 每季度 |
| 功能采用率 | 在发布后的规定窗口内使用某项新增或变更能力的合格用户所占比例 | 发布后 30 天内使用该能力的去重合格用户数 / 该期间去重合格用户数。时钟从正式可用开始;不含内部测试账号和无法触及该能力的用户 | 百分比 | 产品分析、服务目录使用日志 | 服务设计;发布管理 | 利益相关方评审反馈;产品成果度量 | 发布后 3 个月内每月,之后每季度 |
| 重复联系率 | 在先前一次联系被关闭后的规定窗口内,同一用户就同一服务再次联系的比例 | 在已关闭联系后 14 天内,同一用户就同一服务发起的新联系数 / 该期间已关闭的联系数。时钟从关闭开始;不含作为计划内跟进而开启的联系 | 百分比 | ITSM 工具的联系和工单历史 | 服务台;事件管理 | 逃逸缺陷;完成的定义 | 每月 |
| 领先指标验证率 | 在评审期内,其变化先于所关联的滞后指标变化的在用领先指标所占比例 | 已确认领先于其滞后指标的领先指标数 / 在用的领先指标数。由团队在有记录的评审中判断,至少基于四个周期的数据;不含数据不足四个周期的指标 | 百分比 | 指标登记册和趋势历史 | 持续改进 | 对实验的回顾行动 | 每年两次 |
| 收益评审完成率 | 在约定的延迟后,其预期成果对照其度量进行了评审的、获得资助的变更或改进所占比例 | 在计划评审日期后 90 天内完成成果评审的变更数 / 评审日期落在该期间的变更数。不含发布前撤回的变更 | 百分比 | 变更记录、改进登记册、评审记录 | 持续改进;变更赋能 | 利益相关方评审;产品增量评审 | 每季度 |
成果覆盖率和收益评审完成率度量的是度量实践本身,很容易靠文书工作来满足。功能采用率和重复联系率更靠近客户,也最可能改变一个决定。
建议
从成果开始
1. 把成果写成关于一个人或一项服务的句子。"员工无需致电服务台就能自行重置密码"是成果。"部署新的身份门户"是产出。把这个句子放在登记册中该指标条目的最前面,然后再选度量。如果写不出这句话,说明你还没有准备好去选数字。
2. 画出从活动到影响的链条。对每个目标,勾画四个方框:团队做什么、产生什么、用户那里有什么变化、这对组织有什么改变。把每个候选指标放进一个方框。一组指标在左边塞满、右边空空,就是该去找成果证据的信号。
3. 对每个指标使用价值共创的检验。问:这展示的是谁的价值观,消费者的视角是否出现在这组度量的某处?按 ITIL 的说法,服务关系有提供者和消费者,价值在消费者的使用中实现。以提供者的时钟计的响应时间,需要有消费者一侧的配套度量,例如用户是否能继续手头的工作(见主题 6.2,体验级别协议)。
4. 要一个决定,而不是一份报告。对每个候选指标,写下当它变化时有人会采取的决定。把没有挂接决定的度量退役。这是对付虚荣指标最快的过滤办法,也能防止仪表板默认地越长越大。
把产出与成果配对
5. 每项主要的产出度量配一项成果度量。如果你报告部署,就把它们与部署为服务带来的变化的度量配对,例如变更失败或面向用户的事件(见主题 2.8,DORA 指标)。如果你报告已解决的工单,就把它们与重复联系配对。这一对应当放在同一页上。只看到产出的团队,会为产出而优化。
6. 选择团队能影响的成果度量,并点明只能观察的那些。团队能影响自己服务的重复联系,以及自己功能的采用情况。它只能观察公司的收入。两者都属于全貌,但目标和改进工作应附着在能影响的度量上。点明这一区别,可避免团队为自己无法造成的波动而受责。
7. 公开地使用替代指标。许多成果无法直接度量。选一个替代指标(proxy),说明它是替代指标,并说明它漏掉了什么。重复联系率是"问题确实解决了"的替代指标,一份简短的调查或对开放式评论的阅读,可以检查它是否仍然说真话(见主题 6.1,客户满意度指标)。
构建领先与滞后的配对
8. 每个滞后指标至少配一个你能据以行动的领先指标。重大事件是滞后指标,而拥有经过测试的恢复运行手册的服务占比可能领先于它。领先指标让团队这个月就有事可做。选择你有理由相信的领先指标,并把理由写下来,然后检验这个信念。
9. 通过回看来验证领先指标。每年两次,把每个领先指标与其滞后伙伴在至少四个周期内画在一起,看变化是否先发生。关系薄弱时,更换或放弃该领先指标。
10. 当成果有清晰的面向用户的度量时,使用服务级别目标。精心选择的服务级别指标(SLI)是用户满意度的领先信号,而服务级别目标(SLO)规定了它需要多好(见主题 5.2,SLI、SLO 与错误预算)。当指标从用户而不是机器的角度选择时,它们的效果最好。
保持选择的诚实
11. 用成果评审闭环。当一项变更或改进获得资助时,记录它要产生的成果、度量,以及有人将回头检查的日期。即使答案令人尴尬,也要举行评审。没有评审,成果的措辞只是装饰(见主题 6.5,价值实现与业务成果)。
12. 把产出度量放在工作视图里,并说明它们的用途。流动、容量和成本度量是团队的仪器,不是它的记分牌。周期时间告诉你工作在哪里等待(见主题 2.2,前置时间、周期时间与流动效率)。如果向上汇报时旁边没有成果,它们就会招致操纵。
操纵途径与护栏
转向成果并不会消除操纵,只是改变它的形态:成果可以被重新定义,替代指标可以被操控,评审可以被跳过。
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 成果覆盖率 | 为每个指标写一句含糊的成果("改进服务"),使关联在纸面上存在 | 抽查登记册:句子必须点出一个人或服务和一项变化;检查是否因这项度量而采取过某个决定 |
| 功能采用率 | 把被迫或自动的首次使用算作采用;缩小合格用户群;把该能力设为默认,使其无需选择就"被使用" | 该能力用户的任务完成情况或满意度;30 天和 90 天后的使用留存;阅读开放式评论 |
| 重复联系率 | 告诉用户通过另一渠道提出新请求;把联系作为与无关联系的重复而关闭;延长关闭时间以避开窗口内的再联系 | 同一服务按渠道划分的联系;对关闭备注的抽样评审;用户报告的"问题已解决"比例 |
| 领先指标验证率 | 经过一次随意的查看就宣布领先指标有效;选择本来就和成果同步变化的指标 | 附有绘制数据的书面评审记录;每个周期请团队之外的人质疑一项结果 |
| 收益评审完成率 | 评审只是名义上举行,或事后才设定预期成果,使其总能达成 | 将评审中的成果与变更获得资助时的陈述对照;跟踪促成计划变更的评审占比 |
健康的读数显示:成果度量有时令人失望,评审有时会终止一项变更,领先指标有时会被放弃。一组每个成果都达成、每个领先指标都得到确认的度量,很可能是被调校成这样的。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 产出与活动度量 | 快速、便宜,在团队控制之内;适于流动和容量决策 | 容易虚高;说明不了是否有人受益 |
| 成果度量 | 贴近客户和组织所看重的东西;不帮到别人就难以改善 | 缓慢、有噪声,受团队控制之外的因素影响 |
| 领先指标 | 提供早期预警和可以行动的抓手 | 若其与成果的联系是假设而不是检验过的,可能误导 |
| 滞后指标 | 报告真正发生了什么 | 来得太晚,改变不了本期结果 |
| 成果的替代指标 | 让难以度量的成果变得可见 | 可能偏离所代表的东西,并招致替代 |
| 小型的成果主导集合 | 容易记住和讨论;聚焦精力 | 可能漏掉所选成果之外的问题 |
| 宽泛的平衡集合 | 覆盖更多服务 | 稀释注意力;每项度量受到的审视更少 |
保留少数几个全组人都能背出的成果度量,用解释它们的产出度量和领先度量来支撑每一个,并在战略变化时重新审视这个集合。与平衡计分卡和目标与关键结果相关联的平衡方法,都试图把日常工作与真正重要的结果联系起来。当关键结果变成旁边挂着百分比的一串产出时,它们都以同样的方式失败。
与团队讨论的问题
1. 在我们最显眼的五个指标中,哪些可能在我们的客户处境变差时仍然上升? 把这五个写在板上,对每一个提这个问题。比如,已关闭工单的计数可能上升,而重复联系同时也在上升。主持人应记录答案为"是"的情形,因为那些就是虚荣指标。最后问,每一个旁边应当配什么成果度量。
2. 对于这项服务的客户,用他们的话说,美好的一周是什么样子? 询问与客户交谈的人,避开团队自己的词汇。这些回答会成为成果的句子,往往还会揭示没人度量的东西,例如不必把问题解释两遍。记下三个句子,问哪些可以度量,哪怕是通过替代指标。
3. 我们的领先指标中,有哪些曾经对照过它们本应预测的结果? 选一个指标,把它与滞后伙伴过去若干周期的数据画在一起。问你看到了什么,有多大把握。如果关系薄弱,讨论用什么替换。把放弃一个指标视为学习的正常结果,而不是失败。
4. 我们的团队在哪里为只是观察到的成果居功? 看向给领导层的报告里的指标。哪些取决于团队控制之外的因素,例如季节性、一次营销活动或某个供应商?约定一种平实的方式,说明团队能影响什么、只能观察什么。这能让团队为某个成果因其不曾造成的原因而变化的那一天做好准备。
5. 过去两个季度里我们发布或改变了什么?有人评审过它是否奏效吗? 把这些变更列在板上,标出有评审记录的。对其余的,问预期的成果是什么,现在怎样才能查明。不要去追责。目的是养成这个习惯,哪怕最初的评审来得晚了些。
6. 哪些产出度量应当退回到我们的工作视图? 有些度量对团队有用,放进报告却会误导。问哪些是哪一类,以及每一个要留在领导层报告上,旁边需要配什么。约定本季度挪动一项度量。挪动度量是成熟的标志,而不是在透明度上后退。
四种视角
产品与交付团队
交付团队被产出所诱惑,因为他们的工具默认就报告产出。解药是让采用情况和成果证据成为完成的定义和利益相关方评审的一部分。一个没人使用的功能是一次教训,及早发现这一点正是敏捷实践的好处之一。团队把流动度量留在工作视图里,并将其与采用和失败度量配对(见主题 2.5,交付预测与规划指标)。
服务与运维团队
服务团队以处理量被衡量:接听的电话、关闭的工单、解决的时间。这些对规划和成本很重要,却几乎说明不了用户的问题是否消失。运维团队应在速度度量旁边加上重复联系、同一原因的复发,以及用户报告的解决情况,并对简单工单数量的上升保持怀疑(见主题 3.1,服务台指标)。知识文章的使用、经过测试的运行手册等领先指标,让团队在两次事件之间有事可做。
领导层与治理
领导层要求看什么,就教会组织什么重要。要求看成果,接受它们更慢、噪声更大,并为检查它们的评审提供资金。治理机构应寻找一组简短而稳定的成果度量,每个都有明确的负责人,以及它所依据的决定的记录(见主题 1.4,指标治理与归属)。问"我们学到了什么?"的领导,比问"为什么是红的?"的领导得到更好的数据。
客户与用户
客户直接体验成果,很少看到产出计数。他们是这组度量的最终检验:服务是否让他们继续做来此要做的事?简短的调查、开放式评论,以及对真实任务的观察,是比任何提供者一侧度量都更好的证据。客户在共同创造价值方面也有作用,这意味着他们被告知、被赋能和被倾听的程度会影响结果(见主题 6.3,服务采用与目录指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个内部平台团队,为约 40 个产品团队提供自助环境供应服务,由一个小型服务台支持。本示例中的所有数字都是示意数字。
月度报告显示,履行了 310 项请求(上月 240 项),履行时间的中位数为 6 小时,本季度发布了 12 项功能。领导层很高兴。平台负责人注意到,就供应事宜联系服务台的次数也上升了,于是请团队将产出与他们所希望的成果对照画图:产品团队无需等待或求助就能拿到环境。
链条练习表明,团队度量了活动和产出,却没有成果。他们加了三项。第一项是重复联系率:22% 的供应联系之后,14 天内又有一次关于同一服务的联系。第二项是三个最新功能的采用率,30 天后分别为合格团队的 9%、14% 和 61%。第三项是领先指标,即无需人工步骤就完成的请求所占的比例,当前为 48%。他们假设,它应当会带动重复联系率下降。
他们决定暂停两个与两个低采用功能类似的计划功能,把这个季度花在重复联系最常见的原因上:超出配额时一条不清晰的错误信息。他们记录了预期成果,即重复联系率低于 15%,并把评审日期定在 90 天后。
操纵风险在第二个月出现。重复联系率降到 11%,看上去好极了。对 25 个已关闭联系的抽样显示,服务台已开始要求用户使用聊天渠道提出后续问题,而聊天渠道不计入 ITSM 工具。团队把按渠道划分的联系加入报告,把聊天记录纳入抽样,发现合并后的比率是 17%。这是真实的改善,只是比第一次读数小。在评审中,负责人报告了 17%,指出领先指标同步从 48% 升到 57%,并记录下该假设在判定其有效所需的四个周期中成立了两个。
行业视角
初创企业。成果近在手边:创始人可以与客户交谈,看他们是否留下。风险是只度量用户和功能的增长,在留存和任务成功变得可见之前,这些都是虚荣指标。选一项客户能认出来的成果度量,并每周检查。
小型企业。数字太小,做不了统计,所以偏重直接交谈、少量被跟踪的个案,以及一小串替代指标。对供应商的仪表板保持警惕,它们把自己的活动报告成好像是你的成果。
大型企业。规模招致产出报告,因为产出在众多团队之间可比,而成果不可比。抵制把单一的成果定义强加给不相似的服务。约定一小组共同的成果句子,让每个服务选自己的度量,并保持登记册更新。
政府与公共部门。法定职责、经费规则和服务级别预先固定了一些度量,往往是产出,例如已办理的案件数。满足它们,同时在旁边为公民和员工加上成果度量,例如一个人是否得到了他所求的帮助。公开报告使诚实的成果数据更有价值,也更敏感,所以要事先约定如何解释修正后的数字(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
转向成果的成本主要是精力和耐心:撰写成果句子,增加几项度量,例如一份简短的调查或一个采用事件,并举行成果评审。工具成本不高,因为大多数替代指标可以用已经收集的数据构建。更大的成本是延迟,因为成果数据到得慢,领导层必须等待。
回报来自在哪里花钱的更好选择。没人使用的工作代价高昂,在重复联系的根本原因原封不动的情况下改进处理度量同样如此。可以预期的模式是:做出后无人使用的功能更少,对反复出现的原因更关注,争取资金的故事更有力。不要承诺百分比。请测量你自己的基线,例如近期发布的采用情况和重复联系,并在几个季度后比较(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 只数容易数的。工单和部署计数每个工具里都有,这使它们成为默认选项。在增加另一个产出计数之前,先为每个服务至少增加一项成果度量。
- 成果作秀。给每个指标写一个成果句子,却从不检查。评审登记册的一个样本,问每项度量依据了什么决定。
- 未经检验的领先指标。把看似合理的信号当作证明。每年至少两次把它与滞后结果画在一起,放弃那些不领先的。
- 把成果当作个人目标。把成果度量分配给某一个人,会招致主题 1.2 所述的行为。把成果附着在团队和服务上。
- 只度量提供者一侧。由内部时钟和计数组成的集合,会漏掉客户的感受。为每个服务包含一项消费者一侧的度量。
- 从不评审。依据承诺的收益资助变更,却从不检查。在变更获批时就在变更记录上写好评审日期。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 选择度量 | 工具中现成的计数 | 部分团队撰写成果句子 | 每个已报告的指标都有书面成果和它所依据的决定 | 成果集与产出集每季度一并评审 | 成果句子在团队、供应商和客户之间对齐,战略变化时修订 |
| 领先与滞后指标 | 只有滞后结果,报告得晚 | 凭直觉选了几个领先指标 | 领先与滞后指标配对并记入登记册 | 领先指标每年两次对照结果验证 | 指标与供应商和客户共享;集合随证据演进 |
| 成果评审 | 不评审变更是否奏效 | 大变更之后偶尔评审 | 每项获得资助的变更都记录评审日期 | 评审完成,结果输入下一轮计划 | 评审是常规的、跨团队的,并包含客户意见 |
| 消费者一侧的证据 | 轶事 | 部分服务有调查 | 每个服务都有消费者一侧的度量 | 消费者证据有趋势,并与运维数据一并阅读 | 客户帮助定义和解释成果度量 |
检查清单
- 每个服务至少有一个点出一个人或服务及一项变化的成果句子。
- 每个已报告的指标都被放在从活动到影响的链条上。
- 每个指标都有它所依据的具名决定;没有的就退役。
- 报告上的每项产出度量,旁边都有一项成果度量。
- 每个服务至少有一项消费者一侧的度量。
- 每个滞后指标都有一个领先指标,并写明联系的理由。
- 领先指标每年至少两次对照结果检查。
- 替代指标被标注为替代指标,并写明它们漏掉了什么。
- 每项获得资助的变更都有预期成果、度量和评审日期。
- 成果度量附着在团队和服务上,绝不附着在个人身上。
AI 提示词
把产出指标转化为以成果为主导的集合。
我们团队是[团队名称],为[客户或用户]提供[服务或产品]。我们目前报告[产出或
活动指标清单]。我们想转向成果。请针对每个指标,建议它可能支持的一个关于客户
或服务的成果句子,并提出一项我们可以考虑的成果度量和一个领先指标。对每条
建议,说明该度量会漏掉什么,以及它如何被操纵。不要编造基准值或来源。列出你的
假设,以及你需要我提供的事实。
检验一个领先指标是否可信。
我们把[领先指标]用作[滞后成果度量]的领先指标。下面粘贴了两者[数量]个周期的
数据,以及这段时间里任何变化的说明:[数据与说明]。请描述领先指标看上去是否
先于滞后指标变化,以及还有哪些其他解释与这些数据相符。不要断言因果。列出你的
假设、这么少数据的局限,以及哪些额外数据会有帮助。
为最近的一项变更起草成果评审。
我们做了这项变更:[描述],批准于[日期],预期成果是[成果句子],度量是[度量]。
当前数据:[数据]。请起草一份成果评审议程和一个简短的总结结构:把预期成果与
我们所见对照,区分团队能影响的与只能观察的,并列出要问用户的问题。不要做超出
数据所能支持的成败判断。列出你的假设和任何数据缺口。
AI 技能
- 敏捷 ITIL 指标技能:用于为你即将报告的产出指标查找对应的主题和配套的成果度量。
- 敏捷 ITIL 指标维护者技能:用于检查新的指标主题是否把产出度量与成果和护栏配对。
关键要点
- 活动、产出、成果和影响是不同的东西,只有前两者的仪表板显示不出价值。
- 在 ITIL 中,价值是与消费者共同创造的,所以每组度量都需要一项来自消费者一侧的度量。
- 把产出与成果配对,把滞后指标与你检验过的领先指标配对。
- 弄清团队能影响什么,只能观察什么。
- 对照预期成果评审获得资助的变更,并让结果改变计划。
- 成果度量减少操纵,但不会终结它,所以每一项仍需要一个护栏。
参考文献与延伸阅读
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.