概述与动因

敏捷的工作方式把可工作的软件放在首位,并让利益相关方在整个过程中持续协作,使交付出去的正是人们所需要的。由 ITIL 编纂的 IT 服务管理(ITSM),把同样的关切表述为价值:当一项服务帮助客户以他们接受的成本和风险实现他们想要的成果时,它就是有价值的。两种传统在一个令人不舒服的问题上汇合。一年之后,人们和组织是否因为这个团队所构建和运行的东西而过得更好?

回答它比统计交付了什么要难。功能发布了,却没人使用。事件下降,原因与团队的工作无关。幻灯片上出现了成本节省,而它所来自的预算却花在了别处。本主题讲的就是弥合这一缺口,它直接联系到本书早期提出的成果焦点(见主题 1.3,结果优先于产出:选择度量什么)。

有四个思想组织了本主题。

  • 收益。收益是利益相关方所看重的、可度量的改进,比如在某项任务上花的时间更少、错误更少、服务的客户更多,或风险更低。功能不是收益。它是手段。收益实现管理是识别收益、指定负责人并检查它们是否到来的学科。
  • 价值假设。在构建之前,团队写下它预期改变什么、对谁、改变多少,以及如何得知。这是一个可检验的主张,它可能是错的。变革理论或逻辑模型铺陈从活动到产出再到成果的链条,这有助于使假设明确。
  • 领先和滞后指标。领先指标较早变动并预测结果,比如一项新流程的采用。滞后指标事后确认结果,比如每笔交易成本的降低。两者都用:领先指标让你纠正方向,滞后指标告诉你是否奏效。
  • 归因。许多事情同时在变。要说你的工作造成了某项改进,你需要一个比较:基线、对照组,或考虑了其他变化的前后设计。没有它,价值的主张只是故事。诚实的立场往往是"与……相关联",而不是"由……造成"。

诸如目标与关键结果(OKR)之类的目标框架,可以把团队工作与业务成果联系起来,关于度量框架的前面的主题详细涵盖了它们(见主题 1.7,度量框架)。每种框架的风险,都是古德哈特定律所指出的那个:一旦收益数字变成目标,人们就会想办法产生数字而没有收益(见主题 1.2,古德哈特定律与指标心理学)。

本主题还与钱相联。下一部分中关于投资回报与商业论证的主题,深入处理财务视角(见主题 7.7,投资回报与商业论证)。这里的焦点是成果的证据,它为那个论证提供输入。

关键原则

  • 在构建之前写下预期的收益。之后无法被检查的主张,无法从中学习。
  • 为每项收益指定负责人。负责人是将看到这项变化的利益相关方,而不是交付团队。
  • 在发布之后,在用户处度量。交付是检查的开始,不是结束。
  • 用领先指标来引导,用滞后指标来确认。
  • 对归因保持诚实。说明还有什么发生了变化,并避免证据无法支持的主张。
  • 统计未能到来的收益。从失败的假设中学习,是这种工作方式的一项收益。
  • 持续协作。利益相关方和团队定期共同评审证据。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
收益实现率 在约定的评审日期被观察到的预期收益占比 度量结果达到或高于约定阈值的收益数 / 评审日期在该期间的预期收益数 百分比 带负责人、基线和评审日期的收益登记册 持续改进;服务价值系统治理 与利益相关方的成果评审 每季度
达到首个价值的时间 从工作开始到用户得到第一个可度量收益的时间 从第一项工作开始,到收益指标首次按预期变动之日的天数 天 工作跟踪器和收益指标 服务设计;发布与部署管理 持续交付价值 每项举措
假设检验率 发布之后其所述价值假设得到检验的已发布变更占比 有发布后检验记录的变更数 / 带有假设的已发布变更数 百分比 与发布记录关联的假设日志 持续改进;变更赋能 从已发布的工作中学习 每月
证据质量占比 有基线和所述比较方法的、所主张的收益占比 有基线和方法的收益主张数 / 所报告的收益主张数 百分比 收益登记册的评审 度量与报告 对成果的诚实报告 每季度
成果指标变动 所选成果指标相对于其基线、以及(可得时)相对于对照的变化 (之后的指标 减去 之前的指标),并在旁边报告对照组的变化 指标单位 产品分析、服务数据、财务 服务级别管理;持续改进 关键结果的进展 每月
业务影响小时数 因服务问题而使业务流程降级或停止的小时数 流程负责人归因于 IT 服务原因的流程降级或停止的小时数 小时 与流程负责人确认相联的事件记录 事件管理;可用性管理 业务影响评审 每月
与成果相联的容量占比 花在与所述成果相联的工作上的团队容量占比 与已记录成果相联的项目上的容量 / 总容量 百分比 带成果字段的工作跟踪器 服务价值系统;组合治理 与产品目标对齐的工作 每季度

在记录每项收益时,而不是事后,定义评审日期和阈值。达到首个价值的时间在工作开始时启动,并在指标首次按规定幅度朝预期方向变动时停止,这可能远在发布之后。业务影响小时数的归因与流程负责人约定,争议被记录。

建议

构建之前:使主张可以被检查

1. 为每项重大变更撰写一份价值假设。使用平实的形式:"我们相信[变更]将帮助[谁]去[做什么],从而[可度量的改进]。我们将通过[指标]从[基线]变为[预期]来得知,于[日期]评审。"保持简短,足以写在看板上的一张卡片上。无法填空的团队,往往还没有理解问题。

2. 记录基线。没有之前,就没有之后。捕获指标的当前值、它是如何度量的,以及它的变化幅度。如果指标有噪声,单一数字会误导,所以记录几周内的一个范围(见主题 1.6,服务指标的统计素养)。

3. 选择领先和滞后指标。对一项新的自助服务请求,领先指标是有多少合格用户完成了它,滞后指标是手工处理小时数的下降(见主题 6.3,服务采用与目录指标)。约定在何时检查哪个指标。领先指标让你无需等到季度结束就能中途纠正。

4. 在交付团队之外指定一位收益负责人。负责人是在其领域中将看到改进、并能对其作出判断的利益相关方。交付团队支持度量,但不给自己的作业打分。这就是实践中的持续协作:想要这一成果的人,在成果被确认之前始终参与其中。

发布之后:诚实地检查

5. 在约定的日期评审假设。与负责人和团队举行简短的评审。查看指标、基线和对照。在登记册中记录结果:达成、部分达成、未达成或无法判断。"无法判断"是合理的结果,也是改进度量的提示。

6. 在可能之处使用对照。最有力的对照是受控实验。A/B 测试比较两个版本,用户被随机分配,对流量足够的数字服务效果很好。在无法随机化之处,分阶段推出让你比较已收到和未收到变更的群体。双重差分方法比较同一期间内受处理组的变化与未受处理组的变化,这消除了共同的趋势。使用适合的最简单的设计。

7. 寻找混杂因素。混杂因素是另一个发生了变化、并可能解释结果的东西:季节模式、新政策、不同的请求构成。在你主张某种效果之前,列出似乎合理的那些。如果你无法排除它们,就说明证据支持什么,不多说一分。

8. 报告负面和零结果。当一项变更没有帮助时,说出来并记录学到了什么。幸存者偏差,即只看成功的习惯,使项目看上去比实际更好。只包含胜利的登记册,没有被诚实地维护。

保持项目诚实

9. 把证据质量与收益分开。跟踪有基线和所述方法的主张占比。大的主张而证据薄弱,应当被读作这样。健康的登记册显示适度的主张配以有力的证据,外加几个诚实的"无法判断"条目。

10. 松散地把容量与成果相联。问团队的工作中有多大份额与所述成果相联,并查看其余部分。有些工作,比如安全修复或维持运转,没有新的收益,只要被点名,就没有问题。目的是注意到漂移,而不是强迫每项任务都进入一个收益故事。

11. 与你所用的目标框架联系起来。如果你使用 OKR,就让关键结果成为成果指标,并与利益相关方一起评审。让关键结果关乎成果,而不是任务,并为可能无法完全达成的、有抱负的目标留出余地。不要把关键结果变成个人目标(见主题 1.7,度量框架)。

12. 既评审项目,也评审组合。每季度,跨举措查看哪些收益到来了、哪些没有,以及这种模式对团队如何估计和选择工作说明了什么。用它来改进撰写假设的方式,而不是给团队排名。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
收益实现率 设定低阈值;移动评审日期;事后重新定义收益 阈值和日期在批准时固定;证据质量占比;负责人在交付团队之外
达到首个价值的时间 选择因错误原因而变动的早期指标;晚启动时钟 登记册中定义指标和时钟;与收益负责人确认
假设检验率 撰写总能通过的含糊假设;只检验成功的变更 抽样假设的可检验性;评审中包括零结果和失败的结果
证据质量占比 回填基线;把任何比较都描述为方法 变更之前注明日期的基线;由团队之外的人评审
成果指标变动 挑选有利的期间或群体;忽视混杂因素 预先登记的期间和群体;考虑过的混杂因素清单
业务影响小时数 流程负责人夸大或缩小归因;重新分类事件以避免归因 书面并记录的归因规则;与事件和可用性记录比较
与成果相联的容量占比 给所有工作贴上通用的成果标签;为例行工作编造成果 与利益相关方一起评审成果清单;抽样项目检查链接质量

健康的读数是这样一份登记册:有些收益达成,有些没有,少数不清楚,每个条目都有基线、负责人和所述方法。一份一致成功的登记册,应当被怀疑。

权衡:利弊

做法 优势 劣势
正式的收益登记册 问责,跨举措学习 若应用于每个小变更则流于官僚
每张卡片上的轻量假设 廉价,培养习惯 容易写得含糊
受控实验 因果的有力证据 需要流量、时间,以及适合该服务的设计
只做前后对比 简单、快速 被其他变化混杂
利益相关方的判断 捕捉度量所遗漏的价值 易受乐观和政治影响
领先指标 早期纠正方向 可能无法预测真实的成果
滞后指标 确认真实结果 来得晚;原因众多

文字化的答案是,让证据的分量与变更的规模和风险相称。对小变更使用轻量的假设和简单的前后对比,对大变更使用实验或分阶段推出。始终记录你预期什么、发生了什么,以及你有多大把握。

与团队讨论的问题

1. 上个季度我们发布了什么?对它本想帮助的人,改变了什么? 列出主要的变更,并对每一项说出会注意到差别的那个人。问他们会怎么说。主持人应记下没人能回答的变更,因为它们是发布后检查的候选。约定在一个月内与其负责人一起评审一项变更。

2. 对于我们的下一项重大变更,价值假设是什么?我们怎么知道? 一起填写假设表单。质疑含糊的词和缺失的基线。问什么结果会让团队改变计划。如果小组无法就一项度量达成一致,那在构建之前,这就是一项探索任务。

3. 谁拥有这项收益?他们在房间里吗? 检查每项收益是否有交付团队之外的负责人。问负责人多频繁地看到证据。在负责人就是团队本身之处,讨论还有谁应当分担判断。这场交谈支持利益相关方之间的持续协作。

4. 数字改善时,还有什么发生了变化? 取一项近期所主张的改进,列出同一期间的其他变化:政策、季节性、人员配置、另一个团队的发布。问哪些可以解释结果。决定是把这项改进描述为由变更造成、与之相关联,还是不清楚。

5. 我们过去的哪些假设结果证明是错的?我们对此做了什么? 请求一个关于落空的期望的故事。如果很快讲不出来,团队可能没有在检查,或没有在谈论它。讨论如何使报告零结果变得安全而有用。

6. 我们的容量中有多大份额与成果相联?这感觉对吗? 评审一个月完成的工作,并为每个项目标上一项成果或"维持服务运转"。问这个划分是否与领导层所认为的相符。讨论没有成果的工作,以及它是否应当继续。

四种视角

产品与交付团队

交付团队拥有假设和度量计划,他们应当以小步交付变更,使证据早日到来。他们应当把指标构建进变更,例如记录他们需要的事件,并请收益负责人确认他们所看到的。团队应当欢迎失败的假设,将其视为信息,因为早期的学习节省了构建更多错误之物的成本。

服务与运维团队

运维团队看到变更对事件、请求和容量的真实影响。他们掌握着滞后指标的大部分数据,比如手工处理小时数和重复联系,他们应当帮助检验假设,而不只是承受变更。当纸面上所主张的收益与服务台所见不符时,他们应当发声。

领导层与治理

领导层选择收益是学习工具还是推销手段。他们应当要基线和方法,欢迎诚实的"未达成"结果,并避免让团队承担在事实已知之前设定的收益数字。治理应当把登记册作为组合来评审,为度量出资,并愿意停止其假设已经失败的工作。

客户与用户

用户知道一项变更是否有帮助,他们是大多数收益的最佳裁判。应当询问他们,向他们展示结果,并在变更没有达到所期望时告诉他们。他们的评论本身就是证据。数字显示了、而用户感觉不到的收益,值得更仔细地查看。

实践:一个敏捷 ITIL 示例

一家地区健康保险公司的 IT 小组构建并运行一个面向医疗服务提供方的理赔门户。以下数字是示意数字。

该小组计划在理赔提交中加入自动资格检查。与理赔运营经理一起撰写的假设是:"我们相信自动资格检查将帮助医疗服务提供方的计费人员一次提交正确的理赔,使因更正而被退回的理赔从 18% 降到 12%,时间为三个月之内。我们将通过退回理赔率得知,于 3 月 1 日评审。"基线是过去 12 周的平均值,即 18%,每周范围为 15% 到 21%。领先指标是第一个月内该检查的使用。理赔运营经理是收益负责人。

团队以小步发布,该检查首先在一个地区可用。三周后,该地区检查的使用率为 64%。在评审日期,有检查的地区退回理赔降到 13%,没有的地区降到 17%。理赔经理指出,同一期间还有一项关于某个计费代码的政策变更生效。团队把它列为混杂因素,并从两组中去掉带有该代码的理赔,剩下 14% 对 17.5%。收益实现被记录为"部分达成":明显好于基线,但未达到 12% 的目标。团队在登记册中诚实地写道,证据来自一个季度内分阶段的推出,对其他提供方,效果可能不同。

然后他们把检查推出到所有地区,并计划在三个月后再次检查,并增加一项任务来改进错误信息,因为提供方的评论说这条信息不清楚。财务总监要求给董事会一个单一的数字。IT 负责人提供范围和方法,并拒绝给出比证据所允许的更精确的数字。该决定被记录下来,连同下一次评审日期。

行业视角

初创企业。收益接近收入和留存,而学习速度很重要。在卡片上写一行字的假设,快速检验它们,并避免笨重的登记册。使用简单的比较,并接受小样本限制了你能主张什么。

小型企业。所有者就是收益负责人,效果是可见的。保留一份简短的变更清单及预期效果,每季度评审。避免把小的收益夸大成大数字,并与变更的成本比较。

大型企业。组合、资助周期和众多利益相关方,使收益登记册有用。对小变更保持轻量,对大变更保持严谨,把负责人放在业务单元,并跨组合评审。防止以不同定义汇总的数字。

政府与公共部门。成果往往是公共产品,比如可及、公平和安全,它们无法还原为收入。与所服务的人一起定义成果,使用混合证据,并公开报告方法。可能需要正式的商业论证和收益评审,诚实的零结果对公共问责很重要(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本主要是注意力。撰写假设花几分钟,基线花一小时或几个小时,评审花一次简短的会议。实验和分阶段推出需要设计工作和一些工具。收益登记册可以是电子表格,或工作跟踪器中的一个字段。

回报是更好的投资决定。检验自己假设的团队,会停止构建无益之物,扩展有益之物,并了解自己预测得有多好。这节省了未使用的功能和失败项目的成本。用你自己的数据建立论证:带有假设的变更占比、被检验的占比,以及后来被放弃或撤销的工作的成本。避免关于 IT 项目失败率的已发布数字,除非你能追溯其来源和方法,因为它们差别很大,又常常脱离语境被引用。财务处理见下一部分(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 把交付算作价值。已发布的功能只是手段。检查对人的影响。
  • 不可能失败的假设。让它们具体,附数字和日期。
  • 给自己的作业打分。让团队之外的收益负责人来评判结果。
  • 从前后对比中主张因果。列出混杂因素,并在可能之处使用对照。
  • 只报告胜利。记录零结果和负面结果。只有成功的登记册是不诚实的。
  • 为个人设定收益目标。与人挂钩的目标招致夸大的主张。把收益保持在团队和举措层面。
  • 过度精确。报告范围和方法,而不是单一的小数。
  • 忽视没有新收益的工作。给它命名,不要为它编造收益故事。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
陈述价值 收益只在商业论证中主张 为部分变更撰写假设 每项重大变更都有简短的假设、基线和负责人 假设和阈值在批准时固定;定义领先和滞后指标 假设在团队和供应商之间共享;成果与用户共同定义
检查价值 没有发布后检查 交付团队偶尔检查 与独立负责人一起的定期评审 记录对照和混杂因素;跟踪证据质量 组合层面的证据引导资助;跨团队共享实验
学习 庆祝胜利,遗忘失败 记录一些教训 记录并评审零结果 错过的假设中的模式改进选择和规模估计 学习为整个组织及与伙伴的计划提供输入

检查清单

  • 每项重大变更都有书面的价值假设,含基线、指标和评审日期。
  • 每项收益都有交付团队之外的负责人。
  • 定义并跟踪领先和滞后指标。
  • 评审在约定的日期与负责人一起进行。
  • 在可行之处使用对照或分阶段推出。
  • 为每项所主张的结果列出混杂因素。
  • 记录并分享零结果和负面结果。
  • 在收益主张旁边跟踪证据质量。
  • 没有任何个人有个人的收益目标。
  • 每季度的组合评审查看达成和错过的假设中的模式。

AI 提示词

撰写价值假设。

我们计划在[组织类型]中,为[用户或利益相关方][描述变更]。今天的问题:[描述]。请按照
"我们相信[变更]将帮助[谁]去[做什么],从而[可度量的改进]。我们将通过[指标]得知……"的
形式起草价值假设。建议一个领先指标和一个滞后指标、我们需要什么基线,以及评审日期的逻辑。
不要编造目标值;留作占位符由我们填写。列出你的假设,以及我们需要查明的事项。

为所主张的结果列出混杂因素。

我们主张,在[日期]之间,[变更]使[指标]从[之前]改善到[之后]。该期间发生的其他事情:[清单]。
请列出似乎合理的混杂因素、每个如何可能解释结果,以及什么数据或对照有助于排除它。建议
说明证据所支持内容的措辞。不要假定数据无法支持的原因。列出你的假设。

设计分阶段推出的比较。

我们可以在不同时间向[数量]个群体发布[变更]:[描述群体和约束]。请提出一个分阶段推出方案,
使我们能比较有变更和没有变更的群体,说明使用什么指标和期间、什么可能使比较产生偏差,
以及我们会从不同结果中得出什么结论。不要编造效应量。列出你的假设和风险。

评审收益登记册的一个条目。

请评审[举措]的这条收益登记册条目:[粘贴含主张、基线、方法、负责人和评审日期的条目]。
指出缺失的信息、含糊的措辞、证据不支持的主张,以及结果可能被操纵的方式。建议一种更
符合我们实际所度量内容的更有力的措辞。列出你的假设,以及给负责人的问题。

AI 技能

关键要点

  • 在构建之前写下可检验的价值假设,附基线、团队之外的负责人和评审日期。
  • 用领先指标来引导,用滞后指标来确认。
  • 在可能之处比较,列出混杂因素,并只主张证据所支持的。
  • 记录零结果和负面结果;一份一致成功的登记册是不诚实的。
  • 在主张的大小旁边,跟踪证据的质量。
  • 让利益相关方和用户持续协作,直到成果被确认。

参考文献与延伸阅读

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.