持续改进指标
改进是一种留意、尝试和检查的习惯,所以要度量想法是否变成变更、变更是否被检查了效果,以及同样的问题是否一再回来,并让这项工作掌握在做工作的人手里。
概述与动因
《敏捷宣言》的原则之一说,团队定期反思如何变得更有效,然后相应地调整其行为。ITIL 在其指导原则和持续改进实践中表达了同样的信念:服务以及它们的运行方式应当始终得到改进,以小步、基于证据。两者要求的是同一件事,也就是一种常设的改进习惯,而不是偶尔的项目。
大多数组织相信自己在这样做。许多有一个产生一份行动清单的、回顾会议式的会议,一份改进想法的登记册,或一份年度改进计划。常见的失败是清单增长而几乎没有什么发生。行动在会议上约定,随后被遗忘。改进做了却从未被检查,所以没人知道它们是否有帮助。同样的问题换了个名字又回来。持续改进指标,是区分一个正在改进的组织与一个只是在谈论改进的组织的办法。
持续改进过程在质量管理中有深厚的根源。与 W·爱德华兹·戴明(W. Edwards Deming)和沃尔特·休哈特(Walter Shewhart)相联的计划-执行-检查-行动循环,把改进描述为反复的小实验:计划一项变更,试一试,检查结果,并据所学采取行动。改善(Kaizen)是日语中对工作实践的持续改进、并由每个人参与的术语。两者都来自精益制造和丰田生产方式,现在都是服务和软件工作中的标准词汇。ITIL 4 提供一个持续改进模型,其步骤问愿景是什么、现在在哪里、想去哪里、如何到达、采取行动、是否到达了,以及如何保持势头。它是交谈的提示,不是要机械遵循的程序。
有几个思想有所帮助。
- 改进约束。由伊利亚胡·高德拉特(Eliyahu Goldratt)发展的约束理论说,一个系统的吞吐量受其最慢部分的限制,所以别处的改进增加得很少。用本书前面的流动度量找出约束,并先改进它(见主题 2.3,在制品与排队)。
- 找出原因,而不是症状。根本原因分析寻找问题的底层原因,使修复它们能阻止问题回来。当问题有若干原因时,过度使用简单方法可能误导,所以要检查促成因素。
- 质疑假设。双环学习是克里斯·阿吉里斯(Chris Argyris)和唐纳德·舍恩(Donald Schön)的术语,它超越了修复行动,去检查导致该行动的信念和规则。只修复症状的团队(单环学习),往往会再次遇到同样的问题。
- 改进需要容量。全力以赴的团队没有改进的余地。受保护的容量是前提条件,而能够维持的节奏是使改进成为可能的一部分(见主题 9.2,满意度与福祉指标)。
改进指标招致它们自己的操纵。如果已完成行动的数量是目标,团队就会约定琐碎的行动。如果改进所带来的节省是目标,主张就会膨胀。如果提交的想法数量是目标,想法就会涌入,而无一得到行动。古德哈特定律的护栏适用:度量改进是否有效,而不是改进项目看起来有多忙(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 改进属于做工作的人。他们最先看到问题和可能的修复。
- 以小步工作,并检查每一步。小实验降低风险并加快学习。
- 度量后续跟进和效果,而不是活动。完成的行动和确认的效果,比产生的想法更重要。
- 先改进约束。远离瓶颈的努力增加得很少。
- 修复原因。寻找促成因素,并质疑其背后的假设。
- 保护用于改进的容量。它不会发生在并不存在的空闲时间里。
- 为学习庆祝,包括从失败的实验中学习。一个试过却没有奏效的想法,是信息。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 行动跟进率 | 评审中约定的改进行动里,在约定日期之前完成的占比 | 按日期完成的行动数 / 该期间到期的行动数 | 百分比 | 改进登记册或团队待办 | 持续改进 | 已交付的反思行动 | 每月 |
| 改进待办年龄 | 打开的改进项的年龄,特别关注最老的 | 打开项目的年龄(天)的中位数和第 85 百分位数;最老的一个的年龄 | 天 | 改进登记册 | 持续改进 | 待办年龄 | 每月 |
| 效果检查率 | 对照基线检查了效果的已完成改进占比 | 有前后检查记录的已完成改进数 / 已完成的改进数 | 百分比 | 带基线和结果字段的改进登记册 | 持续改进;度量与报告 | 从实验中学习 | 每季度 |
| 从想法到试验的时间 | 从提出一个改进想法到在真实工作中首次试验之间的时间 | 从提出到首次试验的天数的中位数和第 85 百分位数 | 天 | 改进登记册 | 持续改进 | 对变更的快速反馈 | 每月 |
| 一线想法占比 | 在团队层面统计,由做工作的人提出的改进想法占比 | 由做工作的团队成员提出的想法数 / 提出的想法数 | 百分比 | 改进登记册 | 持续改进 | 自组织团队 | 每季度 |
| 重复问题率 | 在旨在消除其原因的改进之后又再次出现的问题占比 | 在相关改进关闭后的规定期间内再次出现的问题数 / 带有相关原因而关闭的改进数 | 百分比 | 按原因关联的事件、问题和改进记录 | 问题管理;持续改进 | 修复之后的逃逸缺陷 | 每季度 |
| 改进容量占比 | 用于改进工作的团队容量占比 | 标记为改进的容量或已完成项目 / 总容量或已完成项目 | 百分比 | 工作跟踪器的工作类型 | 持续改进;容量与性能管理 | 用于反思和技术卓越的时间 | 每月 |
在登记册中定义"改进项",并使其与普通的待办工作以及纠正性修复分开。跟进的时钟在行动与负责人和日期一起被约定时开始。效果检查需要变更之前记录的基线和一个已定义的指标,结果可以是"没有效果"或"无法判断"。重复问题率取决于记录的原因,匹配规则写在登记册中。所有度量描述的是团队和系统,而不是个人。
建议
使改进可见且有主
1. 每个团队保留一份可见的改进清单。把改进项放在团队已经在看的地方,比如其看板或待办,并为其打标签。每个项目有负责人、说明的问题、预期的效果、指标和日期。放在单独的工具里、或没人打开的文档里的清单会衰减。显示最老的项目,使清单无处藏身。
2. 举行定期的、简短的反思。团队以稳定的节奏问什么进展顺利、什么在挡路,以及接下来试什么。保持简短而具体,并以少数几个有负责人的行动结束。如果你的团队选择为此使用某种有名称的形式,比如回顾会议,那是团队的选择。原则是这个定期的习惯。
3. 约定更少的行动,并完成它们。完成的两三个行动,比没有完成的十几个教给你更多。检查跟进率。当行动反复延误时,问为什么:所有权不清、没有容量,还是行动太大。把大的拆成小步。
4. 保护容量。为改进预留一部分容量,并像任何其他工作那样计划它(见主题 2.5,交付预测与规划指标)。当团队过载时,减少新工作的流入,而不是取消改进,因为改进往往正是减少过载的东西。跟踪使用的份额。
找出重要的东西
5. 寻找约束。用流动数据找出工作在哪里等待、什么限制了吞吐量。在约束处的改进,提高整个系统的产出。别处的改进可能只是把工作堆挪了个地方。对事件处理、变更批准和请求履行应用同样的视角。
6. 用证据来选择。依据数据和最贴近痛点的人来选择改进:重复的事件、长时间的等待、返工、用户投诉、障碍清单。把每项改进与一个记录在案的问题相联。这把改进登记册与问题管理联系起来(见主题 4.1,问题管理指标)。
7. 寻找原因和促成因素。对反复出现的问题,不止一次地问为什么,并寻找条件,而不只是触发因素。要警惕停在第一个似乎合理的原因上,或停在某个人身上。质疑假设:我们为什么这样工作,这条规则是否仍然需要?这正是双环学习有回报之处。
先小试,再检查
8. 带着基线运行小实验。说明变更、预期的效果和指标。在变更之前记录基线。在小范围内短期尝试,然后比较。计划-执行-检查-行动循环是一个简单的框架。从想法到试验的时间越短,学习越快。
9. 检查效果并诚实地记录。变更之后,把指标与基线以及还有什么发生了变化比较。记录效果是看到了、没看到,还是不清楚。从未发现"没有效果"的团队,可能没有仔细检查(见主题 6.5,价值实现与业务成果)。
10. 保留有效的,放弃无效的。把有效的改进传播给适合的其他团队,并让增加了成本却没有收益的变更退役。重新审视较早的变更,因为条件会变。标准应当随着团队学习而演进。
让习惯保持鲜活
11. 让提议和停止都是安全的。当较早的想法被倾听并得到行动时,人们才提出想法。当想法消失、或给提议者带来额外工作时,他们保持沉默。对每个想法作出回应,即使答案是"现在不行",也附上理由。允许团队停止没有奏效的改进。
12. 不要把改进变成目标。不要为想法的数量、关闭的行动数或所主张的节省设定目标。报告跟进、效果检查、重复率和一些故事。把每个团队与它自己的过去比较,并在团队之间分享好想法而不给它们排名。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 行动跟进率 | 约定琐碎的行动;移动到期日;没有做就关闭 | 评审行动的规模和价值;记录日期变更;效果检查率 |
| 改进待办年龄 | 不作决定就以"不做"关闭旧项目;拆分项目以重置年龄 | 记录关闭的理由;跟踪未采取行动就关闭的项目;评审最老的 |
| 效果检查率 | 记录没有基线的检查;只检查成功的 | 变更之前注明日期的基线;包括零结果和负面结果 |
| 从想法到试验的时间 | 把计划称为试验;试验琐碎的变体 | 把试验定义为真实工作中的改变;查看被试验想法的重要性 |
| 一线想法占比 | 经理以员工的名字提交想法;强制的想法配额 | 在团队层面记录按作者的想法;不设配额;询问团队 |
| 重复问题率 | 为同一问题记录不同的原因;把较早的记录以另一种类型关闭 | 依据记录的规则按原因匹配;由团队之外的人评审 |
| 改进容量占比 | 把普通工作标记为改进;排定的时间随后被用于交付 | 抽样项目的类型;与实际花费的时间比较 |
健康的读数是:一份简短的清单,其行动能够完成,想法在几天或几周内到达试验,效果被检查、有时令人失望,重复问题在下降,以及被使用的受保护容量。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 大型改进项目 | 可见;能处理大问题 | 缓慢;脱离日常工作 |
| 小型持续实验 | 学习快,风险低 | 可能漏掉结构性问题 |
| 中央改进团队 | 技能和一致性 | 远离工作;想法停滞 |
| 团队拥有的改进 | 相关且积极 | 质量参差;需要支持 |
| 带奖励的想法计划 | 产生数量 | 配额和操纵;质量低 |
| 基于证据的选择 | 聚焦于真实的问题 | 需要数据和时间 |
| 正式的效果检查 | 诚实的学习 | 工作量;若繁重则显得官僚 |
| 不检查 | 快速 | 不了解什么有效 |
文字化的答案是,让改进贴近团队,以带有轻量效果检查的小实验进行,由少数几个帮助数据和方法的人支持,并由保护容量、倾听结果的领导者支持。
与团队讨论的问题
1. 我们在上次评审中约定了什么改进?它发生了吗? 查看行动。对每一个,问它是完成了、被放弃了,还是被遗忘了,以及为什么。主持人应记下原因。约定团队真正能完成多少行动,并把下一份清单削减到这个数。
2. 我们最近做的哪项变更,我们知道有帮助?我们怎么知道? 挑一项近期的变更,查找基线和结果。如果没有,讨论下次如何检查。为下一个实验决定一个简单的指标。
3. 无论修复多少次,什么总是回来? 列出反复出现的问题。对其中一个,问它为何回来,以及当前做法背后的假设是什么。考虑修复是否只是处理症状。选择一个反复出现的问题作更深入的查看。
4. 工作在哪里等待得最久?约束是什么? 使用流动数据。问团队正在做的改进是否触及约束。如果没有,讨论是否要改变焦点。
5. 我们每周有多少时间用于改进?是什么保护它? 把计划与现实比较。讨论是什么占用了时间。约定一条保护一小部分的规则,以及在团队过载时砍掉什么。
6. 上一个有人提出的想法后来怎样了?他们是如何得知的? 追溯一个想法。它得到了回答、被试验,还是丢失了?讨论如何确保每个想法都得到响应和理由。
四种视角
产品与交付团队
交付团队是改进想法的主要来源,也是它们是否奏效的最佳裁判。他们应当保留一份可见的清单,每个周期完成几个行动,检查效果,并分享所学。他们需要受保护的容量和会响应的领导层。
服务与运维团队
运维团队每天都看到重复的事件、缓慢的批准和手工的琐务。他们应当把改进与记录在案的问题相联,跟踪重复问题,并为减少自己负荷的修复留出时间。他们的反馈显示改进是否触达用户。
领导层与治理
领导层创造条件:受保护的容量、提议和停止的安全,以及对结果的关注。他们应当要跟进和效果检查,接受诚实的"没有效果"的发现,避免配额,并为需要投资的改进出资。治理应当跨团队查看改进登记册,寻找需要结构性行动的模式。
客户与用户
用户受益于持续变好的服务,他们也是想法的丰富来源。应当询问他们,告诉他们改变了什么,并邀请他们检查效果。就同一问题的反复投诉,是改进没有触及原因的信号。
实践:一个敏捷 ITIL 示例
一家国家税务机构的数字服务小组用八个团队运行申报门户、支付系统和联络中心平台。每个团队保留一份改进清单,小组报告每个季度完成的改进数量。以下数字是示意数字。
服务改进负责人注意到,所报告的数字在上升,而同样的痛点依然存在。她评审了这些清单。在整个小组中,有 212 个改进项是打开的,年龄中位数为 7 个月,最老的已有 26 个月。上个季度评审中约定的行动里,38% 按日期完成。去年完成的 64 项改进中,只有 9 项有记录的基线和结果,效果检查率为 14%,这 9 项中有 3 项显示没有效果。重复问题很常见:在与旨在消除其原因的改进相联的 25 起事件中,有 11 起在六个月内再次出现,重复率为 44%。改进工作占去约 4% 的容量。
该小组与团队约定四项改变。每个团队把清单修剪到未来两个月能够处理的项目,并说明为什么搁置或关闭其余的。团队同时约定不超过三个行动,附指名的负责人。对每项改进,在变更之前记录基线和指标,并在之后记录结果,包括"没有效果"。一次季度评审查看跨团队的反复出现的问题,挑出两个作更深入的原因分析,联络中心和支付团队一起调查一个共同的原因。每个团队为改进预留 10% 的容量,并以一条规则保护:取消需要团队负责人同意并记入日志。给领导层的报告,从完成的改进数量改为跟进、效果检查和重复问题。
两个季度后,打开的项目降到 74 个,年龄中位数为 2 个月。跟进率升到 81%,效果检查率升到 70%,在 36 项被检查的改进中,有 9 项显示没有效果并被放弃。重复问题率降到 20%,从想法到试验的时间中位数为 9 天。副主任要求每季度完成 100 项改进的目标。服务改进负责人解释说,计数正是早先数字误导人的原因,并提议改为跟踪跟进、效果和重复率。该决定被记录下来,一个团队要求在其批准流程上运行一次为期四周的实验,获得批准。
行业视角
初创企业。改进持续而非正式地发生。保留一份简短的清单,写下预期的效果并检查它们,并保护一小片时间。避免繁重的流程,并留意改进被增长完全挤出。
小型企业。一两个人做所有事情,改进与救火竞争。每个季度选一个反复出现的问题,修复其原因,并检查效果。问用户是什么让他们恼火,并对其中一件采取行动。
大型企业。规模使改进不均衡,想法难以分享。提供通用的登记册格式和轻量的辅导,让团队拥有自己的清单,并利用跨团队的论坛传播有效的做法并解决共同的约束。避免中央配额。
政府与公共部门。改进可能受采购、立法和审批链的约束,并受到公众审视。记录实验及其结果,让用户参与选择和检查改进,并诚实地报告效果,包括没有奏效的。寻找能为公民消除负担的改进(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是受保护的容量(这是主要成本)、记录基线和结果的工作量,以及一些辅导或主持。工具可以简单到团队现有的看板。
回报是更少的重复问题、更低的琐务、更短的等待,以及在看到自己的想法变成变更的团队中更好的士气。用你自己的数据建立论证:反复出现的事件的成本,以及被改进消除的份额;效果经过检查的改进所节省的时间;以及做了却没有奏效的改进的成本,现在检查可防止重复。避免引用关于改进项目回报的已发布数字,除非你能追溯其来源和方法。也要计入容量的机会成本(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 统计已完成的改进。团队会约定琐碎的变更。度量跟进和效果。
- 想法配额。它们产生数量和噪声。回应到来的想法。
- 没有基线。没人知道是否有任何帮助。记录之前和之后。
- 只记录成功。对失败的学习丢失了。记录零结果。
- 冗长的清单而不修剪。清单失去可信度。修剪到团队会做的内容。
- 在空闲时间里改进。根本没有空闲时间。保护容量。
- 修复症状。问题回来。不止一次地问为什么,并质疑假设。
- 由遥远的团队做改进。想法停滞。让它留在做工作的人手里。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 习惯与所有权 | 改进是偶尔的 | 有反思,行动常常丢失 | 带负责人的可见团队清单;完成少量行动 | 管理跟进和从想法到试验的时间;保护容量 | 改进是常规,并在团队、供应商和用户之间共享 |
| 证据与效果 | 意见 | 变更之后的一些度量 | 每项改进都记录基线和结果 | 效果检查包括零结果;按原因跟踪重复问题 | 组合层面的学习引导接下来在哪里改进,与伙伴一起 |
| 深度 | 修复症状 | 一些原因分析 | 对反复出现的问题作原因分析 | 依据流动数据识别约束;质疑假设 | 跨价值流的系统性改进,附共同治理 |
检查清单
- 每个团队有一份可见的改进清单,附负责人、预期效果和日期。
- 定期、简短的反思以少数几个有负责人的行动结束。
- 每月评审行动跟进和最老项目的年龄。
- 为改进计划、保护并跟踪容量。
- 改进与记录在案的问题或证据相联。
- 在每项变更之前记录基线和指标。
- 检查并记录效果,包括没有效果。
- 改进之后按原因跟踪重复问题。
- 每个想法都得到附理由的响应。
- 对想法、行动或节省没有配额或目标。
AI 提示词
依据证据选择改进。
这是我们反复出现的问题和障碍,附粗略的计数和影响:[粘贴]。这是我们关于工作在哪里等待的
流动数据:[粘贴]。请建议哪两三项改进最可能重要、为什么,以及什么证据能确认或反驳这一点。
为每一项推荐一个带基线和指标的小实验。不要编造数字。列出你的假设。
设计一个小实验。
我们想尝试[变更],来解决[团队和流程]中的[问题]。请设计一个小实验:预期的效果、现在要
记录的基线、指标及如何度量它、试验期间、如何判断其他变化是否混淆了结果,以及在没有效果
时我们将怎么做。保持轻量。列出你的假设和风险。
评审一份改进清单。
这是我们的改进清单,附每项的年龄、负责人和预期效果:[粘贴]。请找出过于含糊、过大或陈旧
的项目,建议一份团队能在两个月内完成的更短的清单,并提出一份说明我们搁置的项目及原因的
简短说明。不要评判个人。列出你的假设。
分析一个反复出现的问题。
问题:[描述]。过去的修复和它再次出现的时间:[粘贴]。请建议第一个似乎合理的原因之外的
促成因素、要质疑的假设(双环学习),以及廉价地检验每个假设的几种办法。不要假定单一的
根本原因。列出你的假设,以及给团队的问题。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项改进指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查改进指标条目是否度量跟进和效果,并带有其操纵途径和护栏。
关键要点
- 每个团队保留一份可见的改进清单,一次只有几个有负责人的行动,并完成它们。
- 在每项变更之前记录基线,之后检查效果,并记录零结果。
- 跟踪跟进、效果检查、重复问题和最老项目的年龄。
- 先改进约束,并寻找原因以及其背后的假设。
- 在可持续的节奏之内保护用于改进的容量。
- 不要为想法、行动或节省设定配额。
参考文献与延伸阅读
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Continual Improvement, TSO, 2020.
- Deming, W. E., Out of the Crisis, MIT Center for Advanced Engineering Study, 1982 (MIT Press edition, 2000).
- Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
- Goldratt, E. M., and Cox, J., The Goal: A Process of Ongoing Improvement, North River Press, 1984.
- Argyris, C., "Teaching smart people how to learn," Harvard Business Review, 69(3), 1991.
- Rother, M., Toyota Kata: Managing People for Improvement, Adaptiveness, and Superior Results, McGraw-Hill, 2009.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Continual improvement process.
- Wikipedia, PDCA.
- Wikipedia, Kaizen.
- Wikipedia, Lean manufacturing.
- Wikipedia, Theory of constraints.
- Wikipedia, Root cause analysis.
- Wikipedia, Double-loop learning.
- Wikipedia, Goodhart's law.