指标体系的成熟度模型
用共享的五级量表描述指标体系所处的位置并选择下一小步,绝不要把它当作用于展示、比较或认证的得分。
概述与动因
本书中的每个其他主题,都以关于其主题的一张小小的成熟度表收尾。本主题把同样的量表应用于整个指标体系。问题不在于某个团队的事件时间有多好,而在于组织收集、解读度量并据以行动的能力究竟有多好:定义是否共享、数据是否被信任、数字是否导向决定,以及被度量的人是否把体系视为帮助。
成熟度模型是对组织在一项实践发展过程中可能经历的阶段的描述。软件领域最著名的例子是能力成熟度模型,它出自软件工程研究所的工作,并广为传播。它的影响很大,随之而来的批评也很大。组织追逐级别而不是能力,审计者给文书打分,该模型沦为一枚徽章。负责任地使用任何成熟度模型,都要始终牢记三点警示。量表是交谈的工具,而不是认证。更高不总是更好,因为正确的级别取决于背景。模型也不能替代成果:不改进服务的成熟体系是一场非常整齐的失败,而作为徽章展示的级别很像虚荣指标,一个看起来不错却不为任何决定提供信息的数字。
这里使用的量表是贯穿本书以及《敏捷 ITIL 指南》的共享量表:起步、发展、标准化、管理和协同(见规范中的共享成熟度模型)。它有意不同于 ITIL、ISO/IEC 33000 或能力成熟度模型中的流程成熟度量表,团队不应凭借这一量表就声称在其中任何框架里得了某个分数。
敏捷的目标指明了如何使用它。持续改进意味着该模型是为了找到下一步,而不是为了达到某个最终状态。持续演进意味着去年达到协同的体系,如果人员离开或优先级转移,可能会倒退,所以自评要反复进行。持续的利益相关方参与意味着评估是与团队一起做的,而不是对团队做的。可持续的节奏意味着体系一次迈出一步,而不是试图在一个季度里跃升三个级别。围绕积极投入的个人开展工作,意味着做工作的人来判断体系是否对他们有帮助。这与 ITIL 中持续改进实践的逻辑相同,即组织检查当前状态,设定方向,并以小步改进,这种习惯接近改善(Kaizen),即由每个人参与的持续改进这一日语概念。更一般的思想是持续改进过程(见主题 9.5,持续改进指标)。
在指标的背景下,该模型有一个特殊的陷阱。一个依据自身指标被评估的体系,招致它所警告的那种扭曲。如果"有定义的度量数量"成为目标,定义就会激增。因此,本主题的做法除计数外,还使用来自工作的证据(哪些决定改变了、团队怎么说),并让评估由团队拥有,因为他们从夸大它中获益最少(见主题 1.2,古德哈特定律与指标心理学)。团队的配套评估表格见附录(见主题 12.5,成熟度自评)。
关键原则
- 量表是交谈的工具。它帮助人们描述现状并选择下一步,不是用来评级、排名或认证的。
- 与团队一起评估。公开讨论的自评,比外部打分更准确。
- 依据证据判断。问哪些决定改变了、人们怎么说、数据显示了什么,以及存在什么文档。
- 各维度可以不同。体系可以在工具上强,在信任上弱。报告的是概貌,而不是单一数字。
- 一次迈出一步。在一两个维度上瞄准下一个级别,而不是一次改进所有。
- 更高不总是更好。选择适合组织规模、风险和需要的级别。
- 预期会倒退。人员更替、重组和压力可能把体系推回。定期重新评估。
- 绝不公布团队的排行榜。为体系汇总,团队的结果只与该团队分享。
指标定义
下面的度量描述体系的健康状况及其评估。它们供体系团队和发起人使用,并被读作供讨论的信号。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 评估参与度 | 完成了附自己讨论的自评的参与团队占比 | 完成并讨论的团队数 / 参与的团队数 | 百分比 | 评估记录 | 持续改进 | 反思与回顾 | 每年两次 |
| 按维度的概貌 | 每个维度上团队自评级别的分布,以范围而不是单一得分展示 | 每个维度上处于各级别的团队数 | 每级别团队数 | 自评,汇总 | 持续改进;治理 | 可见的工作 | 每年两次 |
| 来自评估的改进行动 | 已约定的下一步中,已完成、附理由放弃或仍在进行的占比 | 已关闭或附理由处理的行动数 / 已约定的行动数 | 百分比 | 改进登记册 | 持续改进 | 小实验 | 每季度 |
| 决定证据 | 在抽样的度量中,团队能说出上一季度该度量为之提供信息的某项决定或有意识选择的占比 | 有指名决定的度量数 / 抽样的度量数 | 百分比 | 团队访谈;评审笔记 | 持续改进 | 证据胜过仪式 | 每季度 |
| 定义与数据信任 | 团队层面对定义清晰、数据正确的认同度 | 在简短团队调查中认同的百分比;显示回复率 | 百分比 | 匿名团队调查 | 知识管理;信息管理 | 共同的理解 | 每年两次 |
| 升级到下一级别的时间(描述性) | 在团队选择提升一个维度一级的情形下,所需的经过时间 | 从约定的步骤到团队重新评估的月数的中位数 | 月 | 评估历史 | 持续改进 | 可持续的节奏 | 每年 |
| 评估负担 | 每个团队评估所需的小时数 | 每个团队小时数的中位数 | 小时 | 来自团队的时间估算 | 持续改进 | 可持续的节奏 | 每年两次 |
参与度按完成并经讨论来度量,因为独自填写的表格说明不了什么。概貌是一个范围,绝不平均成单一的成熟度数字。升级到下一级别的时间是描述性的:爬升快可能反映自评虚高,爬升慢可能反映适当的谨慎。评估负担是对评估本身的检查,每个团队应不超过一两个小时。
建议
用好量表
1. 定义指标体系的维度。一个可行的集合有六个维度:(a) 问题与目的,度量是否回答了受众提出的问题;(b) 定义与所有权,度量是否有书面定义和负责人;(c) 数据与工具,数据是否准确、及时且可移植;(d) 在决定中的使用,数字是否为选择提供信息;(e) 信任与安全,人们是否相信数据对自己有帮助;以及 (f) 评审与演进,体系是否自我修剪。六个足够有用,又少到可以在一小时内讨论。
2. 描述每个级别的样子。下面"成熟度模型"一节的表格,为每个维度在每个级别给出简短描述。把它们当作提示。团队应当依据自己的背景调整措辞,并写下自己的例子。
3. 不要求平均。单一的总分隐藏了重要的模式。工具成熟度高而信任低的体系,与相反的体系处境不同,下一步也不同。展示概貌。
与团队一起评估,而不是对团队评估
4. 把它做成一小时的交谈。带着这张表把团队召集在一起。请每个人私下标出团队在每个维度上的位置,然后比较。讨论差异,因为它们揭示了对同一体系的不同体验。约定一个团队视图,记录其背后的证据,并选择一两个下一步。
5. 要求证据。对每个所声称的级别,请求一个例子。"我们在决定中使用数字"会引出"上个季度是哪些决定?"这个问题。用抽样的度量和访谈来检验。这既尊重人,又防止评估滑入一厢情愿。
6. 让结果留在团队。团队的概貌属于团队。体系分享汇总的范围和共同的主题,而不是排名。明确说明评估不影响经费、地位或评审。如果影响,团队就会虚报,价值也就丢失了(见主题 11.3,推行指标而不滋生恐惧)。
选择下一步
7. 挑选限制其他维度的那个维度。信任与安全常常限制其他一切:没有它,数据被扭曲,决定可疑。定义与所有权常常限制数据和使用。常见的模式是先加强信任和定义,然后是数据,然后是使用和评审。寻找那个小小的改进就能解锁其他维度的维度。
8. 设定小而具体的一步。下一步应当是团队能在一个季度内完成并能辨认的:如"约定一份章程"、"为我们的四项度量写定义"、"自动化两个馈送"、"举行每月评审并记录决定"。避免"达到 4 级"之类的步骤。级别描述状态,步骤描述工作。
9. 把步骤与改进登记册相联。把行动放在与其他改进工作相同的地方,附负责人和日期,并在常规的改进交谈中评审进展(见主题 9.5,持续改进指标)。没有出资或排期的步骤不会发生。
保持诚实和轻量
10. 在团队之间校准,而不给它们排名。举行一次简短的会议,让团队分享他们在某个维度上称为 3 级的例子。讨论标准的差异。目标是共同的理解,而不是相等的分数。轮换主持人,并邀请体系之外的团队来质疑措辞。
11. 按节奏重新评估,并对事件作出反应。对大多数体系,每年两次就够了。在重组、工具变更或违反章程之后重新评估,因为这些可能朝任一方向推动信任。留意倒退,并将其视为信息,而不是失败。
12. 让模型本身退役或修订。每年问团队这些维度和级别描述是否仍然合适。改写令人困惑的,移除无人使用的。五年没有变化的模型,可能在描述一个不再存在的体系。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 评估参与度 | 为达到配额而填表;由一个人代替团队填写 | 要求团队讨论;请求每项主张背后的证据 |
| 按维度的概貌 | 抬高级别以显得好看;压低级别以获得帮助 | 不与经费或地位挂钩;请求证据;公开校准 |
| 来自评估的改进行动 | 为了关闭而选择琐碎的步骤;没有做就关闭 | 评审步骤的规模和价值;在下次评估时检查成果 |
| 决定证据 | 事后捏造决定;列出无关紧要的决定 | 询问日期和相关人员;接受"选择不作为"作为一项决定 |
| 定义与数据信任 | 辅导受访者;低回复率隐藏不满 | 匿名和最小群体规模;显示回复率;直接与团队交谈 |
| 升级到下一级别的时间(描述性) | 仓促宣称进展;隐藏倒退 | 保持描述性;与证据一起阅读;记录倒退而不惩罚 |
| 评估负担 | 为削减小时数而跳过讨论 | 将小时数与参与度和证据质量一起追踪 |
健康的读数显示:各级别混合的概貌,信任和定义先于工具和润色上升,小而完成了的下一步,团队能说出的决定,以及对偶尔倒退的诚实记录。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 团队自评 | 诚实、有主、快速 | 主观;需要校准 |
| 外部评估 | 一致;独立 | 昂贵;招致为评估者表演 |
| 单一总分 | 易于沟通 | 隐藏模式;招致目标 |
| 按维度的概貌 | 显示在哪里行动 | 更难概括 |
| 年度评估 | 轻量 | 对倒退察觉缓慢 |
| 每年两次加事件触发 | 响应及时 | 工作量更大 |
| 与经费挂钩 | 引起重视 | 虚报和操纵 |
| 与经费分开 | 诚实的数据 | 需要其他获得支持的办法 |
文字化的答案是,运行附证据的轻量自评,报告概貌和范围,让结果留在团队,并把下一步与改进登记册相联,而不是与经费或地位相联。
与团队讨论的问题
1. 六个维度中,我们认为哪个最弱?我们为什么这样说? 让每个人私下挑一个,然后分享。主持人应请求一个近期的例子。寻找模式,并约定哪个维度限制了其他维度。
2. 我们能说出上一季度被某项度量改变的一个决定吗? 列出它们。如果清单很短,问为什么。讨论问题出在度量、数据,还是查看的习惯。
3. 在信任与安全上,我们会把自己放在哪里?我们怎么知道? 查看险情报告、质疑和调查结果。与人们在实践中的说法比较。约定领导者可以做的一件能推动它的事。
4. 对我们最弱的维度,一个小而具体的下一步会是什么样子? 用一句话起草,附负责人和日期。检查它能在一个季度内完成。约定我们将如何得知它奏效了。
5. 什么会让这次评估感觉像一种威胁?我们如何防止? 讨论人们会担心的结果用途。写下结果绝不会被用于什么。检查体系负责人是否同意。
6. 有没有一个我们不需要达到的级别? 想想我们的规模、风险和目标。描述一个目前足够好的级别,以及一个会告诉我们该重新审视的信号。
四种视角
产品与交付团队
团队自评,选择下一步,并保留自己的结果。他们应当利用这场交谈来浮现经验上的差异,请求证据,并把步骤设定得足够小以便完成。他们应当抵制任何把概貌变成排名的企图。
服务与运维团队
运维团队承担沉重的数据和事件负担,能看到体系在哪里支持他们或给他们增加负担。他们应当指出工具或定义在哪里阻碍了他们的工作,要求谨慎处理值班和事件数据,并就评估负担给出坦率的反馈。
领导层与治理
领导者发起体系,并收到汇总的图景。他们应当要求概貌和共同主题,抵制要求单一得分,为团队选择的下一步出资,并且不把经费或地位与评估挂钩。他们也应当通过描述被指标影响的决定来示范这种行为。
客户与用户
当体系改进服务、并且他们的反馈是度量的一部分时,客户和用户受益。在他们是伙伴之处,他们可以参与评估与自己有关的度量,例如满意度调查的有用性,并参与评审其数据如何被使用。
实践:一个敏捷 ITIL 示例
一家国家保险集团有 20 个交付与支持团队,并且指标体系已运行 18 个月。发起人要求"每个团队一个成熟度得分",以指导投资。体系负责人心存戒备,记得此前一次审计式的打分如何使团队准备了成册的文件。以下数字是示意数字。
体系负责人转而提议一份横跨六个维度的概貌,由团队在一次一小时的交谈中评估,由团队之外的一位主持人主持,结果由团队保留。她告诉发起人,体系将报告范围和共同主题,没有哪个团队的概貌会与经费挂钩。发起人同意了,该决定被记录下来。
20 个团队中有 19 个完成了附讨论的评估,所以参与度为 95%。概貌显示出一个范围:在问题与目的上,大多数团队处于 2 级或 3 级;在定义与所有权上,分布从 1 到 4;在数据与工具上,大多是 3;在决定中的使用上,大多是 2;在信任与安全上,2 和 4 之间分裂;在评审与演进上,大多是 1 或 2。证据检查令人豁然开朗。十一个团队声称在决定中的使用达到 3 级,但当被要求说出上一个季度某项度量为之提供信息的一项决定时,只有六个团队能说出。体系负责人不加评判地记下了这一点,它成了一个主题:团队有仪表板,却很少举行记录决定的评审。
下一步都很小。八个团队选择带决定日志的每月评审。四个选择为其度量写定义。三个选择约定一份章程。六个月后,17 项已约定的步骤中,14 项完成,一项附理由放弃,两项在进行中。一次重复评估显示,决定证据从抽样度量的 38% 升到 71%,信任调查的认同度从 54% 升到 67%。一个团队在重组后信任度下滑,主持人把它记录为信息,而不是失败。一年后,发起人再次为年度报告要求一个单一得分。体系负责人提供一页的概貌,附范围、三个主题和已完成的改进步骤。发起人接受了,报告明确说明该量表是交谈的工具。
行业视角
初创企业。正式的评估可能过度。每年两次、围绕六个维度的一次简短交谈,附一两个小步骤,就够了。留意度量将被用于评判的恐惧,因为小团队对此感受强烈。
小型企业。把这些维度用作与所有者和员工交谈的检查清单。问你保留的少数几项度量是否回答了真实的问题、人们是否知道它们的含义,以及它们是否被使用。挑一个步骤。不要花超过一小时。
大型企业。规模需要一个轻量、一致的流程:相同的维度、附主持人的自评、校准会议和汇总的概貌。抵制中央打分办公室。把下一步与改进登记册相联,并向发起人报告范围和主题。防止量表变成合规演练。
政府与公共部门。审计和监督机构可能要求成熟度得分。要清楚说明这一内部交谈工具与任何正式框架的区别。让团队的结果留在团队,向监督机构提供汇总,并对该量表是什么、不是什么保持透明(见主题 8.3,合规与审计指标)。
商业论证:动机、投资回报与总拥有成本
成本很小:每个团队每年两次的一两个小时、一位主持人、一些分析,以及执行改进步骤的工作量。更大的成本出现在模型被误用之时,伴随顾问、打分办公室和成册的证据。
回报来自对努力更好的定向。体系不是把投资撒在所有维度上,而是找到限制性的维度并处理它。其他回报包括更早识别倒退、团队之间的共同语言,以及团队自己选择并拥有的改进步骤。用你自己的数据建立论证:完成的改进步骤、决定证据和信任调查结果的变化,以及评估所花的工作量。避免引用关于成熟度提升回报的已发布主张,除非有可追溯的来源并与你的背景相关(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 成熟度徽章。级别成了目标。把它用作带证据的交谈。
- 一个总数字。模式丢失,目标出现。展示概貌。
- 由审计者打分。团队为表演而准备文件。使用附主持人的自评。
- 把得分与经费挂钩。随后是虚报。让评估保持独立。
- 追逐最高级别。并非每个体系都需要协同。选择适合的。
- 评估之后就忘记。没有后续步骤。把步骤与改进登记册相联。
- 过长的评估。负担增加,质量下降。把它保持在一小时。
- 忽视倒退。体系在变化后下滑。按节奏并在事件之后重新评估。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 问题与目的 | 因为数据存在而收集度量 | 一些团队陈述自己提出的问题 | 写下受众和问题;度量映射到它们 | 评审问题覆盖率;未回答的问题驱动新的度量 | 受众(包括客户和供应商)塑造度量;问题随服务演进 |
| 定义与所有权 | 定义因人而异 | 部分有书面定义;非正式的负责人 | 目录中每项度量都有定义、来源、负责人和局限 | 管理定义完整度和质疑 | 定义由团队和供应商共同拥有;不再为决定提供信息时修订 |
| 数据与工具 | 手工且脆弱 | 一些自动化的馈送 | 经过测试的管道、共享存储、可移植的数据 | 管理可靠性、对账和退出就绪度 | 带共享契约的联邦式管道;依据反馈改进来源 |
| 在决定中的使用 | 展示数字,很少使用 | 在一些评审中使用 | 记录决定的定期评审 | 追踪决定证据并据此行动 | 决定跨团队与成果相联;共享学习 |
| 信任与安全 | 恐惧或冷漠 | 口头保证 | 书面章程;关闭个人视图;安全调查 | 公开评审违反;管理坦诚信号 | 信任是常规;体系由员工和伙伴塑造 |
| 评审与演进 | 无 | 偶尔清理 | 与团队定期评审;退役规则 | 评估步骤获得出资并完成 | 体系持续改进,变化来自每一个人 |
检查清单
- 已约定六个维度,并依据我们的背景调整了级别描述。
- 每个团队在约一小时的讨论中自评,附一位主持人。
- 每个所声称的级别都有例子或抽样检查作为支撑。
- 结果以概貌和范围展示,绝不作为单一的平均得分或排名。
- 团队的结果留在团队,汇总结果与发起人分享。
- 评估不与经费、地位或绩效评审挂钩,并已书面写明。
- 每个团队约定一两个小的下一步,附负责人和日期。
- 在改进登记册中追踪下一步。
- 至少每年两次,并在重大事件之后重新评估。
- 每年与团队一起评审模型本身。
AI 提示词
准备一场自评交谈。
请为团队对其指标体系跨六个维度的自评,准备一份一小时的主持计划:问题与目的、定义与所有权、
数据与工具、在决定中的使用、信任与安全,以及评审与演进。使用五个级别:起步、发展、标准化、
管理、协同。包括私下标记、比较、证据问题,以及约定一两个小的下一步。不要产生得分。列出你的
假设。
把薄弱的维度变成步骤。
我们的团队在其指标体系的[维度]上给自己评为[n]级。证据:[粘贴]。请建议三个各自能在一个季度内
完成的小步骤,可能推动我们迈向[n+1]级。对每一步,描述负责人、工作量、可能的收益,以及我们将
如何得知它奏效了。不要承诺结果。列出你的假设和风险。
检查所声称级别的证据。
一个团队声称在[维度]上达到[n]级,并给出这样的证据:[粘贴]。请扮演一位好奇的同事。列出检验
证据是否支持该主张的问题、什么样的例子会令人信服,以及哪些迹象表明该主张过于乐观。不要评判
团队。列出你的假设。
在不排名的情况下总结概貌。
这是每个维度上处于各级别的团队的汇总计数:[粘贴]。请为发起人写一份半页的总结,描述范围、
三个共同主题,以及团队选择的改进步骤。不要给团队排名,不要产生单一得分,也不要在没有证据
的情况下声称原因。列出关于自评的注意事项。
AI 技能
- 敏捷 ITIL 指标技能:用于把体系的度量映射到成熟度维度及其配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查成熟度评估是否报告概貌、让结果留在团队,并避免单一得分。
关键要点
- 把共享的五级量表用作交谈的工具,绝不作为徽章、排名或认证。
- 报告横跨六个维度的概貌,而不是一个平均得分。
- 与团队一起评估,请求证据,并让每个团队的结果留在团队。
- 在限制其他维度的维度中选择小的下一步,往往是信任和定义。
- 在改进登记册中追踪步骤,并定期重新评估,因为体系会倒退。
- 更高不总是更好,成果比级别更重要。
参考文献与延伸阅读
- Paulk, M., et al., Capability Maturity Model for Software, Version 1.1, Software Engineering Institute, Carnegie Mellon University, 1993.
- Axelos, ITIL 4: Direct, Plan and Improve, 2020.
- ISO/IEC 33001, Information technology: Process assessment: Concepts and terminology, International Organization for Standardization, 2015.
- Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
- Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Capability Maturity Model.
- Wikipedia, Kaizen.
- Wikipedia, Continual improvement process.
- Wikipedia, Goodhart's law.
- Wikipedia, Vanity metric.