概述与动因

关于指标的大多数指导,描述的是一个最终状态:一整套度量、一个干净的数据存储、为每类受众准备的仪表板、一种证据文化。很少有组织是按计划到达那里的。当它们到达时,是通过一系列小而有用的步骤,每一步都在下一步开始之前就已回本。本主题本着这种精神提供一份路线图:前 30 天、接下来的 60 天,以及再往后的 90 天,合起来大约 180 天。这些时间安排是大致的形态,不是承诺。小团队可能走得更快,大型或谨慎的团队则更慢。

其逻辑与本书对服务所推荐的持续交付逻辑相同。尽早交付一个薄的、可工作的切片。把它放在真实用户面前。从他们如何使用它中学习。扩展有帮助的,放弃没帮助的。花六个月做设计、然后向一群毫无准备的受众推出完整仪表板的指标体系,重复了大型发布的旧错误:大量工作、迟来的反馈,以及结果契合不佳的高概率。最小可行产品的思想,即交付价值并产生学习的最小版本,既适用于产品,也适用于体系。

敏捷的目标在几个方面塑造路线图。持续的利益相关方参与意味着最初几周是与将使用这些数字、并由这些数字度量的人一起度过的,而不是在后台房间里。持续改进意味着计划本身随着体系的学习而被评审和改变,本着改善(Kaizen)的精神,即由每个人参与的小而稳定的改进实践。持续演进意味着没有任何度量清单是最终的。可持续的节奏意味着路线图只要求团队时间的适度份额,并且体系不增加超过其帮助的报告负担。围绕积极投入的个人开展工作,意味着从志愿者和他们所关心的问题开始。

路线图尊重本部分的其他主题。它假定推行主题中的信任基本规则(见主题 11.3,推行指标而不滋生恐惧),使用仪表板原则(见主题 11.1,设计服务指标仪表板),在价值得到证明之前保持工具轻薄(见主题 11.2,工具全景),并用体系的成熟度概貌追踪进展(见主题 11.4,指标体系的成熟度模型)。

三个思想有助于锚定早期的工作。第一,从基线开始。几个月现有数据的运行图显示事情的现状,并为日后的变化提供比较对象。第二,一开始就检查数据质量,因为最有价值的早期改进,往往来自修复工作被记录的方式,而不是任何图表。第三,使结果可见:信息辐射器,即无需任何人询问就能一眼展示信息的显示,帮助团队看到自己的数据并开启交谈。最初几步通常采取与愿意的参与者一起的试点项目的形式,随后是把有效的做法作为变革管理在更广泛的组织中传播(见主题 9.6,组织变革与采纳指标)。

没有一份路线图适合每个组织。下面的计划是一个起点,需要由将执行它的人来定制。

关键原则

  • 从你所在之处开始。使用你拥有的数据、工具和习惯。不要等待新平台。
  • 与志愿者试点。一到三个愿意的团队,处理他们关心的问题。
  • 在第一个月交付价值。对团队有帮助的东西,而不是给管理层的报告。
  • 一次一个薄切片。一个来源、一个视图、少数几项度量,然后扩展。
  • 尽早写下承诺。在分享第一个数字之前,先有一份简短的章程。
  • 评审并调整。在每个阶段结束时,检查什么有帮助、什么有害,以及要改变什么。
  • 停止一些事。随着新的到来,让无人使用的度量和报告退役。
  • 不要跳过信任。在工具上快速推进而把信任抛在后面,会产生扭曲。

指标定义

下面的度量追踪采纳本身的进展。它们供体系团队和发起人使用,被读作信号,而不是目标。它们避免统计仪表板或报告的数量,那会奖励活动。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
首个有用结果的时间 从体系开始到试点团队说帮助其作出了一项变更的首个度量之间的经过时间 从启动到首次经团队确认有帮助的使用的天数 天 体系日志;团队确认 持续改进 尽早且持续地交付价值 一次,然后每个新团队
积极使用度量的团队 在该期间按其自述在评审中使用了其度量的受邀团队占比 在评审中使用度量的团队数 / 受邀团队数 百分比 团队确认;评审笔记 组织变革管理 持续的利益相关方参与 每月
可追溯到度量的改进 团队作出的、并附理由归因于某项度量所显示之物的变更数量 团队报告的、附有与某项度量的明确关联的变更计数 计数 改进登记册 持续改进 基于证据的实验 每季度
退役的度量与报告 因不再为决定提供信息而停止的度量或报告 每季度退役的计数 计数 目录变更日志 持续改进 持续演进 每季度
基线覆盖率 具有至少几个月的已记录基线的已约定度量占比 有基线的度量数 / 已约定的度量数 百分比 指标目录 服务级别管理;持续改进 证据胜过意见 每季度
体系工作量占比 参与团队的时间中,花在度量任务上的占比 用于收集、报告和评审的小时数 / 团队总小时数,按估算 百分比 团队时间估算 持续改进 可持续的节奏 每季度
阶段评审完成度 与团队举行了的计划阶段评审占比,附记录的变更 有记录变更的已举行评审数 / 计划的评审数 百分比 体系记录 持续改进 定期反思 每阶段

首个有用结果的时间,按试点团队自己的说法而不是体系的说法来度量。积极使用度量的团队,按团队所说而不是登录次数来统计。可追溯到度量的改进,是对明确关联的计数,不是目标,因为目标会产生捏造的关联。体系工作量占比应保持较小,上升是一个警告。

建议

第 1 至 30 天:倾听、约定,并交付一件有用的事

1. 找一位发起人和几位志愿者。请一位高级领导者担任体系的发起人,并签署一份简短的章程。邀请一到三个好奇而受尊敬的团队。解释目标是帮助他们看到自己的工作并加以改进,数据不会被用来给个人排名或评估个人(见主题 11.3,推行指标而不滋生恐惧)。

2. 提出问题。与每个试点团队会面一小时。问是什么拖慢了他们、什么让他们意外,以及他们希望知道什么。把问题写下来。从本书中选三到五项回应这些问题的度量,每一项都配一个护栏伙伴(见主题 1.3,结果优先于产出:选择衡量什么)。

3. 查看你已有的数据。从记录系统拉取几个月的历史,并绘制运行图。诚实地检查数据质量:缺失的字段、改变的类别、事后创建的记录。在代价低廉之处,在来源处修复捕获。在这个阶段,一份简单的电子表格就够了(见主题 1.5,数据来源与埋点)。

4. 交付一件有用的事。到第一个月结束时,给每个试点团队一个关于其自身数据的小视图,为每项度量附上定义,并举行一次评审交谈。寻找数据所提示的一项变更,比如移除一个等待步骤,并帮助团队尝试。第一个有用的结果比一个精美的工具更重要。

第 31 至 90 天:学习、扩展,并使之成为常规

5. 与试点团队举行首次评审。问什么有帮助、什么令人困惑、什么感觉有风险,以及他们会改变什么。修订度量、定义和章程。尤其要倾听恐惧或操纵的迹象。分享一个由团队讲述的、关于什么发生了变化的简短故事。

6. 使薄路径自动化。在手工工作繁重之处,把最重要的一两个馈送自动化,附新鲜度检查和对来源的对账。把定义保存在平实、可移植的目录中。除非试用显示现有工具做不了这项工作,否则暂不购买平台(见主题 11.2,工具全景)。

7. 建立评审节奏。在每个试点团队中举行简短的每月评审,查看趋势、记录决定并注明事件。包括一个说"不采取行动"的机会。每季度与发起人一起查看整个体系,使用汇总视图和团队评论。

8. 邀请下一批。以试点团队的故事为先导,向更多团队提供这一做法。让每个新团队从菜单中选择自己的度量,附一个小的共同核心。保持节奏可持续:一次几个团队,有来自试点团队和体系负责人的支持。

第 91 至 180 天:加强、平衡,并准备移交

9. 设计受众视图。与受众一起,设计仪表板主题中所描述的服务负责人视图和领导层视图,使用共享的定义和团队的评论(见主题 11.1,设计服务指标仪表板)。让每个视图保持小巧。让它们所取代的旧报告退役。

10. 增加平衡与成果。把试点度量扩展为一个包括质量、可靠性、体验和成本的均衡集合,让成果与活动并列(见主题 6.5,价值实现与业务成果)。在每项新度量展示之前,检查其操纵途径和护栏。

11. 评估体系。与每个参与团队一起运行成熟度模型主题中的自评,报告概貌和主题,并在限制其他维度的维度里选择一两个下一步(见主题 11.4,指标体系的成熟度模型)。既统计你增加了什么,也统计你让什么退役了。

12. 决定接下来做什么。在第 180 天的评审中,与团队和发起人一起决定继续、调整还是停止。写下体系做了什么、花了多少工作量,以及服务中发生了什么变化。选择下一阶段:更多团队、更深的工具、与财务或客户度量的联系,或整合。记录决定和理由。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
首个有用结果的时间 宣称琐碎的变更有用;仓促做一个样板工程 问团队改变了什么;检查该变更是否持续
积极使用度量的团队 为打勾而举行评审;声称发生过的使用实际并未发生 请求所作的决定;抽样评审笔记;与团队交谈
可追溯到度量的改进 为达到计数而捏造关联;为无关的变更居功 保持描述性;请团队说明理由;对不确定的关联如实接受
退役的度量与报告 让不便的度量退役;让已退役的以新名称重新引入 评审退役清单中趋势不利的项目;要求说明理由
基线覆盖率 捏造历史;使用对日后结果有利的期间 记录来源和期间;保留原始数据;在变更之前选定基线
体系工作量占比 低估工作量;把工作转移给计数之外的人 询问做工作的人;与周期后期的加班比较
阶段评审完成度 简短、敷衍的评审;记录永远不会发生的变更 检查变更是否得到执行;问团队评审是否值得他们花时间

健康的读数显示:在第一个月或两个月内出现首个有用的结果、因为觉得有帮助而使用度量的团队、少数几项被归因的变更、新报告旁边有退役的报告、适度而稳定的工作量占比,以及导致计划发生真实变化的阶段评审。

权衡:利弊

做法 优势 劣势
与志愿者试点 信任;真实的故事 起步较慢;选择偏差
同时向所有团队推行 覆盖快 抵制;扭曲
先用电子表格 快;成本低;学习 脆弱;手工工作量
先上平台 精致;规模 成本;问题清楚之前契合较差
每个团队的度量少 聚焦;负担低 可能漏掉重要领域
一次上许多度量 广度 过载;蔓延
固定的 180 天计划 为发起人提供清晰度 僵化;忽视所学到的
会改变计划的阶段评审 学习;契合 对发起人而言可预测性较低

文字化的答案是,从志愿者和电子表格开始,随价值显现而扩展,给发起人一个清晰的形态和评审点,并允许计划改变。

与团队讨论的问题

1. 这个月有哪个关于我们工作的问题,是我们希望能够回答的? 收集每个人的问题。挑出最重要且能用我们已有的数据回答的那一个。约定一个有用的答案应当是什么样子。

2. 我们已经度量了什么?谁在看它? 列出现有的报告及其受众。标出无人使用的。决定让哪些退役,为新的腾出位置。

3. 什么会让我们愿意试一个月? 倾听条件:一份章程、对度量的发言权、有限的时间。在开始前与发起人约定这些。

4. 最初的数据可能提示什么小的变更? 一起查看几个月的历史。说出一项可能的变更和预期结果。约定我们将如何判断它是否有帮助。

5. 我们能在不伤害工作的情况下,给这件事多少时间? 以每月小时数估算。约定一个上限,并在第一次阶段评审时评审它。

6. 我们什么时候应该停止或改变计划? 描述迹象:没有有用的结果、恐惧上升、工作量沉重。约定由谁决定,以及如何记录这一决定。

四种视角

产品与交付团队

试点团队承担早期的风险,并给出早期的证明。他们应当要求章程,选择自己的度量,在自己的评审中使用最初的视图,并诚实地报告什么有帮助、什么没有。当第一个结果消除了一个真实的障碍时,他们受益。

服务与运维团队

运维团队提供大量数据,并且往往负荷最重。他们应当帮助评估数据质量,指出哪里某项度量会奖励错误的行为,并保护值班和事件工作的时间。他们可持续的节奏,是对计划的固定约束。

领导层与治理

领导者发起、签署章程,并保护体系免遭滥用。他们应当接受一个适度的开端,要求成果和故事而不是仪表板数量,避免要求排名,并让计划随着体系的学习而改变。他们应当以得到改进的决定来评判体系。

客户与用户

当体系带来更好的服务时,客户和用户受益。他们可以参与选择体验度量,以及评审关于他们收集了什么。他们应当看到源自其反馈的变化。

实践:一个敏捷 ITIL 示例

一家中型公共交通管理机构在数字服务、运营技术和服务台中有 12 个团队。新任首席信息官想要"六个月内建成一个指标体系"。此前的一次尝试买了一个平台,产生了很少有人打开的仪表板。以下数字是示意数字。

服务改进负责人提议一份 180 天的路线图,在第 30、90 和 180 天进行阶段评审。第一周,她会见首席信息官,他签署了一页的章程,并邀请三个志愿团队:服务台、乘客信息团队和基础设施运维团队。在一小时的研讨中,每个团队陈述自己的问题。服务台想知道为什么同样的客户问题会再次出现。乘客信息团队想知道自己的变更是否会破坏东西。基础设施团队想知道它有多少时间花在计划外的工作上。

对每个团队,她从本书中选三到五项度量,附护栏,并用此前五个月的数据在共享电子表格中构建运行图。数据检查发现,乘客信息团队 27% 的变更记录是在部署之后才创建的,而服务台的类别在这段期间中途被重组过。修复录入习惯并映射类别花了两周。到第 27 天,服务台看到其 19% 的联系是一周内的回头联系,集中在与一个令人困惑的时刻表页面相关的两个类别中。该团队与乘客信息团队一起修改了这个页面。服务台在第 27 天确认这是首个有用的结果。

在第 30 天的评审中,团队要求更短的定义和更少的图表,其中一个团队问这些数据是否会用于其年度评审。章程被澄清为不会。在第 31 至 90 天之间,负责人自动化了两个馈送,在每个团队中建立了记录决定的每月评审,并凭借试点故事的力量又邀请了四个团队。积极使用度量的团队为受邀的 7 个中的 7 个。在第 90 天的评审中,团队报告了五项他们归因于其度量的变更。体系已让三份旧的每周报告退役。工作量占比估计为团队时间的 3%。在第 91 至 180 天之间,负责人与这些受众一起设计了服务负责人视图和领导层视图,把体验和成本度量加入均衡集合,并运行了自评:大多数团队在决定中的使用上处于 2 级,在信任与安全上处于 3 级,选定的下一步是在每个团队中建立决定日志。在第 180 天,首席信息官要求按成熟度给全部 12 个团队排名。负责人提供汇总的概貌和主题,解释了章程,这一要求被撤回。发起人同意在接下来的两个季度里,将体系扩展到其余五个团队,仍然以志愿为基础。

行业视角

初创企业。压缩路线图。两周之内,约定三个问题和两三项度量,并每周或每两周一起查看。使用你已有的东西。一个季度之后重新审视。等着构建工具的初创企业,会丧失查看的习惯。

小型企业。前 30 天可能就是一次交谈、一页问题清单、一份电子表格和一项变更。接下来的阶段包括定期的每月查看。主要的风险是,建立它的人成为唯一理解它的人,所以要写下每项度量的含义。

大型企业。使用志愿者分批、一个提供支持而不拥有度量的小型中央团队、共享的定义,以及与发起人的阶段评审。抵制单一的全球日期。预期第一阶段要花在修复数据捕获上,并在存在员工代表或劳资委员会之处,规划与安全、隐私和他们的协调。

政府与公共部门。与员工代表的咨询,以及与监督机构的清晰沟通,是早期工作的一部分。采购周期往往倾向于从已拥有的工具开始。让强制性的报告与改进度量保持分开,并为审计记录决定(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

前 180 天的成本主要是人们的时间:体系负责人、少量的分析工作、试点团队时间的一部分,以及发起人的关注。工具成本在最初阶段可以很低或为零。更大的成本是把早期步骤做错的代价,例如在没有信任的情况下推出度量。

如果第一步选得好,回报很早就会出现:数据所提示的一项变更、已退役的报告、关于数字的更少争议,以及要求更多的团队。用你自己的记录建立论证:到首个有用结果的天数、团队归因于度量的变更、因退役报告而节省的小时数,以及所花的工作量。避免引用关于分析回报的外部数字,除非有可追溯的来源并与你的环境相关。可信的主张是适度而本地的(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 大爆炸式发布。数月的设计,然后是一个意外。尽早交付一个薄切片。
  • 先上平台。工具先于问题到来。从你已有的开始。
  • 统计仪表板数量。度量了活动,忽视了价值。追踪决定和变更。
  • 跳过章程。恐惧填补空白。在展示第一个数字之前写下承诺。
  • 同时上太多团队。支持崩溃。分小批传播。
  • 从不停止任何东西。旧报告与新报告并存。增加的同时让其退役。
  • 对抗证据去捍卫固定的计划。计划应当随着你的学习而改变。
  • 在第一次失误后放弃。早期的尝试会带来教益。评审、调整,再试一次。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
开始与试点 没有计划;临时的报告 感兴趣的团队独自尝试度量 章程、发起人,以及带首个有用结果的志愿试点 试点所学驱动分批计划;追踪实现价值的时间 团队之间相互传播这一做法;发起人和伙伴加入
扩展与节奏 一次性的努力 一些定期的评审 每月团队评审和每季度体系评审 管理工作量占比、退役和被归因的变更 评审跨团队和服务相联;节奏随需要调整
学习与调整 计划固定或不存在 偶尔分享教训 阶段评审改变计划 路线图步骤与成熟度概貌相联 体系从每个人的贡献中持续改进

检查清单

  • 在分享第一个数字之前,发起人已签署一份简短的章程。
  • 一到三个志愿团队已用自己的话陈述其问题。
  • 每项试点度量都有几个月数据的基线和数据质量检查。
  • 每个试点团队都有一个小视图,每项度量都附定义。
  • 在第一个月或两个月内交付首个有用的结果,并经团队确认。
  • 每个试点团队都有评审节奏并记录决定。
  • 随着新视图取代,旧报告退役。
  • 估算并保持体系向团队所要求的工作量较小。
  • 在第 30、90 和 180 天与团队举行阶段评审,并且计划因此改变。
  • 下一阶段与团队和发起人一起决定,并附理由记录。

AI 提示词

起草一份 180 天计划。

请为在[组织类型]的[数量]个团队中引入服务指标体系,起草一份 180 天的路线图。在第 30、90 和
180 天设阶段评审。对每个阶段,列出目标、活动、涉及的人员、向团队索取的时间、预期的首个有用
结果以及风险。从志愿试点团队、章程和现有工具开始。不要承诺结果。列出你的假设。

选择最初的度量。

一个试点团队这样描述其问题:[粘贴]。请建议三到五项起步的度量,每一项附定义、数据来源、最可能
的操纵途径和一个伙伴护栏。偏好团队已有的数据。不要编造数字。列出你的假设,以及关于数据质量
要检查什么。

运行数据质量检查。

这是我们[系统]记录中字段和取值的样本描述:[粘贴]。请找出在度量前置时间、变更失败和回头联系
时可能的质量问题,如缺失的字段、改变的类别和事后创建的记录。建议在来源处进行的简单检查和
修复。不要猜测你看不到的内容。列出你的假设。

规划阶段评审。

请规划第[30、90 或 180]天与试点团队和发起人一起进行的 45 分钟阶段评审。包括关于什么有帮助、
什么感觉有风险、花了多少工作量、要停止什么,以及要在计划中改变什么的问题。包括如何记录
决定,以及分享一个关于什么发生了变化的简短故事。不要给团队排名。列出你的假设。

AI 技能

关键要点

  • 从你所在之处开始,带着志愿者、一份章程,以及你已有的数据和工具。
  • 在第一个月或两个月内,为一个团队交付一个有用的结果。
  • 分小批扩展,并随着新视图取代,让报告退役。
  • 尽早检查数据质量,并在来源处修复捕获。
  • 举行会改变计划的阶段评审,并保持向团队所要求的工作量较小。
  • 与团队和发起人一起决定下一阶段,并记录理由。

参考文献与延伸阅读

  1. Ries, E., The Lean Startup, Crown Business, 2011.
  2. Kotter, J., Leading Change, Harvard Business School Press, 1996.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  4. Axelos, ITIL 4: Direct, Plan and Improve, 2020.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, Minimum viable product.
  7. Wikipedia, Kaizen.
  8. Wikipedia, Run chart.
  9. Wikipedia, Data quality.
  10. Wikipedia, Information radiator.
  11. Wikipedia, Pilot project.
  12. Wikipedia, Change management.