概述与动因

指标治理是一组轻量的决定:谁拥有一项度量,它意味着什么,谁可以看到它,评审的频率如何,以及何时将其移除。它与数据治理关系密切,后者涵盖组织中对数据可用性、质量和安全的更广泛管理。指标治理把同样的纪律,用于团队和领导层驾驭服务与交付工作所依靠的那一小组、高可见度的数字。

这种需要以细小而反复出现的摩擦显现出来。两个团队对"解决时间"的算法不同,于是花一场会议去对账。一块仪表板磁贴停更了好几个月,因为搭建它的人换了工作。一项本来帮助某个团队诊断其流动的度量,被指导委员会采纳为绩效目标,这正是上一个主题所警告的情形(见主题 1.2,古德哈特定律与指标心理学)。这些都不是统计问题。每一个都是归属问题,而且每一个预防起来都很便宜。

敏捷和 ITIL 的视角在侧重点上不同,这种不同是有用的。按敏捷的看法,团队拥有自己的工作度量,并在回顾会议、工作约定和评审中商定它们。ITIL 的看法记录在 ITIL 4(AXELOS 2019 年版,现由 PeopleCert 出版)中,把度量与报告视为通用管理实践,把持续改进视为一项拥有自己的角色、记录和评审的实践。ITIL 也期望服务负责人和实践负责人对结果负责。两种看法可以拼合起来:团队拥有工作视图,具名的服务负责人或实践负责人拥有报告视图,一份小小的登记册把二者连在一起。

这里用到几个术语。指标负责人(metric owner)是对指标的定义、数据质量和使用负责的唯一一位责任人。指标登记册(metric register)是在用指标的简短目录,列出每个指标的负责人、定义、数据来源、护栏和评审日期。指标章程(metrics charter)是针对一组指标的一页纸声明,写明目的、范围、角色和评审节奏。单一事实来源是计算某个数字时所依据的唯一权威系统或数据集。数据管家负责看护某个数据领域的质量和定义,在小型组织中,指标负责人常常兼任这个角色。RACI 矩阵记录每项活动由谁负责执行、谁最终问责、谁被咨询、谁被告知。数据字典是数据元素及其含义的目录,规模扩大后登记册的定义一栏就会变成它。最小权限原则指人和系统只获得完成其任务所需的访问权限,不多给。持续改进是改进服务、实践和工作方式的不断努力,它既是 ITIL 的一项实践,也是敏捷的一种习惯。SLA 指服务级别协议,ITSM 指 IT 服务管理。

关键原则

  • 每个已报告的指标有一位具名负责人。是一个角色或一个人,绝不是"团队"。共同拥有会使定义无人维护。
  • 一个定义,一个单一事实来源。把定义写一次,包括时钟从哪里开始和停止,并在一个地方计算数字。
  • 治理与后果成比例。团队用来调试自己看板的指标,一句话就够了。出现在合同、公开报告或董事会材料中的指标,需要章程条目、评审和审计轨迹。
  • 访问服从目的。决定谁看哪个视图以及为什么。团队工作视图的默认受众是团队。
  • 按节奏评审,凭证据退役。指标有生命周期。有意识地采纳、评审、修订和退役。
  • 写下来,并保持精简。一页纸的登记册会有人读。政策手册不会。
  • 治理服务于被度量的人。一个指标的所有者,包括其工作被该指标描述的人。

指标定义

这些是度量实践健康状况的度量,而不是服务的度量。它们刻意保持很少,并且从登记册本身收集成本很低。除非另有说明,每个期间为一个日历季度。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
归属覆盖率 有具名在任负责人的已报告指标所占比例 其负责人在期末仍担任该角色的已报告指标数 / 期末已报告的指标数;不含仅在某个团队私有看板内使用的指标 百分比 指标登记册 度量与报告 工作约定 每季度
定义时效 其定义在约定间隔内被评审过的已报告指标所占比例 评审日期在最近 6 个月内的指标数 / 已报告的指标数;时钟从最近一次记录的评审开始,到期末停止 百分比 指标登记册变更日志 度量与报告;持续改进 回顾会议的行动 每季度
来源一致性 恰好由一个具名来源计算的已报告指标所占比例 有一个权威来源且无已知平行计算的指标数 / 已报告的指标数;平行计算通过抽查仪表板和报告发现 百分比 登记册,加上仪表板和报告的样本 度量与报告;服务级别管理 指标的完成定义 每季度
退役率 某期间内被退役或合并的指标数相对于已报告指标数 该期间内被退役或合并的指标数 / 期初已报告的指标数;移入私有团队视图的指标视为已从报告集中退役 百分比 指标登记册变更日志 持续改进 回顾会议的行动 每季度
访问评审时效 其受众名单在间隔内被评审过的受限指标视图所占比例 最近 6 个月内做过受众评审的受限视图数 / 受限视图数;向全组织开放的视图不计入 百分比 访问名单或 BI 工具权限导出 信息安全管理;度量与报告 工作约定 每半年
决定关联度 在登记册中与其所依据的决定相联的已报告指标所占比例 有记录的决定或问题的指标数 / 已报告的指标数;仅当决定是在最近 12 个月内作出的才算数 百分比 指标登记册和决定日志 持续改进 利益相关方评审和改进成果 每季度

这些都不是目标。登记册可以显示完整的归属覆盖率,却描述的是无用的指标,所以请结合下面的操纵表来读这张表。

建议

确立归属和登记册

1. 维护一份一页纸的指标登记册。列出每个已报告的指标,写明它的问题、负责人、定义、公式和时钟、单位、数据来源、受众、护栏、上次评审日期和计划评审日期。一张电子表格或版本控制中的一个 Markdown 文件就够了。登记册是本主题中最有用的单一工件,而且上一个主题已经假定它存在(见主题 1.2,古德哈特定律与指标心理学)。

2. 每个指标指定一位负责人,并记录其角色。负责人对定义、数据质量,以及对反常结果的解释负责。选择靠近数据和决定的人,通常是服务负责人、实践负责人或团队负责人。既记录角色也记录人,这样条目在工作变动后依然有效,职位空缺也会在覆盖率数字中显现。

3. 把拥有指标与拥有它所度量的工作区分开。指标的负责人负责解释和维护它,但做这项工作的团队仍对结果负责。这避免两个陷阱:负责人为自己无法影响的数字挨批,以及团队因为别人在维护而否认某个数字。章程里一张简短的 RACI 表可以把这一点说清楚。

4. 把定义连同时钟写一次。登记册保存权威的定义:统计什么,时钟从哪里开始和停止,哪些状态会使它暂停,排除什么。从每个展示该指标的仪表板链接到它。当定义需要变更时,先在登记册中变更,并在图表上标出(关于如何展示趋势中的断点,见主题 1.6,服务指标的统计素养)。

5. 每个指标只在一个地方计算。选定权威来源,例如 ITSM 工具、问题跟踪系统或监控系统,并在登记册中说明。复现该数字的平行电子表格,要么退役,要么改名,免得有人把它们误当成正式数字。数据谱系和工具属于下一个主题(见主题 1.5,数据来源与埋点)。

设定节奏和变更控制

6. 评审定义的频率要与后果相称。对合同、受监管报告或高管材料中的指标,每年评审两次,底层工作流有任何变化时也评审。对团队层面的工作度量,回顾会议就是评审。每次评审问三个问题:定义是否仍然准确,数据是否仍然可靠,有没有人用这个数字作过决定?

7. 像对待服务变更一样对待定义变更。记录谁提出变更、为什么、咨询了谁,以及生效日期。对状态工作流的一个小改动,可能悄悄地把某项时间度量挪动很大的幅度。针对定义的轻量变更控制借用了变更赋能的思想,但省去了繁文缛节(服务变更的对应内容见主题 4.3,变更赋能指标)。

8. 把评审并入持续改进。指标评审应产生改进工作,或明确决定不采取行动。ITIL 把持续改进视为一项带有改进机会登记册的实践,敏捷团队通过回顾会议的行动达到同样的效果。如果一次评审既没有行动也没有退役,就问这个指标是否在起作用(见主题 9.5,持续改进指标)。

9. 有意识地让指标退役。定义一个退役检验,例如"连续两个评审周期没有在决定中被引用",并执行它。归档定义和最终值,说明什么取代了这个指标(如果有的话),并告知受众。退役日志对审计员是证据,对手工维护数据的人是解脱。

控制视图和访问

10. 决定每个视图的受众。大多数指标有给团队的工作视图、给服务负责人或项目的报告视图,有时还有给客户、监管机构或供应商的外部视图。记录哪个受众得到哪个视图以及原因。以最小权限原则为指引,限制包含个人数据、安全细节或商业敏感的供应商数字的视图,其余保持开放,使透明成为默认。

11. 让个人层面的数据远离报告。本书的硬规则是:指标描述团队、服务和系统,而不是人。治理通过设定报告的粒度(例如团队和服务),并把任何个人层面的提取限制给数据管家,来支持这一点。如果收到要求个人层面细分的请求,记录下来,问它服务于什么决定,并提供团队层面或系统层面的替代方案(见主题 11.3,推行指标而不滋生恐惧)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
归属覆盖率 指定某位经理或某个邮件列表为负责人以达到 100%,却没有能解释或更改该指标的人 请每位负责人解释该数字最近的一次变动;跟踪超过一周无人回答的问题
定义时效 没读定义就改动评审日期 每季度抽查三个条目,将书面定义与工具的实际配置比较
来源一致性 宣布某来源为权威,而电子表格仍在流转且互相矛盾 统计在报告样本中发现的同一指标的不同数字个数;在评审中对账差异
退役率 为显得有纪律而退役琐碎或无人用的指标,或通过改名使指标算作新的 评审退役日志,看移除了什么;同时跟踪已报告的总数和决定关联度数字
访问评审时效 没读名单就批准现有受众名单 将名单与当前团队成员和角色对比;报告发现的移除数
决定关联度 为满足该字段而写含糊的决定,比如"改进服务" 要求有日期的决定或问题,并抽查决定日志,看该指标是否真被查阅过

健康的读数是一份会变化的登记册。条目的负责人会回答问题,评审日期落在最近六个月内,退役日志有理由,还有一小串因为人们说得出它所依据的决定而仍被需要的指标。一份每个字段都填满、却从不变化的登记册,是一个警示信号。

权衡:利弊

做法 优势 劣势
中央指标办公室 定义一致、工具共享;便于审计 缓慢、远离工作,并且容易把本应因团队而异的度量标准化
联邦式归属加共享登记册 负责人靠近数据;登记册保持共同的最低要求 需要持续鼓励,以避免团队之间质量漂移
仅团队拥有度量 快速,贴合工作 定义分歧;汇总变得不可靠;知识随人离开
默认开放访问 建立信任和共同理解 有暴露敏感或个人层面细节的风险
受限访问 保护敏感数据 对本可以帮忙的人隐瞒背景,并招致猜疑

平衡之道是把必须一致的那一薄层集中起来,即登记册、共享定义和访问规则,其余一切联邦化。

与团队讨论的问题

1. 如果明天仪表板上被引用最多的数字看起来不对,谁会来回答? 请小组说出一个人,而不是一个团体。如果冒出好几个名字,或一个也没有,这个指标实际上没有负责人。主持人应记下该指标、候选负责人,以及负责人要做好这项工作需要什么,例如数据的读取权限或评审中的时间。最后约定由谁来确认负责人并把角色记入登记册。

2. 今天同一个数字在哪里存在两个版本? 寻找把同一指标显示为不同数值的报告:每周的幻灯片与实时仪表板,或供应商报告与内部报告。对每一处,问差异从哪里产生,例如范围、时钟或排除项。决定哪个来源是权威的,另一个版本怎么办。预期这场交谈会发现,大家以为共享的词,其实有不同的工作定义。

3. 如果必须退役一个指标,本季度我们会退役哪个? 从最近没人在决定中引用的指标开始。问如果它消失会怎样,谁会注意到。如果答案是"没人",就把它移出报告集试一段时间。主持人应把退役视为正常而健康的,并把结果记入退役日志。

4. 谁能看到我们的哪些指标?这是有意为之的吗? 画一张简单的网格,指标对受众:团队、服务负责人、领导层、客户、供应商、监管机构。标出访问是作过决定的,还是自然而然发生的。寻找任何可能被用来比较个人的视图。约定至少改动一份受众名单,并约定谁来做下一次评审。

5. 我们如何在不破坏趋势的前提下更改定义? 回顾最近一次对状态工作流或优先级量表的变更。问谁被告知,图表是否做了标注,有没有人比较过新旧值。起草一份团队真的会填写的轻量变更条目。约定由谁批准合同或外部报告中出现的指标的变更。

6. 如果治理成了负担,我们会停止做什么? 治理可能沦为仪式。问如果没人检查,人们会跳过当前做法的哪些部分,为什么。把答案当作设计反馈,而不是抵触。主持人应寻找彼此重复的步骤、没人读的字段,以及从不产生决定的评审。

四种视角

产品与交付团队

交付团队拥有工作项年龄和周期时间等工作度量,应当在工作约定中商定其定义。当一项指标上升到组合报告里时,团队应知道负责人、定义和受众。团队从为每项报告的度量所写的一条简短登记册条目中获益最多,也从对不再贴合工作流动方式的定义提出质疑的权利中获益(见主题 2.1,流动度量)。

服务与运维团队

服务与运维团队承载着出现在 SLA 和运营评审中的指标,因此定义、时钟和排除项具有合同分量。这里的负责人通常是服务负责人和实践负责人。他们应当为定义变更保留证据轨迹,定期把报告的数字与 ITSM 工具对账,并率先让不再为运营决策提供依据的度量退役(见主题 5.1,SLA、OLA 与 XLA 指标)。

领导层与治理

领导层设定条件:谁拥有指标,哪些视图进入高管材料,数字如何使用。他们应当索要登记册和退役日志,阅读头条数字背后的定义,并拒绝个人层面排行榜的要求。治理机构需要一个小的常设议程项来评审登记册并记录决定,符合 ISO/IEC 20000-1 对服务管理体系的期望(以其 2018 年版为准),同时避免把评审变成合规演练(见主题 8.3,合规与审计指标)。

客户与用户

客户和用户很少看到登记册,但当服务评审中的数字与他们的体验不同时,他们会感受到它的缺失。当某项指标出现在面向客户的报告或 SLA 中时,应当提供用平实语言写成的定义,包括排除了什么。客户应当有渠道质疑一个数字,负责人应当回答(见主题 5.1,SLA、OLA 与 XLA 指标)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商运营着一个服务台、三个产品团队和一个运维组。下面所有数字都是示意数字。

每月服务评审显示事件解决时间的中位数是 5.1 小时。产品团队自己的仪表板用的是同一个 ITSM 工具,显示 6.4 小时。这两个数字已经流传了一年。新来的服务负责人问这个指标归谁,得到了三个不同的答案。

负责人与团队负责人和数据管家一起,花了两场会议建立第一份包含 14 个已报告指标的登记册。其中 5 个没有负责人,4 个有两个来源。解决时间是双来源的指标之一。差异可以追溯到一个暂停状态:服务评审排除了"等待客户"的时间,团队仪表板则没有排除。小组约定一个定义,指定服务负责人为该指标的负责人,并在同一页上按定义标注,把两个值一起发布一个季度,这样没人会丢掉历史。他们在定义变更的位置给图表加了标注。

在第一次季度评审中,小组应用退役检验,移除了 14 个指标中的 3 个,包括一张最近没有任何决定引用过的每月工单数量图表。他们还限制了按分析员细分解决时间的视图,只让数据管家一人持有,并提供了团队层面的细分作为替代。

操纵风险在第二次评审时出现。归属覆盖率达到 100%,但抽样显示,有两位负责人其实是一个分发列表和一位从未打开过数据的部门主管。小组把他们换成具名的服务负责人,并把护栏问题加进评审:"负责人能解释这个数字最近的变动吗?"覆盖率有一个季度降到 86%,小组把它记录为诚实的结果。记录在日志中的决定是:在护栏运行两个周期之前,保持覆盖率目标不变。

行业视角

初创企业。创始人或首席工程师往往默认拥有每一个指标。风险在于定义只存在于一个人的脑子里。在共享文档中保存一份五到八个指标的登记册,为每个指标指定负责人,并在某个指标第一次出现在投资人或客户更新中的当天写好它的定义。

小型企业。负责 IT 的人通常既是负责人、管家,又是报告的读者。把治理控制在一页纸,每年评审两次,当供应商提供的报告对某指标的定义与你自己的不同时格外小心。写明业务中谁拥有每个面向客户的数字。

大型企业。规模使共享层变得不可或缺。使用带工作流的登记册、每季度开一次会的轻量委员会,以及每个主要领域的数据管家角色。为工作度量保留团队自主权,并防止把本应因服务类型而异的指标标准化。与组织中已有的数据治理对齐可以省力。

政府与公共部门。法定报告、审计和采购使书面定义和变更记录成为一种义务。把登记册当作审计工件,保持从每个公布的数字到其负责人和来源的清晰链条。访问决定往往涉及法律和隐私审查,所以要记录每个受限视图的依据(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本不大,主要是时间。预计用几个小时建立第一份登记册,每季度用一两个小时做评审,再加上数据管家为解决来源冲突所花的一些精力。工具成本很低,因为一张电子表格或一个受版本控制的文件就足以起步。

回报主要是避免浪费。花在对账数字上的会议消失了,审计发现了清晰的轨迹,新来的服务负责人上手更快,因为定义已经写下来。决定变得更好,因为它们依据的是每个月含义都一样的数字。没有你自己的数据,不要为这些收益引用百分比。如果你的商业论证需要数字,请统计上个季度花在对账冲突数字上的小时数,以及没有记录在案的负责人的指标个数,两个评审周期之后再数一遍。

反模式与陷阱

  • 委员会式归属。由一个团体拥有指标,却没人回答问题。指定一个问责角色和一位副手。
  • 登记册成了坟场。建好后从不触碰。把评审日期放进日历,并在每个仪表板上显示日期。
  • 一切都标准化。把一个定义强加给工作不同的团队,产生的数字在哪里都没有意义。只共享必须一致的那一层。
  • 悄悄更改定义。趋势断裂,信任随之而去。记录每次更改及其理由,并给图表加标注。
  • 有治理无退役。集合只增不减,注意力被稀释。每次评审都应用退役检验。
  • 默认保密。对被度量的人隐藏工作视图会滋生猜疑。只限制真正带有风险的内容并解释原因。
  • 个人层面数据开放访问。一次提取几天之内就可能变成排行榜。把报告粒度定在团队和服务,并让任何个人层面的数据由管家保管。
  • 合规作秀。为满足检查清单而填写字段。抽查条目是否属实,并请负责人解释最近的变动。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
归属与登记册 负责人不明;指标存于个人电子表格 部分团队保留带负责人的清单 为所有已报告的指标建立一份登记册,各有具名负责人和角色 覆盖率和时效有趋势;缺口促成有资源的修复 在数字跨越边界之处,与供应商和客户共享登记册
定义与变更控制 定义因人而异 为部分合同指标写下定义 每个已报告的指标都有带时钟的书面定义和变更日志 发布前评审变更对趋势的影响 当定义不再为决定提供依据时,跨团队和供应商共同修订
评审与退役 只加不删 偶尔清理 写下评审节奏和退役检验 跟踪评审结果并转化为改进工作 退役与更新成为常规,由用户和团队的证据驱动
访问与受众 访问出于偶然 对敏感数据设受限视图 为每个指标列出受众并写明理由 按节奏评审访问;个人层面数据由管家保管 与被度量的人和客户共同设计受众

检查清单

  • 存在指标登记册,并列出每个已报告的指标。
  • 每个已报告的指标都有具名负责人和记录在案的角色。
  • 每个已报告的指标都有写明开始、停止和排除规则的书面定义。
  • 每个指标在登记册中指明了一个权威来源。
  • 为每个指标记录了评审日期和间隔。
  • 定义变更连同理由记入日志,并在图表上标出。
  • 写下了退役检验,并在每次评审时应用。
  • 记录了每个视图的受众,并为任何限制写明理由。
  • 没有任何报告视图对个人排名,个人层面的数据由数据管家保管。
  • 上个季度抽查过登记册是否属实。

AI 提示词

为一组指标起草指标章程。

为[团队或服务名称]起草一份一页纸的指标章程,该团队提供[服务或交付工作的类型]。
指标集为:[指标清单]。受众为[受众]。包括目的、明确的非目标、使用这些角色的
负责人、数据管家和评审者的 RACI 表:[角色]、评审节奏和一个退役检验。仅依据我
所写的内容起草。不要编造指标、目标或基准值。列出你的假设,以及我应当回答哪些
问题才能补全这份章程。

找出同一指标两个版本之间的冲突。

下面是对本应是同一个指标[指标名称]的两份描述。版本 A,来自[来源 A]:[描述与
公式]。版本 B,来自[来源 B]:[描述与公式]。请比较它们在统计什么、时钟从哪里
开始和停止、哪些状态会暂停它,以及排除什么。解释哪些差异可能造成[值 A]与[值 B]
之间的差距,并为负责人建议一些问题。不要猜测我没有给出的数值。列出你的假设和
你无法确定的内容。

检查指标登记册的缺口。

下面是我们的指标登记册摘录,字段为[字段清单]。请检查:缺少负责人的条目、没有
评审日期或早于[间隔]的条目、有多个来源的指标、没有关联决定的指标,以及可能暴露
个人层面数据的视图。按指标而不是按个人报告模式。不要编造关于我们指标的事实。
告诉我哪些发现可以从文本中确定,哪些是猜测,并列出你的假设。

[粘贴登记册摘录,已去除个人数据]

规划一次退役评审。

我们每[间隔]评审一次指标。我们的退役检验是:[检验]。针对下面每个指标,根据
我提供的备注,提议退役、保留、合并或重新设计,附一行理由和一个要问负责人的
问题:[指标,含最近被引用日期和负责人角色]。同时建议如何向[受众]宣布每个
退役。不要编造使用数据。列出你的假设,以及任何会改变你的建议的信息。

AI 技能

关键要点

  • 治理让数字随时间保持同一含义,一页纸的登记册是其核心。
  • 为每个已报告的指标指定一位问责的负责人,既记录角色也记录人。
  • 写一个带时钟的定义,在一个地方计算,并记录每次变更。
  • 治理的分量要与指标的后果相称。
  • 有意决定谁看哪个视图,让个人层面的数据远离报告,凭证据让指标退役。

参考文献与延伸阅读

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  4. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  5. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
  6. ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
  7. Wikipedia, Data governance.
  8. Wikipedia, Single source of truth.
  9. Wikipedia, Data steward.
  10. Wikipedia, RACI matrix.
  11. Wikipedia, Data dictionary.
  12. Wikipedia, Principle of least privilege.
  13. Wikipedia, Continual improvement process.