概述与动因

大多数指标体系把精力花在仪表板上,几乎不花在给它们供数的管道上。这是本末倒置。一张精美的图表,若建立在不一致的时间戳、没人更新的状态字段,或上个月悄悄停掉的集成之上,看起来权威,实际上是错的。本主题讲述全书其余部分的朴素基础:服务和交付数据从哪里来,每个来源有多可靠,以及哪些数据质量故障会在没人察觉时让指标失效。

来源分为几个家族。IT 服务管理(ITSM)工具记录事件、请求、问题和变更,ITIL 把它们视为服务运营的核心记录。问题跟踪系统为敏捷团队记录待办事项和工作项的流转。版本控制记录提交、分支和合并。持续集成与持续交付(CI/CD)流水线记录构建、测试结果和部署。监控与可观测性平台发出遥测数据:来自运行系统的指标、日志和追踪。配置管理数据库(CMDB)记录各种事物所关联的服务和组件。调查问卷记录任何系统都观察不到的东西,例如满意度和付出的力气。

由流水线写入的部署事件是客观的,难以伪造;在工作完成数小时后才更改的工单状态是一种回忆;调查回答是一种感受。知道数字背后是哪一类记录,就知道该先去查哪种失效。

敏捷与 ITIL 的视角在同一份数据上交汇:二者都是带时间戳的状态机,所以要把每次状态变化记录为带可靠时间的事件,并由事件推导出指标。

本主题反复出现三个术语。记录系统(system of record)是对某个事实具有权威性的唯一来源,例如"部署发生了"的记录系统是流水线。埋点(instrumentation)是有意识地通过代码、配置或工具集成来捕获事件,使指标无需有人手工录入就能计算。状态模型(status model)是工作项或记录可处于的状态集合,以及状态之间允许的迁移。状态模型决定了哪些时钟根本可以计算。

在企业和公共部门的规模上,问题会叠加。数据会经过连接器、抽取、转换、加载(ETL)作业和报告层,每一跳都有可能让含义漂移。一个字段在源头意味着一回事,到了数据仓库里可能意味着微妙不同的另一回事,而数字看起来仍然合理。解药是缩短事件到仪表板的距离,并定期检查管道。

关键原则

  • 捕获事件,而不是汇总。存储带时间戳的原始状态变化,并由它们计算指标,这样定义可以变化而不丢失历史。
  • 偏好观察而非自报。凡是系统能看见的事件,就用系统的;只把人才能说的内容留给人的报告。
  • 每个事实只指定一个记录系统。重复的来源会互相矛盾,矛盾会侵蚀对两者的信任。
  • 先设计状态模型,再设计指标。时钟无法从不存在的状态,或在不同团队含义不同的状态计算出来。
  • 把管道当作产品。它有负责人、测试、监控和变更日志,因为数据质量会悄无声息地衰减。
  • 展示来源。仪表板上的每个数字,点击一两下就应当能回到它的源记录。
  • 只收集你会用的,并保护好它。每个字段都是成本,涉及人的时候,还是隐私责任。

指标定义

下面的指标度量数据供应本身的健康状况。它们是仪器的仪表盘。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
来源覆盖率 其事件自动到达指标存储的、在范围内的服务和团队所占比例 有自动馈送的服务或团队数 / 在范围内的服务或团队数;"在范围内"列在指标登记册中 百分比 指标登记册和管道配置 度量与报告;服务配置管理 团队关于工具的工作约定 每季度
时间戳完整率 带有该指标时钟所需全部时间戳的已关闭工作项所占比例 带有全部所需状态变更时间戳的已关闭项目数 / 该期间关闭的项目数;仍然打开的项目不计入 百分比 ITSM 工具或问题跟踪系统历史 事件管理;服务请求管理 看板或工作流历史 每月
补录率 事后才记录的状态变更所占比例,以事件时间与录入时间之间的间隔衡量 事件发生后超过 24 小时才录入的状态变更数 / 该期间的状态变更数;时钟从事件开始,到录入停止 百分比 跟踪系统的审计轨迹,或管道事件时间与录入时间 变更赋能;事件管理 完成的定义 每月
数据新鲜度 仪表板上的最新数据在被查看时有多旧 查看时间减去已加载的最新事件时间;报告中位数和第 95 百分位数 小时 管道运行日志和仪表板加载日志 度量与报告 利益相关方评审的准备 每周
对账差异 同一计数的两个来源之间的分歧 两个计数之差的绝对值 / 记录系统的计数,针对固定的期间和范围 百分比 记录系统和报告层 服务级别管理;财务管理 发布报告检查 每月
状态模型漂移 在用的不同状态名称或迁移的数量,与文档化模型相比 该期间观察到的未文档化状态或迁移数(计数);已文档化的不计入 计数 跟踪系统工作流配置和事件历史 持续改进 关于工作流的工作约定 每季度
调查回复率 受邀者中完成调查的人所占比例 完成的回复数 / 已送达的邀请数;退回的邀请不计入 百分比 调查工具 服务级别管理;客户体验 利益相关方评审和改进反馈 每轮调查

时间戳完整率只统计已关闭的项目,所以一堆老旧的未关闭项目无法掩盖缺口。补录率使用 24 小时的阈值作示例;团队选择适合自己工作的阈值并写下来。

建议

把每个指标映射到它的来源

1. 在构建仪表板之前,先建一张来源地图。对每个指标,记录记录系统、启动时钟的事件、停止时钟的事件、来源的负责人,以及已知的失效模式。如果你说不出系统的名字,说明你还不知道这个数字来自哪里。把地图保存在指标登记册里(见主题 1.4,指标治理与归属)。

2. 每个事实选一个记录系统。部署由流水线记录,事件由 ITSM 工具记录,代码变更由版本控制记录,服务关系由 CMDB 记录。如果两个工具保存着同一个事实,就决定哪个说了算,并让另一个从它读取。这样对账就成为一项检查,而不是一场辩论。

在事件发生的那一刻捕获

3. 为事件埋点,而不是为报告埋点。让流水线记录部署,让版本控制托管方记录合并,让监控系统记录告警。依赖人记得去更新字段的数据,会随着与事件距离的拉远和工作量的增加而退化。凡存在自动化事件的地方,就优先用它,而不是用人工录入的、对同一事实的替代记录(见主题 2.8,DORA 指标)。

4. 让状态变更成为工作的副作用。如果一次分支合并把工作项移到"评审中",或一次部署把它移到"已发布",就没有人需要记得去做。版本控制、流水线和跟踪系统之间的集成消除了大部分补录。

5. 保存原始事件,并保持不可变。连同事件时间、录入时间和行为者类型(人或自动化)一起存储每次状态变更。把更正写成新事件,而不是覆盖,这样更正的历史本身就是数据。

把时间弄对

6. 用一种标准记录时间。用协调世界时(UTC)存储时间戳,采用无歧义的格式,例如 ISO 8601 和 RFC 3339 所定义的格式,仅在显示时转换成本地时间。混杂的时区和夏令时变化会悄悄产生负的持续时间和差一小时的时钟。

7. 把时钟规则写在数据所在之处。对每项时间度量,说明哪个事件启动时钟、哪个停止它、哪些状态使它暂停。暂停状态是一个设计决定。要报告每个暂停状态被使用的频率,因为服务数据最常在时钟上被动手脚(见主题 3.3,事件响应与解决时间)。

设计状态模型

8. 让状态模型保持小、共享、有文档。每多一个状态,每个团队都可能有不同的解读。用一句话定义每个状态的含义、谁可以把工作移入其中,以及允许哪些迁移。工作项年龄和流动度量依赖这个模型(见主题 2.1,流动度量),跨团队比较则依赖各团队用同样的词表示同样的状态。当数据让你意外时,首先怀疑工作流:记录对工作流或字段的每次变更及其日期和理由,并把未文档化的状态当作漂移信号。

让管道保持诚实

9. 像测试软件一样测试管道。对照源头检查行数,检查必填字段是否存在,检查重复,并在馈送停止时告警。给每个仪表板加上新鲜度指示,让查看者能看到数据有多旧。一次静默的连接器故障,把上个月的数字留在屏幕上,是这一领域最常见也最具破坏性的失效之一(见主题 11.1,设计服务指标仪表板)。

10. 定期对账,并手工抽样。将报告层中某固定期间的计数与源头比较,并调查差异。然后读一小批原始记录。十五分钟的抽样常能发现自动化检查找不到的东西,比如某个状态被以意想不到的方式使用。

谨慎对待人与调查

11. 把调查留给只有人才能告诉你的东西。满意度、付出的力气、信任和福祉,无法从系统数据中观察到。直接去问,保持调查简短,错开时间,并报告回复率和回复者是谁,因为回答的人与不回答的人不同,这是一种选择偏差。完整阅读开放式评论(见主题 6.1,客户满意度指标)。

12. 保护个人数据,并将数据保持在团队层面。关于工作的事件数据,可以通过提交署名、经办人字段和聊天记录识别出个人。按指标所需的层面收集,聚合到团队和服务,并遵守你所在司法辖区和组织的隐私规则。个人层面的数据一旦收集,往往会被用来排名,从而腐蚀来源(见主题 1.2,古德哈特定律与指标心理学)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
来源覆盖率 馈送一连上就把服务算作已覆盖,即使它几乎不带事件;把难搞的服务排除在范围之外 将每个已覆盖服务的事件量与其已知活动量比较;对照服务目录复查范围清单
时间戳完整率 用关闭时间填充必填时间戳以通过校验 连续状态之间间隔的分布;抽查已关闭项目,看时间是否合理
补录率 恰好在阈值之内录入变更;放宽阈值;通过一次批量更新记录全部变更 按小时的录入时间模式;由自动化与由手工完成的变更占比;批量编辑审计
数据新鲜度 显示最近一次刷新的时间,而不是最新事件的时间 在仪表板上显示最新事件时间;馈送没有新事件时告警
对账差异 选择能对上的期间或范围;调整报告层以匹配源头而不查找原因 提前固定范围和期间;记录发现的每个原因,并按季度复查原因
状态模型漂移 为避免被标记,把既有状态挪作新含义;增加状态却不记录 每次评审时将工作流配置与登记册对照;阅读处于异常状态的项目样本
调查回复率 只邀请可能回复的人;向满意的用户发送提醒;提供会使答案产生偏差的奖励 将回复者构成与用户群体比较;按轮次的答案分布;在评审中阅读开放式评论

健康的读数是一组枯燥的数字:覆盖率高,补录率低且在下降,新鲜度在其声明的承诺之内,对账差异不为零时总有已知原因。当一个数字发生变化时,有人能说清是工作变了还是仪器变了。

权衡:利弊

做法 优势 劣势
自动化事件捕获 客观、及时,建成后省力 只覆盖已埋点的内容;工具变化时静默失效
手工录入和状态更新 能捕获背景和判断;无需集成即可工作 滞后、不一致,容易被操纵
一个集中的指标存储 一个定义,一个可供测试和治理的地方 需要资金和负责人;可能成为瓶颈
每个团队保管自己的数据 贴合本地工作;起步快 定义分歧;汇总不可靠
长期保存原始事件 定义可以变化,历史可以重新计算 存储和隐私成本;需要保护的更多

对可观察的部分实现自动化,对不可观察的部分去问人,并保留原始记录。首先投资于团队真正使用的两三个指标背后的来源,而不是为每一个想得到的数字都建一个数据平台。

与团队讨论的问题

1. 对于我们最重要的指标,哪个系统是记录系统?我们怎么知道? 请小组把数字从仪表板追溯回第一个事件。记下人或转换接触数据的每一处。主持人应寻找没人能解释的步骤,因为首次调查应从那里开始。

2. 我们的时间戳中,哪些是系统写的,哪些是人敲的? 列出在用的时钟,例如响应时间、解决时间和周期时间。把每个开始和停止标为自动或手工。对手工的,问通常在事件发生后多久才录入。讨论常会显示,争议最大的指标,恰恰建立在最不可靠的时间戳上。

3. 我们的各个状态是什么意思?所有团队的理解一致吗? 把工作流放在板上,请来自不同团队的人用自己的话解释每个状态。比较这些解释。数一数时钟暂停的状态,问谁可以使用它们、为什么。约定一项消除歧义的改动,并连同理由记入日志。

4. 如果一个馈送悄悄停了,我们怎么发现? 问上一次有人检查仪表板上数据是否最新是什么时候。讨论什么样的告警或新鲜度指示能在一天之内发现停掉的连接器。主持人应推动落实具名的负责人和具体的检查,而不是泛泛地保证会小心。

5. 我们收集了哪些从来不用的东西?我们用到了哪些没有收集好的东西? 把字段清单和指标清单并排放置。标出不为任何决定供数的字段,以及建立在糟糕字段上的指标。决定本季度停止收集一个字段、改进一个字段。

6. 谁回答我们的调查?谁不回答? 把回复者与用户或团队成员的总体比较。按群体和一天或一周中的时间查看回复率。讨论沉默可能意味着什么,以及如何不施加压力地触达安静的群体。约定如何在每个调查结果旁边展示回复率。

四种视角

产品与交付团队

交付团队产生了大部分客观数据:提交、评审、构建和部署。他们受益于让状态变更成为工作副作用的埋点,使看板无需额外力气就保持诚实。他们应当让工作流保持精简,并警惕把版本控制活动当作付出的度量(见主题 2.2,前置时间、周期时间与流动效率)。

服务与运维团队

服务团队依赖由承受压力的人(往往是在一次事件期间)创建的记录。时钟规则、暂停状态和优先级字段是发生漂移的地方。运维团队应尽可能让关键时间的捕获自动化,例如告警时间和确认时间,审计暂停状态的使用,并让监控数据与工单记录分开,这样两者可以互相核对(见主题 5.5,监控与告警质量指标)。

领导层与治理

领导层决定在数据基础上投资多少,并设定决定数据是否保持诚实的激励。他们应当先问数字从哪里来,再问它为什么变化,把管道的负责人作为持续性工作来资助,并期待每份报告上有新鲜度日期和定义。治理机构应把来源或定义的有记录的变更视为正常事件,而不是失败。

客户与用户

用户提供关于体验的最重要数据,通常是通过回答调查、给互动打分或报告问题。他们需要知道收集了什么、为什么,以及会因此改变什么。简短的调查和可见的后续行动,使回复率保持健康。面向客户的服务级别报告应当说明其来源和定义(见主题 5.2,SLI、SLO 与错误预算)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商有一个平台团队、三个产品团队和一个服务台。本示例中的所有数字都是示意数字。

领导层问,为什么月度报告中的变更前置时间在一个季度内从中位数 9 天降到了 3 天,而产品团队却报告工作方式没有变化。平台工程负责人怀疑是仪器的问题,要求提供这一指标的来源地图。

地图显示,前置时间从 ITSM 工具中创建变更记录时开始,到其状态被设为"已实施"时停止。有两个产品团队已开始在工作准备好之后才创建记录,所以时钟开始得太晚。对 40 条记录的抽样发现,有 12 条是在部署当天创建的。以流水线中的部署事件与"已实施"状态的录入之间的间隔来衡量,补录率在团队设定的 24 小时阈值之上为 31%。

团队做了三项改变。第一,时钟的起点移到与该变更关联的第一次提交,取自版本控制,终点移到流水线写入的部署事件。第二,ITSM 工具从流水线接收状态,因此"已实施"不再靠人敲。第三,仪表板增加了新鲜度指示,以及对流水线与 ITSM 工具之间变更计数的对账检查。

在新的定义下,前置时间中位数是 7 天,第 95 百分位数是 21 天,补录率降到 4%。领导层起初把 7 天读成更差的结果。平台负责人解释说,旧数字是记录创建滞后造成的假象。记录在决定日志中的决定是:用原始事件重述前两个季度的数字,并在图表上标出定义变更。团队捕获的操纵风险很微妙:没人伪造数字,但记录创建滞后产生了一个讨好的数字。对账差异现在起到护栏的作用,原始记录的样本每季度评审一次。

行业视角

初创企业。数据少、信任高,这是好事。用流水线和版本控制作为主要来源,因为它们不需要额外力气,并把状态模型保持在寥寥几个状态。把每个定义及其来源写在一页纸上,团队规模翻倍时再回头看。

小型企业。常常是一个人在托管的服务台上负责 IT。使用工具的报告,让供应商以书面形式提供其定义,并定期导出原始数据以避免锁定。

大型企业。众多工具、众多团队和层层集成,造成了定义漂移的最大风险。投资于共享的事件模型、带具名负责人的集中指标存储,以及自动化的对账和新鲜度检查。约定一小套全企业通用的状态词汇,让团队只有在写明与之映射的前提下才可添加本地状态。

政府与公共部门。记录可能受保留、审计、访问和隐私法律的约束,采购可能把工具和数据格式锁定。把这些当作设计输入:保留审计轨迹,记录从事件到报告的谱系,并在合同中争取数据导出权。报告义务使文档化的定义必不可少(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

本主题的成本有三部分。第一是构建投入:集成、指标存储和状态模型的清理。第二是运行投入:管道的负责人、对馈送的监控,以及季度对账和抽样的例行工作。第三是为你保存的数据实施隐私和安全控制的成本。

回报来自基于含义与表面一致的数字所作的决定。糟糕的数据导致错误的投资、关于谁的数字正确的争论,以及损害信任的重述结果。请通过你自己能测量的模式来描述收益:变更前后制作月度报告所需的时间、每季度的对账争议数,以及补录率和时间戳完整率随时间的变化。总拥有成本以人为主,所以要计入管道负责人的工时。

反模式与陷阱

  • 先建仪表板,后画来源地图。图表看起来已经完成,含义却是未知的。先映射来源、时钟和负责人。
  • 信任手工状态更新来做时间度量。滞后录入使时钟成了虚构。凡有流水线和版本控制事件之处,就让状态迁移自动化。
  • 同一事实有多个记录系统。争议随之而来。选一个,让其他的从它读取。
  • 悄悄更改定义。趋势线变得没有意义。记录每次更改及其理由,并在图表上标出。
  • 用不完整的数据取平均值。缺失的时间戳不是随机的,因为棘手的项目往往正是被跳过的。在结果旁边报告时间戳完整率。
  • 为以防万一而什么都收集。成本和隐私风险上升,却没有服务于任何决定。收集具名问题所需要的东西。
  • 没有新鲜度指示。陈旧的仪表板看起来和最新的一样。在每个视图上显示最新事件的年龄。
  • 没有目的的个人层面数据。它诱使人排名,并损害来源。聚合到团队和服务层面,并限制访问。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
来源与捕获 数字靠手工从导出中拼凑 部分工具自动馈送报告,其他的没有 每个指标有一个具名记录系统,凡有事件之处均自动捕获 覆盖率和完整性被度量并有趋势 事件通过约定的接口在团队和供应商之间共享,并有导出的合同条款
时间与状态模型 每个人记录和读取时间的方式不同 部分团队把工作流文档化 一种时间标准和共享的状态词汇,并有书面时钟规则 监控漂移和补录,变更连同理由记入日志 当模型不再为决定提供依据时,与供应商和客户共同修订
管道质量 有人抱怨时才发现故障 偶尔手工检查 行数、重复检查,以及每个仪表板上的新鲜度指示 按计划对账并复查原因;管道有负责人 像服务一样报告管道健康,改进有资金
调查与隐私实践 临时调查;没有隐私评审 部分团队使用标准问题 简短的定期调查,显示回复率;数据保持在团队层面 评审回复者构成并据此行动 与用户公开分享调查结果和隐私实践

检查清单

  • 每个已报告的指标都有具名的记录系统和具名的来源负责人。
  • 来源地图保存在指标登记册里。
  • 每项时间度量都说明其时钟在哪里开始、停止和暂停。
  • 时间戳以 UTC 和无歧义的格式存储,服务器时钟已同步。
  • 凡有事件之处,状态变更均由自动化生成。
  • 原始事件连同事件时间和录入时间一并保存,更正是新事件。
  • 状态模型已文档化,每次变更都连同理由记入日志。
  • 每个仪表板都显示其最新数据的年龄。
  • 计数定期与源头对账,原因有记录。
  • 每季度读一批原始记录样本。
  • 每个调查结果旁都显示调查回复率和回复者构成。
  • 个人数据最小化,并聚合到团队和服务层面。

AI 提示词

为一个指标建立来源地图。

我正在为这个指标的背后数据建立文档:[指标名称],定义为[定义]。我们的工具有
[工具清单,例如跟踪系统、ITSM 工具、流水线、监控]。请起草一张来源地图,字段
包括:启动时钟的事件、停止时钟的事件、各自的记录系统、谁或什么创建该事件(人
或自动化)、可能的失效模式,以及能发现每种失效的检查。不要编造工具功能或基准
值。列出你的假设,以及我应当回答哪些问题才能补全这张地图。

审查状态模型是否含糊。

这是[团队或服务]的工作流:[状态清单和允许的迁移,已知时附每个状态的一行含义]。
我们由它计算的时钟有[时钟清单]。请找出含糊的状态、时钟可能以误导方式停止或
暂停的状态,以及两个团队可能对同一个词理解不同的地方。建议一个仍能支持这些
时钟的更小的模型,并说明会损失什么。不要猜测我们的工具是如何配置的。列出你的
假设。

为一个馈送设计数据质量检查。

我们每[计划]把[数据类型,例如变更记录]从[源系统]载入[目的地]。必填字段是
[字段清单]。请针对完整性、重复、新鲜度,以及对源头的对账,提出一套实用的检查,
并为每项建议一个告警和一个负责人角色。让这套检查小到[团队规模]人的团队能够
维护。不要编造阈值;需要时请向我询问。列出你的假设。

起草一份简短调查和回复率计划。

我想为[受众]度量[体验主题,例如完成一项请求所付出的力气]。请起草[数量]个中性
问题,一份何时以及如何发送的计划,以及如何报告回复率和回复者构成。标出可能
使答案产生偏差的措辞,并注意数据将保存在[工具或位置]时的隐私考虑。不要编造
基准回复率。列出你的假设。

AI 技能

关键要点

  • 每个指标都依赖一个具名的记录系统,所以在建图表之前先映射来源。
  • 在事件发生的那一刻自动捕获,并保留原始事件,这样定义可以变化而不丢失历史。
  • 时间也是数据:用一种标准,写下时钟规则,并留意补录。
  • 让状态模型保持小、共享、有文档,并记录每次变更。
  • 把管道当作产品,有负责人、测试、新鲜度指示和定期对账。
  • 把调查用于只有人才能说的东西,显示回复率,并把个人数据保持在团队层面。

参考文献与延伸阅读

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
  5. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  6. ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
  7. ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
  8. Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Information technology service management.
  11. Wikipedia, ITIL.
  12. Wikipedia, Issue tracking system.
  13. Wikipedia, Version control.
  14. Wikipedia, CI/CD.
  15. Wikipedia, Observability (software).
  16. Wikipedia, Configuration management database.
  17. Wikipedia, Extract, transform, load.
  18. Wikipedia, Data quality.
  19. Wikipedia, Coordinated Universal Time.
  20. Wikipedia, Selection bias.