概述与动因

工具是指标体系最常出错的地方,而且朝着两个相反的方向。有些组织先买一个大型分析平台,随后才发现自己没有约定的定义、没有干净的数据,也没有受众。另一些组织构建一堆只有一个人理解的脚本和电子表格,当那个人离开时,体系也就结束了。两者都从工具出发,而忽略了它本应回答的问题。

这一领域拥挤且变化迅速,所以本主题有意保持与供应商无关。它描述工具的种类、它们之间的数据流、自建与购买之间的权衡,以及选择的标准。它不点名任何产品,因为产品名称很快就会过时,而一本书对当前的功能和价格是糟糕的指南。度量原则不随供应商而变:知道你在度量什么、数据来自哪里、谁拥有它,以及它将如何被阅读。

服务指标体系所需的大部分数据已经存在于记录系统之中。IT 服务管理工具保存事件、请求、问题、变更和配置记录。源代码控制、构建、测试和部署系统保存工程工作的历史。监控和可观测性系统保存可用性、延迟和错误数据。调查工具、财务系统、人力资源系统和合同库保存其余的部分。指标体系把这些来源连接起来,而不干扰在其中完成的工作(见主题 1.5,数据来源与埋点)。

数据从来源移动到可以分析之处,这是一条数据管道,经典的模式是提取、转换、加载:从来源读取,重塑并清理,然后写入存储。存储可以是数据仓库,即为分析而组织的、来自若干系统的数据的集成仓库。体系通过应用程序编程接口访问这些系统,这是一个软件以定义的方式向另一个软件请求数据的办法。流经其中的内容的质量,决定了每张图表的质量。数据质量涵盖准确性、完整性、一致性和及时性,而维持它的学科是数据治理。

财务一面值得小心。一款工具的总拥有成本包括许可证、基础设施、集成、培训、管理,以及离开它的成本。供应商锁定是这样一种情形:更换供应商的代价如此之高,以至于客户实际上被绑定。指标体系尤其容易受到影响,因为定义、历史和仪表板积累在工具之内,而日后把它们取出来很难。

敏捷的目标塑造这一做法。持续交付适用于体系:为一个团队建立从一个来源到一个视图的最薄的可用路径,从其使用中学习,然后扩展。持续的利益相关方参与意味着将使用这些数字的人参与工具的选择。持续改进和持续演进意味着预期工具会变,所以可移植性比完美更重要。可持续的节奏意味着体系不会变成饿死它所度量的工作的数据工程项目。而积极投入的个人,使用自己参与选择并理解的工具,比使用从上方强加的工具做得更好,尤其是那些感觉像监视的工具(见主题 11.3,推行指标而不滋生恐惧)。

本主题依赖仪表板设计指导(见主题 11.1,设计服务指标仪表板)以及第 1 部分的治理主题。

关键原则

  • 先问题,后工具。先写下问题和度量,再看它们需要什么工具。
  • 使用记录系统。从工作发生的地方取数据,避免要求人们录入两次。
  • 把定义放在工具之外。以平实、可移植的形式维护指标定义,使之在更换平台后依然存在。
  • 偏好可移植的数据。用开放格式存储数据,附有文档化的接口,并保留一条退路。
  • 从薄处开始,逐步成长。一个来源、一个视图、一个团队,然后扩展。
  • 计入完整成本。许可证只是集成、数据清理和维护成本的一小部分。
  • 保护人。工具应当汇总到团队和服务,强制执行访问规则,并使监视变得困难。
  • 把管道视为服务。它需要负责人、监控、测试,以及处理失败的办法。

指标定义

下面的度量描述指标工具及其数据供应的健康状况。它们供体系团队使用,以保持基础设施诚实,不得用来给人评级。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
来源覆盖率 已约定度量所需的记录系统中,自动接入指标存储的占比 已连接并测试的来源数 / 已约定度量所需的来源数 百分比 来源清单;管道配置 信息与技术管理;服务配置管理 管道的持续交付 每季度
管道可靠性 按时完成且检查通过的计划数据加载占比 按时且检查通过的加载数 / 计划的加载数 百分比 管道日志和测试结果 监控与事件管理 自动化测试和快速反馈 每周
新度量的上线时间 从新度量的请求获批,到它附带定义卡可用的经过时间 从批准到发布的天数,中位数和第 85 百分位数 天 请求和发布记录 服务请求管理;变更赋能 价值的小增量 每季度
对账率 在抽样检查中,指标存储与来源系统相吻合的关键数字占比 在容差内吻合的数字数 / 检查的数字数 百分比 对账检查 信息与技术管理 可信的反馈 每月
手工工作量占比 经常性报告的工作量中,花在手工收集和清理上的占比 手工步骤的小时数 / 经常性报告的总小时数 百分比 时间估算;团队调查 持续改进 消除琐务 每季度
退出就绪度 定义、历史和仪表板能否以文档化的、可用的形式导出 已测试且完整的导出数 / 计划的导出测试数 百分比 导出测试记录 供应商管理;服务连续性管理 可持续的选择 每年
每个受支持团队的工具成本 体系工具的完整年度成本除以其服务的团队数 (许可证 + 基础设施 + 维护工作量)/ 服务的团队数 每团队货币额 财务和工作量记录 服务财务管理 可持续的节奏 每年

按已约定度量所需而不是按现有的东西来统计来源,使覆盖率不会通过连接无关的系统而被提高。对账需要事先选择样本和容差。每个受支持团队的工具成本是用于比较选项的描述性数字,不是要压低的目标。它包括维护管道的人的工作量。

建议

决定你需要什么

1. 把需求写成问题和度量。列出体系已同意发布的度量(见主题 11.1,设计服务指标仪表板)、每项所需的来源、每项必须多新鲜、谁可以看到它,以及历史必须保留多久。区分必须具备的与偏好的。一份两页的简短文档,胜过一份冗长的招标书。

2. 盘点你已经拥有的东西。许多组织在其服务管理、工程和监控工具中有未被使用的分析功能。许多组织有已经回答了部分需求的电子表格、脚本和报告。先看看这些能做什么。最便宜的工具,是已经付过钱并且已被理解的那一个。

3. 先盘点数据,再谈工具。对每个来源,检查数据是否完整、录入是否一致、是否可通过接口访问。工具无法修复无人使用的事件类别、事后创建的变更记录,或被覆盖的时间戳。一些最有价值的早期工作,就是在来源处修复数据捕获(见主题 7.4,配置与 CMDB 质量指标)。

自建、购买或结合

4. 在完整成本和契合度上比较自建与购买。购买分析平台或打包的工程分析产品,带来现成的连接器、图表和支持,代价是许可证、一个固定的世界模型和依赖。自建管道和视图带来契合与控制,代价是工程时间和维护。大多数组织最终会结合:在内置报告足够好之处使用它,用通用分析工具做视图,并在别无选择之处构建薄的连接器。

5. 用真实数据测试原型。在承诺之前,用你自己的两三项度量,使用真实数据和真实用户,运行一次限定时间的试用。检查连接花了多长时间、工具处理你的定义有多好、它能否展示分布和百分位数,以及它如何控制访问。营销演示使用干净的数据,而你的不是。

6. 在进入之前规划退出。问定义、历史和仪表板如何导出,并测试它。偏好具有开放接口和标准格式的工具,并保留你自己的指标定义和已清理数据的副本。离开的成本是留下的成本的一部分,一个可信的退出会改善你的谈判地位(见主题 8.4,供应商与合同指标)。

以清晰的标准选择

7. 使用与供应商无关的选择标准。有用的标准包括以下几点。你所需的数据来源有维护中的连接器吗?定义能被撰写、做版本管理和评审吗?工具能展示分布、百分位数和趋势,而不仅仅是平均值和计数吗?它能汇总到团队和服务,并让你限制个人层面的视图吗?它支持基于角色的访问和审计吗?数据能以开放格式导出吗?供应商如何处理变更、中断和安全事件?在你预期的三年后的规模下,它的成本是多少?

8. 对内置评分保持警惕。有些工具开箱即提供综合得分、人员排名或"生产率"指数。这些很容易采用,却很难辩护(见主题 1.2,古德哈特定律与指标心理学)。检查这类功能能否关闭,并在启用任何东西之前先制定政策。

9. 让使用它的人参与。请团队用自己的数据试用入围的选项。他们的问题会暴露需求文档所没有的局限。尽早纳入安全、隐私、财务和采购(见主题 8.1,安全事件与漏洞指标)。

把管道当作服务来运行

10. 自动化、测试并监控管道。像对待任何其他生产服务那样对待数据加载。对计数、范围、重复和新鲜度运行自动检查。失败时告警,并在仪表板上显示数据质量状态。给转换逻辑做版本管理,并像评审代码那样评审对它的变更(见主题 5.5,监控与告警质量指标)。

11. 维护一份定义目录。维护一份共享目录,包含每项度量的定义、公式、来源、负责人和局限。它可以是纯文本文件的仓库、数据目录工具或维基。重要的是它是含义的事实来源,并且仪表板从它读取或链接到它(见主题 1.4,指标治理与归属)。

12. 每年评审工具。每年检查工具花费多少、体系使用其哪些部分、哪里仍有手工工作量,以及有哪些较新的选项。让无人使用的退役。随着体系成熟,重新考虑自建与购买的平衡。把变化规划为工作的正常组成部分。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
来源覆盖率 连接容易的或无关的来源;把不携带可用数据的连接计算在内 按已约定的度量计数;检查每个来源的数据完整性
管道可靠性 放松检查使加载总能通过;安排更少的加载 评审检查的强度;追踪对账和来源行数
新度量的上线时间 在没有定义或测试的情况下发布;收窄什么算新度量 要求以定义卡和对账检查作为完成的条件
对账率 选择容易检查的数字;在失败后放宽容差 在检查之前选好样本;事先固定容差;包括困难的数字
手工工作量占比 低估手工工作;把工作量藏在其他预算中 询问做工作的人;与每个报告周期后期所花的时间比较
退出就绪度 测试部分导出;把文档化的计划算作就绪 对样本运行完整还原到另一款工具中;核实定义和历史
每个受支持团队的工具成本 排除维护工作量;在纸面上增加团队 包括员工时间;统计积极使用其视图的团队

健康的读数显示:按时到达并与来源对账一致的数据、附定义发布的新度量、下降的手工工作量,以及至少测试过一次的退出。

权衡:利弊

做法 优势 劣势
每款工具的内置报告 便宜;现成;已被理解 孤岛;各工具间定义不一致
来自单一供应商的套件 集成;一份合同 锁定;契合供应商的模型,而不是你的
打包的工程分析产品 起步快;现成的连接器 固定模型;个人层面评分的风险;规模化时的成本
通用分析与可视化工具 灵活;可用的技能广泛 需要数据供应和设计技能
带转换层的仓库 控制力强;跨来源连接 工程工作量;需要所有权
电子表格和脚本 起步快;无许可证 脆弱;依赖个人;难以审计
开源栈 控制;无许可证成本 维护工作量;支持取决于你
手工收集的度量 无需任何工具即可工作 缓慢;易出错;难以维持

文字化的答案是,从你已有的东西开始,增加能回答真实问题的最薄的连接,保持定义和数据可移植,并且只有当较轻的工具明显限制了决定时,才转向较重的工具。

与团队讨论的问题

1. 我们每月手工制作哪些数字?要停止需要什么? 列出手工报告及其所花的小时数。找出每一项的来源,以及它是否有接口。主持人应问哪些报告可以直接放弃。约定一项自动化、一项退役。

2. 如果我们当前的报告工具明天消失,我们会失去什么? 列出只存在于它之内的定义、历史和仪表板。检查其中哪些可以导出。约定在哪里保存一份副本。

3. 我们系统中的哪些数据最不被信任?为什么? 查看录入习惯、默认值和被覆盖的字段。估计每种扭曲在多大程度上影响我们发布的度量。约定哪项来源修复能以最小的工作量增加最多的信任。

4. 这款工具让人们看到了什么是我们不希望它让人看到的? 检查个人层面的视图、活动日志和排名。决定限制或关闭什么,并在任何人使用这项功能之前把规则写下来。

5. 我们增加一项新度量需要多长时间?是什么拖慢了我们? 追溯一个近期的请求,从批准到可用。标出其中的等待。约定要移除什么,比如批准、缺失的定义或手工清理。

6. 这款工具对一个团队一年的完整成本是多少? 加上许可证、基础设施、集成、培训,以及维护它的人的时间。与它所改进的决定比较。讨论我们会停止为什么付费。

四种视角

产品与交付团队

团队想要来自工作本身、无需额外录入的数据,以及回答其问题的视图。他们应当帮助选择和测试工具,拥有自己度量的定义,并拒绝给个人排名的功能。他们的时间是最稀缺的投入,要求他们把工作登记两次的工具会遭到抵制。

服务与运维团队

运维团队运行各个来源,往往还运行管道。他们应当把管道视为带监控和测试的服务,保持来源数据字段可靠,并标出记录系统中会破坏连接器的变更。当数字有误时,他们最先看到。

领导层与治理

领导者为体系出资并设定期望。他们应当要求看总成本而不是许可证价格,要求可移植性和退出,抵制用购买平台来解决定义问题,并坚持隐私和访问规则。他们应当接受一个适度的开端,并以它改进的决定来评判它。

客户与用户

客户和用户很少看到工具,却要承受其后果:关于他们的数据被存储、合并和分析。他们应当得到关于收集什么、保留多久、谁能看到以及如何保护的清晰规则。在度量取自他们反馈之处,工具应当尊重同意和匿名。

实践:一个敏捷 ITIL 示例

一家区域物流公司有一款服务管理工具、一个源代码控制与部署系统、一个监控平台和一款调查工具,每一个都生成自己的报告。服务管理负责人想要一个关于 12 个团队的服务健康的统一视图。一家供应商提供一个一体化分析平台,合同期三年。以下数字是示意数字。

服务管理负责人首先写下问题,以及团队和领导者在仪表板研讨中约定的 14 项度量。她盘点现有的东西:服务管理工具可以通过其接口导出事件和变更数据,部署系统提供部署时间戳,监控平台报告相对于目标的可用性。她请一小组团队代表,用真实数据在三项度量上测试两个选项:供应商的平台,以及一款通用可视化工具加一个小型数据存储和薄连接器的组合。

试用发现了差异。平台两天内就连接了所有来源,但它把前置时间计算成平均值,无法展示高百分位数,带有一个无法关闭的内置"团队生产率得分",并且导出仪表板定义产生的文件没有其他工具能读取。组合花了 11 天连接,但它展示了中位数和百分位数,把定义作为纯文本保存在仓库中,并在数据存储处限制了个人层面的字段。该小组还发现,30% 的变更记录是在部署之后才创建的,所以无论哪款工具读取,前置时间都是错的。在来源处修复录入习惯,成了第一项工作。

公司选择了组合。来源覆盖率在两个季度里从所需的 8 个来源中的 3 个升至 7 个。管道可靠性起初是 71% 的加载按时且检查通过,在团队增加测试和失败告警后达到 96%。新度量的上线时间中位数从 31 天降到 9 天。月度报告的手工工作量从约 40 小时降到 6 小时。一位主管问,能否加入供应商平台的生产率得分,以给团队一个单一的排名。服务管理负责人解释了主题 1.2 中的分析,展示了公司其他地方使用类似得分时发生的事,并提议保留当前的均衡视图。该决定被记录下来,得分功能在任何带有它的工具中都被关闭。

行业视角

初创企业。使用产品和现有工具已经提供的东西。一份电子表格和你所用工具的内置报告,就能回答大多数早期的问题。在问题稳定且手工工作量造成痛苦之前,抵制数据平台。把指标定义写下来,使日后迁移容易。

小型企业。度量少、系统少,意味着工具简单。内置报告和一份电子表格往往就够了。主要的风险是数据只存在于某个人脑中,以及存在于没有导出功能的工具里。挑选你可以离开的产品,并把定义写下来。

大型企业。众多系统、众多团队和众多定义,支持一个受治理的数据存储、一份定义目录和分层视图。联邦式所有权比由中央团队构建每份报告更有效。关注锁定、访问控制、隐私和供应商评估,并考虑一个把管道作为服务提供的小型平台团队。

政府与公共部门。采购规则、数据主权和无障碍会影响工具的选择。开放标准和可移植性很有价值,因为合同期长、行政当局会更替。为安全评估、记录留存和公共披露规则做规划,并核对关于托管和采购的现行指南(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本包括许可证或订阅、基础设施、集成和连接器工作、数据清理、定义和目录工作、培训、支持,以及保持管道健康的经常性工作量。自建选项带有容易低估的工程成本,购买选项带有随规模增长的费用和离开的成本。

回报来自节省的报告工作量、更快的答案、关于数字的更少争议,以及来自可信数据的更好决定。用你自己的数据建立论证:目前花在手工报告上的小时数、同一数字相互竞争的版本数、从提问到回答之间的延迟,以及重叠工具的成本。避免引用关于分析回报的分析师数字,除非有可追溯的来源并与你的背景相关。公平的比较,要计算每个选项三年的完整成本,包括退出(见主题 7.5,服务成本与单位经济,以及主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 先买工具,后想问题。平台到了,却没人知道要问它什么。先写度量。
  • 用购买来解决定义问题。对含义的分歧在任何工具里都会持续。先解决定义。
  • 内置的个人评分。它们诱人,而且会扭曲。关闭它们并先制定政策。
  • 没有退出。历史和定义被困住。测试导出并保留副本。
  • 一个人的管道。那个人离开时它就停了。把它写成文档、测试它并共享所有权。
  • 重复录入。人们把同一工作登记两次,两者的质量都下降。从记录系统取数据。
  • 过早过度设计。数据平台先于任何一个视图证明其价值就到了。从薄处开始。
  • 忽视数据质量。脏数据上的干净图表更有说服力地误导人。在来源处修复捕获。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
数据供应 手工收集;电子表格 一些自动化的馈送;个人脚本 约定的来源通过经过测试的管道馈入共享存储 管理并显示可靠性、对账和新鲜度 跨团队和供应商、带共享契约的联邦式管道;依据反馈改进来源
定义与目录 在人们脑中 部分有文档 一份带负责人的定义目录,有版本管理并经评审 目录驱动仪表板;与用户一起评审变更 定义由团队和供应商共同拥有;不再为决定提供信息时退役
选择与成本 临时采购 工具重叠 书面写下标准;测试退出;统计完整成本 管理每个受支持团队的成本和手工工作量 定期与用户一起评审工具选择,并随需要变化而调整

检查清单

  • 在比较工具之前,已写下约定的度量及其问题。
  • 已先盘点并测试现有的工具和报告。
  • 已检查主要来源的数据质量,并修复了最糟的缺口。
  • 书面写下选择标准,包括分布、访问控制和导出。
  • 在任何承诺之前,已用真实数据和真实用户做过限定时间的试用。
  • 个人层面的评分和排名功能已被关闭,或受政策限制。
  • 定义保存在任何单一工具之外的可移植目录中。
  • 管道有负责人、自动检查、监控和失败告警。
  • 已测试定义和历史的导出。
  • 已统计三年的完整成本,包括退出。

AI 提示词

依据问题撰写需求。

这是我们的受众所问的问题,以及我们计划发布的度量:[粘贴]。请为指标工具或管道起草一份两页的
需求文档。涵盖数据来源、新鲜度、访问控制、留存、分布和百分位数、导出与可移植性,以及必须
具备的与偏好的清单。不要点名产品。列出你的假设,以及要与团队确认的要点。

规划工具试用。

我们正在为指标体系比较[选项]。请设计一次为期两周的试用,使用我们的三项度量和真实数据。
说明要测试什么、如何依据书面标准给选项评分、谁应参加、如何检查访问控制和导出,以及我们将
记录什么证据。不要声称关于具体产品的结果。列出你的假设和风险。

评审数据管道。

这是数据如何从[来源]流向我们仪表板的描述:[粘贴]。请找出数据可能延迟、重复、被覆盖或丢失
的位置,并为每一处建议自动检查。提出一种把关键数字与来源对账的办法。不要编造系统行为。
列出你的假设,以及你无法从描述中判断的内容。

比较完整成本。

请帮我比较为我们的指标体系自建、购买和结合工具的三年完整成本。列出每个选项的成本类别,
包括许可证、基础设施、集成、数据清理、培训、维护和退出。提供一张为我们自己的数字留空的表。
不要提供价格。列出你的假设。

AI 技能

关键要点

  • 先写下问题和度量,再选择为之服务的工具。
  • 使用记录系统,在来源处修复数据捕获,并测试对账。
  • 保持定义和数据可移植,并在承诺之前测试退出。
  • 关闭个人层面的评分和排名,并在启用任何功能之前先制定政策。
  • 把管道当作服务来运行,附负责人、测试和监控。
  • 计入数年的完整成本,并从能回答真实问题的最薄路径开始。

参考文献与延伸阅读

  1. Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
  2. Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  4. Axelos, ITIL 4 Foundation, 2019.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, IT service management.
  7. Wikipedia, Observability (software).
  8. Wikipedia, Data pipeline.
  9. Wikipedia, Extract, transform, load.
  10. Wikipedia, Data warehouse.
  11. Wikipedia, Application programming interface.
  12. Wikipedia, Data quality.
  13. Wikipedia, Data governance.
  14. Wikipedia, Total cost of ownership.
  15. Wikipedia, Vendor lock-in.