设计服务指标仪表板
好的仪表板回答一个有名有姓的受众真正会问的几个问题,连同趋势和背景展示每个数字,并由将使用它的人来构建。
概述与动因
仪表板是对实现一个或多个目标所需最重要信息的可视化展示,其编排使之能够一目了然地被监控。在实践中,服务组织里的大多数仪表板都不符合这个定义。它们起初是回答一个真实问题的办法,随后层层堆积,直到显示工具能画出的一切。无人拥有它们,无人确定数字意味着什么,墙上的屏幕被人忽视。
服务指标仪表板的目的,是帮助人们作出决定,并开启好的交谈。团队用它注意到自己的工作等待的时间比以前更长,并问为什么。服务负责人用它看到某项服务接近其可靠性目标的边缘。领导者用它看某个领域的投资是否产生了所希望的成果。一个不做这些事的展示只是装饰,而装饰的构建要花钱,忽视它要花注意力。
ITIL 把这构想为信息与沟通的问题:在正确的时间,以人们能够使用的形式,把正确的信息交给正确的人。敏捷的目标指向同样的设计原则。持续的利益相关方参与意味着受众帮助设计视图,并在问题变化时继续帮助。持续改进意味着仪表板本身被评审和修剪。持续演进意味着度量的集合在服务和目标变化时随之变化。可持续的节奏意味着仪表板不会产生每天查看只按月变动的数字的强迫。而支持积极投入之人的同样信任意味着,团队首先看到自己的数据,并拥有它所讲述的故事。
三种设计失败很常见。第一是数字之墙,一百个磁贴相互竞争,没有一个突出。第二是只有目标的展示,一个数字对照目标以红色或绿色显示,没有趋势也没有背景,这招致靠颜色而不是靠理解来管理。第三是无主的展示,定义已漂移,数据陈旧,没人知道该问谁。设计的工作就是避免这些。
好的视觉设计有帮助。数据可视化是以图形方式展示数据、使模式能被看到和理解的实践。迷你图是小小的、词语大小的折线图,它不带坐标轴或标签地展示趋势,很适合仪表板,因为它把历史放在当前值旁边。运行图绘制度量随时间的变化并带一条中位数线,控制图则加上界限,把普通变异与值得调查的信号区分开来(见主题 1.6,服务指标的统计素养)。图表垃圾是不增加信息的装饰,如粗重的网格线、三维柱形和装饰性的仪表盘,值得去掉。
虚荣指标是看起来不错却帮不了任何人作决定的数字,比如不附成果展示的已处理工单计数或门户登录次数。古德哈特定律的护栏适用于整个展示:当屏幕上的一个数字成为目标时,人们就会管理这个数字(见主题 1.2,古德哈特定律与指标心理学)。
本主题借鉴度量框架(见主题 1.7,度量框架),以及第 1 部分的数据和治理主题。
关键原则
- 从问题出发,而不是从数据出发。在选择任何一张图表之前,先写下受众的决定和问题。
- 展示少量均衡的度量。一个横跨流动、质量、可靠性、体验和成本的小集合,比单独一项度量更能抵御操纵。
- 始终展示趋势和背景。没有历史、基线和关于什么变了的说明的数值,难以解读。
- 尊重变异。不要对每一次小幅波动作出反应。用运行图或控制图把信号与噪声区分开。
- 给每类受众各自的视图。团队、服务负责人和领导层问不同的问题,需要不同的细节。
- 团队先看到自己的数据。做工作的人应当先于任何人看到自己的数字,并拥有解读。
- 定义一切并指名负责人。每项度量都有书面定义、数据来源和一个可以询问的人。
- 保持易于维护。每月需要一周手工工作的仪表板会死去。
指标定义
下面的度量关于仪表板本身,而不是关于某项服务。它们帮助体系团队看到其展示是否健康。有些是描述性的,已经标明,因为把它们当作目标会招致本主题所警告的扭曲。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 问题覆盖率 | 仪表板能用已定义的度量回答的、所列受众问题的占比 | 有度量和定义的问题数 / 受众所列的问题数 | 百分比 | 来自利益相关方研讨的问题清单;指标卡 | 持续改进;服务级别管理 | 持续的利益相关方参与 | 每季度 |
| 定义完整度 | 具有最新书面定义、数据来源、负责人和已知局限的、所展示度量的占比 | 四项齐全的度量数 / 所展示的度量数 | 百分比 | 指标卡或目录 | 信息与技术管理;知识管理 | 共同的理解;可见的工作 | 每季度 |
| 数据新鲜度 | 在预期间隔内更新的所展示度量的占比 | 按时更新的度量数 / 所展示的度量数 | 百分比 | 管道日志;仪表板元数据 | 监控与事件管理 | 快速反馈 | 每周 |
| 决定关联 | 近期评审导致了记录在案的决定、行动或有意识地选择不作为的、受评审度量的占比 | 该期间有关联决定的度量数 / 受评审的度量数 | 百分比 | 评审笔记;改进登记册 | 持续改进 | 定期反思 | 每季度 |
| 展示规模 | 每个受众视图上的度量数量 | 每个视图的计数 | 度量 | 仪表板配置 | 持续改进 | 简洁 | 每季度 |
| 退役率 | 因不再为决定提供信息而在该期间被移除或替换的度量 | 退役的度量数 / 期初所展示的度量数 | 百分比 | 仪表板的变更日志 | 持续改进 | 持续演进 | 每年 |
| 受众触达(描述性) | 在该期间打开过自己视图的目标团队或角色的占比 | 查看过的不同团队或角色数 / 目标团队或角色数 | 百分比 | 仪表板访问日志,汇总到团队或角色 | 信息与技术管理 | 持续的利益相关方参与 | 每季度 |
用书面形式定义每个视图的受众。按视图而不是按工具统计度量,使一个大目录配一个小首页不会被误认为蔓延。访问日志在团队或角色层面收集和报告,绝不用来追踪个人的阅读习惯。受众触达是描述性的,并与决定关联一起阅读,因为被大量查看却不改变任何决定的展示价值很小。决定关联接受"我们看了,并选择不作为"作为记录在案的决定,使该度量不会促使人们捏造行动。
建议
从受众出发
1. 列出受众及其问题。典型的受众是做工作的交付或支持团队、对一项服务负责的服务负责人,以及出资并指引方向的领导者。与每一类坐上一个小时,写下他们问什么、作什么决定,以及希望知道什么。一个好的问题听起来像"我们的工作等待的时间比过去更长吗?"或"我们接近用完错误预算了吗?",而不是"给我看事件仪表板。"
2. 把每个问题映射到一项度量和一个伙伴。对每个问题,从本书较早的部分选择最合适的一项度量,以及一个防范明显扭曲的伙伴。速度度量与质量度量配对。数量度量与成果配对。体验度量与行为度量配对。这就是贯穿全书的配对逻辑(见主题 1.3,结果优先于产出:选择衡量什么)。
3. 让受众参与设计。在构建任何东西之前先展示草图。问什么令人困惑、缺少什么,以及他们会拿每个数字做什么。他们的回答会削减集合,而且他们会信任自己帮助制作的东西。
选择一个小而均衡的集合
4. 每个视图保持在少数几项度量。每个受众视图约五到九项度量是可行的范围,尽管正确的数量取决于问题。这个限制迫使作出选择。把细节放在点击之后的支持视图中,让首页只保留判断是否要深入查看所需的内容。
5. 在各维度之间保持均衡。平衡计分卡是一种战略管理工具,它从多个视角而不是仅从财务结果审视一个组织。这个思想可以很好地迁移:对一项服务,平衡流动与速度、质量与稳定性、可靠性、体验和成本。只含速度的集合鼓励走捷径,只含质量的集合鼓励拖延。当指标是因为它揭示了关于某个目标的什么而被选择、而不是因为它容易展示时,相关的关键绩效指标的思想是有用的。
6. 区分指示器与诊断。少数几个头条指示器告诉你事情是否健康。诊断度量在它们不健康时帮助你找出原因。把诊断放在下一层,使首页不会变成一堵墙。
展示背景与趋势
7. 每个数值都展示历史。在每个当前值旁放一个迷你图或小型运行图。至少展示足够的历史,以看到季节性模式,比如月度高峰或季度周期。标记解释变化的事件:一次发布、一项政策变更、一次中断、一次团队重组。线旁的一句说明能省去一百个问题。
8. 对时间度量使用分布和范围。平均值隐藏了用户所感受到的长尾。展示中位数和一个高百分位数,如第 85 或第 95 百分位数,并展示离散程度。样本小时说明样本量,并展示小样本有多不确定(见主题 1.6,服务指标的统计素养,以及主题 2.2,前置时间、周期时间与流动效率)。
9. 对目标和颜色要小心。当目标有真实依据(如服务级别目标)时使用目标线,并把它作为参照而不是裁决来展示。避免因一个数据点就翻转的红、黄、绿磁贴。如果你使用状态颜色,让它们基于考虑了正常变异的规则,并在页面上解释该规则。
使之可信且可维护
10. 给每项度量附上定义和数据说明。从每个数字点一下,应当能到达其定义、公式、数据来源、负责人、刷新时间和已知缺口。一段简短的"如何阅读"说明值得占用这点空间。能看到局限的读者更不容易误用数字,能看到它们的团队则可以质疑它们(见主题 1.4,指标治理与归属,以及主题 1.5,数据来源与埋点)。
11. 使数据自动化,并拥有展示。按计划从记录系统拉取数据,并显示上次更新的时间。手工电子表格可以开启一场交谈,但它们很脆弱。为每块仪表板指名一位负责人,对其定义、新鲜度和退役负责。与其受众按固定节奏评审仪表板,并加以修剪。
12. 从一开始就规划退出。每项度量都应当有一个存在的理由,以及一个将让它退役的条件,比如"当已知错误的积压在三个月里低于某个阈值时",或"当团队在评审中不再使用它时"。让度量退役保持集合小,并表明体系是为工作服务的。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 问题覆盖率 | 写下现有度量已经回答的狭窄问题;遗漏困难的问题 | 包括体系团队之外的利益相关方;明确评审未回答的问题 |
| 定义完整度 | 用套话填字段;无人阅读的定义 | 请团队之外的人抽样检查定义是否清晰;检查定义是否与实际计算相符 |
| 数据新鲜度 | 用未变的数据刷新陈旧的来源;在来源馈送失败时把刷新算作成功 | 除刷新时间外检查来源时间戳;与记录数和预期量比较 |
| 决定关联 | 事后记录决定来填字段;为避免空白而捏造行动 | 接受"选择不作为"作为记录在案的决定;抽样检查关联是否有真实的先前讨论 |
| 展示规模 | 把度量藏在次级标签页上;把一个视图拆成多个 | 跨所有标签页按受众统计度量;问受众他们实际使用多少数字 |
| 退役率 | 让显示不佳结果的不便度量退役 | 评审退役清单中趋势不利的度量;要求说明理由 |
| 受众触达(描述性) | 为提高计数而打开页面;会议上强制查看 | 保持描述性;与决定关联一起阅读;不报告个人的查看 |
健康的读数显示:受众能够解释的简短首页、与计算相符的定义、按时到达的数据、有时导致行动、有时导致有意识地选择等待的评审,以及一份包括一些曾经很受欢迎的度量的退役清单。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 为所有人提供一块企业仪表板 | 单一事实来源;定义一致 | 对任何受众都过于笼统;增长成一堵墙 |
| 在共享数据上为每类受众提供独立视图 | 适合每类受众;定义一致 | 需要对共享定义的治理 |
| 团队自建的仪表板 | 契合本地问题;所有权强 | 定义漂移;难以汇总 |
| 由中央团队构建所有仪表板 | 一致;设计技能 | 缓慢;可能不适合团队的问题 |
| 实时展示 | 为运维提供快速信号 | 鼓励对噪声作出反应;昂贵 |
| 定期评审包 | 平静,结合背景讨论 | 延迟;可能被跳过 |
| 目标和状态颜色 | 快速扫视 | 招致靠颜色管理;隐藏变异 |
| 仅趋势和分布 | 对变异诚实 | 新人更难扫视 |
文字化的答案是,在整个组织中共享定义,让每类受众有自己的小视图,仅在运维响应需要之处使用实时展示,并用平静的定期评审来作出改进的决定。
与团队讨论的问题
1. 上个季度我们作的哪些决定,是由屏幕上的一个数字提供信息的? 列出它们。对每一个,说出那个数字及其来源。注意我们当前屏幕上哪些数字从未出现在这份清单里。主持人应问它们是否配得上其位置。
2. 如果只能向我们自己的团队展示五个数字,会是哪五个? 让每个人私下写一份清单,然后比较。讨论差异,以及每个数字会帮助某人决定什么。约定一个试用集合和一个评审日期。
3. 我们仪表板上的哪个数字最想移除?为什么? 倾听那些引起争论、误导或从未被阅读的数字。检查问题出在度量还是出在呈现。约定对每一个是退役、重新定义还是保留。
4. 新同事在没有帮助的情况下会如何阅读我们的仪表板? 请新人解释他们看到了什么。记下他们误读了什么以及原因。在他们绊倒之处添加定义、背景或说明。
5. 我们的工作中有什么变化是数字没有显示的? 发布、人员配置、政策或客户的变化可以解释一个趋势。约定如何在展示上记录事件,使下一位读者了解其中的故事。
6. 除了我们之外,还有谁看我们的数据?他们用它做什么? 追溯我们的数字到其他受众的路径。检查他们对数字所作的解读是否是我们会认可的。约定我们将分享什么,以及随之附上什么背景。
四种视角
产品与交付团队
团队做工作,应当是自己数据的第一批受众。他们应当帮助选择度量,用展示来促发自己的评审交谈,并用事件为其添加注释。团队视图应当回答"我们做得怎么样、该尝试什么?",而不是"我们与隔壁团队比起来如何?"
服务与运维团队
服务负责人对一项服务随时间的表现负责。他们的视图把一项服务的可靠性、事件、变更、成本和体验汇集在一起,附趋势和改进行动的状态。他们应当用它来决定在哪里投资,并为与客户和领导者的交谈做准备。
领导层与治理
领导者需要一份简短的、跨服务的成果和风险视图,附足够的背景以便解读。他们应当要求趋势和分布而不是排名,在没有让其他度量退役的情况下抵制要求新增度量,并用展示把问题指向系统和决定,而不是指向个人。
客户与用户
客户和用户通过状态页、报告以及反映其视角的体验度量看到服务信息(见主题 6.2,体验级别协议)。他们的视图应当诚实、平实,并与团队所见一致。他们应当能够告诉组织这些数字没有显示什么。
实践:一个敏捷 ITIL 示例
一家拥有托管产品和客户支持小组的软件公司,累积了三块仪表板:一块有 62 个磁贴的运维屏幕、一份每周通过电子邮件发送的支持报告,以及一个由一位分析师维护的交付页面。领导团队要求一块单一的仪表板来"看到一切"。以下数字是示意数字。
服务管理负责人提议从问题开始。她与三类受众各开一次一小时的研讨:支持团队、平台团队和领导组。支持团队问,客户等待首次有用回复的时间是否比过去更长,以及相同的问题是否再次出现。平台团队问,它是否接近用完错误预算,以及它的变更流程是在拖慢它还是在保护它。领导层问,客户是否获得了价值,以及对新自助服务门户的投资是否有回报。他们一起列出 14 个问题。现有仪表板能用已定义的度量回答其中六个,所以问题覆盖率为 43%。
该小组在共享的定义之上,设计了三个视图,每个不超过七项度量。支持视图展示首次有用回复时间的中位数和第 85 百分位数、七天内回头的联系占比、带样本量的满意度趋势,以及与回头联系配对的自助服务解决。平台视图展示相对于目标的可用性及错误预算消耗线、变更前置时间及变更失败率,以及用于计划外工作的时间占比。领导视图展示服务级别成果、客户体验、每个活跃客户的成本,以及三项已出资的改进行动的状态。每个值都有迷你图、指向其定义卡的链接和事件说明字段。颜色只出现在错误预算上,基于页面上解释的规则。
第一次评审带来了意外。支持团队注意到,其回复时间中位数改善了,而第 85 百分位数恶化了,因为容易的联系被快速答复,困难的则被晾在一边。它决定查看自己的分诊规则,并记录该决定。平台团队看到,变更前置时间最近的增加与一个新的批准步骤同时出现,它把这个问题带给了变更小组。领导层注意到门户使用量在上升而回头联系持平,并问支持团队门户未能回答什么。两个季度后,问题覆盖率为 79%,所有展示的度量都有完整的定义,旧的 62 个磁贴的屏幕已退役。三项度量因为无人使用而被放弃,增加了一项。一位主管要求增加一行绿-黄-红的汇总行。服务管理负责人展示了一次试验,其中单独一个糟糕的周就把这行变成了红色,并引发了一阵没有原因的提问。他们约定以每月一份关于变化的简短书面说明取而代之,并记录该决定。
行业视角
初创企业。保持非常小:一个页面,大概五个全公司都能读懂的数字,反映交付速度、稳定性、客户体验和成本。使用现有工具提供的任何东西。每当产品或客户变化时,重新审视该页面,并在问题清楚之前抵制构建数据平台。
小型企业。一份共享文档或每月更新的简单电子表格图表可能就够了。挑选所有者和员工真正使用的少数几项度量,写下每一项的含义,并在例会上讨论它们。风险不在于工具太少。风险在于无人信任或据以行动的度量。
大型企业。规模要求共享的定义、受治理的度量目录,以及面向团队、服务、组合和高管的分层视图。把一切汇总成一个数字的诱惑很强,而且有害。让团队视图由团队拥有,发布通用的定义,并要求领导视图上的任何新度量都说明目的(见主题 1.4,指标治理与归属)。
政府与公共部门。报告义务和公共问责常常规定某些度量。让强制性的度量保持可见,并与团队用于改进的度量清楚分开,并向公众和监督机构解释这些数字能够和不能显示什么。对于在组织之外分享的任何展示,平实语言和无障碍很重要(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
仪表板项目的成本包括访谈受众、设计和构建、连接和清理数据、撰写定义、培训和支持用户,以及随时间维护展示的时间。最大的隐藏成本,是阅读无益数字的人的时间,以及花在争论谁的数字对上的会议。廉价、快速的构建很常见,真正的成本稍后以维护和不信任的形式到来。
回报包括更快地识别趋势、更少的关于定义的争论、更有针对性的改进工作,以及当一个受治理的来源取代若干手工报告时报告工作量的减少。用你自己的数据建立论证:之前和之后手工报告所花的小时数、同一数字的相互竞争的版本数,以及由展示提供信息的决定。避免引用关于分析价值的已发布数字,除非有可追溯的来源并与你的背景相关。可信的主张是适度的:更少、更好的度量,被信任并被使用(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 磁贴之墙。每个数字都争夺注意力。每类受众削减到少数几个,把细节放在下一层。
- 靠颜色管理。状态颜色因噪声而翻转,并驱动反应。展示趋势,并使用尊重变异的规则。
- 没有定义。两个团队对同一标签读法不同。为每项度量附上定义和负责人。
- 仪表板成为监视。个人层面的视图侵蚀信任并扭曲数据。展示团队、服务和系统。
- 用单一数字概括一切。它隐藏了本想暴露的权衡。展示均衡的少数几项。
- 构建一次,从不评审。展示变得陈旧。按节奏与受众评审,并让度量退役。
- 虚荣展示。大量的活动计数而没有成果。把每项数量与成果度量配对。
- 没人要求的报告。依据现有数据而不是所问的问题构建。从问题开始。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 受众与问题 | 依据现有数据构建 | 一些团队询问自己需要什么 | 书面写下受众和问题;每类受众有小视图 | 评审问题覆盖率和决定关联并据此行动 | 受众(包括客户和供应商)共同设计视图,问题随服务演进 |
| 设计与背景 | 许多磁贴而无历史 | 一些趋势和定义 | 每个视图度量很少,每项度量都有趋势、分布和定义 | 感知变异的展示;每个头条指标都有伙伴度量 | 视图适应变化的目标;共享的模式在团队间复用 |
| 数据与维护 | 手工、陈旧、无主 | 一些自动化;非正式的负责人 | 自动化的馈送、指名的负责人、显示新鲜度 | 管理新鲜度和定义完整度;退役成为常规 | 带共享定义的联邦式所有权;退役和改进由用户驱动 |
检查清单
- 写下每类受众的问题,每个视图都映射到它们。
- 每个视图的度量不超过约九项,细节放在下一层。
- 集合在流动、质量、可靠性、体验和成本之间保持均衡。
- 每个值都展示趋势和背景,时间度量展示高百分位数。
- 每项度量的定义、来源、负责人和刷新时间都在一次点击之内。
- 目标作为参照展示,状态颜色遵循一条说明过的规则。
- 团队先看到自己的数据,并拥有解读。
- 没有任何视图给个人排名或追踪个人。
- 仪表板有指名的负责人、评审节奏,以及让度量退役的规则。
- 数据自动拉取,上次更新时间可见。
AI 提示词
把问题变成视图。
这是[受众]提出的问题:[列表]。请对每一个,建议一项主要度量和一项防范其最可能扭曲的伙伴度量。
把它们归入一个不超过七项度量的视图,并对每一项说明定义、建议的图表类型以及它需要什么背景。
不要编造数据或基准。列出你的假设,以及该视图无法回答的问题。
评审仪表板的清晰度。
这是我们仪表板的描述,列出了每个磁贴、其标签和定义:[粘贴]。请扮演第一次阅读它的新同事。
列出哪些标签含糊、哪些数字缺乏背景或趋势、哪些磁贴可能招致靠颜色管理,以及哪些磁贴可以
退役。不要改写数据。列出你的假设。
起草指标卡。
请为[度量]起草一张指标卡。包括平实的定义、公式、单位、数据来源、负责人、刷新间隔、已知缺口、
它最可能被操纵的方式、配套的护栏,以及它应当为之提供信息的决定。保持在 200 字以内。不要
编造数字。标出你不确定的任何内容。
规划仪表板评审。
请为我们[团队]的仪表板规划一次与其受众进行的 45 分钟季度评审。包括如何检查度量是否被用于
决定、如何决定让哪些退役、如何记录解释趋势的事件,以及如何避免给人排名。列出主持人应当
问的问题和要记录的产出。
AI 技能
- 敏捷 ITIL 指标技能:用于为拟议视图上的每项度量查找配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查仪表板规格是否为每项度量都有定义、负责人和操纵途径。
关键要点
- 从受众所问的问题出发,并给每类受众一个属于自己的小视图。
- 保持集合均衡,并为每个头条配上防范扭曲的伙伴。
- 每个值都展示趋势、分布和背景,并尊重正常变异。
- 为每项度量附上定义、来源、负责人和刷新时间。
- 让团队先看到并拥有自己的数据,绝不展示个人。
- 与受众一起评审仪表板,并让不再为决定提供信息的度量退役。
参考文献与延伸阅读
- Few, S., Information Dashboard Design: The Effective Visual Communication of Data, O'Reilly Media, 2006.
- Tufte, E., The Visual Display of Quantitative Information, Graphics Press, 1983.
- Kaplan, R., and Norton, D., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, 1992.
- Wheeler, D., Understanding Variation: The Key to Managing Chaos, SPC Press, 2000.
- Axelos, ITIL 4 Foundation, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Dashboard (business).
- Wikipedia, Data visualization.
- Wikipedia, Sparkline.
- Wikipedia, Run chart.
- Wikipedia, Control chart.
- Wikipedia, Chartjunk.
- Wikipedia, Vanity metric.
- Wikipedia, Goodhart's law.
- Wikipedia, Balanced scorecard.
- Wikipedia, Key performance indicator.