为体系团队准备的三份检查清单:一份用于评审单项指标,一份用于上线仪表板,一份用于审计指标体系。把它们用作与团队交谈的提示,而不是要填写并归档的表格。加以定制,并去掉不适合你背景的条目。

指标评审检查清单

在采用一项指标之前,以及每次定期评审时使用(见主题 1.4,指标治理与归属)。

目的

  • 该指标回答一类有名有姓的受众所提出的问题。
  • 它应当为之提供信息的决定已写下来。
  • 它度量一项成果,或明确与一项成果配对(见主题 1.3,结果优先于产出:选择衡量什么)。

定义

  • 存在书面的定义、公式、单位和数据来源。
  • 时钟或边界规则是明确的(何时开始计数、停止和暂停)。
  • 指名了一位负责人,以及在数字看起来不对时可以询问的人。
  • 记录了数据的已知局限,包括缺口和录入方式的变化。

诚实

  • 写下了最可能的操纵途径。
  • 已有配对的护栏指标或实践。
  • 该指标描述团队、服务或系统,绝不给个人排名。
  • 时间度量展示中位数和高百分位数,并附样本量(见主题 1.6,服务指标的统计素养)。
  • 存在若干期间的基线,使变化可以对照普通变异来阅读。

使用

  • 做工作的团队先看到这个数字,并帮助定义了它。
  • 上一次评审导致了记录在案的决定,包括决定等待。
  • 写下了让该指标退役的条件。

仪表板上线检查清单

在仪表板展示给其受众之前使用(见主题 11.1,设计服务指标仪表板)。

受众与内容

  • 写下了受众及其问题,并且受众帮助评审过草图。
  • 该视图的度量不超过约九项,细节放在下一层。
  • 集合在流动、质量、可靠性、体验和成本之间保持均衡。
  • 每项度量都有一个防范其可能扭曲的伙伴。

清晰

  • 每个值都展示趋势和背景,并注明事件。
  • 每项度量的定义、来源、负责人、刷新时间和已知缺口都在一次点击之内。
  • 目标作为参照展示,任何状态颜色都遵循一条考虑了变异的明确规则。
  • 已去掉不增加信息的装饰。

信任与运行

  • 已约定章程,并关闭个人层面的视图(见主题 11.3,推行指标而不滋生恐惧)。
  • 团队已看到自己的数据,并有时间更正。
  • 数据自动拉取,附新鲜度检查和对来源的对账(见主题 11.2,工具全景)。
  • 存在指名的负责人、评审日期和质疑途径。
  • 本仪表板所取代的报告有退役日期。

体系审计检查清单

每年两次,与团队一起,配合自评使用(见主题 12.5,成熟度自评)。

目的与信任

  • 体系有一位发起人和一份领导者遵守的书面章程。
  • 对章程的已报告违反得到了处理,结果在不指名的情况下公布。
  • 团队调查和险情报告没有表明恐惧在上升。
  • 组织的工具或幻灯片中,任何地方都不存在团队或个人的排行榜。

度量与数据

  • 每个团队都能说出其度量在上个季度为之提供信息的决定。
  • 定义保存在可移植的目录中,附负责人。
  • 检查并显示来源覆盖率、管道可靠性和对账。
  • 在过去一年里测试过定义和历史的导出。

均衡与广度

  • 每个视图中,成果度量与活动度量并列。
  • 与 AI 相关的度量遵循基线、抽样和经验证的成果,而不仅是数量(见主题 10.4,指标膨胀与质量稀释)。
  • 成本、风险和人员度量在重要之处存在,且没有一项被用来给个人排名。

改进

  • 上次评审产生的改进行动已完成,或附理由放弃。
  • 过去一年里有度量和报告退役。
  • 已估算为度量而向团队索取的工作量,并且团队可以接受。
  • 已与团队一起评审体系本身,并且计划因此改变(见主题 11.5,渐进式采纳路线图)。