概述与动因

指标体系的成败系于信任。同一套度量,在一个组织里可以是有用的镜子,在另一个组织里却是恐惧的来源。差别很少在于度量本身,而在于人们相信自己会因这些数字而遭遇什么。如果他们相信这些数字将被用来给他们排名、问责或裁减,明智的反应就是保护自己:挑选得分好的工作,推迟报告问题,争论定义,并悄悄调整所记录的内容。这时数据就不再描述工作,体系也就失去了它被构建出来要提供的东西。

这种模式古老而众所周知。霍桑效应描述了人们知道自己被观察时改变行为的方式。坎贝尔定律说,一项定量指标越多地被用于决策,它就越会受到腐败压力,并越会扭曲它本想监控的过程。古德哈特定律就目标提出了类似的观点(见主题 1.2,古德哈特定律与指标心理学)。这些都不是避免度量的理由。它们是设计推行方式的理由,使扭曲的动机低、说真话的理由高。

心理安全是一种共同的信念,即团队对人际冒险是安全的,比如承认错误、提出问题或报告坏消息。指标体系既依赖它,又可能侵蚀它。关于失败、返工和延迟的度量,只有在人们觉得安全地报告它们时才是诚实的(见主题 9.2,满意度与福祉指标,以及主题 4.2,事后复盘与学习指标)。被度量的人与使用度量的人之间的信任是底层的资产,它建立得缓慢,消耗得迅速。

变革管理是为人们度过变革做准备并给予支持的学科。引入指标是一种组织变革,值得与新流程或新工具同样的用心(见主题 9.6,组织变革与采纳指标)。技术采用生命周期描述创新如何从热心者传播到大多数人,这提醒我们,一个与愿意的团队一起、受人尊敬的试点,比一道强制令作用更大。试点项目是在更广泛承诺之前测试一种做法的小规模试验。信息辐射器是人们无需询问就能一眼读懂的信息的可见展示,当它向拥有数据的团队展示团队数据时,适合透明。

敏捷的目标赋予推行以形态。持续的利益相关方参与意味着被度量的人帮助选择度量及其使用规则。持续改进意味着体系本身会响应人们所说的而改变。持续演进意味着预期度量会变化,这降低了其中任何一项的风险。可持续的节奏意味着体系不增加挤掉工作的报告。围绕积极投入的个人开展工作,意味着把人当作能够用数据改进自己工作的有能力的成年人,而不是要被监视的资源。实际的立场很简单:度量系统,与系统中的人分享数据,并让他们领导改进。

本主题与仪表板指导(见主题 11.1,设计服务指标仪表板)以及度量的治理(见主题 1.4,指标治理与归属)配合。

关键原则

  • 说明数据是用来做什么的,以及不是用来做什么的。把两者都写下来,并遵守。
  • 团队拥有自己的度量。做工作的人帮助定义、查看并解读关于它的数字。
  • 度量系统,而不是个人。没有排行榜,没有个人得分,不在个人绩效评审中使用数据。
  • 保持透明。分享定义、数据来源,以及谁能看到什么。意外滋生猜疑。
  • 从志愿者开始。一个愿意的试点在更广泛推行之前产生故事和修复。
  • 展示用途。证明数字带来的是帮助,比如移除一个阻碍,而不是指责。
  • 允许质疑。人们可以质疑一个数字,更正快速而可见地进行。
  • 以可持续的节奏前进。一次几项度量,留出学习的时间。

指标定义

下面的度量告诉体系团队,推行是在建立还是在消耗信任。它们描述团队和体系,而不是个人。有几项依赖调查和对行为的观察,最好将它们读作值得交谈的信号。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
用途章程覆盖率 已就其度量用来做什么、绝不用来做什么达成书面声明的参与团队占比 有已约定章程的团队数 / 参与的团队数 百分比 体系持有的章程 治理;组织变革管理 工作协议 每季度
团队所有权占比 团队所展示度量中,其定义由团队帮助撰写或已批准的占比 有团队批准的度量数 / 向团队展示的度量数 百分比 指标目录;批准记录 持续改进 自组织团队 每季度
坦诚信号 引入度量之后,对问题和险情的报告是保持稳定还是上升 每个团队每季度的险情或问题报告数,之前与之后;趋势 报告 事件、险情和事后复盘记录 事件管理;持续改进 无责的反思 每季度
质疑周转 从某人或某团队质疑一个数字,到对其可见的解决之间的时间 从质疑到解决的天数的中位数和第 85 百分位数 天 质疑日志 持续改进;知识管理 响应反馈 每季度
对度量的感知安全(调查) 团队层面对"关于我们工作的数据被用来帮助我们"之类陈述的调查认同度 团队调查中认同的百分比;显示回复率 百分比 匿名团队调查,汇总 组织变革管理 信任与积极投入的个人 每年两次
个人用途事件 与章程相悖、数据被展示或用来给个人排名或评价的情形 每季度报告的情形计数,附结果 计数 向体系的报告;对仪表板和评审的检查 治理 尊重人 每季度
自愿采纳 在某一期间内,在任何强制之前选择加入体系的合格团队占比 选择加入的团队数 / 受邀的合格团队数 百分比 体系记录 组织变革管理 试点与学习 每季度

感知安全调查在报告时需要最小群体规模,使任何个人都无法被识别,并且应当匿名。坦诚信号必须小心解读:报告的增加可能意味着更多的问题,也可能意味着更愿意报告,而后者通常是健康的体系起初会产生的。个人用途事件不是要隐藏的计数。目标是每一例都被报告、处理和纠正,少量被报告的情形是报告途径有效的标志,而不是体系的失败。自愿采纳仅统计在任何强制之前的期间。

建议

先确立基本规则

1. 写下承诺并公布。在展示第一个数字之前,写一份简短的章程。一份好的章程会说明,度量描述团队、服务和系统,绝不用来给个人排名,也不用于个人绩效评审。它说明谁能看到什么、数据保留多久、人们如何质疑一个数字,以及规则被违反时会发生什么。高级领导者签署它。章程是一项承诺,让人们放下戒备,它应当易于查找和阅读。

2. 把为改进而度量与为评判而度量分开。团队用其度量改进自己的工作。领导者用汇总视图来指引支持和投资。两种用途都不是为了评估一个人。如果组织必须评估个人,应当通过交谈、证据和背景来进行,绝不是从仪表板上读取(见主题 1.2,古德哈特定律与指标心理学)。

3. 对权衡保持坦率。告诉人们,每项度量都可能被操纵,你知道是哪些途径,且每一项都附有护栏。以本书的风格展示操纵途径和护栏。公开说出风险,表现出善意,并邀请人们指出你遗漏的途径。

让团队成为所有者

4. 让团队选择和定义。提供一份度量菜单,让每个团队挑几项起步,附说明理由地调整定义,并添加自己的度量。选择了自己度量的团队更可能诚实地使用它们。保留一个小的共同核心,使服务可以在比较有效的层面上比较(见主题 1.4,指标治理与归属)。

5. 先向团队展示他们的数据。在任何其他人看到之前,把数字交给每个团队,并留出核对、更正和补充背景的时间。团队拥有这个故事。当数据日后展示给领导者时,由团队讲述或加注释。这避免了意外,并确保解读来自最贴近工作的人。

6. 把视图保持在正确的层面。展示团队层面和服务层面的视图。不展示按人的细分,并关闭会这样做的工具功能。在调查需要详细视图之处,比如单起事件的历史,限制访问,说明原因,并让它远离评审交谈(见主题 11.2,工具全景)。

以赢得信任的方式推行

7. 与志愿者一起试点。邀请两三个好奇而受尊敬的团队。与他们一起确定度量和规则。让他们向同行讲述自己的故事。他们的修复和反对意见会改进体系,他们的认可比任何宣布都更有分量。在更广泛推行之前,问他们会改变什么,并加以改变。

8. 尽早而明显地交付价值。在最初几周内,利用数据移除让团队烦恼的东西:总是在等待的队列、没有目的的批准步骤、无人阅读的报告。当人们看到数字带来帮助时,他们会提供更诚实的数据。当他们看到数字带来对自己的质问时,他们提供的就更少。

9. 迅速回应质疑。当有人说一个数字有误时,认真对待。核查它,修复定义或数据,并公开说明做了什么。快速而尊重的更正建立信任,防御性的回复则消耗信任。保留一份质疑日志,并把反复出现的质疑视为该度量需要改进的信号。

长期保护信任

10. 留意恐惧的迹象。迹象包括团队为了避免结果而争论定义、与其他信号不符的突然改善、报告的问题变少、为了好看而选择的工作,以及人们问谁能看到数据。把这些视为关于体系的信息,而不是不当行为。询问团队,倾听,并调整。

11. 让领导者遵守章程。领导者面临比较、排名和解释的压力。给他们可以合法使用的东西:团队和服务层面的趋势、分布和成果度量。使报告违反章程变得容易,回应每一份报告,并公布结果,但不指名提出者。一次可见的违反就能抵消数月的工作,一次可见的纠正则能重建它。

12. 与体系中的人一起评审体系。每个季度,问团队这些度量帮助了什么、扭曲了什么,以及他们会放弃什么。让没有通过检验的度量退役。分享评审的结果。持续、可见地承诺改进体系,是它为服务团队而存在的最强信号(见主题 9.5,持续改进指标)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
用途章程覆盖率 走过场地签署章程;领导者无视它们 检查章程在实践中的使用;报告个人用途事件;与团队一起评审章程
团队所有权占比 团队批准他们没有读过的定义;体系把已成稿的定义交付签字 抽样定义是如何形成的;追踪团队要求并作出的改变
坦诚信号 施压让团队多报或少报问题;重新命名类别 与严重程度和事后复盘的内容一起阅读;与客户报告的问题比较
质疑周转 没有可见的解决就关闭质疑;劝阻质疑 要求有可见的回应;调查质疑者;追踪重复质疑
对度量的感知安全(调查) 辅导受访者;低回复率隐藏了不满的团队 匿名和最小群体规模;显示回复率;直接与团队交谈
个人用途事件 不报告;把事件重新分类为别的东西;责怪报告者 轻松的匿名报告;保护报告者;检查评审和仪表板中的个人数据
自愿采纳 把压力包装成邀请;统计为避免审视而加入的团队 问团队为什么加入;检查实践中的使用;让该期间不受强制影响

健康的读数显示:团队真正会参照的章程、团队帮助塑造的度量、稳定或上升的问题报告、迅速回答的质疑、显示人们相信数据对自己有帮助的调查、少数几起被公开处理的已报告违反,以及因为想要而加入的团队。

权衡:利弊

做法 优势 劣势
一次性对所有团队强制推行 快速、一致 没有信念的合规;操纵和怨恨
自愿试点,然后传播 建立故事和信任 较慢;覆盖不均
团队选择所有自己的度量 所有权强 难以比较;覆盖有缺口
共同核心加团队选择 比较与所有权的平衡 需要治理
跨团队的开放仪表板 透明;共享学习 有比较和排名的风险
仅限团队的视图,向上分享汇总 诚实反思的安全空间 领导者可能觉得两眼一抹黑
书面章程 承诺清晰;质疑的依据 被无视则一文不值
非正式的保证 快 被遗忘;无从追索

文字化的答案是,从愿意的团队开始,给予他们所有权,在团队同意并附背景的情况下向上分享汇总,并以领导者必须遵守的章程来支持这些承诺。

与团队讨论的问题

1. 我们相信这些数字会怎样被处置?过去我们见过什么发生? 邀请大家诚实地讲述度量被善用和滥用的故事。主持人应记录恐惧而不争辩。约定哪些承诺会带来最大的不同。

2. 在一份说明我们的数据绝不用于什么的章程中,我们会写什么? 一起用平实的话起草。如果担心的话,包括个人绩效评审、排名和裁员。把它带给必须签署的领导者。

3. 在所提议的度量中,我们会选择哪些?放弃哪些? 让每个人私下投票并比较。讨论为什么有些显得有威胁。约定一个试用一个季度的简短集合。

4. 我们如何知道人们是否开始隐藏问题? 列出迹象:报告变少、措辞软化、回避的工作。约定由谁来观察,以及我们如何在不归咎的情况下提出。

5. 谁应该以什么形式、在什么时候看到我们团队的数字? 讨论仅限团队、领导层汇总和跨团队比较。决定分享什么,以及由谁来讲述。把规则写下来。

6. 如果一个关于我们的数字有误,我们如何让它得到修正? 追溯从注意到到更正的路径。找出延迟以及由谁决定。约定一条简单的质疑途径和时间预期。

四种视角

产品与交付团队

团队承担被度量的风险,同时掌握这些数字意味着什么的知识。他们应当参与选择和定义度量,在自己的评审中使用数据,并在数字误导时发声。当他们先看到数据、而且度量帮助消除障碍时,他们受益。

服务与运维团队

运维团队往往拥有最丰富的数据,也承担最重的值班和事件负担。他们应当警惕奖励沉默或惩罚升级的度量,保护事件和险情的报告,并留意值班数据不被用来给人排名(见主题 5.7,琐务与值班指标)。

领导层与治理

领导者设定使用的文化。他们应当签署并遵循章程,要求团队和服务视图,公开回应违反,并避免要求排名。他们应当以体系所促成的改进和所保全的坦诚来评判它,而不是以仪表板的数量。

客户与用户

当团队诚实地报告问题并修复原因时,客户和用户受益。他们也可能是数据收集的对象。他们应当清楚地知道收集了关于他们的什么、如何使用,并可以成为决定哪些度量向他们展示价值的伙伴(见主题 6.1,客户满意度指标)。

实践:一个敏捷 ITIL 示例

一家医疗服务提供商的技术部门,在其 15 个交付与支持团队中引入指标。三年前的一次尝试,公布了一份按已关闭工单数的团队排名,结果是低价值工单的关闭激增,而报告的事件数下降。以下数字是示意数字。

新任服务管理负责人首先问六位团队负责人记得什么。他们描述了那份排名及其后果。她与他们一起起草章程:度量描述团队和服务,绝不针对个人;工具中关闭个人视图;数据绝不用于个人评审;团队先看到自己的数据;任何人都可以质疑一个数字,并在十个工作日内得到回应;任何无关的违反都将被报告给体系并公开评审。首席技术官签署了它,并张贴在体系页面上。

三个团队自愿参加试点。他们各自从菜单中挑选四项度量,并重写了两条定义。一个团队坚持"解决时间"应排除等待客户的时间,另一个坚持变更失败应按用户影响定义,而不是仅按回滚。试点在第三周显示出第一个好处,当时一个团队看到自己的工作在批准队列中等待,并移除了一个无人能说明理由的步骤。该团队在部门会议上讲述了它的故事。又有七个团队要求加入。自愿采纳在两个季度内达到 15 个团队中的 10 个,最后五个团队在没有强制的情况下后来才加入。

体系留意着恐惧。每个团队的险情报告在第一个季度上升,负责人将其解读为更愿意报告,并通过阅读一个样本加以确认。一次设有最小群体规模的团队调查显示,在第二个季度开始时,58% 的受访者认同"关于我们工作的数据被用来帮助我们",到第四个季度开始时为 76%。质疑周转的中位数为四个工作日。随后,一位主管在准备预算论证时,要求一张按部署次数给团队排名的表。体系负责人告诉她这超出了章程,提供了一个按服务的趋势视图并附团队评论,并把这个请求记录为一起被报告的个人用途险情及其结果。这位主管接受了。两个季度后,个人用途事件为一起,已被报告、处理,并在不指名的情况下公布。

行业视角

初创企业。团队很小,信任是个人的。大声说出这些数字是做什么的,让整个团队选择要追踪的少数几项度量,并让它们远离任何个人谈话。风险在于,创始人对某个数字的随口评论可能一夜之间重塑行为。把承诺写下来,哪怕只有几行。

小型企业。员工可能怀疑数字是为了裁员。公开谈论你为什么要度量、你会看什么,以及你不会看什么。让人们参与挑选度量,分享你的发现,并尽早展示一项对他们有帮助的改进。

大型企业。规模使信任更难,因为大多数领导者远离团队。使用在高级层面签署的章程、带一个小共同核心的团队拥有的度量、防止个人视图的工具配置,以及报告违反的独立途径。试点、学习,并通过同行传播,避免单一的全球推行日期。

政府与公共部门。雇佣规则、工会和公众审视增加了约束和期望。尽早咨询员工代表,与他们一起商定章程,并明确改进数据与任何正式绩效流程之间的界线。公共报告要求应当与内部改进度量分开(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本主要是人们的时间:起草章程、运行试点、与团队的工作坊、处理质疑、开展调查,以及领导者坚持遵守规则所花的时间。也有机会成本,因为谨慎的推行比强制令更慢。这些成本与失败推行的代价相比很小,在失败的推行中,数据被扭曲,信任被消耗,体系被放弃。

回报是反映现实的数据、对问题的诚实报告,以及用度量来改进的团队。这些表现为更早发现问题、关于数字的更少争议,以及无需强迫的更高采纳。用你自己的历史建立论证:以前度量被强加时发生了什么、这一次有多少团队自愿采纳,以及对问题的报告如何变化。避免引用关于敬业度或信任的已发布数字,除非有可追溯的来源并与你的环境相关(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 突然出现的排行榜。排名出现在领导层的幻灯片上。信任就此终结。让排名远离体系。
  • 绩效评审中的度量。哪怕只是提及也会在各处改变行为。书面写明将其排除。
  • 先强制,后解释。没有信念的合规。与志愿者一起试点并解释原因。
  • 无人执行的章程。没有行动的话语比没有更糟。让领导者遵守它并公布结果。
  • 默认的监视。工具因为能够而暴露个人活动。关闭这些功能。
  • 对质疑的防御性回答。人们不再指出错误。迅速而尊重地回应。
  • 急于上许多度量。过载和混乱。从少数几项开始,逐步成长。
  • 把沉默解读为成功。报告变少可能意味着恐惧。留意坦诚信号并与人交谈。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
承诺与使用 不成文;用法因经理而异 口头保证;一些团队协议 由领导者签署的书面章程;关闭个人视图 报告并评审违反;检查章程的使用 章程由员工和伙伴共同拥有;依据经验修订
所有权与透明 度量被强加 咨询过一些团队 团队选择并定义度量,并先看到数据 管理所有权占比和质疑周转 团队、供应商和客户依约共享视图;所有权成为常规
信任与坦诚 恐惧或冷漠 与志愿者试点 与团队一起评审安全调查和险情趋势 信号触发有计划的行动;追踪自愿采纳 坦诚是常规;体系的改进来自每一个人

检查清单

  • 书面章程说明数据用来做什么、绝不用来做什么,并已由领导者签署。
  • 在工具中关闭个人层面的视图和排名,或受政策限制。
  • 团队选择或批准自己的度量,并先于他人看到自己的数据。
  • 在任何更广泛的推行之前,先有志愿团队的试点。
  • 数据的首次使用就为团队带来可见的帮助。
  • 存在质疑途径,附明确的响应时间和日志。
  • 存在报告违反章程的途径,并在不指名的情况下公布结果。
  • 留意团队层面的安全和坦诚信号,并与团队讨论。
  • 与团队公开分享操纵途径和护栏。
  • 每个季度与团队一起评审体系,并在度量不再有帮助时让其退役。

AI 提示词

起草指标章程。

请为[组织类型]的指标体系起草一页章程。它应当说明数据是用来做什么的、绝不会被用于什么(包括
个人排名和绩效评审)、谁能看到什么、数据保留多久、人们如何质疑一个数字、如何报告违反,以及
由谁签署。使用平实的语言。不要提供法律意见。列出你的假设,以及要与人力资源和法务专家确认的
要点。

规划试点。

请为[背景]中的指标体系,规划一次与两到三个志愿团队一起进行的为期六周的试点。包括如何邀请
团队、提供哪些度量、如何确定规则、数据应当提供哪些早期帮助、结束时问团队什么,以及如何
决定是否更广泛推行。不要假定结果。列出你的假设和风险。

从恐惧的角度评审一项度量。

这是一项拟议的度量及其将如何被使用:[粘贴]。请扮演持怀疑态度的团队成员。描述它可能如何被
视为威胁、人们可能如何改变行为以显得好看,以及它可能阻碍什么诚实的报告。建议对定义、展示
或使用规则作出哪些改变,以降低风险。列出你的假设。

回应一次质疑。

一个团队质疑了这个数字:[描述,不含个人数据]。请起草一份尊重的回应:承认其关切、解释该数字
如何计算、提出如何核查、设定答复的日期,并说明如果数字有误会改变什么。不要防御。列出你尚
不知道的内容。

AI 技能

关键要点

  • 信任是资产。写下数据用来做什么、绝不用来做什么,并信守承诺。
  • 度量团队、服务和系统,并关闭暴露个人的视图。
  • 让团队选择、定义并先看到自己的数据,并拥有它所讲述的故事。
  • 与志愿者试点,尽早交付可见的帮助,并通过同行传播。
  • 迅速回答质疑,并把恐惧的迹象视为关于体系的信息。
  • 让领导者遵守章程,并与体系中的人一起评审体系。

参考文献与延伸阅读

  1. Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 1999.
  2. Campbell, D., "Assessing the Impact of Planned Social Change," Evaluation and Program Planning, 1979.
  3. Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
  4. Kotter, J., Leading Change, Harvard Business School Press, 1996.
  5. Westrum, R., "A Typology of Organisational Cultures," BMJ Quality and Safety, 2004.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Hawthorne effect.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Goodhart's law.
  11. Wikipedia, Psychological safety.
  12. Wikipedia, Trust (social science).
  13. Wikipedia, Change management.
  14. Wikipedia, Technology adoption life cycle.
  15. Wikipedia, Pilot project.
  16. Wikipedia, Information radiator.