重大事件指标
把重大事件当作罕见而昂贵、值得从中学习的事件来度量,而不是排行榜:统计它们,诚实地计时,衡量它们的客户影响,检查人们是否被告知,并证明后续行动已完成。
概述与动因
重大事件是严重到需要常规流程之外的响应的事件。ITIL,这一最知名的 IT 服务管理框架,把事件管理描述为尽快恢复正常服务运营,并期望组织通过一条独特的、更为协调的路径来处理其最严重的事件。组织如何划定这条线,是它自己的决定。一个常见的选择是:影响许多用户或一项关键服务,并需要几个团队在一位协调人之下共同工作的事件。把你自己的定义写下来,因为本主题中的每项指标都依赖于它。
重大事件很少。一个团队每周可能看到几十起普通事件,每季度却只有两三起重大事件。这改变了你的度量方式。事件数量与解决时间的普通统计(见主题 3.2,事件数量与优先级,以及主题 3.3,事件响应与解决时间)假定有许多事件,并奖励平均值。每个期间只有寥寥几起重大事件时,平均值被一个糟糕的夜晚所主导,趋势线大多是噪声,而基于五个数据点的百分位数毫无意义(见主题 1.6,服务指标的统计素养)。诚实的做法是把每起重大事件显示为它自己的一行,带有它自己的时间线,并只在更长的窗口上做汇总。
在这里,敏捷与 ITIL 的视角比书中其他任何地方都更直接地交汇。ITIL 贡献结构:被宣布的重大事件、具名的协调人、对受影响各方的明确沟通,以及事后的评审。敏捷和站点可靠性工程(SRE)的传统贡献习惯:由事件指挥官主持响应,对发生了什么进行无责评审,以及对学习的专注,它为持续改进供给养分。Google 的《Site Reliability Engineering》既描述了事件指挥模式,也描述了复盘评审的实践(见参考文献)。这个意义上的复盘是对一起事件、其原因和随之而来的行动的书面叙述,这个词在这里与"事件后评审"互换使用。
本主题涵盖五个问题。重大事件多久发生一次?它们持续多久,其中有多少时间是在有人宣布之前度过的?有多少用户、哪些用户感受到了?人们是否及时、以稳定的节奏收到了我们的消息?承诺的后续行动是否发生了?相关主题涵盖围绕它们的事物:可用性(见主题 5.3,可用性指标)、书面评审的质量(见主题 4.2,事后复盘与学习指标)、底层原因(见主题 4.1,问题管理指标),以及常常触发它们的变更(见主题 4.4,变更失败与返工)。
本主题使用的术语:
- 重大事件:满足你的书面宣布标准并触发重大事件流程的事件。
- 宣布:有权限的人正式启用重大事件流程的那一刻。
- 恢复时间:从客户影响开始到服务为用户恢复的时间。恢复服务的时刻,与找到根本原因并不相同。
- 事件指挥官:协调响应、分配任务并作出决定的角色。这是事件持续期间的一个角色,不是职位头衔。
- 事件后评审:服务恢复之后,对一起事件进行的结构化、无责的检视。
- 行动项:由评审得出的、具体的、有负责人、有日期的变更。
关键原则
- 先显示事件,再汇总。罕见事件值得有各自的时间线。分别报告每起重大事件,只在较长窗口上使用汇总统计,并在旁边附上计数。
- 让时钟从影响开始,而不是从察觉开始。从有人注意到时才开始的持续时间,隐藏了检测缺口,而它往往是故事中最大的部分。
- 度量用户的体验,而不是团队的付出。客户影响是这个流程存在的理由。响应人员的工作小时数是要跟踪的成本,绝不是分数。
- 沟通是恢复的一部分。服务已经恢复而用户仍在猜测,只修复了一半。把更新的及时性视为响应的一项度量。
- 只有行动完成了,评审才算完成。带着未完成行动的完整文档,没有改变任何东西。度量跟进,而不只是评审的存在。
- 绝不给人排名,也绝不惩罚宣布。如果宣布一起重大事件会在报告中伤害宣布者的团队,被宣布的事件就会变少,指标会改善,服务却更糟。
- 让宣布标准保持稳定。挪动门槛会改变本主题中的每一项指标。记录每次变更及其理由和日期。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 重大事件数 | 某期间内按服务宣布的重大事件数 | 满足宣布标准并在该期间内(按宣布时间)被宣布的事件数,按服务;在头一个小时内被降级的事件单独列出并被排除 | 每季度的计数 | 带重大事件标记的 ITSM 工具事件记录 | 事件管理 | 团队或服务健康评审 | 月度报告,季度趋势 |
| 重大事件持续时间 | 客户受影响的时间 | 每起事件的服务恢复时间减去影响开始时间。影响开始是监控中最早的证据或首次用户报告,以较早者为准。部分恢复被记录为它自己的事件,完全恢复使时钟停止 | 每起事件的分钟数 | 监控时间线、ITSM 工具中的事件时间线 | 事件管理;服务级别管理 | 交付度量中的恢复时间(见主题 2.8,DORA 指标) | 每起事件;长窗口的中位数和最大值按季度 |
| 宣布时间 | 从影响开始到宣布重大事件之间的延迟 | 每起事件的宣布时间减去影响开始时间。从未被宣布的事件,由对普通高影响事件的季度评审发现,并以宣布时间"不适用(从未宣布)"计入 | 每起事件的分钟数 | 监控时间线、ITSM 工具审计轨迹 | 事件管理;监控与事态管理 | 团队工作约定中升级的就绪定义 | 每起事件 |
| 客户影响 | 有多少用户、多少使用量受到影响 | 每起事件的受影响用户数(或失败请求数)乘以受影响的分钟数。只统计在影响窗口内尝试使用服务的用户。计划内维护被排除 | 用户分钟,或失败请求 | 服务遥测、支持联系记录 | 服务级别管理;事件管理 | 面向用户的服务级别指标(见主题 5.2,SLI、SLO 与错误预算) | 每起事件 |
| 沟通及时性 | 受影响各方是否被及时告知 | 在宣布后目标时间内发出首次面向客户通知的重大事件占比,以及在约定间隔内发出计划更新的占比。时钟从宣布开始。仅限内部的信息被排除 | 事件百分比;更新百分比 | 状态页历史、ITSM 工具中的沟通日志 | 事件管理;服务级别管理 | 团队工作约定中的利益相关方沟通 | 每起事件;季度汇总 |
| 评审完成及时性 | 评审是否进行得足够早而有用 | 在恢复后约定的工作日数内发布了评审的重大事件占比。时钟在发布时停止,而不是在初稿时。仍在窗口之内的事件被排除 | 百分比 | 评审库、ITSM 工具 | 持续改进;问题管理 | 改进跟进 | 每季度 |
| 行动项跟进率 | 评审的行动是否被完成 | 按期完成的评审行动数 / 该期间到期的评审行动数。以"不做"关闭的行动单独计数并附理由,不被隐藏 | 百分比;逾期计数 | 与评审相联的问题跟踪系统 | 持续改进;问题管理 | 来自回顾会议的待办项 | 每月 |
| 重复的重大事件率 | 同一原因的再次发生 | 该期间内记录的原因与前十二个月内较早某起重大事件相符的重大事件数 / 该期间的重大事件数。匹配按原因字段,人工评审 | 百分比,并显示计数 | 评审记录、问题记录 | 问题管理 | 待办中的预防工作 | 每季度 |
每一行在被信任之前,都需要一条书面的时钟规则。关于影响开始和恢复时间的争议很常见,最好事先解决(见主题 1.5,数据来源与埋点)。
建议
写下什么使一起事件成为重大事件
公布任何值班人员都能应用的宣布标准。标准通常把影响(受影响的用户、降级的关键服务、安全或法律风险)与协调的需要(需要多个团队)结合起来。一份附有示例的简短清单,胜过冗长的矩阵。说明谁可以宣布,并明确善意的宣布绝不是错误,即使事件后来证明是小事。
在每条事件记录中记下标准的版本。门槛一动,趋势随之而动。每条记录上的版本号或日期,让你可以同类相比,并解释由规则变更带来的计数跳变。
计数并分类,而不把计数变成目标
连同背景一起报告计数。把每季度的重大事件数,与服务、触发因素(变更、容量、依赖、安全、其他)和标准版本一起显示。没有背景的计数,招致像"每季度少于三起"这样的目标,教会人们不去宣布。仅当宣布时间和客户影响保持稳定时,才把下降的计数当作好消息。
区分已宣布、已降级和被漏掉的。跟踪被宣布后又被降级的事件,因为它们显示标准是否合理。每季度评审一批普通事件的样本,寻找本应被宣布的。被漏掉的那些信息量最大。
从用户一侧给事件计时
让时钟在客户受影响时启动。使用最早可靠的证据,它常常是早于第一张工单的监控信号。当起点不确定时,记录估计值及其来源,而不是某人注意到的时间。从影响开始到宣布之间的间隔,本身就是一项指标,通常也是最便宜就能改进的。
把时间线拆分为阶段。检测、宣布、诊断、缓解和完全恢复,各有不同的延迟原因和不同的负责人。每起事件的阶段分解显示时间去了哪里,无需平均值。通过变通办法恢复服务,与修复原因是不同的事件,第二个属于问题管理。
在长窗口上使用中位数和最坏情形,并附计数。对于一年的数据,报告中位数和最长持续时间,并说明它们来自多少起事件。避免对重大事件使用单一的平均恢复时间。事件很少时它不稳定,而且被一次长时间中断所扭曲(见主题 1.6,服务指标的统计素养)。
用用户能认出的措辞衡量客户影响
偏好基于用户的影响,而不是基于服务器的影响。失败的请求、受影响的用户或受影响的交易,描述的是人身上发生了什么。某组件上服务降级的分钟数,描述的是机器上发生了什么。在你有服务级别指标之处,使用它们(见主题 5.2,SLI、SLO 与错误预算),并把事件与可用性的图景联系起来(见主题 5.3,可用性指标)。
在每条记录中加一段平实语言的影响陈述。一两句话,说明谁受到了影响、他们做不了什么。支持联系、社交媒体上的提及和客户升级,是这段陈述的证据,而不是要最大化的指标。
把沟通作为响应的一部分来度量
按受众设定沟通目标。受影响的客户、内部利益相关方和高管,在不同时间需要不同的信息。约定宣布之后首次通知的目标和更新的稳定节奏,并按事件度量遵守情况。节奏比内容更重要:一条写着"没有变化,三十分钟后再更新"并准时到达的更新,比沉默建立更多信任。
让响应与沟通分由不同的人负责。沟通负责人让事件指挥官得以专注于诊断。小团队可以使用检查清单和预先写好的模板。
闭合学习的回路
尽早举行评审,并公布它。记忆会消退,所以为评审设定一个窗口,并度量是否做到。评审的完成不如评审改变了什么重要,所以把它与跟进配对。Google 的《Site Reliability Engineering》论证了无责评审以及把它写下来(见参考文献),主题 4.2(事后复盘与学习指标)涵盖评审的质量。
把行动跟踪到底,并允许诚实的"不做"。把每项行动放进所属团队已在使用的待办列表,写明负责人和日期。记录被拒绝的行动并附理由,而不是任其腐烂。在运维或服务评审中评审逾期行动,并问是什么在阻碍它们。限制每次评审的行动数量,使留下的是真正重要的。
寻找各起事件之间的模式,并把它们送到问题管理。反复出现的原因、共同的触发因素和反复出现的检测缺口,是单次评审会漏掉的信号。把它们输入问题和已知错误流程(见主题 4.1,问题管理指标),以及拥有这些服务的团队的规划。把上升的重复率视为调查的提示,而不是裁决。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 重大事件数 | 提高宣布门槛,让事件停留在"高"优先级而从不宣布,把一起事件拆成几条记录,或把几起合并为一起 | 固定、带版本的标准;每季度抽查高影响的普通事件;在计数旁边跟踪客户影响和宣布时间 |
| 重大事件持续时间 | 把时钟重置到较晚的影响开始,在用户仍然失败时宣布"已恢复",或关闭并重开一条新记录 | 影响开始取自监控;用面向用户的指标确认恢复;被重开和关联的记录算作一起事件 |
| 宣布时间 | 对一切事件都提前宣布以显得快,或把宣布时间倒填到影响开始 | 后来被降级的已宣布事件占比;宣布时间的审计轨迹;对照原始监控抽查时间线 |
| 客户影响 | 缩小"受影响"的定义,只统计提了工单的用户,或度量一个仍然正常的依赖 | 影响既由遥测也由联系得出;在事件评审时评审一段平实语言的影响陈述 |
| 沟通及时性 | 发布含糊的通知以启动时钟,发送没有内容的更新,或把内部消息计入 | 抽查更新的内容;客户对清晰度的反馈;只计面向客户的通知 |
| 评审完成及时性 | 为赶日期而发布单薄的文档,或宣称评审"不需要" | 同行对样本的评审质量阅读(见主题 4.2,事后复盘与学习指标);显示被豁免的评审占比 |
| 行动项跟进率 | 写含糊或琐碎、容易关闭的行动,不做工作就关闭行动,或把它们重新标为"不做" | 抽查行动质量;对照系统变更核实已关闭的行动;评审"不做"的占比和理由 |
| 重复的重大事件率 | 通过选用不同的措辞把每个原因记为新的,或把一切归于"人为错误" | 带定义的简短原因分类;由事件之外的人评审原因字段;没有系统性解释,"人为错误"不被接受为原因 |
健康的读数是已宣布事件的计数适度而相当稳定,偶尔有一次降级,评审中偶尔发现一次被漏掉的。宣布时间短且在缩短,每起事件的客户影响是被理解的,并在做了预防工作之处下降,几乎所有面向客户的更新都准时。评审按时发布,其行动大多已完成,只有少量诚实的被拒行动。如果一切看起来完美,就问标准是否发生了漂移,或人们是否已经不再宣布(见主题 1.2,古德哈特定律与指标心理学)。以查尔斯·古德哈特命名的定律在这里最容易看到,因为一个糟糕数字的代价,是拉响警报的意愿降低。
权衡:利弊
| 选择 | 优势 | 劣势 |
|---|---|---|
| 把每起事件显示为一行 | 保留背景,避免对小计数的误导性平均值 | 更难为领导层汇总;每起事件需要一段简短叙述 |
| 报告重大事件的计数 | 简单、熟悉、对领导层可见 | 容易变成目标;对标准的变化有反应 |
| 从影响开始计时 | 反映用户的体验,暴露检测缺口 | 影响开始有时不确定,需要判断 |
| 从宣布起计时 | 易于捕获和比较 | 隐藏缓慢的检测和缓慢的宣布 |
| 影响的用户分钟 | 可跨事件和服务比较 | 需要遥测;把所有用户和分钟一视同仁 |
| 评审完成率 | 易于收集,推动习惯 | 奖励文档,而不是学习 |
| 行动跟进率 | 把评审与变更联系起来 | 可被琐碎的行动操纵;需要负责人和待办 |
使用一小组覆盖整个循环(宣布、恢复、告知、学习、完成)的度量,而不是优化其中一个。只在遥测存在时才加入影响度量。在缺少遥测之处,一段谨慎的书面影响陈述,比编造的数字更好。
与团队讨论的问题
1. 在这里,究竟是什么使一起事件成为重大事件?每个值班的人都同意吗? 定义是其他每一个数字的基础。请三个人对同一起最近的事件分类,并比较答案。分歧显示标准在哪里含糊。主持人应记下要加入书面标准的示例,并约定谁可以宣布。最后确认:善意的宣布永远是可以接受的,即使事件后来被降级。
2. 在我们上一起重大事件中,从影响开始到宣布之间隔了多久? 依据监控而不是记忆重建时间线。这个间隔往往比预想的大,有时是最长的阶段。问当时有什么信号、谁看到了,以及间隔来自不清晰的标准、缺失的告警,还是不愿宣布。选一项能缩短它的改变,并决定你将如何知道它奏效。
3. 谁受到了影响?我们怎么知道? 把团队当时的认识,与遥测和支持联系稍后显示的情况比较。问哪些客户(如果有的话)受到的影响比别人更大,他们是对业务最重要的,还是最无力应对的。讨论这段影响陈述是否是客户会认得出的东西。约定下次你能可靠收集的一项影响度量。
4. 人们在需要时听到我们的消息了吗?这条消息有用吗? 对照约定的节奏检查首次通知和每次更新。像客户那样阅读实际的消息。问它们是否说了已知什么、未知什么,以及下次更新何时到来。讨论事件期间谁负责沟通,那个人是否有空去做。
5. 我们最近三次评审的行动,后来怎么样了? 把行动拉成一张清单,把每项标为已完成、进行中、逾期或被拒绝。对逾期的,问是什么在阻碍它们:容量、所有权、优先级,还是范围不清。决定在下一次运维或规划会议上如何提出逾期行动。
6. 如果我们被按重大事件的数量来衡量,我们会做出什么不同的事?客户会更好吗? 这个问题让操纵途径在发生之前浮现。请小组坦率说出他们可能改变什么:门槛、标签、谁来宣布。然后问更好的目标是什么。一个好的答案会转向客户影响、宣布时间和跟进,它们很难在不帮到用户的情况下被操纵。把答案记录为护栏。
四种视角
产品与交付团队
产品团队把重大事件当作对计划工作的打断,以及对自己变更的反馈。他们从清晰的影响数字、迅速获取自己事件时间线的途径,以及落入其待办列表且有余地去做的评审行动中,获益最多。为事件的后续跟进预留容量,并把行动当作与功能地位相同的工作。分享原因类别,使反复出现的触发因素能引发实践上的改变(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队运行响应,并承担深夜工作的代价。他们需要在凌晨 3 点能够应用的标准、他们能配备人员的指挥官和沟通角色,以及在事件发生时就捕获时间线、而不是事后凭记忆重建的工具。他们应当留意重大事件加在一小群人身上的负荷(见主题 5.7,琐务与值班指标),并用本主题的指标去争取预防工作,而不是用来比较响应人员。
领导层与治理
领导层设定氛围,它决定人们是否迅速宣布并诚实报告。他们应当要求听每起重大事件的故事和一年的趋势,避免给计数设目标,并询问客户影响、检测缺口和已完成的行动。为评审所建议的预防工作出资,并在与交付计划相同的论坛上评审。治理随后可以看到教训是否转化为变更(关于把可靠性与投资联系起来的办法,见主题 5.2,SLI、SLO 与错误预算)。
客户与用户
客户评判一起重大事件,依据的是他们受影响多久、是否被告知,以及它是否再次发生。早而诚实的通知,比晚而精美的通知更好地服务他们。给他们一个状态渠道、一个可以依靠的节奏,以及事后对发生了什么和将改变什么的清晰说明。在合同适用之处,以服务级别协议中约定的措辞报告(见主题 5.1,SLA、OLA 与 XLA 指标)。事件之后的满意度值得一问(见主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着店面、支付服务和订单管理服务,各由一个产品团队拥有,由一个共享的平台团队值班。一个小型服务管理组运行重大事件流程。本示例中的所有数字都是示意数字。
最近两个季度,这家零售商宣布了五起重大事件(示意数字)。服务管理组把每起显示为一行,含影响开始、宣布时间、恢复时间、估计的失败订单数、首次客户通知的时间,以及评审状态。他们注意到,影响开始到宣布之间的间隔中位数为 38 分钟(示意数字),几乎与从宣布到恢复的时间中位数 52 分钟(示意数字)一样长。只有五起事件,他们把这两个数字都视为粗略的,转而阅读时间线。五起中有三起显示,一条监控告警早早触发,却无人确认地躺在一个共享频道里。
团队决定把那类告警路由到值班寻呼机,并在标准中增加一行,说明持续的结账失败信号就足以宣布,无需等待工单。他们还设定了宣布后 20 分钟内发出首次客户通知的目标(示意数字),并按事件检查。五起中有两起达标。部署团队增加了一个状态页模板,沟通负责人可在压力下填写。
在同一次评审中,他们发现了一个操纵风险。某个产品团队的经理曾提议一个季度目标:"重大事件不超过两起"。服务管理组指出,上个季度有一起事件,一直停留在高优先级达四个小时,客户在结账时失败,却从未被宣布,因为团队已接近上限。他们用三项度量取代了这个目标:宣布时间、每起事件的失败订单数,以及按时完成的评审行动占比。他们增加了由拥有团队之外的人阅读高优先级事件的季度样本这一护栏。下个季度,已宣布的计数升到四起(示意数字),宣布时间的中位数下降,抽样评审没有发现被漏掉的宣布。
行业视角
初创企业。初创企业可能没有正式的重大事件流程,只有当时醒着的人。从一段话的定义、每起事件的一位具名协调人,以及记录时间线的共享文档开始。统计事件,并用一句话注明影响。评审可以是半页纸的笔记,后续跟进是团队待办中的一项。
小型企业。小型企业的服务往往在很大程度上依赖供应商,所以时间线包括等待供应商。把供应商的联系和响应时间记录在事件时间线中,因为它们解释了持续时间的很大一部分,也为合同谈话提供证据。保持客户沟通的简单:一个渠道,一个人,以及一个说明的更新间隔。
大型企业。大型企业运行众多服务,每个期间有许多事件,所以按服务的计数和汇总都有用。风险在于各部门之间标准不一致,以及流程繁重到拖慢宣布。对齐定义,在头十五分钟保持流程轻量,并使用共同的记录格式,使影响和沟通可以比较。
政府与公共部门。公共机构往往有法定的职责,比如通知监管机构或公众,对没有替代选择的公民来说,失败的代价也更高。为遵守通知义务以及对弱势群体的影响增加度量,并保留经得起审计和公共信息请求检验的记录。采购周期可能延迟行动项,所以要跟踪受阻的行动并升级。
商业论证:动机、投资回报与总拥有成本
动机是削减那些伤害最大的事件的代价:收入或服务的损失、受损的信任、员工倦怠和监管风险。一小组一致的重大事件度量,显示这些成本来自何处,检测和沟通是否在改善,以及在预防上的投资是否见效。只显示计数的度量,会把成本推向隐瞒事件。
如果数据已经存在于 ITSM 工具、监控系统和问题跟踪系统中,收集的成本是适度的。主要成本是约定定义、把事件记录与监控和行动待办联系起来,以及撰写每次评审所花的时间。除了使记录一致之外,这些指标几乎没有什么别的成本。
回报体现在更短的宣布时间、更清晰的沟通、更少的重复事件和更少的返工。没有通用的数字,所以请估算你自己的:取你过去一年的重大事件,与财务一起估算每项服务一小时影响的成本,并与你为预防重复原因所需后续工作的成本比较。总拥有成本包括评审者的时间、时间线和状态页的工具,以及为后续行动预留的容量,而这正是大多数项目投入不足之处。
反模式与陷阱
- 给重大事件数设目标。它教人们避免宣布。相反,跟踪宣布时间、影响和跟进,并抽查被漏掉的宣布。
- 对重大事件使用单一的平均恢复时间。事件很少时,一次长时间中断就主导一切。相反,显示每起事件,然后是一年的中位数和最长值,并附计数。
- 让时钟从宣布开始。它隐藏了检测和宣布的延迟。相反,从客户影响的最早证据开始,并单独报告间隔。
- 按事件指标给响应人员或团队排名。它破坏坦诚并打破评审。相反,按服务和系统报告,并让数据中不含姓名。
- 把评审在文档发布时视为完成。变更才是关键。相反,度量行动的跟进,并每月查看逾期行动。
- 悄悄更改门槛。趋势变得没有意义。相反,给标准编版本,并在报告中注明变更。
- 只把工单算作影响。许多受影响的用户从不打电话。相反,使用遥测,并加一段平实语言的影响陈述。
- 用这些指标来追责。人们随后会隐瞒事实。相反,保持评审无责,聚焦条件和决定,并寻找系统性原因。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | "重大"就是嗓门最大的人说的;时间来自记忆 | 部分团队有标准,并写下开始和结束时间 | 一个书面的、带版本的定义,含影响开始、宣布和恢复的时钟规则 | 对照监控审计定义和时钟;变更连同理由被记录 | 标准和时钟与供应商和客户一起约定,在不再为决定提供依据时修订 |
| 影响与沟通 | 影响以轶事描述;有人想起来时才发更新 | 为部分事件估计了影响;部分团队使用状态页 | 为关键服务从遥测度量影响;设定并跟踪更新目标 | 影响和沟通有趋势,并与客户反馈相联 | 影响以共同的格式与客户和供应商共享,并有联合的改进行动 |
| 评审与跟进 | 评审罕见且无书面;行动被遗忘 | 部分团队撰写评审;行动被记录但不被跟踪 | 每起重大事件都按时评审;行动在团队待办中被跟踪 | 按节奏评审逾期行动和重复原因,预防工作获得资助 | 模式在团队和供应商之间共享;学习常规地改变设计和规划 |
| 在决定中的使用 | 数字事后才被引用 | 向领导层展示不带背景的计数 | 向拥有这些服务的团队展示时间线和趋势 | 指标与护栏配对,并用于确定可靠性工作的优先级 | 可靠性投资依据跨服务的影响和复发证据共同决定 |
检查清单
- 宣布标准已写下、有版本,且每个值班的人都了解。
- 善意的宣布明确是安全的,且没有对计数设目标。
- 影响开始、宣布和恢复时间已定义,并取自监控或审计轨迹。
- 每起重大事件都被显示为它自己的一行,带有阶段时间线。
- 在遥测存在之处,客户影响由其推导,并用一段平实语言的陈述描述。
- 首次通知和更新节奏的目标已设定,并按事件检查。
- 评审在约定的窗口内发布,其行动在所属团队的待办里。
- 按计划评审逾期行动和重复原因。
- 每季度抽查一批高影响的普通事件,检查有无漏掉的宣布。
- 每项指标都有具名的护栏,且没有任何指标被用来给个人排名。
AI 提示词
起草供评审的宣布标准。
我正在为[组织类型]起草宣布重大事件的标准。我们的服务有[服务清单],团队有
[团队清单]。用户是[用户描述]。请提出一套简短的宣布标准,每条带两三个示例,一份
团队可能争论的含糊之处清单,以及我应当与[利益相关方]敲定的问题。不要编造阈值或
基准值;在需要数字之处使用[占位符]。列出你的假设。
重建并批评一条事件时间线。
这是一起重大事件的时间线:[粘贴带时间戳和来源的时间线]。请识别影响开始、宣布、
缓解和完全恢复,并说明哪些时间戳不确定及原因。把持续时间拆分为阶段,并指出最大
的延迟出现在哪里。建议要问响应人员的问题以及要寻找的监控证据。不要编造时间线中
没有的事实。列出你的假设。
评审一组事件后行动。
下面是[服务]的[数量]次事件后评审的行动:[粘贴含负责人、到期日和状态的行动]。请
按主题分组,标出含糊、琐碎或无人负责的行动,并识别暗示应为[所属团队]开立问题
记录或待办项的模式。不要按表现给个人或团队排名。不要编造原因。列出你的假设,
以及你需要哪些信息来改进分析。
检验一项拟议指标是否会被操纵。
我们计划跟踪[指标名称],定义为[定义],度量自[数据来源]。请描述[角色]可能如何
操纵这个指标,它可能抑制哪些诚实的行为,以及哪个配对的护栏指标或实践能发现每
一种情形。让建议对一个[团队规模]人的团队切实可行。不要编造基准值或来源。列出
你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找相关主题,以及应放在每项重大事件指标旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查本主题的编辑版本是否仍遵循模板和约定。
关键要点
- 重大事件很罕见,所以显示每一起及其时间线,只在长窗口上汇总,并在数字旁边附上计数。
- 让时钟从客户影响开始,并把宣布之前的间隔作为独立的度量报告。
- 以用户和使用量来衡量影响,并加一段平实语言的陈述来补充数字所漏掉的。
- 把沟通及时性视为响应的一部分,按受众设定目标,并保持稳定的更新节奏。
- 行动完成了,评审才算完成,所以跟踪跟进和重复原因。
- 绝不对计数设目标,绝不给人排名,并让宣布保持安全。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.