概述与动因

在 IT 服务管理(ITSM)中,事件是对服务的计划外中断,或服务质量的下降。事件管理是在安全的前提下尽快恢复正常服务的实践。在 ITIL 4 中,这项实践称为事件管理,位列 ITIL 框架的服务管理实践之中。它的敏捷对应物,是团队把计划外工作当作一等工作流来对待的习惯,以及来自站点可靠性工程(SRE,即用软件工程方法运行服务的学科)的值班和无责评审实践。

时间是描述事件最自然的方式,也是最常被误用的方式。单个事件要经过几个阶段。某样东西坏了,监控或用户注意到,某人确认了告警,有人开始工作,服务为用户恢复,在原因被处理或推迟之后工单被关闭。这些事件中任意两者之间的间隔,都是一项单独的度量,有单独的负责人、单独的延迟原因和单独的补救办法。把这一切统称为"解决时间",隐藏了延迟栖身何处。

本主题涵盖从头到尾追随一起事件的经过时间度量:检测时间、确认时间、首次响应时间、恢复时间和解决时间。它还涵盖未关闭事件的年龄、事件换手的次数,以及最广为人知的汇总指标,即平均恢复或解决时间(MTTR)的统计问题。计数、类别和优先级在别处讲述(见主题 3.2,事件数量与优先级)。大型和不寻常的事件有它们自己的度量(见主题 3.4,重大事件指标)。

本主题使用的术语

  • 检测时间(TTD)。从故障开始影响用户,到组织通过监控或用户报告得知,所经过的时间。
  • 确认时间(TTA)。从告警或工单被发起,到某位具名的人或团队接受所有权,所经过的时间。
  • 首次响应时间。从事件被登记,到首次对受影响用户采取有意义的行动或发送信息,所经过的时间。自动回复不算。
  • 恢复时间。从用户影响开始,到用户能再次使用该服务,所经过的时间,即使底层原因只是被绕过。
  • 解决时间。从事件被登记,到事件因服务恢复且用户已确认或已得到合理的确认机会而被关闭,所经过的时间。
  • 平均恢复或解决时间(MTTR)。这些时长之一在一组事件上的算术平均值。其中字母 R 取决于谁在说话,被读作修复、恢复、复原、解决或响应,这是这个缩写的第一个问题。平均修复时间的维基百科文章列出了这些变体。
  • 服务级别协议(SLA)。服务级别协议是提供方与客户之间关于服务水平的承诺,通常包括按优先级的目标响应和解决时间。

为什么平均值是糟糕的汇总

事件持续时间不是对称的。大多数事件很短,少数非常长,而长的主导了任何平均值。这类持续时间常常可以用对数正态分布这样的右偏形状很好地描述。在偏态数据中,平均值可能远高于典型事件的样子,一次长时间的中断对它的移动,可能超过一个月的改进。

Google 的 SRE 团队发表了对这个问题的分析。它认为,对它所研究的事件数据集而言,事件持续时间的分散足够大,以至于 MTTR 可能隐藏真实的改进,或显示出只是噪声的变化,并建议转而查看分布(Davidovič,2021,见参考文献)。这一推理依赖于众所周知的统计学,所以你可以在自己的数据上检验它,而不必相信任何人的结论:画出你的事件持续时间,计算平均值和中位数,看两者相差多远(见主题 1.6,服务指标的统计素养)。

替代办法是百分位数。中位数说明典型用户等了多久。第 85 或第 95 百分位数说明运气不好的那些人等了多久。客户记住的是漫长的等待,而不是平均值,所以像"此优先级十起事件中有九起在所述时间内恢复"这样的百分位承诺,比平均值更符合他们的体验。

ITIL 与敏捷的视角有何不同

ITIL 的视角往往从优先级和目标出发。影响和紧急程度设定优先级,优先级设定目标响应和解决时间,服务级别协议可能为未达标附加后果。这有条不紊,也易于审计,但容易招致目标所招来的操纵(见主题 1.2,古德哈特定律与指标心理学)。

敏捷与 SRE 的视角从用户影响和流动出发。它问团队多快限制了危害,一起事件的经过时间中有多少是积极的工作、有多少是等待,以及团队学到了什么。它偏好影响的度量(受影响的用户、服务降级的分钟数),而不是工单状态的度量,并把工单时钟视为方便但不完美的替代。两种视角是相容的。用 ITIL 的优先级结构来决定度量什么、为谁度量,用流动和影响的思维来判断这个数字是否有意义。

关键原则

  • 说出阶段,而不是"解决"。检测、确认、响应、恢复和解决是不同的问题,有不同的负责人。以各自的名称报告每一个。
  • 把两个时钟都写下来。每项时间度量都说明哪个事件启动它、哪个事件停止它、哪些状态暂停它。大多数操纵都藏在这些边界里。
  • 报告分布。显示中位数、一个高百分位数和最老未关闭事件的年龄。避免孤立的平均值,偏态数据使它不可靠。
  • 把恢复与关闭分开度量。用户关心的是服务何时回来。工单可以稍后在原因被处理之后关闭。
  • 把速度与持久性配对。第二天又被同一事件推翻的快速恢复不是改进。在每项时间度量旁边显示复发率和重开率。
  • 描述团队、服务和系统。绝不按响应或解决时间给个别坐席或工程师排名。
  • 先分段,再比较。同类相比,按优先级和服务,因为混合的数字把密码重置与数据库故障混在了一起。

指标定义

每一行都说明其时钟。日历时间与工作时间是不同的:说明你用的是哪一个。使用百分位数的度量,表中给出第 50 和第 95 百分位数,团队可以加上第 85。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
检测时间 在组织得知之前,故障影响用户多久 时钟在用户影响的第一刻启动(取自监控数据,或评审中记录的已确认影响开始时间);在首个告警或用户报告时停止。按服务报告中位数和第 95 百分位数。没有已知开始时间的事件被计数并单独报告,不被丢弃 分钟 监控和告警平台;带影响开始字段的事件记录 事件管理;监控与事态管理 可观测性和告警质量工作(见主题 5.5,监控与告警质量指标) 每月
确认时间 发起的告警或工单在有人认领之前等待多久 时钟在告警触发或工单登记时启动;在某位具名的人或团队接受它时停止。自动分派不会停止时钟。按优先级报告中位数和第 95 百分位数 分钟 寻呼工具;ITSM 工具分派历史 事件管理;服务台 SRE 轮值中的值班响应 每月
首次响应时间 用户等待第一个有用的人工答复多久 时钟在事件被登记时启动;在首条针对该报告的人工消息或行动时停止。自动确认和模板化回执被排除。说明工作时间时钟 分钟或工作小时 ITSM 工具的沟通日志 服务台;事件管理 对用户的及时反馈,如工作约定中所述 每周
恢复时间 用户有多久没有可用的服务 时钟在用户影响开始时启动;在用户能再次使用服务时停止,包括通过变通办法或回滚。稍后修复的原因不会延长它。按优先级和服务报告中位数和第 95 百分位数 分钟或小时 带影响开始和恢复时间戳的事件记录;监控 事件管理 DORA 术语中的平均恢复时间,读作分布(见主题 2.8,DORA 指标) 每月
解决时间 事件记录在被关闭之前开着多久 时钟在事件被登记时启动;在恢复及用户确认或合理等待之后被关闭时停止。处于"等待客户"的时间显示为单独报告的占比,不从头条数字中扣除。按优先级报告中位数和第 95 百分位数 小时或工作小时 ITSM 工具状态历史 事件管理 计划外工作的周期时间(见主题 2.2,前置时间、周期时间与流动效率) 每月
最老未关闭事件的年龄 最久未关闭的事件已经开了多久 对每个未关闭事件,现在减去登记时间,按优先级列出最老的几个。不扣除暂停状态 天 ITSM 工具的未关闭事件清单 事件管理 团队看板上的工作项年龄(见主题 2.1,流动度量) 每周
活跃时间占比 事件的经过时间中花在积极工作而不是等待上的比例 处于活跃状态的时间之和 / 从登记到关闭的总时间,针对该期间关闭的事件。活跃状态指有人正在处理事件的状态;等待状态在定义中列出 百分比 ITSM 工具状态历史 事件管理 流动效率(见主题 2.2,前置时间、周期时间与流动效率) 每季度
重新分派次数 事件在恢复之前换了多少次所属团队 从登记到恢复期间分派组的变更次数,汇总为中位数和有三次或更多次变更的事件占比。按服务和优先级计,绝不按坐席计 计数 ITSM 工具分派历史 事件管理;服务台 交接次数(见主题 9.3,协作与交接指标) 每月

关于数据的两点说明。第一,恢复时间只和它的起点一样好。许多事件记录捕获的是某人敲入工单的时间,它可能比真正的影响开始晚好几个小时。如果你的工具没有影响开始字段,就增加一个,并把估计的开始时间视为估计(见主题 1.5,数据来源与埋点)。第二,在比较各期间时,保持相同的优先级定义,否则趋势线反映的将是重新分类。

建议

定义时钟

1. 为每项时间度量写一份时钟说明。对每个阶段,列出起始事件、停止事件、暂停时钟的状态、时间基准(日历或工作时间)以及排除项。把它保存在指标登记册中(见主题 1.4,指标治理与归属)。

2. 把恢复与关闭分开。把服务为用户恢复的时间记录为独立的时间戳,与工单关闭的时间分开。恢复是用户感受到的,而关闭包括验证、文档记录和原因处理。对两者使用同一个时间戳的团队,会因过早关闭而受奖励,或因仔细的后续跟进而受惩罚。

3. 记录影响开始,而不只是登记时间。请响应人员填写用户首次感受到影响的时间,尽可能使用监控数据。当是估计值时,把该字段标出。没有它,检测时间毫无意义,恢复时间也会因缺少它而失真。

4. 限制暂停状态并报告它们的使用。等待客户或供应商有时是正当的。允许一份简短的具名暂停状态清单,要求写明理由,并显示在每种状态中所花的事件时间占比。暂停时间占比上升,是漂移的迹象,而不是速度的迹象。

诚实地报告

5. 用中位数和一个高百分位数取代平均值。按优先级,以时间序列显示每个阶段的第 50 和第 95 百分位数。显示每个点背后的事件数,因为基于十起事件的百分位数是一个薄弱的数字。在计数较少之处,把单个事件画成点,不画汇总线。

6. 显示最老未关闭事件的年龄。已关闭事件持续时间的图表,看不见仍然未关闭的事件,而它们是最糟的。每周按优先级列出最老的未关闭事件。不真正完成工作就很难改善这一项,所以它是任何解决时间图表的有益同伴。

7. 按优先级和服务分段。当构成向复杂事件偏移时,即使每一类事件都被处理得更快,混合的解决时间也会上升。在一个优先级之内、一项服务之内比较,并在时间旁边显示构成(见主题 3.2,事件数量与优先级)。不要从构成发生变化的月份得出结论。

8. 用控制界限区分信号与噪声。事件持续时间逐周变化很大,却没有什么改变。依据稳定期间计算界限的控制图,显示一次转变何时大到值得解释(见主题 1.6,服务指标的统计素养)。

把速度与持久性配对

9. 在每项时间度量旁边显示重开率和复发率。重开率是在规定窗口内被重新打开的事件占比。复发是同一服务和症状在窗口内再次出现。如果恢复时间下降而复发上升,团队是在应用快速补丁。把复发的事件送到问题管理(见主题 4.1,问题管理指标)。

10. 度量等待和交接,因为时间都去了那里。对大多数服务,一起事件的经过时间中,很多是在等待某个人、某个决定或某个供应商,而不是在工作。活跃时间占比和重新分派次数显示该看哪里。解决时间漫长的补救办法,往往是更清晰的路由规则或共享的值班,而不是更快地打字。

11. 对百分位数设目标,并有人在环中把关。如果需要目标,就把它表述为某个优先级的百分位承诺,例如"十起二级事件有九起在所述时间内恢复",并与将要达成它的人一起约定。把违反当作关于系统的问题来评审,而不是值班人的过错(见主题 5.1,SLA、OLA 与 XLA 指标)。

12. 询问用户的体验。对已关闭事件样本做简短调查并阅读评论,会说明这个数字是否符合等待的感受。用户往往更在乎及时的沟通,而不是恢复的确切分钟(见主题 6.1,客户满意度指标)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
检测时间 把影响开始设得比实际晚;放宽告警阈值,使更少的故障算作事件;只统计监控抓到的事件 首先由用户而不是监控报告的事件占比;对照监控数据定期评审影响开始的估计
确认时间 自动分派或自动确认以停止时钟;确认告警之后却什么也不做 同一批事件的首次响应时间和恢复时间;抽查被确认后没有后续活动的告警
首次响应时间 发送模板化或一个词的回复以停止时钟 评审首次回复样本是否有实质内容;重复联系和调查评论
恢复时间 在用户能使用之前就宣布服务已恢复;通过压制症状来恢复;把中断登记为计划内维护 窗口内的复发;恢复时间之后用户报告的影响;事后被重新标注的事件占比
解决时间 把工单移到"等待客户"或"搁置";在一次联系尝试后关闭;把事件拆成子项,以便提前关闭父项 处于暂停状态的时间占比;重开率;最老未关闭事件的年龄;阅读关闭备注的样本
最老未关闭事件的年龄 关闭并重新提出最老的工单;把它重新归类为问题或请求,以将其从清单中移除 把重复项关联到原始记录并报告关联年龄;每个期间转为问题或请求的事件计数
活跃时间占比 记录简短而无意义的工作,把时间标为活跃;不付出力气就移入活跃状态 把活跃时间与恢复时间等成果比较;抽查工作备注
重新分派次数 在同一个团队内重开,而不是传递出去;通过旁路渠道传递工作,使工具里没有交接 恢复时间和用户满意度;定期观察工作如何在团队之间移动

健康的读数显示:中位数和尾部百分位数一同变化,暂停时间占比小而稳定,由用户首先报告的事件很少,复发在下降,调查评论与工单数据相符。对单独到来的头条改善,把它视为进行一次操纵评审的提示。

权衡:利弊

做法 优势 劣势
平均恢复时间 熟悉;一个数字;易于画趋势 被少数几起长事件主导;隐藏真实变化;不适合小样本
中位数加一个高百分位数 描述典型和运气不好的体验;抗异常值 需要足够多的事件;有两个数字需要解释
画出每起事件 显示完整的形状和异常值;在低数量时诚实 在高数量时更难读;需要有人主持
按优先级设目标 期望清晰;支持合同和升级 招致重新分类和暂停时钟;可能把力气推向目标边界
工单时钟度量 便宜,每个 ITSM 工具都有 度量的是工单,而不是用户的体验;对状态工作流敏感
基于影响的度量 接近用户的感受;抗工单把戏 需要监控数据和影响开始字段;更难审计

务实的答案是保留工单时钟,因为每个工具都有它,在监控允许之处增加基于影响的恢复时间戳,并对两者都使用分布。平均值作为对一大组单一、稳定、相似事件的粗略描述是可以接受的,但它决不能是页面上唯一的数字。

与团队讨论的问题

1. 对我们来说,一起事件的哪个阶段耗时最长?我们怎么知道? 在板上画出事件时间线,标出从影响开始到关闭的各阶段。取最近十起事件,用工具数据和响应人员的记忆标出每个阶段耗时多久。主持人应寻找时间聚集的那个阶段,往往是等待一次交接或一个决定,而不是技术工作。约定哪个阶段值得先关注。

2. 我们的时钟从哪里开始、在哪里停止?是谁决定的? 请每个人说出他们认为事件何时"开始"、何时"结束"。答案会有所不同,而差异就是发现。把它们与工具中的字段和状态工作流比较。把约定的定义记录在指标登记册里,并注明工具尚不能支持之处。

3. 我们的中位数和第 95 百分位数,会显示平均值所隐藏的什么? 会议前,按优先级计算上个季度事件的平均值、中位数和第 95 百分位数。并排展示,并画出持续时间。问团队会从每一个得出什么结论。主持人应注意是否有一两起事件移动了平均值,并讨论团队是否相信中位数代表了典型用户的等待。

4. 我们花在等待而不是工作上的时间有多少?为什么? 挑三起长事件,追踪它们的状态历史。统计处于活跃状态的小时数和处于等待状态的小时数,并记下在等待谁或什么。问哪些等待可以通过一个决定、更清晰的升级路径或共享的值班来缩短。

5. 如果被要求把解决时间削减四分之一,我们会怎么做而不帮到用户? 这是缩微版的操纵评审。列出每一种不改善服务就能改善数字的做法,比如暂停时钟、提前关闭,或重新标注优先级。对每种做法,问护栏能否发现。这份清单是你操纵途径一栏的开端,并显示定义需要在哪里收紧。

6. 我们怎么知道更快的恢复是真实的? 要求拿出证据:复发、重开、用户评论,以及之后具有相同症状的任何事件。看一项最近的改进,问一个月后它是否站住了。主持人应引导小组朝向持久的修复。最后决定哪一项持久性度量加入仪表板。

四种视角

产品与交付团队

运行自己服务的产品团队,把事件时间视为挤占计划工作的计划外工作的成本。跟踪每个流动期间有多少被事件占去,并把反复出现的事件视为所属团队的待办项。使回滚迅速的发布实践缩短恢复,所以事件时间在一定程度上是一项交付度量(见主题 2.9,运维工作与计划外工作)。

服务与运维团队

运维团队拥有时钟,也感受到目标的压力。他们应当公布时钟说明,审计暂停状态的使用,按优先级报告中位数和尾部百分位数,并保留一份每周更新的最老未关闭事件清单。值班负荷和告警质量塑造了确认和检测时间,所以要把它们放在一起看(见主题 5.7,琐务与值班指标)。

领导层与治理

领导层应当问哪个阶段最慢、正在对此做什么,而不是为什么一个数字是红的。他们应当期望百分位数报告、任何速度度量旁边的持久性度量,以及定义变化时的说明。对监控、运行手册和问题工作的资助,常常比对响应人员施压的回报更大,因为它减少了响应人员无法控制的延迟。

客户与用户

用户体验的是等待、沟通的质量,以及问题是否再次出现。他们很少看到阶段的名称。给他们一个诚实的首次响应,告诉他们预期什么,并按计划更新。他们的调查评论和重复联系,是检查工单时钟是否说真话的最佳办法。

实践:一个敏捷 ITIL 示例

一家中型在线零售商运营着一个订单平台、一个客户账户服务和一个内部仓库系统。产品团队拥有自己的服务,并与一个小型运维组共享值班轮换。本示例中的所有数字都是示意数字。

领导层为二级事件设定了"平均解决时间在四小时以内"的目标。第一个季度,仪表板显示平均值为 3.8 小时,目标似乎已达成。仓库员工说,有些中断似乎持续了一整天。运维负责人把该季度的 41 起二级事件(示意数字)画出来,发现中位数是 1.5 小时,第 95 百分位数是 11 小时。三起事件占了长尾的大部分。

她追溯这三起长事件。每一起大部分时间都处于"等待供应商"或"等待客户"。其中两起,在原事件"超期"时,工单被关闭并作为新事件重新提出,这重置了时钟。第三起涉及两天内团队之间的四次重新分派。对关闭备注的抽样显示,在评审的 30 张工单中有 6 张(示意数字)是在联系用户的一次尝试之后就关闭的。

团队作出四项改变。他们在事件表单中增加了影响开始字段和恢复时间戳。他们按优先级报告中位数、第 85 和第 95 百分位数,以及每周最老的未关闭事件。他们在同一页上显示处于暂停状态的时间占比和复发率。他们把重新提出的工单关联到原始工单,使年龄得以延续。

在下一次评审时,头条平均值已升到 4.6 小时,因为重新提出的工单现在被完整计入。团队向领导层把这次上升解释为修正。第 95 百分位数和最老的未关闭工单现在是他们着力的数字,而重新分派次数指向订单服务与仓库系统之间的路由缺口。他们约定增加一个共享的值班别名,并在下个季度评审效果,而不是立即设定新目标。

行业视角

初创企业。数量低,所以百分位数有噪声,画出每起事件比汇总更好。一个人往往既检测、又响应、又恢复,所以阶段分离不如每起事件的书面时间线重要。给每份事件后的书面复盘增加影响开始的说明,并在事件够多后计算简单的中位数。

小型企业。托管服务提供商或一位 IT 多面手可能处理事件,提供商的合同可能规定响应和解决目标。仔细阅读合同的时钟,因为它们常与用户的体验不同。对重要的事件保留一份简短的影响开始和恢复的日志,并向提供商索要底层记录,因为汇总数字隐藏了时钟。

大型企业。众多团队、供应商和优先级方案,使比较既诱人又有误导性。在整个组织内标准化时钟定义和优先级含义,发布分布而不是平均值,并按服务分段。留意暂停状态的漂移和重新分类,它们随报告层次的增多而增长。

政府与公共部门。合同、法定报告和审计可能固定时钟和优先级的定义。如其所写地履行这些义务,并在旁边保留第二个面向用户的视图,使合规不会隐藏糟糕的体验。对定义以及时钟规则变化时的更正保持公开(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

本主题的成本主要是设计和纪律。写时钟说明需要几个小时,增加影响开始字段和恢复时间戳需要一些配置,构建百分位数报告需要适度的工作。当 ITSM 工具或监控平台已经保存了时间戳时,提取是一次性的任务。经常性的成本是每月一次评审和每季度一次已关闭事件的抽样。

回报来自更好的决定和更少的返工。分布报告显示一项改进是否奏效,阶段报告把力气引向真实的延迟,比如交接、检测缺口或供应商等待。持久性度量防止快速补丁的虚假节省,那些补丁会作为重复事件回来。度量你自己一个季度的基线,作一项改变,然后比较分布。

反模式与陷阱

  • 执行层仪表板上的单一 MTTR。偏态数据的平均值会误导。显示中位数、一个高百分位数和最老未关闭事件,并说明每个点背后有多少事件。
  • 混合优先级和服务。构成的变化看起来像绩效的变化。按优先级和服务分段,并显示构成。
  • 用暂停状态停掉时钟。时间消失在"等待"和"搁置"之中。列出允许的状态,要求写明理由,并报告在各状态中所花时间的占比。
  • 关闭并重新提出工单。这重置了年龄,隐藏了长事件。把重新提出的工单关联到原始工单,并报告关联后的年龄。
  • 恢复与关闭使用同一个时间戳。团队随后会因过早关闭而受奖励,或因仔细的后续跟进而受惩罚。两者都记录并都报告。
  • 按解决时间给坐席或工程师排名。它奖励容易的工单和挑拣,打击互助和升级。只按团队和服务报告。
  • 有目标而没有持久性度量。明天就失败的快速补丁看起来像成功。在每个目标旁边显示复发和重开率。
  • 把小样本当作趋势。来自寥寥几起事件的第 95 百分位数是一种猜测。把单个事件画出来,等有更多数据再画线。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 每个人的度量方式不同;只有一个"解决时间" 部分团队写下了时钟;阶段部分分开 所有阶段一份时钟说明,列出暂停状态 评审定义,变更连同理由被记录 定义与供应商和客户对齐,在不再为决定提供依据时修订
数据质量 手工笔记;影响开始未知 有工单登记和关闭的工具时间戳 为优先级事件记录影响开始和恢复 通过抽样审计数据;标出估计值 监控和 ITSM 数据自动连接,并在各团队之间受到信任
统计实践 只有平均值 显示平均值和中位数 按优先级和服务的中位数和一个高百分位数 使用控制界限;持久性度量配对 分布与用户体验相联,并用于决定在哪里投资
在改进中的使用 数字被用来追人 团队看到自己的数字 团队每月评审阶段时间和等待 缓慢的阶段促成获得资助的改进工作 改进在团队和供应商之间共享,度量不断演进

检查清单

  • 每个阶段(检测、确认、响应、恢复、解决)都有书面的起点、终点和暂停规则。
  • 为优先级事件,把影响开始和恢复时间记录为独立的字段。
  • 报告按优先级和服务显示中位数和一个高百分位数。
  • 显示每个被报告的点背后的事件数。
  • 每周列出最老的未关闭事件。
  • 暂停状态是一份简短的具名清单,并报告其时间占比。
  • 在每项时间度量旁边显示重开率和复发。
  • 重新提出的工单关联到原始工单,使年龄得以延续。
  • 没有任何时间度量被用来给个别坐席或工程师排名。
  • 每季度阅读一批已关闭事件的样本,检查其是否诚实。
  • 在工单数据旁边阅读客户调查评论。

AI 提示词

比较我们事件持续时间的平均值和百分位数。

我将粘贴[服务或团队]在[期间]的事件记录。字段:[字段清单,例如登记时间、影响开始、
恢复时间、关闭时间、优先级、状态历史]。请按[优先级]计算[阶段名称,例如恢复时间]
的中位数、第 85 百分位数、第 95 百分位数和平均值,并显示每个数字背后有多少事件。
描述平均值与中位数相差多远,以及哪些事件造成了这个差异。不要编造数据或基准值。
列出你的假设、你排除的行,以及数据无法告诉你的任何事。

[粘贴事件数据,已去除个人数据]

为我们的事件时间度量起草时钟说明。

请为[团队名称]起草一份时钟说明,涵盖检测时间、确认时间、首次响应时间、恢复时间
和解决时间。我们的 ITSM 工具是[工具名称],监控是[监控工具],状态工作流是[状态
清单]。对每个阶段,给出起始事件、停止事件、暂停状态、时间基准([日历或工作时间])、
排除项,以及一个操纵途径和护栏。标出每一个你不得不假设的项,并列出我应当回答哪些
问题才能完成这份说明。不要编造目标。

找出几起长事件中经过时间都去了哪里。

这是[服务]的[数量]起长事件的状态历史。对每起事件,列出在每个状态中所花的时间,
用这条规则标出活跃和等待状态:[哪些状态算活跃],并注明在[团队或小组]之间的每次
重新分派。报告各事件之间的模式,而不是个人,并建议哪个阶段值得先关注。不要猜测
数据没有显示的原因。列出你的假设,以及哪些额外字段会有帮助。

[粘贴状态历史,已去除个人数据]

对我们的事件时间目标进行操纵评审。

我们为[优先级或服务]报告[指标名称],定义为[含起始和停止事件的定义]。目标是
[目标],受众是[受众]。请列出这个数字在不帮到用户的情况下可能改善的现实方式,
例如暂停时钟、提前关闭、重新标注或重新提出工单。对每种方式,提出能发现它的护栏
度量或实践,并说明该护栏本身可能如何被操纵。不要编造基准或统计数据。列出你的
假设。

AI 技能

关键要点

  • 事件有阶段,每个阶段有自己的时钟、负责人和补救办法。说出你在度量的那个阶段。
  • 事件持续时间是偏态的,所以平均值会误导。报告中位数、一个高百分位数和最老未关闭事件的年龄。
  • 写下每个时钟从哪里开始和停止,把影响开始和恢复与工单关闭分开记录,并限制暂停状态。
  • 把每项速度度量与复发率和重开率等持久性度量配对。
  • 描述团队和服务,绝不描述个别坐席,并阅读已关闭事件的样本,检查数字是否诚实。

参考文献与延伸阅读

  1. Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  7. ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
  8. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  9. Wikipedia, Incident management.
  10. Wikipedia, ITIL.
  11. Wikipedia, Site reliability engineering.
  12. Wikipedia, Mean time to repair.
  13. Wikipedia, Service-level agreement.
  14. Wikipedia, Log-normal distribution.
  15. Wikipedia, Median.
  16. Wikipedia, Percentile.