事件响应与解决时间
事件的时间度量描述用户在每个阶段等待了多久,所以要把它们作为分布来报告,并写明时钟,绝不只报告单一平均值,并把每个速度数字与"修复是否站得住"的度量配对。
概述与动因
在 IT 服务管理(ITSM)中,事件是对服务的计划外中断,或服务质量的下降。事件管理是在安全的前提下尽快恢复正常服务的实践。在 ITIL 4 中,这项实践称为事件管理,位列 ITIL 框架的服务管理实践之中。它的敏捷对应物,是团队把计划外工作当作一等工作流来对待的习惯,以及来自站点可靠性工程(SRE,即用软件工程方法运行服务的学科)的值班和无责评审实践。
时间是描述事件最自然的方式,也是最常被误用的方式。单个事件要经过几个阶段。某样东西坏了,监控或用户注意到,某人确认了告警,有人开始工作,服务为用户恢复,在原因被处理或推迟之后工单被关闭。这些事件中任意两者之间的间隔,都是一项单独的度量,有单独的负责人、单独的延迟原因和单独的补救办法。把这一切统称为"解决时间",隐藏了延迟栖身何处。
本主题涵盖从头到尾追随一起事件的经过时间度量:检测时间、确认时间、首次响应时间、恢复时间和解决时间。它还涵盖未关闭事件的年龄、事件换手的次数,以及最广为人知的汇总指标,即平均恢复或解决时间(MTTR)的统计问题。计数、类别和优先级在别处讲述(见主题 3.2,事件数量与优先级)。大型和不寻常的事件有它们自己的度量(见主题 3.4,重大事件指标)。
本主题使用的术语
- 检测时间(TTD)。从故障开始影响用户,到组织通过监控或用户报告得知,所经过的时间。
- 确认时间(TTA)。从告警或工单被发起,到某位具名的人或团队接受所有权,所经过的时间。
- 首次响应时间。从事件被登记,到首次对受影响用户采取有意义的行动或发送信息,所经过的时间。自动回复不算。
- 恢复时间。从用户影响开始,到用户能再次使用该服务,所经过的时间,即使底层原因只是被绕过。
- 解决时间。从事件被登记,到事件因服务恢复且用户已确认或已得到合理的确认机会而被关闭,所经过的时间。
- 平均恢复或解决时间(MTTR)。这些时长之一在一组事件上的算术平均值。其中字母 R 取决于谁在说话,被读作修复、恢复、复原、解决或响应,这是这个缩写的第一个问题。平均修复时间的维基百科文章列出了这些变体。
- 服务级别协议(SLA)。服务级别协议是提供方与客户之间关于服务水平的承诺,通常包括按优先级的目标响应和解决时间。
为什么平均值是糟糕的汇总
事件持续时间不是对称的。大多数事件很短,少数非常长,而长的主导了任何平均值。这类持续时间常常可以用对数正态分布这样的右偏形状很好地描述。在偏态数据中,平均值可能远高于典型事件的样子,一次长时间的中断对它的移动,可能超过一个月的改进。
Google 的 SRE 团队发表了对这个问题的分析。它认为,对它所研究的事件数据集而言,事件持续时间的分散足够大,以至于 MTTR 可能隐藏真实的改进,或显示出只是噪声的变化,并建议转而查看分布(Davidovič,2021,见参考文献)。这一推理依赖于众所周知的统计学,所以你可以在自己的数据上检验它,而不必相信任何人的结论:画出你的事件持续时间,计算平均值和中位数,看两者相差多远(见主题 1.6,服务指标的统计素养)。
替代办法是百分位数。中位数说明典型用户等了多久。第 85 或第 95 百分位数说明运气不好的那些人等了多久。客户记住的是漫长的等待,而不是平均值,所以像"此优先级十起事件中有九起在所述时间内恢复"这样的百分位承诺,比平均值更符合他们的体验。
ITIL 与敏捷的视角有何不同
ITIL 的视角往往从优先级和目标出发。影响和紧急程度设定优先级,优先级设定目标响应和解决时间,服务级别协议可能为未达标附加后果。这有条不紊,也易于审计,但容易招致目标所招来的操纵(见主题 1.2,古德哈特定律与指标心理学)。
敏捷与 SRE 的视角从用户影响和流动出发。它问团队多快限制了危害,一起事件的经过时间中有多少是积极的工作、有多少是等待,以及团队学到了什么。它偏好影响的度量(受影响的用户、服务降级的分钟数),而不是工单状态的度量,并把工单时钟视为方便但不完美的替代。两种视角是相容的。用 ITIL 的优先级结构来决定度量什么、为谁度量,用流动和影响的思维来判断这个数字是否有意义。
关键原则
- 说出阶段,而不是"解决"。检测、确认、响应、恢复和解决是不同的问题,有不同的负责人。以各自的名称报告每一个。
- 把两个时钟都写下来。每项时间度量都说明哪个事件启动它、哪个事件停止它、哪些状态暂停它。大多数操纵都藏在这些边界里。
- 报告分布。显示中位数、一个高百分位数和最老未关闭事件的年龄。避免孤立的平均值,偏态数据使它不可靠。
- 把恢复与关闭分开度量。用户关心的是服务何时回来。工单可以稍后在原因被处理之后关闭。
- 把速度与持久性配对。第二天又被同一事件推翻的快速恢复不是改进。在每项时间度量旁边显示复发率和重开率。
- 描述团队、服务和系统。绝不按响应或解决时间给个别坐席或工程师排名。
- 先分段,再比较。同类相比,按优先级和服务,因为混合的数字把密码重置与数据库故障混在了一起。
指标定义
每一行都说明其时钟。日历时间与工作时间是不同的:说明你用的是哪一个。使用百分位数的度量,表中给出第 50 和第 95 百分位数,团队可以加上第 85。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 检测时间 | 在组织得知之前,故障影响用户多久 | 时钟在用户影响的第一刻启动(取自监控数据,或评审中记录的已确认影响开始时间);在首个告警或用户报告时停止。按服务报告中位数和第 95 百分位数。没有已知开始时间的事件被计数并单独报告,不被丢弃 | 分钟 | 监控和告警平台;带影响开始字段的事件记录 | 事件管理;监控与事态管理 | 可观测性和告警质量工作(见主题 5.5,监控与告警质量指标) | 每月 |
| 确认时间 | 发起的告警或工单在有人认领之前等待多久 | 时钟在告警触发或工单登记时启动;在某位具名的人或团队接受它时停止。自动分派不会停止时钟。按优先级报告中位数和第 95 百分位数 | 分钟 | 寻呼工具;ITSM 工具分派历史 | 事件管理;服务台 | SRE 轮值中的值班响应 | 每月 |
| 首次响应时间 | 用户等待第一个有用的人工答复多久 | 时钟在事件被登记时启动;在首条针对该报告的人工消息或行动时停止。自动确认和模板化回执被排除。说明工作时间时钟 | 分钟或工作小时 | ITSM 工具的沟通日志 | 服务台;事件管理 | 对用户的及时反馈,如工作约定中所述 | 每周 |
| 恢复时间 | 用户有多久没有可用的服务 | 时钟在用户影响开始时启动;在用户能再次使用服务时停止,包括通过变通办法或回滚。稍后修复的原因不会延长它。按优先级和服务报告中位数和第 95 百分位数 | 分钟或小时 | 带影响开始和恢复时间戳的事件记录;监控 | 事件管理 | DORA 术语中的平均恢复时间,读作分布(见主题 2.8,DORA 指标) | 每月 |
| 解决时间 | 事件记录在被关闭之前开着多久 | 时钟在事件被登记时启动;在恢复及用户确认或合理等待之后被关闭时停止。处于"等待客户"的时间显示为单独报告的占比,不从头条数字中扣除。按优先级报告中位数和第 95 百分位数 | 小时或工作小时 | ITSM 工具状态历史 | 事件管理 | 计划外工作的周期时间(见主题 2.2,前置时间、周期时间与流动效率) | 每月 |
| 最老未关闭事件的年龄 | 最久未关闭的事件已经开了多久 | 对每个未关闭事件,现在减去登记时间,按优先级列出最老的几个。不扣除暂停状态 | 天 | ITSM 工具的未关闭事件清单 | 事件管理 | 团队看板上的工作项年龄(见主题 2.1,流动度量) | 每周 |
| 活跃时间占比 | 事件的经过时间中花在积极工作而不是等待上的比例 | 处于活跃状态的时间之和 / 从登记到关闭的总时间,针对该期间关闭的事件。活跃状态指有人正在处理事件的状态;等待状态在定义中列出 | 百分比 | ITSM 工具状态历史 | 事件管理 | 流动效率(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 |
| 重新分派次数 | 事件在恢复之前换了多少次所属团队 | 从登记到恢复期间分派组的变更次数,汇总为中位数和有三次或更多次变更的事件占比。按服务和优先级计,绝不按坐席计 | 计数 | ITSM 工具分派历史 | 事件管理;服务台 | 交接次数(见主题 9.3,协作与交接指标) | 每月 |
关于数据的两点说明。第一,恢复时间只和它的起点一样好。许多事件记录捕获的是某人敲入工单的时间,它可能比真正的影响开始晚好几个小时。如果你的工具没有影响开始字段,就增加一个,并把估计的开始时间视为估计(见主题 1.5,数据来源与埋点)。第二,在比较各期间时,保持相同的优先级定义,否则趋势线反映的将是重新分类。
建议
定义时钟
1. 为每项时间度量写一份时钟说明。对每个阶段,列出起始事件、停止事件、暂停时钟的状态、时间基准(日历或工作时间)以及排除项。把它保存在指标登记册中(见主题 1.4,指标治理与归属)。
2. 把恢复与关闭分开。把服务为用户恢复的时间记录为独立的时间戳,与工单关闭的时间分开。恢复是用户感受到的,而关闭包括验证、文档记录和原因处理。对两者使用同一个时间戳的团队,会因过早关闭而受奖励,或因仔细的后续跟进而受惩罚。
3. 记录影响开始,而不只是登记时间。请响应人员填写用户首次感受到影响的时间,尽可能使用监控数据。当是估计值时,把该字段标出。没有它,检测时间毫无意义,恢复时间也会因缺少它而失真。
4. 限制暂停状态并报告它们的使用。等待客户或供应商有时是正当的。允许一份简短的具名暂停状态清单,要求写明理由,并显示在每种状态中所花的事件时间占比。暂停时间占比上升,是漂移的迹象,而不是速度的迹象。
诚实地报告
5. 用中位数和一个高百分位数取代平均值。按优先级,以时间序列显示每个阶段的第 50 和第 95 百分位数。显示每个点背后的事件数,因为基于十起事件的百分位数是一个薄弱的数字。在计数较少之处,把单个事件画成点,不画汇总线。
6. 显示最老未关闭事件的年龄。已关闭事件持续时间的图表,看不见仍然未关闭的事件,而它们是最糟的。每周按优先级列出最老的未关闭事件。不真正完成工作就很难改善这一项,所以它是任何解决时间图表的有益同伴。
7. 按优先级和服务分段。当构成向复杂事件偏移时,即使每一类事件都被处理得更快,混合的解决时间也会上升。在一个优先级之内、一项服务之内比较,并在时间旁边显示构成(见主题 3.2,事件数量与优先级)。不要从构成发生变化的月份得出结论。
8. 用控制界限区分信号与噪声。事件持续时间逐周变化很大,却没有什么改变。依据稳定期间计算界限的控制图,显示一次转变何时大到值得解释(见主题 1.6,服务指标的统计素养)。
把速度与持久性配对
9. 在每项时间度量旁边显示重开率和复发率。重开率是在规定窗口内被重新打开的事件占比。复发是同一服务和症状在窗口内再次出现。如果恢复时间下降而复发上升,团队是在应用快速补丁。把复发的事件送到问题管理(见主题 4.1,问题管理指标)。
10. 度量等待和交接,因为时间都去了那里。对大多数服务,一起事件的经过时间中,很多是在等待某个人、某个决定或某个供应商,而不是在工作。活跃时间占比和重新分派次数显示该看哪里。解决时间漫长的补救办法,往往是更清晰的路由规则或共享的值班,而不是更快地打字。
11. 对百分位数设目标,并有人在环中把关。如果需要目标,就把它表述为某个优先级的百分位承诺,例如"十起二级事件有九起在所述时间内恢复",并与将要达成它的人一起约定。把违反当作关于系统的问题来评审,而不是值班人的过错(见主题 5.1,SLA、OLA 与 XLA 指标)。
12. 询问用户的体验。对已关闭事件样本做简短调查并阅读评论,会说明这个数字是否符合等待的感受。用户往往更在乎及时的沟通,而不是恢复的确切分钟(见主题 6.1,客户满意度指标)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 检测时间 | 把影响开始设得比实际晚;放宽告警阈值,使更少的故障算作事件;只统计监控抓到的事件 | 首先由用户而不是监控报告的事件占比;对照监控数据定期评审影响开始的估计 |
| 确认时间 | 自动分派或自动确认以停止时钟;确认告警之后却什么也不做 | 同一批事件的首次响应时间和恢复时间;抽查被确认后没有后续活动的告警 |
| 首次响应时间 | 发送模板化或一个词的回复以停止时钟 | 评审首次回复样本是否有实质内容;重复联系和调查评论 |
| 恢复时间 | 在用户能使用之前就宣布服务已恢复;通过压制症状来恢复;把中断登记为计划内维护 | 窗口内的复发;恢复时间之后用户报告的影响;事后被重新标注的事件占比 |
| 解决时间 | 把工单移到"等待客户"或"搁置";在一次联系尝试后关闭;把事件拆成子项,以便提前关闭父项 | 处于暂停状态的时间占比;重开率;最老未关闭事件的年龄;阅读关闭备注的样本 |
| 最老未关闭事件的年龄 | 关闭并重新提出最老的工单;把它重新归类为问题或请求,以将其从清单中移除 | 把重复项关联到原始记录并报告关联年龄;每个期间转为问题或请求的事件计数 |
| 活跃时间占比 | 记录简短而无意义的工作,把时间标为活跃;不付出力气就移入活跃状态 | 把活跃时间与恢复时间等成果比较;抽查工作备注 |
| 重新分派次数 | 在同一个团队内重开,而不是传递出去;通过旁路渠道传递工作,使工具里没有交接 | 恢复时间和用户满意度;定期观察工作如何在团队之间移动 |
健康的读数显示:中位数和尾部百分位数一同变化,暂停时间占比小而稳定,由用户首先报告的事件很少,复发在下降,调查评论与工单数据相符。对单独到来的头条改善,把它视为进行一次操纵评审的提示。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 平均恢复时间 | 熟悉;一个数字;易于画趋势 | 被少数几起长事件主导;隐藏真实变化;不适合小样本 |
| 中位数加一个高百分位数 | 描述典型和运气不好的体验;抗异常值 | 需要足够多的事件;有两个数字需要解释 |
| 画出每起事件 | 显示完整的形状和异常值;在低数量时诚实 | 在高数量时更难读;需要有人主持 |
| 按优先级设目标 | 期望清晰;支持合同和升级 | 招致重新分类和暂停时钟;可能把力气推向目标边界 |
| 工单时钟度量 | 便宜,每个 ITSM 工具都有 | 度量的是工单,而不是用户的体验;对状态工作流敏感 |
| 基于影响的度量 | 接近用户的感受;抗工单把戏 | 需要监控数据和影响开始字段;更难审计 |
务实的答案是保留工单时钟,因为每个工具都有它,在监控允许之处增加基于影响的恢复时间戳,并对两者都使用分布。平均值作为对一大组单一、稳定、相似事件的粗略描述是可以接受的,但它决不能是页面上唯一的数字。
与团队讨论的问题
1. 对我们来说,一起事件的哪个阶段耗时最长?我们怎么知道? 在板上画出事件时间线,标出从影响开始到关闭的各阶段。取最近十起事件,用工具数据和响应人员的记忆标出每个阶段耗时多久。主持人应寻找时间聚集的那个阶段,往往是等待一次交接或一个决定,而不是技术工作。约定哪个阶段值得先关注。
2. 我们的时钟从哪里开始、在哪里停止?是谁决定的? 请每个人说出他们认为事件何时"开始"、何时"结束"。答案会有所不同,而差异就是发现。把它们与工具中的字段和状态工作流比较。把约定的定义记录在指标登记册里,并注明工具尚不能支持之处。
3. 我们的中位数和第 95 百分位数,会显示平均值所隐藏的什么? 会议前,按优先级计算上个季度事件的平均值、中位数和第 95 百分位数。并排展示,并画出持续时间。问团队会从每一个得出什么结论。主持人应注意是否有一两起事件移动了平均值,并讨论团队是否相信中位数代表了典型用户的等待。
4. 我们花在等待而不是工作上的时间有多少?为什么? 挑三起长事件,追踪它们的状态历史。统计处于活跃状态的小时数和处于等待状态的小时数,并记下在等待谁或什么。问哪些等待可以通过一个决定、更清晰的升级路径或共享的值班来缩短。
5. 如果被要求把解决时间削减四分之一,我们会怎么做而不帮到用户? 这是缩微版的操纵评审。列出每一种不改善服务就能改善数字的做法,比如暂停时钟、提前关闭,或重新标注优先级。对每种做法,问护栏能否发现。这份清单是你操纵途径一栏的开端,并显示定义需要在哪里收紧。
6. 我们怎么知道更快的恢复是真实的? 要求拿出证据:复发、重开、用户评论,以及之后具有相同症状的任何事件。看一项最近的改进,问一个月后它是否站住了。主持人应引导小组朝向持久的修复。最后决定哪一项持久性度量加入仪表板。
四种视角
产品与交付团队
运行自己服务的产品团队,把事件时间视为挤占计划工作的计划外工作的成本。跟踪每个流动期间有多少被事件占去,并把反复出现的事件视为所属团队的待办项。使回滚迅速的发布实践缩短恢复,所以事件时间在一定程度上是一项交付度量(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队拥有时钟,也感受到目标的压力。他们应当公布时钟说明,审计暂停状态的使用,按优先级报告中位数和尾部百分位数,并保留一份每周更新的最老未关闭事件清单。值班负荷和告警质量塑造了确认和检测时间,所以要把它们放在一起看(见主题 5.7,琐务与值班指标)。
领导层与治理
领导层应当问哪个阶段最慢、正在对此做什么,而不是为什么一个数字是红的。他们应当期望百分位数报告、任何速度度量旁边的持久性度量,以及定义变化时的说明。对监控、运行手册和问题工作的资助,常常比对响应人员施压的回报更大,因为它减少了响应人员无法控制的延迟。
客户与用户
用户体验的是等待、沟通的质量,以及问题是否再次出现。他们很少看到阶段的名称。给他们一个诚实的首次响应,告诉他们预期什么,并按计划更新。他们的调查评论和重复联系,是检查工单时钟是否说真话的最佳办法。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个订单平台、一个客户账户服务和一个内部仓库系统。产品团队拥有自己的服务,并与一个小型运维组共享值班轮换。本示例中的所有数字都是示意数字。
领导层为二级事件设定了"平均解决时间在四小时以内"的目标。第一个季度,仪表板显示平均值为 3.8 小时,目标似乎已达成。仓库员工说,有些中断似乎持续了一整天。运维负责人把该季度的 41 起二级事件(示意数字)画出来,发现中位数是 1.5 小时,第 95 百分位数是 11 小时。三起事件占了长尾的大部分。
她追溯这三起长事件。每一起大部分时间都处于"等待供应商"或"等待客户"。其中两起,在原事件"超期"时,工单被关闭并作为新事件重新提出,这重置了时钟。第三起涉及两天内团队之间的四次重新分派。对关闭备注的抽样显示,在评审的 30 张工单中有 6 张(示意数字)是在联系用户的一次尝试之后就关闭的。
团队作出四项改变。他们在事件表单中增加了影响开始字段和恢复时间戳。他们按优先级报告中位数、第 85 和第 95 百分位数,以及每周最老的未关闭事件。他们在同一页上显示处于暂停状态的时间占比和复发率。他们把重新提出的工单关联到原始工单,使年龄得以延续。
在下一次评审时,头条平均值已升到 4.6 小时,因为重新提出的工单现在被完整计入。团队向领导层把这次上升解释为修正。第 95 百分位数和最老的未关闭工单现在是他们着力的数字,而重新分派次数指向订单服务与仓库系统之间的路由缺口。他们约定增加一个共享的值班别名,并在下个季度评审效果,而不是立即设定新目标。
行业视角
初创企业。数量低,所以百分位数有噪声,画出每起事件比汇总更好。一个人往往既检测、又响应、又恢复,所以阶段分离不如每起事件的书面时间线重要。给每份事件后的书面复盘增加影响开始的说明,并在事件够多后计算简单的中位数。
小型企业。托管服务提供商或一位 IT 多面手可能处理事件,提供商的合同可能规定响应和解决目标。仔细阅读合同的时钟,因为它们常与用户的体验不同。对重要的事件保留一份简短的影响开始和恢复的日志,并向提供商索要底层记录,因为汇总数字隐藏了时钟。
大型企业。众多团队、供应商和优先级方案,使比较既诱人又有误导性。在整个组织内标准化时钟定义和优先级含义,发布分布而不是平均值,并按服务分段。留意暂停状态的漂移和重新分类,它们随报告层次的增多而增长。
政府与公共部门。合同、法定报告和审计可能固定时钟和优先级的定义。如其所写地履行这些义务,并在旁边保留第二个面向用户的视图,使合规不会隐藏糟糕的体验。对定义以及时钟规则变化时的更正保持公开(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
本主题的成本主要是设计和纪律。写时钟说明需要几个小时,增加影响开始字段和恢复时间戳需要一些配置,构建百分位数报告需要适度的工作。当 ITSM 工具或监控平台已经保存了时间戳时,提取是一次性的任务。经常性的成本是每月一次评审和每季度一次已关闭事件的抽样。
回报来自更好的决定和更少的返工。分布报告显示一项改进是否奏效,阶段报告把力气引向真实的延迟,比如交接、检测缺口或供应商等待。持久性度量防止快速补丁的虚假节省,那些补丁会作为重复事件回来。度量你自己一个季度的基线,作一项改变,然后比较分布。
反模式与陷阱
- 执行层仪表板上的单一 MTTR。偏态数据的平均值会误导。显示中位数、一个高百分位数和最老未关闭事件,并说明每个点背后有多少事件。
- 混合优先级和服务。构成的变化看起来像绩效的变化。按优先级和服务分段,并显示构成。
- 用暂停状态停掉时钟。时间消失在"等待"和"搁置"之中。列出允许的状态,要求写明理由,并报告在各状态中所花时间的占比。
- 关闭并重新提出工单。这重置了年龄,隐藏了长事件。把重新提出的工单关联到原始工单,并报告关联后的年龄。
- 恢复与关闭使用同一个时间戳。团队随后会因过早关闭而受奖励,或因仔细的后续跟进而受惩罚。两者都记录并都报告。
- 按解决时间给坐席或工程师排名。它奖励容易的工单和挑拣,打击互助和升级。只按团队和服务报告。
- 有目标而没有持久性度量。明天就失败的快速补丁看起来像成功。在每个目标旁边显示复发和重开率。
- 把小样本当作趋势。来自寥寥几起事件的第 95 百分位数是一种猜测。把单个事件画出来,等有更多数据再画线。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 每个人的度量方式不同;只有一个"解决时间" | 部分团队写下了时钟;阶段部分分开 | 所有阶段一份时钟说明,列出暂停状态 | 评审定义,变更连同理由被记录 | 定义与供应商和客户对齐,在不再为决定提供依据时修订 |
| 数据质量 | 手工笔记;影响开始未知 | 有工单登记和关闭的工具时间戳 | 为优先级事件记录影响开始和恢复 | 通过抽样审计数据;标出估计值 | 监控和 ITSM 数据自动连接,并在各团队之间受到信任 |
| 统计实践 | 只有平均值 | 显示平均值和中位数 | 按优先级和服务的中位数和一个高百分位数 | 使用控制界限;持久性度量配对 | 分布与用户体验相联,并用于决定在哪里投资 |
| 在改进中的使用 | 数字被用来追人 | 团队看到自己的数字 | 团队每月评审阶段时间和等待 | 缓慢的阶段促成获得资助的改进工作 | 改进在团队和供应商之间共享,度量不断演进 |
检查清单
- 每个阶段(检测、确认、响应、恢复、解决)都有书面的起点、终点和暂停规则。
- 为优先级事件,把影响开始和恢复时间记录为独立的字段。
- 报告按优先级和服务显示中位数和一个高百分位数。
- 显示每个被报告的点背后的事件数。
- 每周列出最老的未关闭事件。
- 暂停状态是一份简短的具名清单,并报告其时间占比。
- 在每项时间度量旁边显示重开率和复发。
- 重新提出的工单关联到原始工单,使年龄得以延续。
- 没有任何时间度量被用来给个别坐席或工程师排名。
- 每季度阅读一批已关闭事件的样本,检查其是否诚实。
- 在工单数据旁边阅读客户调查评论。
AI 提示词
比较我们事件持续时间的平均值和百分位数。
我将粘贴[服务或团队]在[期间]的事件记录。字段:[字段清单,例如登记时间、影响开始、
恢复时间、关闭时间、优先级、状态历史]。请按[优先级]计算[阶段名称,例如恢复时间]
的中位数、第 85 百分位数、第 95 百分位数和平均值,并显示每个数字背后有多少事件。
描述平均值与中位数相差多远,以及哪些事件造成了这个差异。不要编造数据或基准值。
列出你的假设、你排除的行,以及数据无法告诉你的任何事。
[粘贴事件数据,已去除个人数据]
为我们的事件时间度量起草时钟说明。
请为[团队名称]起草一份时钟说明,涵盖检测时间、确认时间、首次响应时间、恢复时间
和解决时间。我们的 ITSM 工具是[工具名称],监控是[监控工具],状态工作流是[状态
清单]。对每个阶段,给出起始事件、停止事件、暂停状态、时间基准([日历或工作时间])、
排除项,以及一个操纵途径和护栏。标出每一个你不得不假设的项,并列出我应当回答哪些
问题才能完成这份说明。不要编造目标。
找出几起长事件中经过时间都去了哪里。
这是[服务]的[数量]起长事件的状态历史。对每起事件,列出在每个状态中所花的时间,
用这条规则标出活跃和等待状态:[哪些状态算活跃],并注明在[团队或小组]之间的每次
重新分派。报告各事件之间的模式,而不是个人,并建议哪个阶段值得先关注。不要猜测
数据没有显示的原因。列出你的假设,以及哪些额外字段会有帮助。
[粘贴状态历史,已去除个人数据]
对我们的事件时间目标进行操纵评审。
我们为[优先级或服务]报告[指标名称],定义为[含起始和停止事件的定义]。目标是
[目标],受众是[受众]。请列出这个数字在不帮到用户的情况下可能改善的现实方式,
例如暂停时钟、提前关闭、重新标注或重新提出工单。对每种方式,提出能发现它的护栏
度量或实践,并说明该护栏本身可能如何被操纵。不要编造基准或统计数据。列出你的
假设。
AI 技能
- 敏捷 ITIL 指标技能:用于为你即将报告的事件时间度量,查找相关主题和配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查对本主题的变更是否使模板、操纵表和交叉引用保持一致。
关键要点
- 事件有阶段,每个阶段有自己的时钟、负责人和补救办法。说出你在度量的那个阶段。
- 事件持续时间是偏态的,所以平均值会误导。报告中位数、一个高百分位数和最老未关闭事件的年龄。
- 写下每个时钟从哪里开始和停止,把影响开始和恢复与工单关闭分开记录,并限制暂停状态。
- 把每项速度度量与复发率和重开率等持久性度量配对。
- 描述团队和服务,绝不描述个别坐席,并阅读已关闭事件的样本,检查数字是否诚实。
参考文献与延伸阅读
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.