琐务与值班指标
一项服务的可靠程度,取决于照看它的轮班,所以要对整个轮班度量被打断的次数、夜间的负荷,以及消耗在重复性手工工作上的时间占比,并用这些数字去资助预防和自动化,绝不用来比较个人。
概述与动因
可靠性常被描述为系统的属性:可用性、延迟、错误率。在每一项于深夜仍有用户的服务背后,都有一个在系统失败时作出响应的人的系统。这个人的系统有其极限。被呼叫得太频繁、叫醒太多人、或一周大部分时间花在手工重复任务上的轮班,会变慢,会犯更多错误,最终会失去人。第 5 部分的其他指标,直到把它们维系在一起的人离开的那一刻,看上去都可能是健康的。
两个思想组织了本主题。第一个是值班工作:一个轮班的人,在正常工作模式之外保持可联系,并随时准备响应告警。呼叫是打断响应者的告警,通常通过呼叫器、电话或推送通知。班次是一段值班职责,例如一天、一周或一夜。轮班是轮流承担班次的一组人。第二个思想是琐务,这是站点可靠性工程(SRE)的一个术语,SRE 是用软件工程方法运行服务的学科。在 Google 的《站点可靠性工程》一书中,琐务是与运行生产服务相关的运维工作,它往往是手工的、重复的、可自动化的、战术性的、没有持久价值的,并且随服务同步增长。它与会议之类的开销不是一回事,也不仅仅是某人不喜欢的工作。
ITIL 4 没有一项叫作"琐务管理"的实践。相关材料分布在若干实践中。事件管理和监控与事件管理产生呼叫。问题管理消除不断产生它们的原因。服务请求管理和部署管理产生大部分重复的手工工作。劳动力与人才管理以及持续改进,拥有人的一面。敏捷的对应物,是团队关于计划外工作和可持续节奏的工作协议,以及 DevOps 的习惯:构建服务的团队也要为它承担一部分呼叫器。
这里的度量关乎负荷和可持续性。事件处理属于其他主题(见主题 3.3,事件响应与解决时间,以及主题 3.4,重大事件指标),单条告警的质量也一样(见主题 5.5,监控与告警质量指标)。本主题问的是,让服务保持运行,对轮班中的人付出了什么代价,以及这个代价是否可持续。
为什么这属于可靠性
疲劳有运营上的后果。睡眠剥夺会降低判断力和反应时间,在事件开始时就疲倦的响应者,诊断它要花更长的时间,在修复第一个错误时更可能犯第二个错误。警报疲劳是告警过多带来的相关效应:人们不再把每一条都当作紧急的。职业倦怠是持续过载的长期结果,它表现为人员流失、生病和脱离投入,这些是缓慢的、昂贵的、难以逆转的。度量服务可靠性却不度量其轮班可持续性的团队,只在观察结果,而忽视了原因的一部分。
本主题描述轮班、班次和服务,绝不给个人排名。ITIL 的视角从事件和服务出发,SRE 的视角从人时成本出发,敏捷的视角从计划内工作的容量出发。
关键原则
- 度量轮班,而不是人。按服务、班次和轮班位置报告负荷。一个人的呼叫数取决于他抽到的班次,而排行榜会教会人们隐瞒被打断的情况。
- 既统计打断发生在何时,也统计持续多久。凌晨 3 点的五分钟呼叫,可能耗掉一整夜的睡眠。
- 狭义地定义琐务,并让团队来分类。琐务是一种特定类型的工作,不是"人们不喜欢的工作"的同义词。
- 把负荷当作投资的信号。高的呼叫量或琐务占比,是服务、工具或人员配置水平需要下功夫的证据。
- 把每项负荷度量与一项质量度量配对。只有事件仍被检测到,呼叫更少才是好消息。
- 显示分布,并先与轮班分享数据。平均班次隐藏了少数几个糟糕的夜晚,而值班的人是判断数字是否与他们的体验相符的最佳裁判。
指标定义
下表给出核心集合。每一项时间或计数度量,都说明它在何处开始和停止,以及排除了什么。"非工作时间"必须为每个轮班以本地时间写成一个窗口,包括周末和公共假日,因为分布式轮班中的人可能有不同的本地时间。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 每班呼叫数 | 一个班次期间送达轮班的呼叫数 | 班次开始到班次结束之间送达的呼叫数,每班次一个计数,在 5 分钟内合并同一告警组的重复呼叫之后(合并窗口是团队设置)。测试呼叫和误发的呼叫被排除。报告各班次的中位数和第 90 百分位数,加上最繁忙的班次 | 每班呼叫数 | 呼叫工具;值班排班表 | 事件管理;监控与事件管理 | 计划外工作政策;可持续的节奏 | 每周评审,每月趋势 |
| 非工作时间呼叫占比 | 在书面工作窗口之外到达的呼叫占比 | 该期间工作窗口之外送达的呼叫数 / 送达的全部呼叫数。窗口按轮班以本地时间设定;假日算作窗口之外 | 百分比 | 呼叫工具;轮班日历 | 事件管理;监控与事件管理 | 关于可用性的工作协议 | 每月 |
| 夜间打断率 | 一个班次在受保护的睡眠窗口内至少有一次呼叫的频率 | 在受保护的睡眠窗口(例如本地时间 22:00 到 07:00,由团队设定)内至少有一次呼叫的班次数 / 该期间的全部班次数。被自动确认、没有人工响应的呼叫被排除 | 班次的百分比 | 呼叫工具;确认日志 | 事件管理;劳动力与人才管理 | 可持续的节奏;团队健康检查 | 每月 |
| 琐务占时间的比例 | 轮班的工作时间中花在琐务上的占比 | 一个月内,轮班在被分类为琐务的工作上记录的小时数 / 轮班记录的总工作小时数。会议、培训和休假从分子和分母中都被排除。分类遵循琐务的六个特征,由团队应用 | 时间的百分比 | 工作跟踪器中的时间抽样或任务标签;团队分类评审 | 持续改进;部署管理;服务请求管理 | 计划外工作占比;计划内工作中的容量分配 | 每月,每季度评审分类 |
| 按来源的琐务 | 琐务小时数在手工重启、访问请求、证书续期和工单分诊等具名来源中的分布 | 每个来源的琐务小时数 / 总琐务小时数,列出前五个来源和一个"其他"组。排除项与琐务占时间的比例相同 | 按来源的琐务小时数百分比 | 工作跟踪器中的时间抽样或任务标签 | 问题管理;服务请求管理 | 改进项的待办 | 每季度 |
| 重复呼叫率 | 由在规定窗口内曾呼叫过轮班的状况所引起的呼叫占比 | 其告警组或原因代码与 30 天内较早的一次呼叫相匹配的呼叫数 / 该期间的全部呼叫数。原因代码由响应者在关闭时设置;未设置的代码单独报告 | 百分比 | 呼叫工具;事件记录的原因代码 | 问题管理;事件管理 | 回顾会议的行动;技术债务待办 | 每月 |
| 轮班深度 | 共同承担呼叫器的合格响应者数量,相对于要填补的角色数 | 完成了值班就绪培训并可参加班次的人数 / 每个轮班周期的班次位置数。休假和借调减少可用性。按轮班报告为比值,绝不按人 | 比值 | 轮班排班表;就绪检查清单 | 劳动力与人才管理 | 跨职能团队;技能矩阵 | 每季度 |
| 已消除的琐务 | 通过自动化或设计变更,从轮班的工作中移除的重复性琐务小时数 | 变更之前某个来源的预估每月琐务小时数 减去 变更之后的同一数字,在交付后至少两个周期内度量。一次性清理所节省的小时数被排除 | 每月小时数 | 前后的时间抽样;改进工单 | 持续改进;问题管理 | 已交付的改进项 | 每季度 |
呼叫数是打断次数,不是事件数:一起事件可以产生十几次呼叫。琐务占时间的比例取决于诚实的记录,所以把它视为约定的估计。
建议
在计数之前先定义术语
1. 写下什么算呼叫、班次和非工作时间。团队在同一个词下统计不同的东西。呼叫可能是任何通知、只有到达人的通知,或只有需要行动的通知。选定一个定义,说明重复项的合并窗口,并以本地时间记录工作窗口。没有这些,数字会在工具重新配置时发生变化,而趋势会误导。
2. 就什么是琐务达成一致,并用你自己服务中的例子。从 SRE 一书中的六个特征出发。写一份简短的例子和非例子清单,比如重启一个卡住的作业(琐务)、设计一个新的恢复工具(工程),以及一次计划会议(开销)。出现分歧时评审这份清单。
3. 选择你将如何度量琐务占比,并接受它的局限。廉价的选项有时间抽样、工作跟踪器中的任务标签,以及简短的双周估计。没有哪个是精确的,所以选开销最小的那个,运行一个季度,并更多地依据趋势而不是绝对值来判断。
度量轮班上的负荷
4. 把每班呼叫数报告为分布。平均班次隐藏了轮班所感受到的东西。显示中位数、第 90 百分位数和最繁忙的班次,并附一条关于那个班次发生了什么的说明。安静的中位数配上糟糕的尾部,意味着几个糟糕的夜晚,这是与持续忙碌的轮班不同的问题。关于阅读百分位数,见主题 1.6(服务指标的统计素养)。
5. 把时间放在数量旁边。非工作时间呼叫占比和夜间打断率显示负荷在何时落下。办公时间的五次呼叫是一种烦扰;午夜到凌晨 5 点之间的五次呼叫则是另一种代价。在同一页上显示两者。
6. 看班次之间的分布,而不是人与人之间的分布。某个反复出现的班次(例如周末或周一交接)收集了大部分呼叫的轮班,需要与负荷均匀的轮班不同的修复。报告按班次位置和日期的呼叫占比。当数据按具名个人报告时,要预料到它们会被当作排名来读,所以不要产生那种视图。
7. 把重大事件的负荷分开统计。一起重大事件在一个晚上产生的打断,可能多于一个普通的月份。把它报告为单独的一行,使一次事件不会扭曲趋势(见主题 3.4,重大事件指标)。
把负荷与原因和修复联系起来
8. 把呼叫关联到问题,并跟踪重复。重复呼叫率显示负荷中有多少来自已知的原因。较高的重复率,是对问题管理的论据,而不是对更快响应的论据。把重复最多的原因送入问题待办,并记录链接(见主题 4.1,问题管理指标,以及主题 4.6,技术债务与已知错误)。
9. 给琐务来源排序,并攻克最大的一个。按来源的琐务小时数的帕累托图,通常显示少数几个来源占据了大部分时间。挑出最大的,决定能否通过设计消除、自动化,或移交给拥有该原因的团队,并像功能工作那样安排它。偏好消除需求,而不是自动化这个步骤,因为自动化的步骤仍然要维护。
10. 度量已消除的琐务,而不是编写的自动化。没人使用的自动化什么也没有消除。在至少两个周期内度量前后的琐务小时数,并记录构建和维护自动化的工作量。这才是诚实的回报,并防止一个只增加脚本而不消除工作的"自动化"项目。关于用户对自动化的采用,见主题 3.7(自助服务与自动化指标)。
保持系统可持续
11. 在团队协议中设定轮班的限制,然后观察轮班深度。约定一个人可以多频繁地值班、可接受连续多少个夜晚,以及糟糕的一夜之后跟随什么休息。轮班深度显示轮班是否有足够的合格人员来满足约定的限制。名义上有八个人、实际上只有三个人的轮班(因为其他人尚未就绪或在休假),无论名册怎么写,都没有满足限制。
12. 用这些数字去请求某件具体的事。负荷数字支持一项请求:人员配置的变更、从功能工作中划出时间来偿还琐务、对告警阈值的更改,或一次弃用。把请求写在数字旁边,否则人们会停止记录(见主题 1.4,指标治理与归属)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 每班呼叫数 | 提高告警阈值或静音告警使计数下降;把不相关的告警合并成一次呼叫;把呼叫移到没人看的工单队列 | 监控漏掉的检测覆盖和客户报告的事件(见主题 5.5,监控与告警质量指标);检测时间(见主题 3.3,事件响应与解决时间) |
| 非工作时间呼叫占比 | 把工作窗口重新定义得更宽;重新安排作业和部署,使呼叫转移到办公时间却没有减少;把呼叫重新归类为"低紧急度" | 数量旁边显示占比;受变更控制的书面工作窗口;评审移动了什么 |
| 夜间打断率 | 把确认推迟到早上;自动确认呼叫;只统计到达人的呼叫 | 按小时的确认时间(见主题 3.3,事件响应与解决时间);没有人工响应的呼叫单独报告;夜间的客户影响 |
| 琐务占时间的比例 | 把琐务重新分类为"工程"或"项目工作";记录得比实际花费的少;只标记容易描述的 | 由轮班之外的人定期审计已分类的项目;团队自己对这一周感觉如何的看法;花在计划内改进工作上的时间占比 |
| 按来源的琐务 | 把一个大来源拆成几个小的,使没有一个显眼;让某个来源以"其他"的形式保持无名 | 对"其他"组设上限(例如低于琐务小时数的五分之一,这是团队设置);每季度抽样"其他"中的项目 |
| 重复呼叫率 | 每次都用新的原因代码关闭呼叫,使匹配被漏掉;把原因代码放宽到一切都不同;延长或缩短窗口 | 对样本的原因代码审计;同一告警组在各事件中的复发(见主题 4.1,问题管理指标) |
| 轮班深度 | 统计尚未完成就绪培训的人;统计很少可用的人;填充名册 | 名义池实际覆盖的班次占比;按位置的实际班次数,不带姓名报告;就绪检查清单的完成情况 |
| 已消除的琐务 | 把一次性清理算作重复性的节省;忽视构建和维护自动化的工作量;没有前后对比就宣称节省 | 在两个周期内度量前后的小时数;自动化的维护工作量;随后几个季度的琐务占时间的比例 |
健康的读数是:一个中位班次安静、最糟班次罕见的轮班,夜间呼叫很少,重复呼叫的占比在下降,而琐务占比之所以下降,是因为来源被消除了,不是因为被重新分类。它还显示出为达到这一步所做的努力:改进工作出现在计划中,获得资助并被交付。如果呼叫数下降,而客户报告了更多监控没有捕获的事件,那么这些数字就是通过转移视线而变好的。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 从呼叫工具统计呼叫 | 自动、廉价、难以争议 | 统计的是打断,不是其代价;调整告警会改变计数而不改变负荷 |
| 对琐务做时间抽样 | 以适度的工作量获得合理的准确性 | 需要纪律;小样本有噪声 |
| 轮班层面的报告 | 与工作的组织方式相符;可以安全地广泛分享 | 可能隐藏一个正在挣扎的人;需要旁边有一个支持性的交谈渠道 |
| 琐务的硬性上限(例如 SRE 一书中把琐务保持在时间 50% 以下的目标) | 触发响应的清晰信号 | 数字可以通过重新分类来满足;上限需要管理层的支持 |
核心的张力,在接受与投资之间。很容易把高负荷当作一项重要服务的正常代价,并要求人们承受,也很容易设定一个无人有权执行的上限。出路是把每项度量与一个决定配对:团队停下来采取行动的阈值、行动的指名负责人,以及再次查看的日期。轮班层面的数字是安全的,有时又太粗糙。当某个人在挣扎时,交谈属于这个人和他的经理,使用他们自己对这一周的叙述。
与团队讨论的问题
1. 上个季度我们最繁忙的班次感觉如何?数字对它说了什么? 先讲故事,再看图表。请当时值班的人描述那个班次,然后与每班呼叫数和夜间打断数字比较。如果数字低估了体验,就找出缺了什么,比如未记录的电话,或呼叫之后做的工作。把这份清单捕获为下一项度量改进。
2. 我们会说我们团队里什么是琐务,什么不是? 把五六项近期任务放在白板上,请每个人对照六个特征把它们分类为琐务、工程或开销。预期会有分歧,并把它视为有用的:分歧显示定义在哪里含糊。为下个季度约定一个工作定义,并为每一类写下两个例子。避免争论工作是否令人愉快,因为问题是它是否是手工的、重复的、可自动化的。
3. 如果可以的话,我们会先删除哪条告警或哪项任务? 请求每个人都害怕的那条告警或那项重复任务,然后问是什么阻止我们移除它:修复的成本、缺失的负责人,还是认为它是必需的。主持人应寻找移除成本低、而负责人又不在场的工作。最后为下一轮计划选定一项。
4. 今天实际上有多少人能值班?我们愿意承诺什么限制? 诚实地统计就绪情况:谁受过培训,谁可用,谁有约束。把结果与名义上的轮班规模比较。问小组认为可接受的值班频率和连续夜晚数是多少,然后检查当前的做法是否满足它。
5. 如果我们下个季度把呼叫数减半,我们怎么知道自己不是只是不再倾听了? 这个问题关乎护栏。请小组列出呼叫数在服务没有改善的情况下下降的方式,比如提高阈值、合并告警或忽略某个来源。然后问如果发生了那种情况,我们会在客户报告和检测度量中看到什么。约定护栏,并把它与数量放在同一页上。
6. 谁看到这些数字?我们希望他们用它们做什么? 追踪负荷度量从轮班到经理和领导层的路径。问每类受众可能得出什么结论,以及是否有任何视图可能被当作排名来读。约定向上汇报的形式:轮班层面的,附背景,附一项请求。注意任何关于个人可被识别的担忧。
四种视角
产品与交付团队
交付团队通过他们发布的变更,产生了大部分值班负荷。运行自己所构建之物的团队,能看到发布与随之而来的呼叫之间的联系。他们应当把琐务和值班工作纳入容量规划,把消除琐务作为普通的待办工作来安排,并在速度旁边观察变更质量(见主题 2.8,DORA 指标)。
服务与运维团队
运维团队最常背着呼叫器,最先看到人的代价。他们应当拥有这些定义,运行时间抽样或标注,发布轮班层面的数字,并带着证据把头几个琐务来源和重复原因交给所属团队。他们的风险是出于职业素养而悄悄地承受负荷。对夜晚和周的冷静、基于事实的记录,是比抱怨更有效的求助,而且这些记录绝不应被变成对响应者的排名。
领导层与治理
领导层决定人员配置、优先级,以及琐务工作是否获得资助。把高琐务占比读作绩效不佳的领导者,教会团队通过重新标记来降低它。把它读作组织选择不出资的工作的账单的领导者,会得到诚实的数据和一个计划。治理应当期望对轮班负荷有一个限制,并在超出时有可见的回应(见主题 9.2,满意度与福祉指标)。
客户与用户
用户看不到轮班,却感受到它的影响:疲惫的响应者诊断更慢、未修复的原因导致的重复事件,以及了解该服务的人的离去。在用户跨越许多时区之处,他们的非工作时间需求塑造了轮班,而覆盖这些需求的成本,是服务级别交谈中的一个合理话题(见主题 5.1,SLA、OLA 与 XLA 指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个订单平台、一个客户账户服务和一个仓库集成。一个由来自两个产品团队的六名工程师和一个小型运维小组组成的轮班,共同分担每周的值班班次。本示例中的所有数字都是示意数字。
月度评审显示,每班呼叫数的中位数为 9,第 90 百分位数为 31。最繁忙的班次有 58 次呼叫。约一半的呼叫在非工作时间到达,该季度 8 个班次中有 6 个包含 22:00 到 07:00 之间的呼叫。时间抽样表明,琐务占工作时间的 55%。
最繁忙的班次恰逢仓库集成上的一次证书过期,它在一夜之内呼叫了轮班 22 次。批处理服务器上的一条磁盘空间告警占了近四分之一的呼叫,大多数是靠手工清理一个临时目录来关闭的。重复呼叫率为 41%。帕累托视图显示,手工证书续期、磁盘清理和访问请求占据了大部分琐务小时数。
团队在接下来的四周内处理三个事项:自动化证书续期,修复临时目录写满的原因,并把访问请求移到由身份团队拥有的自助表单上。一项工作协议设定了每人四个班次中最多一个的限制,以及在一个有三次或更多呼叫的夜晚之后休息一天。轮班深度是 6 人,而约定的需要是 8 人,所以第三个团队的两名工程师开始接受就绪培训。
操纵风险在下一次评审时出现。每班呼叫数已降至中位数 4,第 90 百分位数降至 12。一位经理很高兴。一位团队成员指出,磁盘告警的阈值被提高了 20 个点,批处理服务器曾两次写满而没有呼叫。关于批处理订单延迟的客户报告事件增加了。护栏,即监控漏掉的客户报告事件,抓住了这一点。阈值变更被还原,目录清理被安排为一项修复,团队增加了一条规则:任何阈值变更都连同理由记录,并在一个月后评审。下一个季度的琐务占比是 38%(示意数字),并连同抽样方法一起报告。
行业视角
初创企业。小团队往往没有正式的轮班,所以每个人始终都在值班,代价是不可见的。在电子表格中统计呼叫和夜间被叫醒的次数,并写下最大的三项重复性任务。亲自背呼叫器的创始人是一项业务风险,不是投入的徽章。
小型企业。可能由一两个人运行所有 IT。度量不需要工具的东西:非工作时间的电话、重复的任务,以及无法休的假。托管服务提供商如果合同规定了响应时间和时段,可以承担一部分轮班。轮班深度往往是一,这是主要风险。
大型企业。规模带来跟随太阳的轮班、共享平台和若干供应商。把度量定义一次,按地区设定本地工作窗口,并避免在服务非常不同的轮班之间取平均。一些国家的雇佣规则限制值班职责并要求休息期,这些属于轮班的限制。
政府与公共部门。服务可能依法律或合同需要全天候覆盖,而人员配置受采购和职级的约束。轮班限制和休息规则往往由雇佣协议规范,所以对照它们度量,并在超出时报告。公共问责使坦率的报告更有价值也更难:为负荷数据建立一个安全的渠道,并明确表示它描述的是系统和人员配置,不是个人(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
动机是保护服务质量并留住有技能的人。疲惫的响应者诊断更慢,而有经验的人离开时,知识也随之而去。替换一个人在招聘、入职和学习期间的产出下降上有真实的成本,组织可以从自己的记录中估算这些成本。琐务也夺走了用于改进的容量。把大部分时间花在手工运维上的团队,无法减少造成它们的事件。
度量的成本是适度的。呼叫工具已经统计了呼叫,时间抽样每人每两周只花几分钟。更大的成本是对发现采取行动:消除琐务的工程时间、为可持续的轮班配置人员,以及评审时间。把自动化的维护计为成本,因为未经维护的自动化步骤会成为明天的事件。
回报表现为来自已知原因的呼叫更少、夜间打断更少、归还给改进工作的琐务小时数、轮班更低的人员流失,以及更快的诊断。没有通用的数字适用,所以估算你自己的。对一个琐务来源,用每月小时数乘以与财务约定的、包含全部成本的小时费用,与消除它的工作量比较,并在两个周期之后评审。对于轮班的可持续性,记录轮班的离职和长期缺勤,并随时间与负荷度量比较,把这种联系视为待检验的假设,而不是已被证明的原因。在需要数字之处,把它陈述为估计并显示输入(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 按呼叫数给人排名。它把系统度量变成绩效分数,并教会响应者回避班次、隐瞒被打断。按轮班、班次位置和服务报告。
- 靠静音告警来减少呼叫。计数下降,检测变弱。把数量与检测和客户报告的事件配对,并评审每一次阈值变更。
- 把一切都称为琐务。宽到包括会议和难题的定义,会摧毁信号。使用六个特征,并保留一份例子清单。
- 没有权威支撑的琐务目标。无法触发决定的上限,成了人们争论的数字。事先约定超出时会发生什么,以及由谁决定。
- 在理解之前就自动化。自动化可能把糟糕的流程固化下来并增加维护。先问需求能否通过设计消除,之后度量已消除的琐务。
- 跨不同的服务取平均。稳定服务与脆弱服务的平均值,两者都描述不了。分别显示每项服务和轮班。
- 度量却不行动。没有响应的负荷数字,教会人们数据无关紧要。为每个发现附上一项决定、一位负责人和一个评审日期。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与数据 | 呼叫和琐务凭感觉描述;没有通用定义 | 部分轮班统计呼叫;琐务被讨论但未被度量 | 对呼叫、班次、非工作时间和琐务有一份书面定义;呼叫数据由工具收集 | 分布和时间形成趋势;每月对琐务抽样并审计 | 定义在团队和供应商之间评审;抽样工作量依据答案的价值调整 |
| 轮班的可持续性 | 非正式的;同样的少数几个人承担呼叫器 | 有名册;限制被讨论但未书面化 | 关于频率和休息的书面限制;轮班深度已知 | 监控限制,并评审违反并采取行动 | 轮班在团队和供应商之间共享,负荷随服务变化而平衡 |
| 数字的使用 | 被用来责备,或被忽视 | 向经理展示 | 先向轮班展示,附它们所支持的决定 | 与护栏配对,并按能带来获得资助的变更的节奏评审 | 与领导层和合作伙伴共享,以规划人员配置和服务范围 |
检查清单
- 呼叫、班次、非工作时间窗口和合并窗口已有书面定义。
- 琐务有书面定义,附来自我们自己服务的例子和非例子。
- 每班呼叫数报告为中位数、一个高百分位数和最繁忙的班次。
- 非工作时间呼叫占比和夜间打断率报告在数量旁边。
- 负荷按轮班、班次位置和服务报告,绝不按具名个人。
- 琐务占时间的比例按计划抽样,方法已写下。
- 前五个琐务来源和重复最多的呼叫原因在改进待办上。
- 轮班的限制和休息规则在团队协议中,轮班深度每季度检查。
- 每项负荷度量在同一页上都有护栏,包括检测和客户报告的事件。
- 每次评审都以一项决定、一位负责人和一个日期结束。
- 阈值和告警的变更连同理由被记录,并在一个月后评审。
AI 提示词
评审一个轮班的负荷并寻找模式。
我帮助运行[服务或服务组]的值班轮班。该轮班有[数量]人,班次长度为[长度]。我们的工作窗口
是[时间和时区],受保护的睡眠窗口是[时间]。下面是[期间]的匿名呼叫数据,列有[列清单]:
[粘贴已去除姓名的数据]
请描述每班呼叫数的分布、非工作时间呼叫的占比,以及有夜间打断的班次占比。指出最繁忙的
班次、重复的告警组,以及按日期或班次位置的任何模式。只在轮班和服务层面报告,绝不按人。
不要编造基准值或目标。列出你的假设,以及你无法根据数据确定的内容。
把任务分类为琐务、工程或开销。
我们团队运行[服务]。我们把琐务定义为手工的、重复的、可自动化的、战术性的、没有持久价值
的,并且随服务增长的工作。这是近期任务及大致小时数的清单:[粘贴清单]。
对每项任务,说明它属于琐务、工程还是开销,并指出它满足或不满足六个特征中的哪几个。标出
处于边界的任务,并说明哪些额外信息能确定它们。建议每个琐务来源可以如何通过设计消除、
自动化,或移交给所属团队,不要编造节省的数字。列出你的假设以及给团队的问题。
为我们的负荷指标起草操纵途径与护栏。
我们为[轮班名称]报告这些值班和琐务指标:[含定义的指标清单]。它们展示给[受众],以支持
[决定]。我们的数据来自[呼叫工具、工作跟踪器、调查]。
对每项指标,列出它在轮班并未变好的情况下得到改善的现实方式,并提出能揭示每一种的护栏
指标或实践。然后说明护栏本身可能如何被操纵。不要编造基准值。列出你的假设,以及我应当
收紧的任何定义。
AI 技能
- 敏捷 ITIL 指标技能:用于在你把值班或琐务度量加入仪表板时,查找相关主题和护栏。
- 敏捷 ITIL 指标维护者技能:用于检查对本主题的编辑是否使每项指标都与一个操纵途径和护栏配对。
关键要点
- 度量轮班上的负荷,按班次、服务和一天中的时间,绝不给轮班上的人排名。
- 既统计打断的次数,也统计它们发生在何时,因为夜间呼叫比办公时间的呼叫代价更高。
- 利用其六个特征狭义地定义琐务,用简单的方法估计它占时间的比例,并依据趋势来判断。
- 把呼叫和琐务来源与问题工作以及自动化或设计变更联系起来,并度量实际消除的琐务。
- 把每项负荷度量与检测和客户报告的事件等护栏配对,使较低的数字不能靠转移视线换来。
- 把沉重的负荷视为对投资的请求,附一项决定、一位负责人和一个评审日期。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Eliminating Toil", https://sre.google/sre-book/eliminating-toil/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Being On-Call", https://sre.google/sre-book/being-on-call/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018. Chapter "Eliminating Toil", https://sre.google/workbook/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident management.
- Wikipedia, Sleep deprivation.
- Wikipedia, Alarm fatigue.
- Wikipedia, Occupational burnout.
- Wikipedia, Pareto chart.