监控与告警质量指标
告警是对人的注意力的请求,所以要依据这个请求有多少次是值得提出的、它捕获了多少真正的麻烦,以及它花掉了多少睡眠和信任,来度量监控。
概述与动因
监控是对系统实时数据的收集、处理和展示。系统监控回答"服务是否按用户需要的方式在工作?"这个问题。告警是这些数据要求人去做某件事的节点。大多数团队对第一项活动度量得很差或根本不度量,而对第二项活动只通过投诉来度量。本主题为两者提供一小组度量:监控是否看到了重要的失败,以及它发出的告警是否配得上它所要求的注意力。
先说几个术语。用 ITIL 4 的词汇,事件(event)是对管理一项服务有意义的状态变化,事件管理是检测事件、决定哪些重要并选择响应的实践。告警是对人的通知,以呼叫、消息或工单的形式送达。呼叫是立即打断某人的告警。误报是在无需关注时触发的告警,漏报是没有任何告警报告的失败;这两个术语都来自误报与漏报的语言。可行动的告警是指人有一个有用的行动可采取、并且采取了它,或出于有记录的理由而有意选择不采取的告警。
监控的两面相互拉扯。在每起事件之后增加告警,会筑起一堵噪声之墙;为使其安静而削减告警,则冒着在重要的失败期间一片寂静的风险。精确率与召回率的语言恰好适用。精确率问发出的告警中有多少是值得发的。召回率问告警捕获了真实问题中的多少。告警质量是两者之间的平衡,只观察其一的指标会招致团队牺牲另一个。信噪比捕捉了同样的张力。
人的代价,是这个主题属于一本服务指标书的原因。警报疲劳是被充分记载的一种倾向:暴露于许多警报(其中大多数不重要)的人会变得麻木,对重要的警报反应迟钝。它最初是在临床环境中被研究的,适用于任何被通向无处的告警过于频繁地呼叫的值班轮班。疲劳的响应者会错过真实的事件,最终离开轮班。
本书所结合的两种传统,视角不同。ITIL 4 把这项工作放在监控与事件管理实践中,并与事件管理和服务级别管理相联。它关心的是事件被检测、分类并路由,使事件被及早发现、被一致地处理。站点可靠性工程(SRE)则从另一端着手:Google 的《站点可靠性工程》一书主张,呼叫应当是紧急的、重要的、可行动的和真实的,其他一切都属于工单或仪表板。敏捷团队把它当作工作协议来遇到:谁被叫醒,为了什么,以及谁来修复错误的告警。下面的指标借鉴了三者,并坚持一条规则:指标描述的是轮班、服务或告警规则,绝不描述个人。
本主题不重复它的邻居。事件的计时属于主题 3.3(事件响应与解决时间),重大事件属于主题 3.4(重大事件指标),目标和错误预算属于主题 5.2(SLI、SLO 与错误预算),人的负荷属于主题 5.7(琐务与值班指标)。这里的主题是启动所有这些的信号的质量。埋点见主题 1.5(数据来源与埋点)。
关键原则
- 对用户感受到的症状呼叫;其余的走工单或仪表板。针对用户所体验到的东西(错误、缓慢、不可用)的告警,在系统变化时仍然有用。针对原因的告警(磁盘已满、CPU 繁忙),只有在它预测了某个症状、且人能在症状到来之前采取行动时才有用。
- 每条告警都必须通向一个行动。如果对一条告警的正确响应是什么也不做,这条告警就应该被改变、降级为工单或删除。度量通向行动的占比,并把其余的视为监控中的缺陷。
- 既度量精确率,也度量召回率。只统计噪声会奖励沉默,只统计覆盖会奖励数量。两者一起描述质量,各自是对方的护栏。
- 把每条告警规则当作有负责人的产品。一条规则有目的、阈值、运行手册和评审日期。没有负责人的规则不断累积,它们产生的噪声不属于任何人。
- 报告轮班和服务,绝不报告人。告警负荷是系统和轮班如何设计的属性。点名个人,会把设计问题变成责备问题,并隐藏真正的修复办法。
指标定义
下面的指标是作为一组来选择的。仅有数量是没有意义的,可行动性告诉你数量是否是问题,覆盖和检测时间则告诉你安静隐藏了什么。所有指标都按服务或轮班计算,并且都使用来自监控和呼叫工具、并与事件和工单记录连接的告警记录。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 告警数量 | 通知了人的告警数,分为呼叫和工单 | 该期间送达某个轮班或队列的不同通知数;同一个仍然打开的告警的重复被归为一个;完全由自动化处理、没有通知人的告警被排除;按每个轮班每周报告,并单独报告非工作时间占比 | 每个轮班周的告警数 | 呼叫和告警路由工具 | 监控与事件管理 | 关于值班的团队工作协议 | 每周 |
| 可行动告警率 | 之后有人采取了有用行动的告警占比 | 带有记录行动(修复、缓解、升级,或对告警规则的更改)的告警数 / 该期间已评审的告警数;在任何确认之前就自动解决的告警算作不可行动;未评审的告警作为单独的计数报告,不被丢弃 | 百分比 | 与评审标签、工单或事件关联的告警记录 | 监控与事件管理;事件管理 | 针对运维的团队改进行动 | 每周评审,每月趋势 |
| 误报率 | 在不存在问题时触发的告警占比 | 评审中标为误报的告警数 / 该期间已评审的告警数;"误报"是指该状况不是故障,没人愿意被告知;一个真实但太小而无需行动的问题不是误报 | 百分比 | 告警评审标签 | 监控与事件管理 | 回顾会议中的噪声评审 | 每月 |
| 检测覆盖率 | 至少有一条针对面向用户症状的、经过测试的告警的范围内服务占比 | 有一条在过去 12 个月内经测试或真实事件检验过的症状告警的服务数 / 服务目录范围内的服务数;范围内服务的清单在期初固定 | 百分比 | 服务目录、告警规则清单、测试记录 | 服务配置管理;监控与事件管理 | 新服务的完成定义 | 每季度 |
| 监控检测占比 | 在用户或同事报告之前,由监控检测到的事件占比 | 其第一个信号是告警的事件数 / 该期间的事件数;时钟是事件打开时间,没有记录第一个信号的事件报告为未知,不算作已检测 | 百分比 | 带第一信号字段的事件记录、告警时间线 | 事件管理 | 事件评审(事件后学习) | 每月 |
| 检测时间(TTD) | 从用户影响开始到第一条通知人的告警之间的经过时间 | 第一条通知人的告警时间 减去 影响开始时间,其中影响开始是服务级别指示器最早突破的时间,在事件评审中确定;报告中位数和第 95 百分位数;没有告警的事件被排除并单独计数 | 分钟 | 事件评审、告警时间线、服务级别指示器历史 | 事件管理;监控与事件管理 | 事件后评审 | 每月,按事件 |
| 告警集中度 | 最吵的几条告警规则所产生的告警数量占比 | 告警数最多的五条规则产生的告警数 / 该期间的全部告警数;同一告警只计一次;五条规则的数量是一个惯例,团队说明理由即可更改 | 百分比 | 告警规则清单和呼叫记录 | 持续改进;监控与事件管理 | 回顾会议的改进待办 | 每月 |
| 告警规则时效 | 有负责人、有运行手册链接,并在约定间隔内被评审过的呼叫规则占比 | 满足这三项条件的呼叫规则数 / 全部呼叫规则数;该期间被停用的规则被排除 | 百分比 | 告警规则清单 | 知识管理;监控与事件管理 | 关于运营就绪的工作协议 | 每季度 |
告警数量需要背景,所以要与可行动告警率一起阅读。检测时间使用用户影响的开始,而不是工单,因为工单时钟在检测之后才启动;影响开始是来自事件评审的估计,应当标明为估计。误报率和可行动告警率不是互补的,因为一条告警可以是真实的,却仍不值得人花时间。
建议
决定什么值得呼叫
1. 写一份呼叫政策,并保持简短。用一段话说明什么值得呼叫(用户现在或不久就会感受到、且人能够据此行动的症状),什么不值得。其他一切都进入工单队列或仪表板。Google SRE 一书中关于监控分布式系统的一章是一个好的起点(见主题 5.2,SLI、SLO 与错误预算)。
2. 对症状告警,把原因留给诊断。针对"错误率高于约定阈值"的呼叫,是关于用户的呼叫。针对"CPU 很高"的呼叫,是关于猜测的呼叫。把原因层面的信号保留在仪表板上,供响应者在症状告警触发后查看,并且只有当它可靠地预测症状、且留有足够的预警时间去行动时,才把它提升为呼叫。
3. 把呼叫阈值与服务级别目标相联。凡服务有服务级别目标(SLO)之处,就对错误预算被消耗的速率告警,而不是对原始阈值告警。《SRE 工作手册》中关于对 SLO 告警的一章描述了消耗速率告警,以及精确率、召回率、检测时间和重置时间之间的取舍。这种方法对威胁目标的情形呼叫,而对不会造成威胁的短暂波动保持安静。
按节奏评审每条告警
4. 在简短的定期评审中为每条告警打标签。每周为每个轮班留出十五分钟,查看触发了什么。对每条告警,记录一个标签:可行动、误报、真实但不值得呼叫,或重复。这些标签是可行动告警率和误报率的数据,而评审是让吵闹的规则在第二天而不是下个季度被修复的地方。
5. 让评审产生变更。每周至少选一条规则来调整、降级、合并或删除,并把这项变更作为普通工作记录在团队的待办中。
6. 无所畏惧地删除。团队保留告警,是因为删除一条显得有风险,而且没人记得它为何存在。要求每条呼叫规则都带有目的和负责人,并约定:在规定期间内从未通向行动的规则被移除或降级,并记录该变更,使其可以被还原。规则时效指标使这种纪律可见。
度量监控漏掉了什么
7. 跟踪用户先发现的事件占比。每起事件之后,记录它最初是如何被注意到的:告警、同事、客户、支持工单或例行检查。由监控发现的占比,是召回率最接近的实际度量。它并不完整,因为没人注意到的事件从不进入样本,所以要与对告警本身的定期测试配对。
8. 诚实地估计检测时间。在事件后评审中,依据服务级别指示器的历史,而不是依据有人录入工单的时间,确定用户影响的开始。报告中位数和一个高百分位数,并把完全没有告警的事件作为单独的计数显示。单一的平均值既隐藏了典型情形,也隐藏了糟糕的长尾(见主题 1.6,服务指标的统计素养,以及主题 3.3,事件响应与解决时间)。
9. 测试你所依赖的告警。只有当告警被看到有效时,检测覆盖才可信。在演练日或发布彩排中包括一项检查,有意造成一个症状,并确认正确的告警触发、到达正确的轮班,并链接到可用的运行手册。从未被检验过的告警是一种希望,不是一项控制(见主题 5.6,服务连续性指标)。
保持信号路径健康
10. 监控监控本身。监控系统的静默失败,看上去与健康的服务一模一样。加入一项心跳检查,在告警管道停止送达时呼叫,并记录管道本身失败的频率。
11. 在计数之前先分组、去重并链接。把相关的告警归为一个,抑制已经打开的告警的重复,并把每个路由到所属的轮班。把每条告警链接到它的运行手册,以及它所创建的事件或工单,因为这个连接使你无需手工计数就能计算可行动告警率和监控检测占比(见主题 1.5,数据来源与埋点)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 告警数量 | 提高阈值、增加长延迟,或把告警从呼叫移到静默队列,使计数下降而问题无人看见;拆分或合并告警以改变计数 | 监控检测占比和检测时间;规则:每一次降级都连同理由记录,并在一个季度后评审 |
| 可行动告警率 | 事后把告警标为可行动,或采取琐碎的行动(一条评论、一次确认)使其合格;让吵闹的告警保持未评审,使其永不进入分母 | 在比率旁边显示未评审告警的计数;由轮班之外的人做样本检查;写下"有用行动"的定义 |
| 误报率 | 把误报定义得很窄,使"真实但无意义"的告警算作真实;不打标签就关闭吵闹的告警 | 分别跟踪可行动告警率和"真实但不值得呼叫"标签;定期抽样已关闭的告警 |
| 检测覆盖率 | 给每项服务加一个琐碎的告警(一次 ping)以宣称覆盖;统计从未被测试过的告警 | 要求告警观察面向用户的症状,并在过去 12 个月内被检验过;监控检测占比 |
| 监控检测占比 | 即使是用户先报告的,也把每起事件记录为"由监控检测到";事后创建一条告警,然后引用它;把第一信号字段留空以避免难看的数字 | 在占比旁边显示未知计数;第一信号的证据取自告警时间线,而不是记忆;从支持记录链接客户报告的事件 |
| 检测时间(TTD) | 把影响开始宣布得比实际晚;排除没有告警的事件;报告平均值以隐藏长尾 | 影响开始取自服务级别指示器的历史;没有告警的事件被统计并显示;中位数和第 95 百分位数一起报告 |
| 告警集中度 | 把一条吵闹的规则拆成几条,使它们都不在前五名;重命名规则 | 除了按规则,也按底层故障或服务报告集中度;在旁边跟踪总数量和可行动告警率 |
| 告警规则时效 | 加入占位的负责人、空的运行手册链接,或走过场的评审来满足条件 | 抽查运行手册链接是否可用、并在真实响应中被用过;在演练日测试运行手册的做法 |
健康的读数同时显示几件事。每个轮班的告警数量稳定或在下降,且处于团队选定的可持续水平之内。随着最吵的规则得到调整,可行动告警率在数月内上升。监控检测占比很高,检测时间很短,并且在数量下降时没有变长,这证明安静是挣来的,而不是买来的。检测覆盖率的增长是因为服务被测试,而不是因为加入了琐碎的告警。如果数量下降而检测占比或检测时间变差,团队就是用召回率换取了平静,而护栏正是揭示这一点的东西。
权衡:利弊
| 做法 | 优点 | 缺点 |
|---|---|---|
| 少量基于症状的呼叫 | 夜晚安静,对每次呼叫信任度高,易于保持最新 | 对慢慢累积的问题有迟检测的风险;其余的需要良好的工单和仪表板习惯 |
| 大量灵敏的告警 | 对原因层面的麻烦早期预警;漏掉的事件更少 | 警报疲劳、确认变慢,以及值班轮班的人员流失 |
| SLO 消耗速率告警 | 呼叫与威胁目标的事物相联;短暂波动更少 | 需要良好的指示器和约定的目标;需要调整以平衡检测时间和精确率 |
| 每周的告警评审 | 反馈快;吵闹的规则很快被修复 | 每周花时间;如果没有后续变更,就变成作秀 |
| 由人打标签 | 捕捉任何工具都没有的判断 | 主观;除非把定义写下来,否则标签在评审者和轮班之间漂移 |
| 自动抑制和分组 | 大规模削减噪声;减少重复的呼叫 | 如果规则错误,可能隐藏真实的信号;需要它自己的监控和评审 |
每个选择都在精确率与召回率之间取舍,这一取舍应当有意识地作出,并按服务写下来,因为它是让任何人公平地阅读这些数字的背景。错过失败会带来严重后果的服务,可能接受较低的可行动率以换取更早的预警,并设置一个分诊层,夜间把额外的告警送到工单队列。
与团队讨论的问题
1. 我们愿意为什么被叫醒?上个月的呼叫中,哪些达到了这个标准?用一两句话写下呼叫政策,然后取上个月的呼叫,逐一对照它检验。这个练习比它产生的百分比更有价值,因为分歧揭示了团队的期望在哪里不同。把不必要的捕获为要降级的候选。
2. 如果最吵的告警规则明天消失,我们会失去什么?对按数量排名前五的规则,逐一提出这个问题。往往没人能说出这条规则曾经捕获过的某次具体失败,这是它可以被调整或移除的迹象。有人能说出时,问这次失败是否也会触发某条症状告警。
3. 我们如何发现监控漏掉了什么?查看最近几起事件,问谁先注意到,以及在那之前影响持续了多久。答案无需新工具,就给出监控检测占比和大致的检测时间。讨论什么信号本可以更早地捕获每一起。
4. 我们的值班负荷可持续吗?我们怎么知道?约定对一个轮班而言可持续意味着什么,比如每周非工作时间呼叫的上限,并按轮班而不是按人评审趋势。如果负荷高于约定的水平,就把它视为服务缺陷,并计划工作来减少它。让这些度量与主题 5.7(琐务与值班指标)保持一致。
5. 我们的哪些告警从未被测试?我们如何能安全地测试它们?列出依赖单一症状告警的服务,问是否有人见过它在真实情况下或彩排中触发。计划一次测试,并检查完整的路径:检测、路由、通知、运行手册。考虑告警管道若失败,是否根本看得见。
6. 这些数字在这里可能如何被操纵?我们会注意到什么?请团队诚实地描述,他们如何能让每个数字在没有任何改善的情况下看起来更好。然后约定哪个护栏会显示出来,以及谁来查看它。提前说出这些把戏,会使它们不那么诱人(见主题 1.2,古德哈特定律与指标心理学)。
四种视角
产品与交付团队
构建并运行服务的团队,决定服务报告关于自身的什么,所以告警质量始于完成的定义。随自己经过测试的指示器和告警一同发布的新功能,避免了在第一起事件之后才后加监控。把告警调整视为普通的待办工作。
服务与运维团队
运维团队背着呼叫器,最先感受到代价,所以他们拥有评审节奏、标签和管道心跳。当一条告警出错时,修复归规则的负责人,而不是收到呼叫的人。
领导层与治理
领导层可以按服务要求检测和可行动性的数字,为调整时间出资,并抵制那种奖励沉默的告警数量目标。只有当检测占比和检测时间保持稳定时,下降的数量才是好消息。可持续的值班上限是人员配置和设计的决定,不是激励性的决定。
客户与用户
客户从不看到告警;他们看到的是服务是否失败,以及修复花了多久。好的监控表现为在他们注意到之前就已修复的事件,以及客户先报告的情形更少。在组织使用体验度量之处(见主题 5.1,SLA、OLA 与 XLA 指标),用户先报告的事件占比,是体验缺口的直接指标。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个订单平台,有四个产品团队和一个支持值班轮班的平台团队。本示例中的所有数字都是示意数字。在四周内(示意数字),轮班收到 240 次呼叫,其中 70 次发生在 22:00 到 07:00 之间。团队用四个标签评审每次呼叫:可行动、误报、真实但不值得呼叫,以及重复。
评审显示,可行动告警率为 31%(示意数字),误报率为 22%(示意数字)。五条规则产生了 58% 的呼叫(示意数字),其中最大的是批处理服务器上的一个磁盘阈值,它总是自行恢复。上个季度的监控检测占比为 62%(示意数字),检测时间中位数为 14 分钟(示意数字),第 95 百分位数为 51 分钟(示意数字)。
团队把三条吵闹的规则降级到工单队列,合并重复项使一个故障只产生一次呼叫,用错误预算消耗速率告警取代结账上的原始错误计数告警(见主题 5.2,SLI、SLO 与错误预算),并为订单确认邮件增加一条症状告警,那是两起客户报告的事件背后的缺口。每项变更都是带负责人的待办项。四周后,呼叫降到 96 次(示意数字),可行动率升到 64%(示意数字),同时检测占比升到 71%(示意数字),检测时间中位数保持在 14 分钟。这份安静似乎是挣来的。
操纵风险出现在第三个月。一位新来的经理设定了一个非正式的目标:每四周少于 60 次呼叫,一个轮班通过延长结账错误告警的延迟达到了它。其检测占比降到 55%(示意数字),第 95 百分位数的检测时间攀升到 80 分钟(示意数字)。因为护栏就放在数量旁边,评审抓住了这一点。团队撤回了数量目标,恢复了这条告警,并把这个案例记录在指标登记册中(见主题 1.4,指标治理与归属)。
行业视角
初创企业。当少数几名工程师都要值班时,优先事项是一份简短的呼叫政策,以及赚钱路径上的几条症状告警。周一花十分钟看看是什么叫醒了人,就足够了。主要风险是根本没有告警,使客户成了监控;统计客户先告诉你的频率。
小型企业。小型组织往往依赖供应商的监控。有用的度量是对少数几个一旦停转就会使业务停摆的系统的检测覆盖,以及用户发现的事件占比。向供应商索要合同赋予你权利获得的告警数据。
大型企业。大型组织有许多工具和轮班,每个团队对"可行动"的定义可能不同。标准化定义和标签,在团队层面评审,并按服务而不是按工具汇总。事件关联平台在规模上减少数量,但需要它们自己的召回率检查。
政府与公共部门。有些服务按办公时间运行,另一些,比如应急或福利系统,则连续运行。在失败带来法律或安全后果之处,检测覆盖和经过测试的告警最重要,测试记录可以支持审计。向监督机构报告覆盖和检测,而不是容易被误读的原始告警计数(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
投资的理由是实际的。更好的检测缩短用户受影响的时间。更少无意义的呼叫保护睡眠,减少轮班的人员流失,并为重要的告警保留注意力。糟糕的告警质量的代价很难看见,因为它分散在被打断的睡眠、缓慢的响应和有经验工程师的离职之中。
如果告警、呼叫和事件工具可以连接起来,收集这些指标的成本就很小;如果标签是手工添加的,则成本适中。主要的成本是每周的评审时间、调整和删除的工作,以及偶尔的检测测试。修剪不用的规则,也削减监控的许可和存储成本,总拥有成本应当包括人的时间。
回报在几个月内出现,表现为更安静的轮班、上升的监控检测占比,以及没有恶化的检测时间。要把这转化为金钱,请用你自己的数字,把事件小时数和轮班人员流失的成本,与评审的成本比较。除非你能引用经过验证的来源,否则不要使用行业平均值。
反模式与陷阱
- 给告警数量设目标。对计数的目标会奖励沉默,并招致隐藏告警。为可行动告警率和检测占比设目标,把数量用作背景数字,附团队选定的可持续上限。
- 对每个原因都告警。数十个原因层面的呼叫产生噪声,却仍然漏掉没人想到的症状。改为对面向用户的症状告警。
- 在每起事件之后增加告警,却从不移除任何一条。把每条新告警,与对它所使之冗余的告警的评审配对。
- 统计告警而不给它们打标签。没有关于有用性的判断的计数,分不清吵闹的轮班和忙碌的轮班。即使只有几分钟,也每周为一份样本打标签。
- 把覆盖当作告警的数量。有五十条原因告警而没有症状告警的服务,覆盖是糟糕的。把覆盖定义为经过测试的症状检测。
- 按处理或确认的呼叫数给人排名。它惩罚那些接下艰难班次的轮班成员,并鼓励回避呼叫器。按轮班和服务报告,并寻找设计上的修复。
- 从不测试告警路径。未被看到有效的告警只是假设。在演练日中包括告警测试,并监控管道本身。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 呼叫政策与规则所有权 | 告警临时添加;没人知道许多告警为何存在 | 部分团队有政策,并为自己的规则指定负责人 | 一份简短的呼叫政策;每条呼叫规则都有负责人和运行手册 | 跟踪并评审规则时效;按计划移除不用的规则 | 政策和所有权随服务变化而在团队和供应商之间调整 |
| 告警质量度量 | 抱怨噪声;没有计数 | 部分团队统计数量;没有标签 | 用通用标签做每周评审;按服务报告可行动告警率和误报率 | 比率形成趋势,并与检测度量配对;改进工作获得资助 | 质量在服务和供应商之间联系起来;定义在不再为决定提供依据时修订 |
| 检测与覆盖 | 客户和同事报告大多数问题 | 少数关键服务上有症状告警 | 以经过测试的告警跟踪检测覆盖;为每起事件记录第一信号 | 附护栏评审检测时间和监控检测占比;缺口变成计划中的工作 | 例行地在各依赖和供应商之间测试检测,包括告警管道 |
| 在改进中的使用 | 告警修复跟着最糟的夜晚走 | 修复跟着事件走 | 每次评审至少产生一项变更 | 跟踪变更对数量、可行动性和检测的效果 | 一并评审轮班负荷、检测和错误预算,以引导投资 |
检查清单
- 我们有一份几句话的书面呼叫政策,说明什么值得呼叫。
- 每条呼叫规则都有负责人、目的和运行手册链接。
- 每个轮班至少每周评审触发了什么,并为每条告警打标签。
- 每次评审至少产生一项对规则的记录在案的变更。
- 我们按轮班和服务、绝不按人,报告告警数量、可行动告警率和误报率。
- 每起事件都记录它最初是如何被检测到的,并提供"未知"选项。
- 我们依据服务级别指示器的历史估计影响开始,并报告检测时间的中位数和第 95 百分位数。
- 每项范围内的服务都有一条在过去 12 个月内测试过的症状告警。
- 如果告警管道停止,一项心跳检查会呼叫我们。
- 我们为每个轮班约定了可持续的非工作时间负荷,并评审它。
- 没有仅对告警数量设置的目标。
AI 提示词
目的:依据服务的指示器和后果,起草一份呼叫政策。
请帮我为服务[服务名称]起草一份呼叫政策。
背景:用户是[用户群体];我们关心的面向用户的症状是[症状,例如错误、延迟、不可用];
错过一次失败的后果是[后果];值班轮班是[轮班描述,例如时间和团队规模]。
请写一份简短的政策(200 字以内),说明什么值得呼叫,什么进入工单队列,什么留在仪表板上。
不要编造阈值或基准值;留下[阈值]占位符,由我们依据自己的数据来设定。
列出你在定稿之前会问我们的问题,并列出你的假设。
目的:分析导出的告警评审,找出噪声模式。
我将粘贴[期间]内轮班[轮班名称]的告警表,列有:[列名,例如规则、时间、标签、所采取的
行动、服务]。
仅使用我粘贴的数据,计算可行动告警率、误报率、非工作时间占比,以及最吵的五条规则所产生
告警的占比。
建议应当调整、合并、降级或删除哪些规则,并为每一项给出理由,把每条建议标为待检验的假设。
按规则、服务和轮班报告,绝不按人。不要编造基准值。
列出你的假设,以及你排除的任何行。
目的:在发布之前,检查一组告警指标的操纵风险。
这是我们计划发布的告警质量指标:[含定义和公式的指标清单]。
对每项指标,描述在我们[组织类型和服务]的背景下,它可能被操纵或被误读的两种方式,并从同一
清单中或从我们可以采用的实践中,建议一个配对的护栏。
指出任何没有带着护栏展示的指标。
不要编造来源或基准值。
列出你对我们的工具如何记录告警和事件的假设。
目的:为覆盖薄弱的服务规划检测测试。
我们的服务是[服务清单],我们认为存在的症状告警是[告警清单]。
请为下一次[演练日或彩排]提出一份安全的测试计划,对每项服务检查:一个有意造成的症状会触发
告警,到达[轮班],并链接到运行手册。
说明事先应当告知谁,以及如何为检测覆盖记录结果。
不要编造工具功能;请问我[监控工具]是如何工作的。
列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找定义相关度量的主题,以及应当放在某项告警质量指标旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查对本主题的编辑是否使模板、操纵表和交叉引用保持一致。
关键要点
- 依据告警是否通向行动来评判告警,依据监控捕获了多少真正的麻烦来评判监控;精确率和召回率相互守护。
- 对用户感受到的症状呼叫,凡存在服务级别目标之处,就把阈值与它相联,并把原因留给诊断。
- 每周评审触发了什么,给它打标签,并每次至少作出一项变更。
- 绝不仅对告警数量设目标;把它与可行动告警率、监控检测占比和检测时间一起阅读。
- 测试告警和告警管道,因为未经测试的告警只是假设。
- 按轮班和服务、绝不按人报告,并把可持续的值班负荷视为设计目标。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.