概述与动因

可用性是服务管理中被引用最多的数字,也是定义最不精确的数字之一。像"上个月该服务的可用性为 99.9%"这样的陈述听上去很精确,却隐藏了至少四个决定:什么算服务,什么算"可用",哪些时段在范围内,以及哪些中断被排除。两个团队可以在同一个月报告同一项服务,公布相差一个数量级的数字,而两者都没有算术错误。

本主题把这些决定明确化。它涵盖正常运行时间和停机时间的计算、用户加权的可用性、计划内与计划外的中断,以及"几个九"的算术。它建立在服务级别指示器(SLI)、服务级别目标(SLO)和错误预算之上(见主题 5.2,SLI、SLO 与错误预算),也建立在服务级别的合同视角之上(见主题 5.1,SLA、OLA 与 XLA 指标)。这些主题说明如何选择目标。本主题说明如何计算与目标相比较的那个数字。

本主题使用的术语

  • 可用性是服务在用户需要时做到其所需之事的能力,通常表达为一段时期内的百分比。这个一般概念在高可用性一文中有描述。
  • 停机时间是服务不可用的时段。本主题用中断指一次连续的停机,用降级指服务可以工作、但低于约定质量的时段。
  • 正常运行时间是度量窗口内停机时间的补集。基于时间的可用性是正常运行时间除以范围内的总时间。
  • 基于请求的可用性是成功的有效请求占比,所以一个影响 5% 的请求、持续一小时的失败,算作一小时流量的 5%,而不是整整一小时的停机。
  • 用户加权的可用性扩展了基于请求的视角,按受影响用户的数量或重要性对失败加权,例如统计失败的会话或失败的旅程,而不是原始请求。
  • 服务级别协议(SLA)是对客户的承诺,服务级别目标(SLO)是针对某个指示器的内部目标。服务级别协议和服务级别目标两篇文章给出了一般定义。
  • 计划内停机是事先宣布并通过变更赋能获得批准的中断。计划外停机是其他一切。两者之间的界线是可用性报告中争议最大的界线之一。
  • 平均故障间隔时间(MTBF)是两次中断之间的平均运行时间,平均修复时间是恢复的平均时间。两者都是平均值,所以本书把它们读作分布(见主题 1.6,服务指标的统计素养)。
  • 合成监控使用行为像用户的脚本化探测,并报告成功或失败。真实用户监控记录真实用户使用服务时的体验。
  • ITIL 是最著名的 IT 服务管理框架。在 ITIL 4 中,可用性管理实践关注确保服务交付约定的可用性水平,它与监控与事件管理、事件管理和服务连续性管理密切配合。

为什么一个数字永远不够

十次各四分钟的中断,与一次四十分钟的中断,产生同样的停机总量,但它们给用户的感觉不同,也需要不同的应对。第一种模式指向脆弱的服务。第二种指向缓慢的检测或恢复。出于这个原因,这里的指标是作为一小组出现的,每个都带一个护栏,使团队可以诚实地讨论可用性,而不是争相拥有最多的"九"。

ITIL 与敏捷的视角有何不同

在 ITIL 中,可用性是服务的一个被管理的属性,与客户约定,由服务级别管理对照规定的目标报告,附有清晰的服务时间和排除项,比如计划维护。

在敏捷和站点可靠性工程(SRE)实践中,可用性是若干 SLI 之一,与 SLO 比较。Google 的《站点可靠性工程》一书说,基于时间的可用性适合单一系统,而请求成功率适合始终有部分在线的分布式服务。它还说,100% 几乎从来不是正确的目标,因为每多一个"九"的成本都会陡然上升。

用 ITIL 关于约定范围、时间和排除项的纪律来定义分母。用 SRE 关于以用户为中心的指示器和错误预算的纪律来定义分子,并决定如何处理结果。

关键原则

  • 从用户一侧定义"可用"。对健康检查有应答、而用户无法登录的服务,对重要的人来说就是宕机了。
  • 写下分母。在计算任何东西之前,说明服务边界、范围内的时间、时区和度量窗口。
  • 把计划内和计划外的中断分开统计。两者一起报告,绝不让其中一个藏在另一个里面。
  • 对分布式服务偏好基于请求和用户加权的度量。部分失败既不是完全在线,也不是完全停机。
  • 把"几个九"换算成分钟。只有当人们能说出每月允许多少分钟的失败时,目标才被理解。
  • 选择用户所需的"九"的个数。超过这一点,每多一个"九",花费都多于回报。
  • 描述服务,绝不描述人。可用性属于服务及运行它的团队,绝不是个人的分数。

指标定义

每一行都说明其时钟和边界。除非某一行另有说明,否则使用日历时间。凡度量使用分布之处,报告中位数和第 95 百分位数,并指明窗口。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
基于时间的可用性 服务满足书面的"在线"定义的范围内时间占比 (窗口内范围内的分钟数 减去 计划外停机分钟数)/ 窗口内范围内的分钟数。时钟在第一次失败的探测(之后被确认为用户影响)时启动,或在事件评审中记录的已确认影响开始时启动;在服务再次满足定义时停止。约定服务时间内的计划内停机单独显示,约定服务时间之外的时间从分母中排除 百分比 合成监控结果;带影响开始和恢复时间戳的事件记录 可用性管理;服务级别管理 针对单一系统的基于时间的 SLI(见主题 5.2,SLI、SLO 与错误预算) 每月
基于请求的可用性 成功的有效请求占比 窗口内成功的有效请求数 / 有效请求总数。有效请求排除格式错误的请求和由调用方造成的客户端错误;由服务造成的失败,包括超时,算作失败。按服务和用户旅程报告 百分比 负载均衡器、网关或应用的日志和度量 可用性管理;监控与事件管理 带 SLO 和错误预算的成功率 SLI(见主题 5.2,SLI、SLO 与错误预算) 每日趋势,每月报告
用户加权的可用性 按受影响的用户或旅程加权的可用性,使高峰时的中断比夜间的算得更重 1 减去(窗口内失败的用户会话数或失败的旅程数 / 用户会话总数或旅程总数)。如果某个已定义的关键步骤失败,则该会话算作失败;部分成功作为单独的降级占比报告,不折算在内 百分比 真实用户监控;应用会话日志;分析事件 可用性管理;服务级别管理 基于旅程的 SLI,以及主题 6.2 中的体验度量(见主题 6.2,体验级别协议) 每月
计划外停机 服务在没有事先批准的通知下不可用的分钟数 窗口内中断持续时间之和,从已确认的影响开始到已确认的恢复,针对在开始之前未通过变更赋能宣布和批准的中断。同一服务上重叠的中断被合并,而不是相加。报告总分钟数、中断次数,以及中断持续时间的中位数和第 95 百分位数 分钟 带影响开始和恢复时间戳的事件记录 事件管理;可用性管理 被读作分布的恢复时间(见主题 3.3,事件响应与解决时间) 每月
计划内停机占比 事先宣布并获得批准的停机占全部停机的比例 窗口内的计划内停机分钟数 /(计划内加计划外停机分钟数)。只有当一次中断在开始之前通过变更记录获批、且其开始和结束时间已传达给用户时,才算计划内;超出获批窗口的部分,从窗口结束的那一刻起重新归类为计划外 百分比 带获批窗口的变更记录;事件记录;状态页历史 变更赋能;可用性管理 偏好零停机部署的发布和维护实践(见主题 4.3,变更赋能指标) 每月
中断频率与间隔 中断多频繁地开始,以及服务在两次中断之间运行多久 窗口内开始的中断次数;以及对每对连续的中断,从第一次的恢复到第二次的开始之间的正常运行分钟数,汇总为中位数和第 5 百分位数。当间隔少于十个时,不报告为单一的平均值 计数;分钟 事件记录;监控历史 事件管理;问题管理 与变更失败率并列的稳定性信号(见主题 4.4,变更失败与返工) 每月
降级占比 服务可以工作、但低于约定质量的时间 延迟、错误或正确性指示器突破其阈值的分钟数(不含已计为停机的分钟)/ 范围内的分钟数。阈值按服务规定,例如在 SLO 中 百分比 监控和 SLI 度量 可用性管理;容量与性能管理 延迟 SLI(见主题 5.4,容量与性能指标) 每月
度量覆盖率 可用性度量实际上观察到了服务面向用户的行为中的多少 有活跃探测或真实用户度量的关键用户旅程数 / 服务定义中列出的关键用户旅程数 百分比 服务定义;监控配置 监控与事件管理;可用性管理 可观测性覆盖和告警质量(见主题 5.5,监控与告警质量指标) 每季度

关于数据的两点说明。每五分钟检查一次的探测,无法分辨两分钟的中断,所以要在数字旁边记录探测间隔,并使用事件记录中的影响开始字段(见主题 1.5,数据来源与埋点)。每当"在线"的定义发生变化,就在趋势图上标出来。

建议

定义度量

1. 在百分比之前先写下服务定义。列出服务边界、关键用户旅程、范围内的时间、时区和窗口(通常是一个日历月)。说明哪些依赖算数:如果支付提供方失败,用户无法付款,这是你的中断吗?把答案记录在指标登记册里(见主题 1.4,指标治理与归属)。大多数关于可用性的争议,都是关于这一页的争议,而在中断之前就解决它们,比在中断之后便宜得多。

2. 把"在线"定义为用户的成果,而不是服务器的状态。在登录已损坏时返回成功的健康检查,度量的是错误的东西。选择少数几个关键旅程,比如"搜索并查看某个商品"、"登录"或"提交理赔",并用用户能认出的语言为每个定义成功。端到端地探测旅程,并把超过约定阈值的缓慢响应视为降级,而不是在线。

3. 对分布式服务使用基于请求的度量,对真正开或关的服务使用基于时间的度量。全球性的服务很少完全宕机,所以统计完全失败的分钟数,会忽略大多数真实的失败。能做到时,两者都报告,并说明哪个是头条以及原因。

4. 在负荷不均之处加入用户加权。凌晨 4 点的十分钟中断,与交易日开始时的十分钟中断,持续时间相同而代价非常不同。按失败那一分钟的会话或交易加权,或把高峰时段的中断分钟数作为单独的数字报告。

5. 从失败域之外度量。位于与服务相同的网络或区域内的探测,会随之失败,或者在用户所走的路径已断时仍报告成功。从至少两个独立的位置运行合成探测,并对照真实用户数据交叉检查。

诚实地对待计划内和计划外的中断

6. 并排报告计划内和计划外的停机。许多协议排除计划维护,这是合理的。但用户仍把它体验为停机,所以要在头条数字旁边显示被排除的分钟数和计划内占比(见主题 4.3,变更赋能指标)。

7. 让"计划内"这个标签很难获得。把计划内定义为在中断开始之前通过变更记录获批,开始和结束时间事先传达给用户。在开始之后才宣布的中断是计划外的。超出获批窗口的部分,从窗口结束的那一刻起是计划外的。这三条规则阻止该标签变成把失败重新标记的办法。

8. 努力缩减计划内停机。滚动部署、功能开关、无锁的架构迁移和蓝绿发布,让团队无需停机就能更改服务。把计划内停机的分钟数作为趋势来跟踪,并问需要什么才能使它趋近于零。

读好这些数字

9. 把"几个九"换算成分钟并展示出来。下表给出一个 30 天的月(43,200 分钟)和一个 365 天的年(525,600 分钟)的算术。把允许的分钟数放在仪表板上目标的旁边,并显示窗口内迄今已用的分钟数。人们对"每月 43 分钟"比对"三个九"能作出更好的决定。

可用性目标 30 天的月内允许的停机 365 天的年内允许的停机
99% 432 分钟(7.2 小时) 5,256 分钟(87.6 小时)
99.5% 216 分钟(3.6 小时) 2,628 分钟(43.8 小时)
99.9% 43.2 分钟 525.6 分钟(8.76 小时)
99.95% 21.6 分钟 262.8 分钟(4.38 小时)
99.99% 4.32 分钟 52.56 分钟
99.999% 约 26 秒 约 5.26 分钟

这些值假设时钟在整个窗口内都在走。如果你只度量约定的服务时间,允许的分钟数会按比例缩小,你应当说明这一点。

10. 尊重每多一个"九"的代价,以及你的依赖的局限。SRE 一书指出,每多一个"九",可靠性成本都陡然上升,目标应当反映用户需要什么以及业务愿意为什么付费。一项服务很少能比它串联所需的依赖更可用。如果三个必需的组件各自达到 99.9%,而一个请求需要三者全部,那么组合的最佳预期可用性约为 99.7%,因为在组件相互独立时,失败概率相加。在许诺一个数字之前先做乘法。

11. 看间隔和形状,而不只是总量。频繁的短中断需要与一次罕见的长中断不同的应对。把长时间的中断与检测和恢复(见主题 3.3,事件响应与解决时间)以及重大事件视图(见主题 3.4,重大事件指标)关联起来。

12. 用错误预算和问题记录闭合回路。可用性目标在改变团队的行为时才有用。当每月允许停机的预算快要用完时,放慢有风险的变更,把精力转到可靠性工作上,如错误预算政策所述(见主题 5.2,SLI、SLO 与错误预算)。当同一个原因再次出现时,打开一条问题记录,并跟踪到修复(见主题 4.1,问题管理指标)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
基于时间的可用性 探测一个始终在线的琐碎页面,而真正的旅程失败;拉长探测间隔,使短中断落在两次检查之间;缩小范围内的时间;把中断算作降级 用户加权的可用性和真实用户监控;探测间隔写在数字旁边;对照监控记录抽样事件
基于请求的可用性 把容易的请求(健康检查、缓存资源)算进分母来稀释失败;把服务器错误归类为客户端错误;排除用户体验为失败的重试 按关键旅程而不是按请求的成功率;评审排除清单;与用户报告的事件比较
用户加权的可用性 选择加权方式使高峰时的失败无足轻重;把"成功"的会话定义得很宽松,使损坏的步骤仍能通过 公布加权规则和旅程清单;与中断期间的投诉量和支持联系比较
计划外停机 事后把中断重新归类为计划内;推迟已确认的影响开始;把一次中断拆成两次,使其显得更短 计划内停机占比,规则是开始之后才宣布的中断是计划外的;把影响开始与监控数据比较
计划内停机占比 把变更预订为获批窗口,使超时和失败算作计划内;通过安排不必要的维护来夸大计划内占比 超时的分钟数重新归类为计划外;变更失败率和紧急变更占比(见主题 4.4,变更失败与返工)
中断频率与间隔 合并事件,或仅在长时间间隔之后才打开新事件,使计数保持很低;压制告警,使短中断不被记录 对照原始监控事件抽样告警和事件;监控覆盖和告警质量(见主题 5.5,监控与告警质量指标)
降级占比 把阈值设得很宽松,使缓慢的服务永不突破;把降级的时间宣布为在线 在数字旁边评审延迟百分位数和用户报告的缓慢(见主题 5.4,容量与性能指标)
度量覆盖率 只列出容易探测的旅程,使覆盖率读作 100%;把一个旅程算作已被一个从不运行的探测覆盖 旅程清单与服务负责人和用户一起约定;每季度抽样探测的运行历史

健康的读数显示:数字因团队能解释的原因而变化,计划内和计划外的停机都可见,用户加权的数字接近头条数字。对伴随着投诉的完美一个月要保持怀疑。偶尔一次诚实的下滑,表明记录系统在工作。

权衡:利弊

做法 优势 劣势
基于时间的可用性 简单、被广泛理解、易于与合同比较 把部分失败当作全有或全无;忽略何时和对谁
基于请求的可用性 反映部分失败;可扩展到分布式服务 依赖对有效请求的合理定义;可能被容易的流量稀释
用户加权的可用性 接近用户的体验;显示高峰时失败的代价 需要会话或旅程数据;更费力解释
排除计划内停机 符合许多协议;奖励提前通知 可能隐藏真实影响;招致重新标记
适度的目标加错误预算 平衡可靠性和交付速度 在预算花完时需要纪律去行动

文字化的答案是:选择最适合该服务的最简单的度量,在负荷不均之处加入用户加权,并明确说明每一项排除。每个人都理解的、略欠优雅的度量,比没人信任的复杂度量更有益处。

与团队讨论的问题

1. 对我们最重要的服务,"可用"意味着什么?用户会同意吗? 请每个人用一句话描述,用户必须能做到什么,服务才算在线。把答案与书面定义以及为仪表板提供数据的探测比较。主持人应倾听其中的缺口,比如登录、搜索或付款在探测中有效、实际却失败。最后约定定义必须指明哪些用户旅程。

2. 上个季度的哪些中断会被我们的计算排除?这公平吗? 列出这些中断,并把每个标为计划内、计划外或被排除。问每个判断是谁、何时作出的。主持人应记录用户会不同意该标签的案例,并用它们收紧规则。

3. 我们的目标允许多少分钟的停机?本窗口我们已经用了多少? 在白板上把目标换算成月和年的分钟数。与迄今已用的分钟数比较。问如果只剩下 20% 的预算,团队会有什么不同的做法。这使抽象的目标具体化,并把这个数字与错误预算政策联系起来。

4. 我们的度量可能在哪里漏掉用户会感受到的失败? 走一遍探测位置、间隔、涵盖的旅程和依赖。问什么样的失败能通过每一个探测,却仍然让服务对用户不可用。约定增加一个新探测或一项真实用户度量。

5. 我们是否在计划本可避免的中断? 查看六个月的计划内停机,问是什么迫使每次中断发生。有些是不可避免的,比如供应商的要求。另一些则来自可以改变的发布或迁移方式。问要消除最大的来源需要什么,以及这项工作归谁。

6. 如果头条数字看起来完美,什么会让我们怀疑它? 说出会与仪表板相矛盾的信号:投诉量、支持联系,或值班团队的回忆。检查现在是否存在其中任何一个。约定一项要放在仪表板上的比较。

四种视角

产品与交付团队

交付团队每次更改服务都会影响可用性。他们可以为零停机部署做设计,用功能开关限制爆炸半径,并把错误预算作为发布决定的输入,把可用性与部署度量一起阅读(见主题 2.8,DORA 指标)。

服务与运维团队

运维团队拥有探测、事件记录和产生数据的轮班。他们应当保持定义和排除清单是最新的,诚实地记录影响开始,并对照真实事件评审监控。可用性属于服务及其轮班,绝不属于某位值班工程师(见主题 5.7,琐务与值班指标)。

领导层与治理

领导层设定的激励,决定可用性数据是否坦率。一场问"你们为什么丢了一个九?"的评审,会教会团队把中断藏在排除项里。要问团队学到了什么,以及什么投资能减少中断,并且不要要求比用户能注意到的更多的"九"(供应商承诺见主题 8.4,供应商与合同指标)。

客户与用户

用户依据自己是否能做成想做的事来评判可用性。对于有预告的维护窗口,他们的容忍度远高于突然的中断。给他们一个带有诚实起止时间的状态页,并把他们的反馈与数字放在一起阅读(见主题 6.2,体验级别协议)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商运营着一个店面、一个结账服务和一个订单跟踪服务。本示例中的数字是示意数字。

结账团队报告该月基于时间的可用性为 99.95%,这允许 21.6 分钟的计划外停机,而仪表板显示 99.96%。客户支持负责人感到不安,因为同一个月里关于付款失败的支持联系上升了。她请团队评审这项度量。

团队发现三个问题。探测每五分钟检查一个"结账可达"的页面,而不是完整的支付旅程。基于请求的数据显示,在两个晚上,支付提供方的超时使约 4% 的支付尝试各失败了约 50 分钟,而探测从未注意到,因为页面本身是加载成功的。还有,一次数据库迁移超出了获批窗口 18 分钟,却被整个记录为计划维护。

团队作出四项改变。它为完整的支付旅程增加了一个合成探测,从两个位置、以一分钟的间隔运行。它增加基于请求和用户加权的数字,使用到达支付步骤的会话。它把超时的分钟数重新归类为计划外。它还把计划内停机占比和度量覆盖率加入报告。

按更正后的基础,该月显示基于时间的可用性为 99.93%,基于请求的可用性为 99.90%,用户加权的可用性为 99.84%,因为失败落在晚间高峰。三者都未达到 99.95% 的目标,这令人不适。团队和支持负责人一致认为,先前的数字过于慷慨。他们把更正后的定义写进指标登记册,并让错误预算政策生效:下个月,对结账的有风险变更要等到预算恢复,团队为支付提供方的超时打开一条问题记录(见主题 4.1,问题管理指标)。

他们抓住的操纵风险是重新标记。一位经理建议把超时称为"延长的维护"以保护目标。计划内停机占比,连同超时变为计划外的规则,使这种重新归类变得可见,团队保留了诚实的数字。

行业视角

初创企业。小团队往往只有一项服务,监控很少。从对最重要旅程的一个探测和一段话的"在线"定义开始。选择一个适度的目标,把它换算成分钟,并避免许诺团队尚无法度量的"九"。

小型企业。服务往往是托管工具加几个定制系统,可用性取决于供应商。按供应商的中断影响你的用户的情况来记录它们,与供应商所报告的比较,并把数字保持在两三个。

大型企业。许多服务、许多团队和许多供应商,使使用中的定义成倍增加。发布一份标准的可用性定义,附一份简短的允许变体清单,保持指标登记册最新,并在比较团队之前,确保计划内和计划外的规则在各团队之间相同。偏好服务层面的报告,而不是团队排行榜,因为服务在负荷和重要性上各不相同。

政府与公共部门。公共服务往往有法定的服务时间、公布的承诺,以及带有正式赔偿的合同。按所写的内容对照它们报告,在旁边显示用户加权的视图,并对排除项保持坦率(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

主要成本是撰写服务定义和登记册的时间、从失败域之外探测关键旅程的监控,以及把事件、变更和监控数据连接起来,从而能把计划内和计划外停机分开的工作量。真实用户监控增加工具和存储成本。大多数组织已经拥有一些数据,所以第一笔投资通常在定义上。

回报来自更好的决定和更少的争议。从用户一侧度量的团队,会发现健康检查所漏掉的失败,有了一个定义,协议更容易管理,多一个"九"的成本可以与它对用户的价值相比较。把收益描述为一种模式,比如协议评审时更少的意外,并度量你自己的基线,比如头条数字与用户加权数字之间的差距。不要借用其他组织的数字。

反模式与陷阱

  • 只引用"几个九"而不给出分钟数。没人能把它换算成允许停机时间的目标,无法指导决定。在每个目标旁边显示允许和已用的分钟数。
  • 度量服务器而不是旅程。绿色的健康检查可以与损坏的登录并存。端到端地探测关键旅程,并与真实用户数据比较。
  • 让"计划内"标签吸收失败。容易获得的计划内类别,会掏空计划外的数字。要求在中断之前获批,传达出去,并把超时重新归类。
  • 跨服务和跨时段取平均。混合的数字隐藏了关键服务和繁忙时段。按服务报告,并加上用户加权的视图。
  • 许诺比依赖所允许的更多的"九"。串联的组件不可能超出其组合的可用性。许诺之前先做乘法,并向供应商索要它们的实测数字。
  • 把 100% 当作目标。成本陡然上升,变更变慢。依据用户需要选择目标,并使用错误预算。
  • 按"九"给团队或个人排名。服务在负荷和重要性上各不相同,排行榜教会团队隐藏中断。向每项服务显示它自己的趋势,并与它自己的目标比较。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 "在线"就是监控工具显示的任何东西;中断时间事后估计 为部分服务书面化;探测与事件时间不一致 每项服务一份书面定义,含旅程、时间、排除项和时钟规则 定义按节奏评审;变更被记录并标在图表上 定义与供应商和客户对齐,并在不再为决定提供依据时修订
度量质量 手工报告或单一的健康检查 部分服务有探测;部分日志中有请求数据 关键旅程上由外向内的探测,加上来自标准来源的基于请求的数字 来自真实用户数据的用户加权数字;跟踪并抽样覆盖率 度量在团队和供应商之间共享并自动核对
计划内与计划外的处理 没有区分;维护被临时计数 部分团队使用计划内标签,规则各异 一条规则:在中断之前获批并传达,超时重新归类 计划内占比有趋势,并以减少它为目标 零停机变更是默认,计划内停机罕见且经过协商
在决策中的使用 投诉之后才报告 由运维每月评审 目标以分钟显示 错误预算政策改变工作,并有资助 联合权衡可用性、成本和体验

检查清单

  • 每项服务都有"可用"的书面定义,指明其关键用户旅程。
  • 每个数字都说明度量窗口、范围内的时间和时区。
  • 排除清单已写下、已评审,并显示在头条数字旁边。
  • 计划内停机需要获批的变更和提前通知;超时算作计划外。
  • 探测从失败域之外、以说明的间隔、在关键旅程上运行。
  • 基于请求或用户加权的数字与基于时间的数字并列。
  • 每个目标都显示为当前窗口内允许的分钟数和已用的分钟数。
  • 报告中断次数和持续时间的百分位数,而不只是总量。
  • 在许诺目标之前,先把依赖的可用性乘起来。
  • 定义变更被记录并标在趋势图上。
  • 可用性按服务报告,绝不按人。

AI 提示词

起草一份服务可用性定义。

我正在为[服务名称]撰写可用性定义,这是由[用户群体]使用的一项[服务类型]。其关键用户
旅程是[旅程清单]。约定的服务时间是[时间和时区]。已知的依赖是[清单]。我们的监控由
[探测、日志、真实用户数据]构成。

请起草一份一页纸的定义,涵盖:每个旅程中什么算在线、度量窗口、范围内的时间、排除项、
计划内与计划外停机的规则、一次中断的时钟起点和终点,以及要报告的指标。不要编造目标
或基准值。列出你的假设,以及为完成定义我应当回答的问题。

把目标换算为允许的停机时间并检验它。

我们为[服务名称]设定的目标是在[窗口,例如 30 天的月]内达到[可用性百分比]。范围内
的时间是[时间]。我们的必需依赖及其声明的或实测的可用性是[清单,或"未知"]。

请计算这个目标在该窗口内和一年内允许的停机分钟数,使用范围内的时间。然后估计在依赖
串联所需且独立失败的情况下,可达到的最佳组合可用性,并解释你使用的公式。标出我的
输入太不确定而无法得出结论之处。不要为我没有提供的任何依赖提供可用性数字。列出你的
假设。

评审一个月的中断记录的分类问题。

这是[服务名称]在[月份]的中断记录:[粘贴含影响开始、恢复时间、计划内或计划外标签、
批准时间和备注的记录,已去除个人数据]。

对每次中断,检查计划内或计划外的标签是否遵循这条规则:[粘贴你的规则]。找出影响开始
看起来偏晚的记录、一次中断似乎被拆分或合并的记录,以及超时本应被重新归类的记录。
按服务和原因、绝不按人总结模式。告诉我你无法根据数据判断的内容。列出你的假设。

AI 技能

关键要点

  • 只有在从用户一侧写下"在线"、服务边界、时间和排除项之后,可用性才有意义。
  • 基于请求和用户加权的度量,比完全失败的分钟数,更好地描述分布式服务和不均的负荷。
  • 一起报告计划内和计划外的停机,并让"计划内"标签很难获得。
  • 把每个目标换算成分钟,并在许诺几个"九"之前,把串联的依赖乘起来。
  • 每多一个"九"都比上一个代价更高,所以依据用户需要选择目标,并用错误预算据此行动。
  • 描述服务和轮班,绝不描述人,并对照用户的体验检验每个头条数字。

参考文献与延伸阅读

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, High availability.
  7. Wikipedia, Downtime.
  8. Wikipedia, Service-level agreement.
  9. Wikipedia, Service-level objective.
  10. Wikipedia, Mean time between failures.
  11. Wikipedia, Mean time to repair.
  12. Wikipedia, Synthetic monitoring.
  13. Wikipedia, Real user monitoring.
  14. Wikipedia, ITIL.