概述与动因

每项服务本来就有一个可靠性水平,无论有没有人度量过它。如果没人说明它,用户会假定一个水平,产品团队假定另一个,运维团队又在捍卫第三个。这种差异是在一次中断期间才被发现的。本主题涵盖站点可靠性工程(SRE)用来弥合这一缺口的三个相互关联的思想:服务级别指示器、服务级别目标和错误预算。

服务级别指示器(SLI)是对服务在用户所体验到的某一方面的度量。典型的方面有:请求是否成功,花了多长时间,返回的数据是否新鲜,以及是否正确。好的 SLI 被表达为一个比率:在定义的窗口内,好事件数除以有效事件数。服务级别目标(SLO)是该比率在一段时期内的目标,例如"在滚动的 28 天内,99.9% 的有效结账请求成功"。错误预算是目标允许出错的那一部分:100% 减去 SLO。在 99.9% 时,预算是有效事件的 0.1%。

错误预算改变了交谈。如果服务只花掉了很少的预算,团队就有空间更快地发布、尝试有风险的变更并进行实验。如果预算几乎耗尽,同一个团队就会放慢功能工作,把精力花在可靠性上,直到预算恢复。这个决定来自事先约定的数字,所以不取决于会议上谁资历最深或最有说服力。

消耗速率是预算被花费的速度,相对于恰好在窗口结束时花光预算的速率而言。消耗速率为 1,意味着预算将恰好在窗口结束时耗尽。消耗速率为 10,意味着它将在窗口的十分之一时间内耗尽。消耗速率是从 SLO 通向告警的桥梁,因为它按对目标造成的代价,说明了一个问题有多紧急。

敏捷与 ITIL 的视角在这里汇合,它们对相关思想使用不同的词汇。在 ITIL 4 中,服务级别管理是设定、度量和报告服务级别的实践,服务级别协议(SLA)是提供方与客户之间的书面协议(见主题 5.1,SLA、OLA 与 XLA 指标)。SLO 是内部目标,通常比 SLA 更严格,由运行该服务的团队拥有。SLA 带有后果,比如赔偿或惩罚。SLO 带有决策规则。拥有自己服务的敏捷团队("你构建它,你运行它"),用 SLO 使可靠性的成本在与功能相同的待办中可见。遵循 ITIL 实践的团队,可以把 SLI 视为客户所说的需要的可度量形式,把 SLO 视为保障 SLA 安全的工作目标。

可用性是最熟悉的 SLI,在别处详细介绍(见主题 5.3,可用性指标)。延迟、正确性、新鲜度和吞吐量也是候选。技巧在于依据用户关心的东西,而不是依据容易收集的东西来选择指示器。服务器上的 CPU 使用率很容易收集,却几乎说明不了客户能否付款。在两秒内完成的支付请求占比,则说明很多。对于延迟,要报告百分位数,而不是平均值,因为平均值隐藏了用户会注意到的缓慢长尾(见主题 1.6,服务指标的统计素养,以及主题 5.4,容量与性能指标)。

关键原则

  • 从用户出发,而不是从服务器出发。选择描述一个人会认出的体验的指示器,比如"我的付款通过了",然后倒推要度量什么。
  • 低于 100% 的目标是一个决定,不是一种承认。完美的可靠性无法达到也负担不起,而超过某一点,用户通常分辨不出差别。预算使这一取舍变得明确。
  • 与依赖它的人一起设定目标。SLO 是产品、运维和客户之间协商的协议,不是由一个团队独自选择的数字。
  • 在预算耗尽之前就约定后果。在平静的一周写下的错误预算政策,在紧张的一周会被遵循。在中断期间发明的政策则会引发争论。
  • 对消耗告警,而不是对每个小波动告警。只有当预算消耗得足够快、威胁到目标时才呼叫人,并把较慢的消耗送到工单。
  • SLO 描述服务,绝不描述人。预算属于服务及其团队。它绝不是对某位工程师的分数。

指标定义

下面的指标描述一项服务的 SLO 体系。前四项是这项实践的核心,最后两项描述实践本身的健康状况。每个时钟和边界都在公式一列中说明。"有效事件"是在 SLO 文档约定的排除项之后,计入 SLI 的事件,比如团队自己的负载测试发出的请求,它们被排除。

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
SLI 达成率 一项服务的一个指示器上,好事件占有效事件的比例 好事件数 / 有效事件数,针对从报告期开始到结束的窗口;SLO 文档排除的事件(负载测试、如果 SLO 这样规定则包括事先宣布的计划维护)从分子和分母中都被去掉 百分比 负载均衡器、应用或合成探测的遥测;监控或可观测性平台 服务级别管理;监控与事件管理 可运维性的完成定义;利益相关方对服务健康状况的评审 持续,每日并按窗口报告
SLO 合规性 SLI 在 SLO 窗口内是否达到目标,以及在最近多少个窗口达到 SLI 达成率达到或高于目标的窗口数 / 在过去 12 个月中评估的窗口数;仍然打开的窗口被排除 窗口的百分比 SLI 达成率的历史 服务级别管理;持续改进 关于可靠性的团队目标或工作协议 每月,附季度趋势
剩余错误预算 当前窗口中尚未花费的那部分预算 1 -(迄今的坏事件数 / 整个窗口允许的坏事件数),其中允许的坏事件数 =(1 - SLO)× 整个窗口预期的有效事件数;时钟在窗口开始时启动,在窗口结束时停止 预算的百分比 SLI 达成率和流量预测 服务级别管理;风险管理 发布就绪检查;计划工作的输入 每日,每周评审
消耗速率 预算相对于均匀花费速率的花费速度 (回溯期内的坏事件数 / 有效事件数)/(1 - SLO);说明回溯期,例如 1 小时或 6 小时 比值(1 表示恰好按预算) 细时间分辨率的 SLI 遥测 监控与事件管理;事件管理 值班告警规则;群集协作的触发 持续,在告警规则中评估
预算政策遵循度 错误预算政策中的触发条件被触发时,约定的后果被采用的频率 该期间政策行动在约定时间内被采取的触发数 / 该期间被触发的触发数;以记录在案的理由被正式豁免的触发,单独统计,不被去掉 百分比 政策文档、决策日志和待办历史 服务级别管理;变更赋能 工作协议;回顾会议的后续跟进 每季度
SLO 覆盖率 拥有当前 SLO 和有效 SLI 的关键用户旅程或范围内服务的占比 至少有一个 SLO 且其 SLI 数据在过去 7 天内到达的范围内服务或旅程数 / 范围内的服务或旅程数;"范围内"列在服务目录(ITIL 术语是 service catalogue)中 百分比 服务目录、SLO 登记册和监控配置 服务目录管理;服务级别管理 团队服务所有权清单 每季度

消耗速率的回溯期和 SLO 窗口是可选择的。滚动 28 天的窗口涵盖整周。在 SLO 文档中说明选择并保持稳定,否则趋势会误导。

建议

依据用户关心的东西选择指示器

1. 从关键用户旅程开始。列出用户必须能够做到、服务才值得使用的三到六件事,比如登录、搜索、付款和下载账单。把每一件都写成从用户一侧出发的句子。然后选择能显示这个句子是否成立的 SLI。这使 SLO 保持很少,并避免出现没人阅读的一整套技术仪表。

2. 把每个 SLI 表达为好事件除以有效事件。比率易于解释、易于汇总,也易于变成预算。用用户能接受的阈值来定义"好",并定义"有效",使你不可能合理地服务的流量,比如因滥用而被拦截的请求,以有文档的方式被排除。把两个定义都写进 SLO 文档,因为分母是大部分分歧藏身的地方。

3. 在实际可行的范围内,尽量贴近用户度量。服务端的成功率可以是完美的,而网络或客户端问题却使服务无法使用。在负载均衡器或边缘处度量,并为最重要的旅程增加合成探测或客户端度量。每个度量点都有成本和盲点,所以记录每个 SLI 使用的是哪一个(见主题 1.5,数据来源与埋点)。

4. 对延迟使用带阈值的百分位数。"95% 的搜索请求在 800 毫秒内完成"是一个 SLI。"平均延迟"不是,因为少数几个快的请求可以抵消许多慢的。在有帮助之处,使用两个阈值,比如中位数和第 99 百分位数,因为缓慢的长尾塑造了服务给人的感觉(见主题 5.4,容量与性能指标)。

设定人们能为之辩护的目标

5. 依据当前表现和用户需要设定第一个 SLO,然后收紧。度量 SLI 几周,询问用户和支持人员他们注意到什么水平,然后设定一个服务今天能够达到、并留有一些余地的目标。远高于当前表现的目标是永久的违约,人们会不再看它。远低于用户所得的目标,则让质量在无人看见时衰减。一个季度之后重新审视。

6. 让 SLO 比 SLA 更严格,并让它们保持分开。如果客户协议承诺 99.5%,团队的目标可能是 99.9%,这样在越过合同线之前,预算就已耗尽。不要让 SLO 和 SLA 是同一个数字,也不要把一个当作另一个来报告。协议是商业和法律文件,目标是工程上的决策规则(见主题 5.1,SLA、OLA 与 XLA 指标)。

7. 考虑依赖关系。一项服务不可能比它所依赖的更可靠,除非它能优雅地降级。列出关键依赖,包括供应商,并问它们的实际表现对你的目标意味着什么。

把预算当作决策工具来运行

8. 在需要之前写下错误预算政策。政策说明在规定的消耗水平上会发生什么。一个简单的版本有三步:预算尚存时正常运行;花掉规定份额时,对有风险的变更额外评审并让可靠性工作优先;预算耗尽时,暂停非必要的功能发布,直到预算恢复。指明谁可以批准例外以及如何记录。产品和运维的领导都应签字,使政策对双方同样适用。

9. 有目的地花预算。从未被动用的预算,表明目标太严,或团队太谨慎。把富余的预算用于实验、更快的发布节奏、金丝雀推出,以及让你在有限暴露下在生产环境中测试的功能开关,并用金丝雀发布在只有一小部分用户受影响时发现问题。把始终未动用的预算视为去问目标是否符合用户需要的提示(见主题 4.5,发布与部署指标)。

10. 对多个消耗速率告警。快速消耗,比如高到足以在一小时内花掉预算的很大份额的速率,呼叫一个人。缓慢消耗,比如适度、但仍会在数天内耗尽预算的速率,则为工作时间创建一张工单。使用两个或更多回溯窗口,既能抓住突发的失败,也能抓住缓慢的渗漏,并减少为花费很少预算的短暂波动而发出的呼叫。《站点可靠性工作手册》中关于对 SLO 告警的一章解释了这种模式,阈值应当针对你的服务调整,而不是照抄(见主题 5.5,监控与告警质量指标)。

11. 把事件、问题和学习与预算联系起来。事件之后,在记录其持续时间和影响的同时,记录它消耗了多少预算。用这个数字为问题记录和后续行动排定优先级(见主题 4.1,问题管理指标,以及主题 4.2,事后复盘与学习指标)。预算成本也给重大事件评审提供了一个共同的单位,用来比较非常不同的失败(见主题 3.4,重大事件指标)。

让实践保持诚实和鲜活

12. 每季度对照现实评审 SLO。把 SLO 与支持联系、投诉和满意度结果比较。如果用户不满意而 SLO 是绿色,要么 SLI 错了,要么目标太松。如果 SLO 是红色而没人抱怨,目标可能太严。记录每一次变更及其理由,并在趋势图上显示这项变更(见主题 6.2,体验级别协议)。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
SLI 达成率 把"有效"事件收窄到失败消失,比如排除重试的请求或整类错误;只度量最健康的组件;只从有利的位置探测 在 SLO 文档中公布 SLI 的定义和排除项,附变更日志;把 SLI 与支持联系和用户投诉比较;定期评审被排除的事件及其数量
SLO 合规性 把目标设得低到总是通过;在糟糕时期之后改变窗口长度;把违约重新定义为维护期 目标由用户参与设定并按计划评审;窗口在文档中固定;在合规性旁边报告排除项的计数和对窗口的计划外变更
剩余错误预算 把坏事件重新分类为被排除;夸大预期流量,使允许的坏事件数显得更大;提前重置窗口 允许的坏事件数依据窗口结束时的实际流量计算;被排除事件的数量显示在预算旁边;窗口日期预先固定
消耗速率 调整告警阈值使消耗永不触发;使用过长的回溯期,使快速消耗被平均掉 用过去的事件做告警覆盖测试("这条规则本会呼叫吗?");可行动的告警率和漏检计数(见主题 5.5,监控与告警质量指标)
预算政策遵循度 例行地批准例外;编写触发条件永远无法达到的政策;把象征性的可靠性工单算作政策行动 单独计数并评审例外;该期间例外的占比;完成的可靠性工作(见主题 4.1,问题管理指标)
SLO 覆盖率 给每项服务加一个琐碎的 SLO 以提高百分比;在没有数据流入时把旅程算作已覆盖 SLI 数据新鲜度检查(数据在过去 7 天内到达);评审 SLO 覆盖的是关键旅程,而不是次要的端点

健康的读数显示:一个与用户报告相符的 SLI,一个有时错过、有时轻松达成的目标,以及有目的地花掉的预算。当政策的触发条件被触发时,政策被应用,例外很少且有记录,每一次定义变更都在图表上可见。预算剩余始终为 100% 的服务,或始终违约的服务,值得就目标展开一次交谈,而不是赞扬或责备。记住,任何单一数字都是提出问题的提示(见主题 1.2,古德哈特定律与指标心理学)。

权衡:利弊

做法 优势 劣势
用户旅程 SLI 与用户的感受相符;数量少;易于向非工程师解释 需要努力做端到端的埋点;可能漏掉尚未触及用户的内部故障
组件或资源 SLI(CPU、内存、队列深度) 收集成本低;对诊断和容量有用 对用户体验是糟糕的代理;产生许多无关紧要的告警
滚动窗口 平滑;月末没有断崖;始终是最新的 比日历月更难向高管解释;糟糕的一天会在整个窗口内持续影响
消耗速率告警 在目标确实面临风险时呼叫;误报更少 配置和测试更复杂;阈值需要针对每项服务调整

选择少量的 SLI,与用户一起设定,并让预算决定变更的节奏。正确的严格程度,是仍能让用户满意的最宽松的目标,因为每多一个"9"都比上一个代价更高。

与团队讨论的问题

1. 这项服务的用户需要能够做什么?如果他们做不到,我们怎么知道? 请每个人在不看任何仪表板的情况下,写下用户用这项服务做的三件最重要的事。比较清单,并注意产品、运维和支持之间的差异。然后问其中哪些旅程目前有 SLI。主持人应寻找没有度量的重要旅程,以及不描述任何旅程的度量。

2. 如果我们的 SLO 是 99.9% 并且达成了,用户会满意吗?我们怎么知道? 把当前的 SLO 与过去一个季度的支持联系、投诉和满意度结果放在一起。问它们是否一致。如果 SLO 是绿色而用户不满意,SLI 或目标需要改进。如果用户满意而 SLO 是红色,目标可能比任何人需要的都严。约定一项行动,使目标与体验相互靠拢。

3. 如果错误预算耗尽,我们实际上会做什么不同的事? 大声朗读当前的错误预算政策,或在没有的情况下一起起草一份。问谁会停下什么,谁有权批准例外。主持人应追问具体的行动,比如暂停非必要的发布,并把指名的人调到可靠性工作上,而不是笼统的意图。没人相信会被遵循的政策,比没有政策更糟。

4. 我们上一次是什么时候,因为有富余的预算而冒了险? 讨论团队是在使用预算,还是只在守护它。看上个季度:有没有预算几乎未动、而发布很慢的时期?问如果团队知道这样做是安全的,它本会尝试什么。这个问题会暴露过度谨慎,而答案往往指向金丝雀发布、开关或更快的流水线,它们能让团队好好利用预算。

5. 对于我们上一次糟糕的事件,我们的哪些告警本会及时触发,哪些会白白触发? 取上一次重大事件,对照它回放告警历史。统计到达的呼叫、它们在影响开始多久之后到达,以及有多少呼叫是为几乎不花预算的事件而来的。讨论消耗速率告警是否会做得更好。目标是一份简短的告警变更清单,每项有负责人,而不是关于谁在值班的责备讨论。

6. 每个 SLO 归谁拥有?我们上一次有意改变一个是什么时候? 列出 SLO,并在每个旁边写下负责人,是团队或角色。问各自上次评审是什么时候,改了什么。一年无人碰过的 SLO,是它不再为决定提供依据的迹象。为每个约定评审日期,并约定谁有权让不再有用的 SLO 退役。

四种视角

产品与交付团队

交付团队得到一条关于应走多快的清晰规则。预算尚存时,他们可以更频繁地发布,尝试更大胆的变更。预算很低时,他们无需漫长的协商,就把可靠性工作放进待办。他们应当帮助选择指示器,因为他们知道哪些旅程重要,并应当从一开始就带着 SLI 的考虑为新功能埋点(见主题 2.8,DORA 指标)。预算是团队用来计划的资源,绝不是要隐藏的数字。

服务与运维团队

运维团队用 SLO 来决定什么值得呼叫,什么可以等到早上。消耗速率告警减少噪声,并把值班工作与用户的感受联系起来(见主题 5.7,琐务与值班指标)。他们保持 SLI 定义诚实,维护其背后的遥测,并在事件和问题记录中记录预算成本。

领导层与治理

领导层应当问三个问题:目标是什么,还剩多少预算,如果它耗尽我们会怎么做?他们签署错误预算政策,并在政策说要放慢时支持团队。他们避免把 SLO 合规性变成奖金指标,那会招致收窄定义和设定宽松的目标。

客户与用户

当目标反映了他们的需要,并且他们能看到服务对照目标的表现时,客户受益。设定目标时应当征询他们的意见,因为他们对缓慢或停机的容忍度,因任务和一天中的时间而异。满意度和付出的力气等体验度量,检验 SLO 是否捕捉到了他们的感受(见主题 6.1,客户满意度指标)。

实践:一个敏捷 ITIL 示例

一家中型在线零售商有一个结账团队、一个平台团队和一个服务台。结账服务对业务至关重要。本示例中的所有数字都是示意数字。

团队为"为订单付款"这一旅程定义了一个 SLI:在 2 秒内返回成功的有效支付请求的占比,在负载均衡器处度量。有效请求排除团队自己的负载测试,以及欺诈服务按设计拒绝的请求。SLO 是滚动 28 天内的 99.9%。窗口预期有 12,000,000 个有效请求,所以预算是 12,000 个坏请求(0.1%)。由产品负责人和平台负责人签署的错误预算政策分三级:花掉预算的 50% 时,有风险的变更需要第二位评审者和金丝雀推出;到 75% 时,可靠性工作在下一次计划交谈中优先;到 100% 时,暂停非必要的功能发布,直到预算恢复。

在窗口的第 10 天,团队看到迄今预期约 4,285,714 个请求中有 7,800 个坏请求,SLI 达成率约为 99.82%,已花掉 65% 的预算,而窗口只过去了 36%。这段时期的消耗速率约为 1.8,所以按这个速度,预算约在第 15 天耗尽。一次糟糕的部署占了其中 5,000 次失败。事件记录显示失败持续了 22 分钟,重大事件评审找出流水线中缺少的一项检查,事件的预算成本被记录在问题记录中(见主题 4.1,问题管理指标)。

团队遵循政策。第二级行动立刻适用,所以有风险的变更需要金丝雀推出,计划会议把流水线检查移到工作队列的顶部。产品负责人接受暂停一项不紧急的促销功能。到第 28 天,预算已花掉 94%,团队在目标之内完成了窗口。

操纵风险出现在评审中。运行该零售商搜索服务的另一个团队,报告该季度为 99.95%,而服务台却记录到"搜索不工作"的联系上升。经调查,平台团队发现搜索团队重新定义了"有效",把在 5 秒内被重试的请求排除在外,这去除了许多真实的失败。评审恢复了原来的定义,重新陈述了该季度,并增加了两个护栏:对定义的任何变更都连同理由记录在 SLO 文档中,并且每月把 SLI 达成率与支持联系比较。没有人撒谎,因为这项变更是为了减少噪声,所以修复办法是更清晰的定义,而不是训斥。

行业视角

初创企业。从对最重要旅程的一个 SLO 开始,在边缘度量,附一份一页纸就能写完的简单政策。不要为数十个 SLO 构建平台。预算帮助小团队少争论是否要在周五发布。

小型企业。小型企业往往依赖托管工具和供应商,所以 SLI 可能来自供应商的状态数据或一个简单的外部探测。以书面形式阅读供应商的服务级别,并对照你自己的需要进行检查。

大型企业。许多服务、团队和供应商,提高了一致性的要求。提供共享的 SLO 文档模板、通用的登记册,以及计算达成率和预算的标准方式,使领导层可以比较和汇总,而不必争论定义。让 SLO 归服务团队所有,让登记册由中央统一整理。

政府与公共部门。服务往往必须达到法定或公布的目标,失败可能会被公开报告。保持合同或法定的承诺与内部目标分开,并确保内部 SLO 更紧。为审计记录 SLI 的定义、排除项和数据谱系,并为可及性以及无法选择其他提供方的用户做计划(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

动机是更少的争论,以及关于可靠性更好的决定。没有目标时,可靠性工作与功能竞争,靠的是谁嗓门最大。有了目标和预算,取舍是可见的,并且事先约定,用户得到的服务与他们所需的一样可靠,团队也不必为超出这一点的可靠性付费。

成本有四个部分。第一是设计:选择旅程、指示器和目标,以及撰写政策的工作坊。第二是埋点:正确位置的遥测、探测,以及把事件变成达成率和预算的流水线(见主题 1.5,数据来源与埋点)。第三是运行:告警规则、仪表板、季度评审,以及保持定义最新的时间。第四是政策暂停功能工作时的机会成本,这是遵守协议的代价,也是在压力到来之前就约定它的理由。

回报表现为团队可以自己跟踪的模式:更少不需要采取行动的呼叫、关于是否发布的更短争论、在预算耗尽之前而不是在重大事件之后安排的可靠性工作,以及客户更少的意外。通过比较团队自己变更前后的数字来描述收益,比如每个轮班的呼叫数,以及最大的一起事件所消耗的预算占比。

反模式与陷阱

  • SLO 太多。数十个目标稀释注意力,没人说得出哪个重要。从关键用户旅程开始,让其余的退役。
  • SLO 等于 SLA。把一个数字同时报告为两者,既去掉了安全余量,又把工程规则与商业承诺混在一起。让目标比协议更严格。
  • 从不执行的政策。如果预算耗尽而什么也没有改变,这项实践就失去可信度。让领导层签署政策,并记录每个例外及其理由。
  • 把预算当作对人的记分卡。按花掉的预算给工程师或值班人员排名,会让人们隐瞒事件、收窄定义。把预算归于服务,并在系统层面讨论原因(见主题 1.2,古德哈特定律与指标心理学)。
  • 对每次下滑都告警。对原始症状呼叫,会造成告警疲劳,并训练人们忽略呼叫。对消耗速率呼叫,把缓慢的消耗送到工单。
  • 设定后就忘记。没人评审的 SLO 会偏离用户所需。安排季度评审,并记录改变了什么、为什么。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
指示器与目标 可靠性用文字描述;报告服务器的正常运行时间 部分团队定义 SLI;目标各异,很少评审 关键用户旅程在共享模板中有文档化的 SLI 和 SLO SLO 有趋势,对照用户反馈检验,并依据证据收紧或放宽 SLO 与客户和供应商共同约定,并与依赖服务和合同对齐
错误预算与政策 没有预算;可靠性与功能靠争论决定 为少数服务计算预算;没有约定后果 一份书面政策,由产品和运维签署,有明确的触发条件 度量政策遵循度,评审例外,预算为发布计划提供依据 在共享依赖的团队之间协调预算决定;政策随条件变化而修订
告警与响应 对原始资源的阈值告警;呼叫很多 有一些消耗速率告警;阈值抄自示例 对关键 SLO 的多窗口消耗速率告警,缓慢消耗走工单 度量告警质量并用过去的事件调整 告警在服务链之间对齐,并由联合评审驱动改进

检查清单

  • 列出服务的关键用户旅程,每个都从用户一侧写成。
  • 每个 SLI 都定义为好事件除以有效事件,并写下排除项。
  • 延迟 SLI 使用百分位数和说明的阈值,而不是平均值。
  • 每个 SLO 说明其目标、窗口,以及 SLI 在何处度量。
  • SLO 比任何 SLA 都更严格,两者分开报告。
  • 存在错误预算政策,由产品和运维领导签署,并指明谁可以批准例外。
  • 消耗速率告警至少使用两个回溯期,缓慢消耗创建工单而不是呼叫。
  • 每份事件记录都显示它消耗的预算。
  • 每月把 SLI 达成率与支持联系和满意度结果比较。
  • 每个 SLO 都有负责人(团队或角色)和评审日期,变更连同理由被记录。
  • 没有任何 SLO 结果被用来给个人排名或奖励个人。

AI 提示词

依据用户旅程起草候选 SLI。

我运行[服务名称],由[用户类型]用来完成[关键用户旅程清单]。我们可以在[度量点清单,
例如负载均衡器、应用日志、合成探测]进行度量。请针对每个旅程,提出一到两个写成好事件
除以有效事件的候选 SLI,并建议"好"、"有效"和排除项的定义。说明每个度量点的优点和
盲点。不要编造目标值或基准;请问我用户能容忍什么。列出你的假设。

起草错误预算政策。

请帮我为[服务名称]起草一份错误预算政策,其 SLO 为[目标],窗口为[窗口]。利益相关方是
[产品角色]和[运维角色]。请提出触发级别、每个级别的行动、谁可以批准例外以及如何记录,
以及政策如何评审。保持在一页纸之内,并标出需要人类发起人的决定。不要照搬其他组织的
阈值;请给出选项和取舍。列出你的假设。

评审 SLO 的操纵风险。

这是我们[服务名称]的 SLO 文档:[粘贴 SLI 定义、排除项、目标、窗口和变更日志]。请找出
SLI 可能被收窄、窗口或目标被更改、或事件被排除,从而使结果看起来好于用户体验的方式。
对每种风险,建议一个护栏指标或实践。不要假定意图。列出你的假设,以及我应当回答的
问题。

AI 技能

  • 敏捷 ITIL 指标技能:用于查找相关主题,比如可用性、告警质量和重大事件,以及应当放在每项 SLO 度量旁边的护栏。
  • 敏捷 ITIL 指标维护者技能:用于检查对本主题的编辑是否使操纵表中的每项指标和每个交叉引用都带着标题。

关键要点

  • 依据用户所做的事选择少量 SLI,并把每一个表达为好事件除以有效事件。
  • 低于 100% 的 SLO 是关于风险的决定,错误预算是这个决定为变更留下的空间。
  • 提前写下错误预算政策,在领导层面签署,并记录每个例外。
  • 以不止一个回溯窗口对消耗速率告警,使呼叫反映对目标的真实风险。
  • 守护定义:记录每一次变更,并把 SLI 结果与用户的报告比较。
  • 把预算归于服务和团队,绝不归于个人,并至少每季度评审每个 SLO。

参考文献与延伸阅读

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  4. "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
  5. "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Site reliability engineering.
  9. Wikipedia, Service level indicator.
  10. Wikipedia, Service-level objective.
  11. Wikipedia, Service-level agreement.
  12. Wikipedia, Availability.
  13. Wikipedia, Percentile.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Canary release.