服务连续性指标
恢复计划在被演练检验之前只是假设,所以连续性指标应当统计实际恢复了什么、多快恢复、恢复回来了多少数据,而绝不是搁在架子上的计划数量。
概述与动因
大多数事件度量描述的是普通的糟糕一天:一次失败的部署、一个饱和的数据库、一个吵闹的邻居。服务连续性描述的是罕见而严重的一天,当某个区域失败、数据存储损坏、供应商消失,或勒索软件加密了整个资产的时候。业务连续性计划是让组织做好准备,在这类事件中仍以可接受的水平继续交付的学科。在 ITIL 4 中,这项实践称为服务连续性管理,是那个更大目标的 IT 服务视角(见配套的《敏捷 ITIL 指南》中的相应主题)。
有两个术语承载了大部分分量。恢复时间目标(RTO)是中断之后恢复服务的可接受时间。恢复点目标(RPO)是可接受的数据丢失量,以一段时间表示:一小时的 RPO 意味着丢失最后一小时的写入是可以容忍的,丢失更多则不能。两者都来自业务影响分析(BIA),也就是识别哪些活动最重要、什么依赖什么,以及一次中断要付出什么代价的方法。这些目标是带有价格的业务决定,因为更紧的目标需要更多的冗余、更多的自动化和更多的演练时间。
难处在于,目标是对一个尚未发生的未来事件的承诺。诚实的证据是一次测试。团队在上次演练中是否在 RTO 之内恢复了服务?恢复的数据是否满足 RPO?计划中的步骤是否就是团队真正采取的步骤?因此,连续性指标主要是对演练的度量,而度量的质量取决于演练有多真实。
敏捷和站点可靠性工程(SRE)团队为此带来了有用的习惯。他们的系统每周都在变化,所以写一次就归档的计划,几个月内就会过时。敏捷的回应是把恢复保留为代码(例如借助基础设施即代码),经常演练,并把每次演练视为待办项的来源。混沌工程和演练日在较小的规模上应用同样的思想:有意地、以受控的方式制造一次失败,并观察会发生什么。SRE 的视角在 Google 的《站点可靠性工程》一书中有描述,更广的领域在站点可靠性工程一文中有总结。
视角有何不同
- ITIL 视角。服务连续性管理是一项实践,它依据 BIA 设定恢复目标、设计计划,并用测试来证明它们。它的产出是计划、演练报告和记录在案的发现。ISO 22301 标准描述了业务连续性管理体系。截至 2026 年 10 月,如果客户或监管者要求符合性,请直接核对当前版本。
- 敏捷视角。恢复能力是完成定义中的一项产品属性。增加了数据存储的故事,在其恢复路径被试过之前,不算完成。
- SRE 视角。可靠性工作是有预算、被度量的。故障转移、恢复演练和演练日,是有负责人的计划工作,其发现进入待办。
本主题涵盖七项度量:测试中对照时间和数据目标的恢复、演练的覆盖和时效、备份恢复、发现的关闭,以及计划的时效。真实的中断见重大事件指标(见主题 3.4,重大事件指标)和可用性指标(见主题 5.3,可用性指标)。以面向用户的目标表达的目标,见关于指示器和预算的主题(见主题 5.2,SLI、SLO 与错误预算)。DORA 研究项目的"失败部署恢复时间"是小得多的时钟(见主题 2.8,DORA 指标)。测试揭示的根本原因属于问题和学习主题(见主题 4.1,问题管理指标,以及主题 4.2,事后复盘与学习指标)。
层级是按服务必须多快恢复而分组的一类服务。桌面推演是不改变系统的、基于讨论的彩排。演练日是动手的彩排,团队在其中制造或模拟一次失败,并观察响应。发现是计划与实际发生之间被记录下来的缺口。计划时效是计划反映服务当前状况的程度。
关键原则
- 先测试,再主张。RTO 或 RPO 只有通过一次实际执行并计时的恢复才算验证。把目标与最近一次演示的结果并排报告。
- 度量真实性,而不只是成功。对空的测试数据库的恢复在几分钟内通过,几乎说明不了生产规模的恢复。把每次演练的范围和条件记录在结果旁边。
- 为资产分层,并按层级投入精力。关键服务得到频繁、真实的测试。低层级服务得到较轻的检查。对一切使用单一的频率目标,要么浪费精力,要么漏掉风险。
- 把发现视为演练的产品。演练日有价值的产出,是一份被关闭的缺口清单。没有发现的测试,要么极好,要么太温和,你应当查明是哪一种。
- 描述服务和轮班,绝不描述个人。演练结果描述系统和计划。没有人因恢复一次演练的快慢而被排名。
- 把每次演练显示为自己的一行。每项服务每年的测试很少,所以平均值会误导(见主题 1.6,服务指标的统计素养)。
指标定义
每项指标列出时钟或计数、排除了什么,以及数据来源。每一行在被信任之前都需要一条书面规则。下文的"一级服务"指按你自己的 BIA 定义的最高恢复层级中的服务。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| RTO 达成率 | 服务在其规定的 RTO 之内恢复的恢复演练占比 | 恢复时间 <= RTO 的演练数 / 已运行的演练数。时钟在演练失败的宣布开始时(注入时间或场景宣布)启动,在服务通过针对真实或合成用户的约定健康检查时停止。桌面推演和没有计时恢复的演练被排除并单独统计 | 百分比,附演练次数 | 演练报告、来自监控的时间线、带 RTO 的服务登记册 | 服务连续性管理;可用性管理 | 演练日的结果;交付度量中的恢复时间 | 每次演练;每季度汇总 |
| RPO 达成率 | 数据丢失保持在规定 RPO 之内的恢复演练占比 | 测得的数据丢失跨度 <= RPO 的演练数 / 恢复数据的演练数。数据丢失跨度是恢复之后存在的最后一次写入与失败时刻之间的时间。不恢复任何状态的演练被排除 | 百分比,附演练次数 | 演练报告、将恢复的数据与源或写入日志比较 | 服务连续性管理;信息安全管理 | 作为完成定义一部分的恢复演练 | 每次演练;每季度汇总 |
| 已测试的恢复覆盖率 | 在约定测试间隔内做过动手恢复测试的一级和二级服务占比 | 在间隔内有合格测试的服务数 / 范围内的服务数。合格测试是动手的(不只是桌面推演),并在测试或生产环境中恢复服务。间隔按层级设定 | 百分比,按层级 | 服务登记册、演练日历和报告 | 服务连续性管理;服务目录管理 | 演练日计划 | 每月 |
| 距上次成功恢复测试的天数 | 每项关键服务最近一次通过的恢复测试的年龄 | 报告日期 减去 同时满足 RTO 和 RPO 的最近一次测试的日期。失败的测试不重置时钟。从未测试过的服务显示为"从未",而不是零 | 天,按服务,最老的突出显示 | 演练报告、服务登记册 | 服务连续性管理 | 演练日计划;工作项年龄 | 每月 |
| 备份恢复成功率 | 以经验证、可用的数据完成的备份恢复尝试占比 | 完成并通过数据验证检查的恢复数 / 尝试的恢复数,涵盖自动化和手工的恢复测试。仅仅备份作业成功被排除,因为运行了的作业不是有效的恢复 | 百分比,按数据层级 | 备份系统日志、自动化恢复验证结果 | 服务连续性管理;基础设施与平台管理 | 恢复演练;完成定义中的可运维性标准 | 自动化测试每周;评审每月 |
| 演练发现关闭率 | 恢复演练的发现中,在约定时间内关闭的占比,按严重程度划分 | 在目标内关闭的发现数 / 该期间到期的发现数。时钟在发现被记录进演练报告时启动,在经验证的修复时停止,即通过重新测试或评审确认。由指名的负责人接受为风险的发现单独统计 | 百分比,附逾期发现的计数 | 演练报告、问题跟踪器 | 服务连续性管理;持续改进 | 回顾会议的行动项;待办项年龄 | 每月 |
| 计划时效 | 在其服务最近一次重大变更之后,或在其评审间隔内,被评审过的连续性计划和运行手册占比 | 评审日期晚于最近一次重大变更、且在间隔内的计划数 / 范围内的计划数。重大变更是指被标记为改变了架构、数据存储、依赖或供应商的变更记录 | 百分比,附最老未评审计划的年龄 | 计划库(版本控制)、变更记录、服务登记册 | 服务连续性管理;变更赋能 | 完成定义包括运行手册的更新 | 每季度 |
演练中的 RTO 时钟不同于真实中断中的时钟,后者从影响开始时启动(见主题 3.4,重大事件指标),所以要把演练与演练比较。严格按脚本进行的演练度量的是彩排的速度,所以要记录它包含了多少意外。
建议
设定可以被测试的目标
1. 依据业务影响分析推导 RTO 和 RPO,并把它们写在服务旁边。BIA 问业务:一小时、一天和一周的中断要付出什么代价,以及它能承受丢失什么数据。把答案记录在服务登记册中,使每次测试都可以与一个说明的目标比较。仅由工程师选择的目标,往往要么负担不起,要么与客户的需要无关。
2. 为服务分层,并按层级设定测试间隔。少量层级,也许三到四个,比为每项服务制定不同的规则更容易运行。给最高层级最频繁、最真实的测试,给最低层级较轻的检查,比如定期恢复一份样本。写下间隔,并在 BIA 变化时评审它们。
3. 检查目标与架构是否相符。每晚备份却要求五分钟的 RPO,是一种矛盾,测试会在最糟的时刻暴露它。在第一次演练之前,把每个目标与备份、复制和故障转移的设计比较,并把任何缺口记录为发现。
以能揭示东西的方式测试
4. 混合桌面推演、恢复演练和演练日。桌面推演成本低,能发现角色、联系人和决定中的缺口。动手的恢复演练能发现程序、权限和数据中的缺口。演练日制造一次失败并观察响应,能发现监控、运行手册和协调中的缺口。分别报告每种类型,使一连串容易的桌面推演不会看起来像恢复的证明。
5. 在生产规模的数据上为恢复计时。在小的副本上有效的恢复,可能因吞吐量或存储限制而在真实容量上失败。在全规模测试成本太高、无法经常运行之处,定期运行一次,并说明任何外推。把数据量与结果一起记录。
6. 验证恢复的数据是可用的。在恢复之后加入自动检查,比如行数、校验和或合成交易。仅当该检查通过时,才把恢复算作成功。
7. 逐步增加意外。早期的演练可以事先宣布并按脚本进行。后期的演练应当隐瞒失败的细节,并包括诸如过期的凭据或无法联系的供应商之类的依赖。记录意外的程度,使结果可以放在背景中阅读。
把发现变成改变
8. 为每个发现记录负责人、严重程度和截止日期。演练日会产生一份清单:缺失的权限、与工具不再匹配的运行手册步骤、从未触发的监控。把每一个都放入团队的待办,与功能工作具有同样的可见性。跟踪未完成发现的年龄和按时关闭的占比,并在可行之处通过重新测试确认关闭。
9. 把发现与问题管理和学习联系起来。在多次演练中重复出现的发现,在 ITIL 的意义上就是一个问题(见主题 4.1,问题管理指标)。像对待事后复盘那样,无责地评审每次演练,并跟踪行动直至关闭(见主题 4.2,事后复盘与学习指标)。
让计划保持鲜活
10. 把计划和运行手册保存在版本控制中,并将其链接到变更。当变更记录改变了架构、数据存储或供应商时,要求在同一项工作中评审所属的计划(见主题 4.3,变更赋能指标)。依据最近一次重大变更,而不只是依据日历,来度量计划时效。每季度评审、却无视上个月迁移的计划,只是名义上的最新。
11. 保持依赖地图的诚实。恢复顺序取决于身份、名称解析和密钥存储等共享服务。对照配置记录核对地图,并修复演练揭示的缺口(见主题 7.4,配置与 CMDB 质量指标)。
12. 纳入供应商,并轮换演练职责。向每个关键供应商索要它自己的测试证据,并约定如何演练联合的步骤(见主题 8.4,供应商与合同指标)。演练消耗时间,所以把职责分摊到轮班上,并将其计为运营负荷(见主题 5.7,琐务与值班指标)。
操纵途径与护栏
连续性数字很容易被美化,因为很少有人仔细查看一次演练,而真正的考验又很少发生。下表为每项指标配上它被操纵的方式和抓住它的检查。这些配对遵循主题 1.2 中提出的形式(见主题 1.2,古德哈特定律与指标心理学)。
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| RTO 达成率 | 选择小的测试数据集、容易的场景或经过彩排的脚本;在团队已经开始之后才晚启动时钟;放宽健康检查,使"已恢复"更早到来;设定宽裕的 RTO,使每次测试都通过 | 与每个结果一起记录数据量、场景意外程度和健康检查的定义;把 RTO 与 BIA 比较;把每次演练显示为自己的一行,包括失败的 |
| RPO 达成率 | 只对主表而不是所有状态度量丢失;测试一个因没有负载而保持同步的副本;在错过结果之后重新定义 RPO | 对照范围内所有数据存储的写入日志验证数据丢失;在真实的写入负载下测试;保留目标的变更日志并附理由 |
| 已测试的恢复覆盖率 | 把桌面讨论算作测试;测试一个小得微不足道的服务以提高百分比;通过把服务重新归类到较低层级来缩小范围内的清单 | 一级的计数要求动手测试;按服务关键程度加权报告覆盖率;对照 BIA 审计层级变更 |
| 距上次成功恢复测试的天数 | 重新运行一个容易的测试以重置年龄;把部分测试标为通过;在纸面评审之后重置日期 | 显示上一次通过的测试的范围;显示最老的年龄和从未测试过的服务;要求同时满足 RTO 和 RPO |
| 备份恢复成功率 | 把备份作业成功报告为恢复成功;只测试已知良好的备份;用一个不可能失败的检查来验证 | 跟踪对随机抽样的备份的恢复;要求有数据验证的结果;每次审计时评审检查本身 |
| 演练发现关闭率 | 不修复就关闭发现;降低严重程度以放宽截止日期;把一个发现拆成许多容易的;一开始就少记录发现 | 通过重新测试验证关闭;在关闭率旁边报告每次演练的发现数,因为下降的计数可能意味着演练更温和;评审严重程度的变更 |
| 计划时效 | 不阅读计划就更新评审日期;把变更标为非重大;用永不过时的通用文字填充计划 | 抽样计划,并与没有写过它们的人一起走一遍;把重大变更标记率与架构变更历史比较;把时效与测试结果相联 |
健康的读数显示:每季度少数几次测试,带有诚实的变化:有些一次通过,有些失败后重复,每次的发现出现在待办中,并在规定时间内关闭。年复一年的满分,是问演练有多难的理由。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 频繁的小型自动化恢复测试 | 廉价、持续的证据;及早发现静默的备份失败 | 不测试协调、人员或全规模恢复 |
| 每年一次的全规模故障转移演练 | 真实;同时演练人员、供应商和依赖 | 昂贵而罕见;修复之后难以重复;在生产环境中运行有风险 |
| 桌面推演 | 成本低;发现角色和决定中的缺口;适合培训 | 不证明技术能运转;很容易在什么也没学到的情况下运行 |
| 带有人为制造失败的生产演练日 | 真实性最高;测试监控和运行手册的真实状态 | 需要成熟的保障措施和领导层的支持;若运行不当,会对客户造成伤害 |
| 分层的目标 | 把精力花在风险所在之处 | 层级的分配可能漂移,需要负责人 |
务实的答案是一个分层的方案:一直进行廉价的自动化恢复检查,按固定间隔为每项一级服务做动手演练,在较长的周期上进行较大的演练,以及针对决定和沟通的桌面推演。说明间隔,使读者可以判断证据有多新。
与团队讨论的问题
1. 我们上次恢复最重要的服务是什么时候?我们究竟证明了什么? 询问日期、数据量、场景和结果,并把它们写在白板上。主持人应抵制评判,把焦点放在主张与证据之间的缺口上。最后约定一次能缩小最大缺口的测试。
2. 我们的 RTO 和 RPO 是谁选的?业务今天还会选它们吗? 把每个目标追溯到业务影响分析或某个决定。问架构在纸面上是否能满足这个目标,满足它的成本是否曾被说明过。约定由谁与业务确认头几项服务的目标,以及何时确认。
3. 一次失败的演练会让我们在声誉上付出什么代价?这是否影响了我们演练的难度? 这个问题暴露出使演练变得温和的压力。问失败的测试被视为团队的失败,还是演练的成功。
4. 我们上次演练的哪些发现仍然未关闭?为什么? 大声读出清单,附年龄和负责人。对每个逾期的项目,问是什么阻碍了它:相互竞争的工作、不清楚的所有权、成本,还是认为风险可接受。目标是没有任何发现处于无人负责的状态。
5. 我们的计划假定了哪些如今已不再成立的东西? 挑一份计划,与没有写过它的人一起阅读。寻找已退役的工具、已重命名的账户和已离开的供应商。问服务变化时计划将如何更新,以及未更新时谁会注意到。把答案与变更流程联系起来。
6. 哪个依赖会让一切停摆?我们是否曾在没有它的情况下测试过? 身份、名称解析、密钥以及呼叫系统本身等共享服务,是常见的单点故障。请团队说出它们,并描述每一个上次被有意地置为不可用是什么时候。
四种视角
产品与交付团队
产品团队拥有使恢复成为可能的设计,所以他们把连续性作为关键服务完成定义的一部分来面对:一条备份路径、一个恢复程序,以及一份可行的运行手册。他们应当把恢复演练作为自己节奏的一部分来运行,把恢复代码与服务一起存放,并把失败的演练视为待办项。
服务与运维团队
运维团队运行大多数演练,并承担准备它们的工作量。他们应当保持演练日历,在演练进行时记录时间线,并在当天写下发现。结果描述的是服务和计划,没有人因某位个人恢复一次演练的快慢而被排名。
领导层与治理
领导层与业务一起设定目标,并决定值得买多少恢复能力。他们应当要求在每个目标旁边看到最近一次演示的结果、证据的年龄和未关闭的发现,并避免奖励一张干净的成绩单。治理机构应当期望一小组稳定的连续性度量,并与风险登记册相联,在适用之处也与受监管的报告相联(见主题 8.2,风险与控制指标,以及主题 8.5,受监管与政府报告)。
客户与用户
客户很少在事情发生之前看到连续性,而事情发生时,他们完全依据结果来评判:他们没有服务的时间有多长,以及他们的数据是否保住了。他们受益于以他们能理解的语言清楚地说明所承诺的内容,也受益于在事件启用计划时的诚实沟通。在合同包括恢复承诺之处,按请求分享演练证据(见主题 5.1,SLA、OLA 与 XLA 指标)。
实践:一个敏捷 ITIL 示例
一家地区医院的 IT 部门运行着一个患者预约系统、一个医学影像存档和一个员工消息服务。一个八人的产品团队维护预约系统,一个运维团队运行平台。本示例中的所有数字都是示意数字。
部门的登记册把预约系统列为一级,RTO 为 2 小时,RPO 为 15 分钟。它的季度报告显示"RTO 达成率:4 次演练中 100%"和"已测试的恢复覆盖率:100%"。新任运维负责人阅读了数字背后的演练报告。四次演练中有三次是桌面推演,唯一一次动手恢复使用的是一份只有生产数据约十分之一的数据库副本。已有 14 个月没有人把备份恢复到一个干净的环境中。
团队决定改变度量和测试的内容。它重新定义已测试的恢复覆盖率,只统计动手测试,这使三项一级服务的数字降到 33%。它为预约系统安排了一次生产规模的恢复,并自动验证行数,外加一个合成预订交易。这次运行花了 3 小时 40 分钟,而 RTO 是 2 小时,恢复的数据落后失败点 40 分钟,而 RPO 是 15 分钟,因为日志传送在一次迁移期间被暂停,之后再未恢复。演练日产生了 9 个发现:2 个高、5 个中、2 个低严重程度。
记录在日志中的决定是:把这次未达成视为这一年最有价值的结果。团队开启工作,恢复日志传送并对其滞后设置告警,让恢复并行化,并把一个数据卷移到更快的存储上。RTO 保持在 2 小时,团队为预约系统增加了一个有文档的手工回退。前 60 天的发现关闭率是 9 个中有 7 个按时关闭,另外两个由指名的负责人接受为风险。
这里抓住的操纵风险是微妙的。没有人伪造数字:慷慨的桌面推演计数和小的测试数据集使报告呈绿色。起作用的护栏,是把数据量和演练类型与每个结果一起记录,以及阅读底层演练报告的做法。在下一份报告中,团队把每次演练显示为自己的一行,包括失败的那次。
行业视角
初创企业。通常只有一个生产环境、一个小团队和一个托管云提供商。最有价值的度量是最简单的:每月把生产数据库从备份恢复到干净的环境中,为它计时,并验证结果。把 RTO 和 RPO 写在一页纸上。
小型企业。IT 往往外包,或由一两个人在托管服务上运行。书面询问供应商它承诺什么恢复、能出示什么证据,并每季度测试一次你自己数据的恢复。把一页纸的计划放在主系统宕机时仍能读到的地方。
大型企业。众多服务、众多供应商和共享平台,使分层和依赖地图成为必需。投资于带目标的中央服务登记册、演练日历、自动化恢复验证和一致的报告,使结果可以跨团队比较。
政府与公共部门。连续性职责可能来自法律、审计或政策,公共服务可能必须在紧急情况下继续运转。测试的证据往往由外部评审,所以要以审计员能阅读的形式保存演练报告、发现和关闭记录。采购可能锁定恢复安排,所以要在合同中包括演练权利和证据(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
投资的理由是:一次持续时间超出业务承受能力的严重中断的代价、无法重建的数据丢失,以及客户、监管者和保险公司要求提供准备就绪证据的义务。连续性工作是保险,所以回报是避免的损失和决策者的信心,很难不编造数字就把它表达为一个数字。通过你能观察到的模式来描述它:声明的与演示的恢复时间之间的差距、在演练而不是真实事件中发现的高严重程度发现的数量,以及回应客户或审计员要求提供证据所需的时间。
成本分为三组:目标所要求的冗余和工具、人们计划、运行和评审演练的时间,以及保持计划和依赖地图最新的工作。
总拥有成本以人员和更紧的层级为主。从 24 小时的 RTO 变为 2 小时,会改变设计和账单,所以要与业务把这一取舍明确化。小而频繁的自动化测试,往往比一次大型的年度事件成本更低,因为缺陷在修复成本低廉时就浮出水面。
反模式与陷阱
- 搁在架子上的计划。一份文档被算作准备,却没有人试过。相反,把最近一次动手测试的日期和结果,报告在每个目标旁边。
- 把备份成功当作恢复成功。作业报告为绿色,而数据无法恢复。相反,定期测试恢复,并在算作成功之前验证数据。
- 经过彩排的戏剧。演练按脚本进行,由计划的作者运行。相反,逐步增加意外。
- 一个目标适用于一切。每项服务都有四小时的 RTO,因为模板这么写。相反,依据业务影响分析为服务分层,并设定相符的目标。
- 永不关闭的发现。演练报告列出缺口,而待办从未见到它们。相反,给每个发现一位负责人和截止日期,并通过重新测试验证关闭。
- 惩罚失败的测试。因错过 RTO 而被责备的团队,会停止运行艰难的测试。相反,事先约定:带有良好发现的失败演练是好的结果,并不加责备地评审它。
- 快速变化之后的陈旧计划。日历驱动评审,而架构变更悄悄溜过。相反,把计划评审与重大变更记录相联,并对照它们度量计划时效。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 目标与层级 | RTO 和 RPO 没有写下,或抄自模板 | 为部分关键服务写下了目标 | 层级和目标来自业务影响分析,并保存在服务登记册中 | 对照演示的结果和架构评审目标 | 目标与业务和供应商共同约定,并随服务变化而调整 |
| 测试与证据 | 恢复从未被测试,或只在一次事件之后测试过一次 | 部分团队临时做恢复测试;结果保存在个人笔记里 | 分层的测试间隔,记录范围、时间线和结果 | 结果有趋势,桌面推演、演练和演练日分别报告 | 带意外的跨团队和供应商演练,依据风险安排 |
| 发现与学习 | 缺口被非正式地注意到 | 在部分演练之后列出发现 | 每个发现都有负责人、严重程度和截止日期 | 评审关闭率和年龄,并通过重新测试确认关闭 | 发现为共享平台、供应商合同和设计标准提供输入 |
| 计划时效 | 计划写一次就算 | 事件之后更新计划 | 计划在版本控制中,有评审间隔 | 评审与重大变更相联并被度量 | 计划和运行手册作为代码被测试,并在可能之处由服务定义生成 |
检查清单
- 每项一级服务都有来自业务影响分析的书面 RTO 和 RPO。
- 服务登记册显示每项服务的层级、目标和测试间隔。
- RTO 和 RPO 的时钟、健康检查和排除项已写下(见主题 1.5,数据来源与埋点)。
- 动手的恢复测试、桌面推演和演练日作为单独的类型报告。
- 每次恢复测试都记录数据量、场景、意外程度,以及测得的恢复时间和数据丢失。
- 备份的恢复被自动测试,由数据验证检查决定成功。
- 每个演练发现都有负责人、严重程度、截止日期,并在待办中有一席之地。
- 计划评审与重大变更记录相联,最老的未评审计划可见。
- 依赖地图包括共享服务,并且至少有一个场景移除其中之一。
- 本主题中的每项指标在指标登记册中都有指名的护栏和负责人(见主题 1.4,指标治理与归属)。
- 演练职责轮换,所花的时间计为运营负荷。
AI 提示词
设计一次恢复测试以及配套的度量。
我想测试[服务名称]的恢复,这是一项[层级]服务,规定的 RTO 是[RTO],RPO 是[RPO]。它的主要
组件是[清单:数据存储、队列、计算、共享服务],供应商是[清单]。请起草一份测试计划,含真实
的场景、启动时钟的事件、停止时钟的健康检查、如何对照 RPO 度量数据丢失、要使用的数据量、
要记录什么,以及防止对生产环境造成伤害的保障措施。不要编造基准时间,也不要声称任何目标
是可以实现的。列出你的假设,以及为完成计划我应当回答的问题。
评审演练报告中讨好性的证据。
这是我们最近[数量]次恢复演练的摘要:[为每次粘贴:类型、日期、范围、数据量、恢复时间、
数据丢失、发现数量]。我们的目标是[每个层级的 RTO 和 RPO]。请找出所报告的结果可能夸大
真实恢复能力之处,比如小数据集、按脚本的场景、只有桌面推演的覆盖,或宽松的健康检查。
建议要记录的额外信息,以及与每个结果配对的护栏指标。不要编造基准值,也不要假定我没有
给出的事实。列出你的假设。
把演练日笔记变成发现和待办项。
这是[服务]一次演练日的原始笔记:[粘贴笔记和时间线]。请把计划与实际发生之间的每个缺口,
提取为单独的发现,附简短的标题、描述、使用这个量表[严重程度量表]的建议严重程度、候选
负责人角色(不是具名的人),以及我们如何验证修复。把可能共享根本原因的发现分组。不要
编造笔记中没有的事件。列出你的假设,以及任何需要澄清的内容。
对照近期变更检查计划的时效。
这是[服务]的连续性计划,最近一次评审在[日期]:[粘贴计划或提纲]。自那以来的重大变更有:
[架构、数据存储、依赖、供应商和工具的变更清单]。请找出计划中可能因这些变更而变错的步骤、
联系人、工具和依赖,并列出评审者应当问的问题。不要编造关于我们系统的细节。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找定义某项连续性、恢复或演练指标的主题,以及与之配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查被编辑的连续性指标是否说明了它的时钟、排除项和操纵途径。
关键要点
- 恢复目标是一项承诺,只有经过计时的、真实的演练,才能显示它能否被守住。
- 把最近一次演示的结果及其年龄,报告在每个 RTO 和 RPO 旁边,并把每次演练显示为自己的一行。
- 测试恢复,而不是备份:只有当数据被验证为可用时,恢复才算数。
- 演练的产品是一份被关闭的发现清单,所以要跟踪它们的年龄,并通过重新测试确认关闭。
- 把计划保存在版本控制中,并把其评审与重大变更相联,而不只是与日历相联。
- 度量服务和计划,绝不度量人,并让带有良好发现的失败演练成为一个安全而受尊重的结果。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
- ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
- Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Business continuity planning.
- Wikipedia, Recovery time objective.
- Wikipedia, Recovery point objective.
- Wikipedia, Business impact analysis.
- Wikipedia, ISO 22301.
- Wikipedia, Backup.
- Wikipedia, Chaos engineering.
- Wikipedia, Site reliability engineering.
- Wikipedia, Infrastructure as code.