风险与控制指标
风险工作是一场持续的对话,谈的是什么可能出错、我们对此在做什么,所以要让登记册保持简短而鲜活,测试重要的控制,并怀疑任何使不确定性显得整齐的数字。
概述与动因
对服务的每一次变更都带有风险,让它保持不变同样如此。风险管理是对风险的识别、评估和排定优先级,随后采取协调一致的行动来降低、接受、转移或规避它们。ITIL 把风险视为贯穿每项实践的一条线索:变更赋能决定一项变更需要多少审视,服务连续性为中断做计划,信息安全抵御威胁。敏捷与 DevOps 的工作方式以另一种方式降低风险。持续交付的小变更,附带快速反馈和回滚的能力,使每次变更更不危险,也使问题更早可见。
两种视角在度量中汇合。持续交付的团队仍然需要知道它的主要风险、谁拥有它们,以及它所依赖的控制是否起作用。坚持繁重批准的风险职能,仍然需要证据,说明其控制降低了伤害,而不是单纯拖慢了人。本主题给出两者的度量,并建立在关于安全和审计的相邻主题所述的实践之上(见主题 8.1,安全事件与漏洞指标,以及主题 8.3,合规与审计指标)。
有四个术语反复出现。
- 风险:一个不确定的事件或状况,如果发生,会影响目标。它有原因、事件和后果,以及通常是估计而非已知的可能性和影响。
- 风险登记册:已识别风险的清单,附负责人、评级和应对措施。风险登记册当它是最新的并被阅读时,是工作工具,当不是时,则是合规的制品。
- 控制:降低风险的行动或机制,比如评审、自动化测试、批准、职责分离或监控告警。一个组织所依赖的这套控制,就是它的内部控制体系。
- 关键风险指标(KRI):在损失发生之前,发出风险水平变化信号的度量。关键风险指标当它领先于事件、并且有人据此行动时,才是有用的。
风险量化有著名的弱点。风险矩阵把可能性对影响绘制在一个彩色单元格的网格上,被广泛使用,也被广泛批评:评级是主观的,不同的风险可能因不同的原因落在同一个单元格,而把序数分数相乘的算术没有牢固的基础。罕见而严重的事件,有时通过黑天鹅理论来描述,特别难以评级。诚实的回应是,把矩阵用作对话的辅助,显示范围,并用关于控制和事件的证据来支持它。三道防线框架,把拥有风险的团队、监督风险的团队和独立保证区分开来,为角色提供了结构,当第一道防线,也就是交付和运维团队,真正拥有自己的风险时,它效果最好。
古德哈特定律的护栏以一种特定的方式适用于风险报告。当红色评级招来审视时,人们把风险评为琥珀色。当关闭的风险被视为成功时,人们不经处理就关闭风险(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 让登记册保持简短且最新。少数几个有良好负责人、并得到评审的风险,胜过数百个没有的。
- 让第一道防线拥有自己的风险。最贴近工作的人最了解它。
- 测试你所依赖的控制。从未被测试的控制只是希望。
- 偏好有人据此行动的领先指标。没有响应计划的指标只是装饰。
- 显示范围和证据,而不是虚假的精确。评级是估计。
- 通过让变更小而可逆来降低风险。附快速回滚的持续交付是一种控制。
- 谈论风险而不责备。诚实的报告是整个实践的原材料。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 风险评审时效 | 在约定间隔内由其负责人评审过的打开风险占比 | 在间隔内被评审的风险数 / 打开的风险数 | 百分比 | 风险登记册的评审日期 | 风险管理;持续改进 | 在计划和评审交谈中评审风险 | 每月 |
| 负责人覆盖率 | 有已接受所有权的、具名且当前的负责人的打开风险占比 | 有经确认的当前负责人的风险数 / 打开的风险数 | 百分比 | 与人员目录连接的风险登记册 | 风险管理 | 待办上由团队拥有的风险 | 每月 |
| 控制测试覆盖率 | 在要求的周期内被测试运行情况的关键控制占比 | 在周期内被测试的关键控制数 / 关键控制数 | 百分比 | 控制登记册和测试记录 | 风险管理;信息安全管理 | 流水线中的自动化检查 | 每季度 |
| 控制有效率 | 被发现按设计运行的、受测试控制的占比 | 被发现有效的控制数 / 被测试的控制数 | 百分比 | 测试结果 | 风险管理;持续改进 | 因正确的原因而通过的自动化测试 | 每季度 |
| KRI 突破响应时间 | 从关键风险指标越过其阈值到记录决定的时间 | 从突破到决定的小时数或天数的中位数和第 85 百分位数 | 小时或天 | KRI 监控和决定日志 | 风险管理;监控与事件管理 | 对生产信号的反应 | 每月 |
| 处理计划及时性 | 在承诺日期之前完成的风险处理占比 | 按日期完成的处理数 / 该期间到期的处理数 | 百分比 | 风险登记册和行动跟踪器 | 风险管理;持续改进 | 已交付的改进行动 | 每季度 |
| 基于风险的变更占比 | 通过基于风险的路径、附有控制证据而获批的变更占比 | 通过基于风险的路径并附必需证据而获批的变更数 / 该期间的变更数 | 百分比 | 变更记录 | 变更赋能;风险管理 | 带自动化检查持续交付的变更 | 每月 |
在登记册中定义评审间隔和关键控制清单。只有当测试检查的是运行的证据,而不仅仅是设计时,控制才算"被测试"。KRI 的时钟在指标越过阈值时启动,由监控系统记录,并在写下来的决定处停止,这个决定可以是行动、接受,或更改阈值。只有在有记录的关闭决定之后,才把正在退役的风险从分母中排除。
建议
保持风险对话鲜活
1. 让登记册保持简短,并用标准形式撰写每个风险。使用"由于[原因],可能发生[事件],导致[后果]"形式的句子。把登记册限于会改变一项决定或一份计划的风险。合并重复项,拆分含糊的,让已经过去的风险退役。人们讨论的几十个风险的清单,比无人阅读的一千个更有价值。
2. 把每个风险指派给能行动的负责人。负责人是对应对措施有权限的人,通常在交付或运维团队,而不是风险职能。与此人确认所有权,并在人们更换角色时评审它。负责人覆盖率度量这一点,无主的风险是一项发现。
3. 在已经发生的对话中评审风险。在计划、评审和事件评审中提出排前的风险,而不是另开一场会议。关于如何变得更有效而定期反思的敏捷习惯,是"接下来什么会伤害我们?"这一问题的天然归宿。把结果记录在登记册中。
4. 把评级与证据和范围配对。对每个重要风险,记录是什么使你认为它可能或严重:事件、未遂事件、测试结果、供应商的历史。在可能之处给出可能性和影响的范围,并说明你有多不确定。不要把序数分数合并成单一数字,再把它当作度量。如果你使用矩阵,就用它来开启讨论(见主题 1.6,服务指标的统计素养)。
测试控制
5. 点名关键控制以及各自的用途。对每个主要风险,列出你所依赖的少数几项控制,以及每一项失败时会是什么样子。列出数百项次要活动的控制登记册,会隐藏重要的那些。包括流水线中的自动化控制,比如测试、政策检查和批准关卡。
6. 测试运行,而不只是设计。设计评审问的是,如果被运行,该控制是否会起作用。运行测试问的是,在这段期间它是否被运行并起了作用,通过检查证据的样本来回答。按与风险相符的周期安排测试,记录结果,并跟进失败。在可能之处将证据自动化,使测试持续进行。
7. 把控制的失败视为信息。失败的测试,是控制系统在起作用。记录失败,问为什么,并修复原因。控制有效率应当连同跟进一起阅读:被迅速发现并修复的失败,比来自薄弱测试的完美比率更健康。
8. 在有增值之处使用独立保证。内部审计或独立评审者可以测试第一道防线所拥有、第二道防线所监督的控制。独立性防止给自己的工作打分。协调好,使团队不被三个小组就同一件事测试。
良好地使用指标和决定
9. 为每个主要风险选择少数几个领先指标。关键风险指标应当度量成本低、与原因相联,并配有阈值和响应。例如,最老的关键漏洞的年龄,预示安全风险,需要紧急处理的变更占比,预示变更风险。定义谁看这个指标,以及他们在阈值处会做什么(见主题 8.1,安全事件与漏洞指标)。
10. 在每次突破时记录决定。当指标越过阈值时,有人作出决定:行动、接受,或调整阈值。写下决定和理由。这建立起一份历史,显示阈值设得是否恰当、响应是否及时。
11. 让基于风险的批准成为变更的默认。在持续交付的环境中,用基于风险的路径取代一刀切的批准委员会:对低风险的标准变更使用自动化检查和同行评审,对少数高风险变更使用更充分的评审(见主题 4.3,变更赋能指标)。附上控制已运行的证据。这同时降低风险和延迟,因为带自动化证据的小变更,比带签字的大变更更安全。
12. 从损失和未遂事件中学习。在事件和险情之后,更新登记册:风险是否存在,评级是否良好,控制是否起作用?用答案改进两者。事件与登记册之间的回路,使登记册保持诚实(见主题 4.2,事后复盘与学习指标)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 风险评审时效 | 不经讨论就把风险标为已评审;更改间隔 | 抽样评审的实质内容;登记册中固定的间隔 |
| 负责人覆盖率 | 在不让其知情的情况下指派负责人;点名一位没有权限的高层人员 | 负责人确认;检查负责人能否对应对措施采取行动 |
| 控制测试覆盖率 | 测试容易的控制;把设计评审算作运行测试 | 关键控制清单由第二方固定;记录测试类型 |
| 控制有效率 | 测试小样本;选择能通过的样本 | 独立于负责人的抽样方法;记录样本量 |
| KRI 突破响应时间 | 在突破之后更改阈值;记录一个没有内容的决定 | 阈值变更日志;决定内容抽样 |
| 处理计划及时性 | 设定容易的日期;重新定义完成 | 批准时与负责人约定日期;检查风险评级是否移动 |
| 基于风险的变更占比 | 把变更归为低风险以避免评审;附上并非由控制产生的证据 | 对照规则抽样分类;来自流水线的自动化证据 |
健康的读数是:一份人们争论的简短登记册、了解自己风险的负责人、测试中发现并修复了一些失败的控制、引导真实决定的指标,以及对小变更更少的繁重批准。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 风险矩阵 | 快速、直观、对话的起点 | 主观;虚假的精确;序数算术 |
| 量化的范围 | 对不确定性更诚实 | 需要数据和技能;工作量大 |
| 繁重的批准委员会 | 控制可见 | 缓慢;鼓励变更合批 |
| 基于风险的自动化检查 | 快速而一致 | 需要工程;自动化检查可能出错 |
| 中央风险职能拥有风险 | 一致 | 远离工作;负责人不投入 |
| 第一道防线的所有权 | 知识和问责 | 质量不一;需要监督 |
| 周期性的控制测试 | 对稳定的控制有效率 | 漏掉两次测试之间的漂移 |
| 持续的控制监控 | 及时的证据 | 工具方面的工作量;噪声 |
文字化的答案是,把所有权放在团队,应用轻量的中央监督和独立测试,在可能之处将证据自动化,并把评级用作对话的提示。
与团队讨论的问题
1. 未来一年最可能伤害这项服务的三个风险是什么?各归谁所有? 请每位成员私下写下三个风险,然后比较。重叠和差异都有信息量。主持人应记录谁会对每个风险采取行动。约定排前的三个并确认负责人。
2. 我们最依赖哪项控制?我们上次检查它是否有效是什么时候? 挑一项控制,比如一条代码评审规则、一次备份或一个批准步骤。追溯上一次检查其运行证据是什么时候。如果无人知道,就计划一次测试。交谈显示设计与运行之间的差别。
3. 什么会让我们把评级从琥珀色改为红色?谁会注意到? 讨论指标和阈值。问团队是否曾为避免关注而下调评级,是什么压力造成的。约定什么证据可以证明变更是合理的,以及如何使"红色"成为可以安全说出口的话。
4. 哪些批准拖慢了我们的变更却没有降低风险? 列出一个典型变更所需的批准,并对每一个问它处理什么风险、是否曾阻止过一项变更。提议用一项自动化检查取代其中之一。约定什么证据可以显示变更是安全的。
5. 当一项控制失败时,我们是怎么发现的?我们做了什么? 回想一次近期的失败。是通过测试、事件,还是审计员发现的?讨论更强的回路是什么样子。包括发现它的人是如何被对待的。
6. 我们接受了哪些风险?我们何时评审这一决定? 列出被接受的风险和评审日期。检查每一个都有负责人和理由。没有评审日期的被接受风险,是无人监视的风险。
四种视角
产品与交付团队
交付团队拥有大部分运营风险。他们应当维护一份自己风险的简短清单,在计划和评审中讨论它们,并把控制构建进流水线,使证据自动产生。他们受益于让低风险变更顺畅流动的、基于风险的变更路径,并应当诚实地说出可能出什么错。
服务与运维团队
运维团队运行各项控制:备份、监控、访问评审和恢复测试。他们应当保存运行的证据,按常规周期测试控制,并及早提出指标突破。他们承担繁重控制的代价,应当说出哪些增加的价值很少。
领导层与治理
领导层设定风险偏好,并决定可接受多少摩擦。他们应当要一份附负责人和证据的、排前的风险简短清单,欢迎红色评级,为控制测试出资,并支持独立保证。治理应当检查登记册是否反映了事件和未遂事件,并且不奖励看起来整齐的报告。
客户与用户
用户承担风险成真的后果,而且往往比登记册更早知道。他们应当有办法提出关切,并在保密的限度内被告知影响他们的风险。他们对事件和变更的体验,是风险评审的证据。
实践:一个敏捷 ITIL 示例
一家国家能源公用事业公司的数字小组运行客户计费、一个移动应用,以及与电网运营的集成。以下数字是示意数字。
该小组的风险登记册有 340 个条目,上次清理是三年前。风险评审时效为 22%,有 61 个风险的负责人已经离职。矩阵显示有 85 个风险为红色,却无人阅读报告。新任服务保证负责人提议重置。她与交付团队一起,把登记册削减到会改变一项决定的风险,最终剩下 38 个。她把每个风险指派给能行动的团队中指名的负责人,他们予以确认。她选择 12 项关键控制,对每一项测试运行情况,而不是评审设计。五项失败了:两次备份恢复从未被测试,一次访问评审被跳过,两项变更批准在没有测试证据的情况下就被签字。
团队修复了这些失败,并用基于风险的路径取代了针对标准变更的变更批准委员会。自动化测试和同行评审是控制,流水线把证据附到变更记录上。每个主要风险获得一两个带阈值和响应的领先指标。对长时间计费中断的风险,指标是最老的关键漏洞的年龄和该季度失败的备份恢复次数。第一个季度显示,负责人确认了全部 38 个风险,评审时效为 91%,控制有效率首次测试为 12 项中的 7 项,修复后为 12 项中的 12 项,KRI 突破响应时间中位数为 2 天。通过基于风险的路径的变更占比为 64%。
首席风险官要求在一年内把红色风险的数量减半。服务保证负责人提议改为跟踪处理计划及时性和控制有效率,并解释说,红色风险的计数可以通过重新评级而下降,她宁愿看到诚实的红色评级。该决定被记录下来,下个季度的报告包括每次下调背后的抽样决定。
行业视角
初创企业。风险主要是资金耗尽、失去关键人员和重大中断。保留一份前五名的一页纸清单,每月评审,并测试备份和恢复。从一开始就把控制构建进流水线,因为这比事后补装更便宜。
小型企业。少数几个风险占主导:对关键人员的依赖、单一供应商、勒索软件和数据丢失。保留一份附负责人的简短清单,测试恢复,并保持保险和联系信息最新。抵制繁重的框架,只借用其中适合的部分。
大型企业。规模要求通用的分类法、轻量的登记册工具,以及实践中的三道防线。让第一道防线拥有自己的风险,让第二道防线保持小巧而偏顾问性质,并使独立测试高效。避免审计、风险和合规之间重复的测试。
政府与公共部门。风险管理往往是一项正式的职责,有标准框架、审计委员会和公开报告。与要求的框架对齐,记录风险偏好声明,并保存证据。公共问责使诚实的红色评级更有价值,也更难(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是负责人评审风险的时间、定义和测试关键控制的工作量、(如果尚无)用于登记册和指标监控的工具,以及独立保证的成本。将证据收集自动化需要工程工作量,之后会降低经常性成本。
回报是更少的意外、更快更轻的变更批准,以及更可信的保证。精简的登记册和基于风险的变更路径,节省了大型批准机构所消耗的时间。在事件之前发现的控制测试失败,防止了难以定价的损失。用你自己的数据建立论证:之前与之后每次变更批准所花的时间、通过测试发现的与通过事件或审计员发现的控制失败的数量,以及某项控制本可防止的过往事件的成本。避免引用没有可追溯来源和方法的行业损失统计。
反模式与陷阱
- 永远增长的登记册。无人阅读它。把它修剪到重要的风险。
- 没有证据的评级。它们是上了颜色的意见。附上证据和范围。
- 只有名义上的负责人。风险落在无法行动的人身上。与合适的人确认所有权。
- 测试设计却称之为保证。可能起作用的控制未必起了作用。测试运行。
- 只报告红色风险的计数。计数会因重新评级而下降。查看处理和控制结果。
- 对每个变更都设批准委员会。它们拖慢小变更并教会合批。使用基于风险的路径。
- 惩罚红色评级。风险随即被隐藏。奖励早期预警。
- 风险文化与交付文化分离。对团队而不是与团队一起做的风险工作,产生合规作秀。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 登记册与所有权 | 冗长、陈旧的清单 | 存在登记册,部分有负责人 | 简短的登记册,有经确认的第一道防线负责人和评审日期 | 在团队交谈中评审;附上证据和范围 | 风险在团队和供应商之间共享,附共同负责人 |
| 控制 | 假定有效 | 记录了设计 | 点名关键控制;按周期做运行测试 | 跟进失败;在可能之处将证据自动化 | 在人类监督和独立保证下的持续控制监控 |
| 决定与变更 | 委员会批准 | 部分标准变更预先批准 | 附证据的、基于风险的路径 | 带阈值和记录决定的指标;依据结果调整路径 | 风险决定被嵌入整个组织和供应链的流水线 |
检查清单
- 登记册简短,风险以原因、事件和后果的形式撰写。
- 每个风险都有经确认的、能行动的第一道防线负责人。
- 在团队的常规交谈中评审风险。
- 点名关键控制,并按说明的周期测试其运行。
- 记录、解释并修复控制失败。
- 每个主要风险有一两个带阈值和响应的领先指标。
- 记录指标突破时的决定。
- 存在基于风险的变更路径,在可能之处自动附上证据。
- 被接受的风险有负责人、理由和评审日期。
- 事件和未遂事件更新登记册。
AI 提示词
以标准形式重写风险。
这是我们风险登记册中的[数量]个条目:[粘贴,已去除敏感细节]。请把每个按"由于[原因],可能
发生[事件],导致[后果]"的形式重写。标出含糊的、重复的,或实际上已经发生的问题。建议哪些
可以合并或退役。不要给它们评级。列出你的假设,以及应当与负责人确认的事项。
设计一次控制测试。
对于控制[描述,例如计费系统的季度访问评审],请设计一次运行测试。包括要检查什么证据、
如何无偏差地选择样本、什么算通过或失败、如何记录结果,以及随时间如何将证据收集自动化。
不要假定具体的工具。列出你的假设和测试设计中的风险。
为一个风险提出领先指标。
风险:[以原因、事件、后果的形式描述]。请提出最多三个度量成本低、并与原因相联的领先指标,
附上阈值突破时建议的响应,以及每个指标可能误导的方式。不要编造阈值;请描述我们应如何
依据自己的数据校准它们。列出你的假设。
评审变更批准流程。
我们针对[变更类型]的变更批准流程是:[描述步骤、批准人和典型延迟]。请找出增加延迟却没有
降低风险的步骤,提出带自动化检查和证据的、基于风险的替代方案,并说明我们应当度量什么
来了解风险是上升还是下降。不要声称研究结果。列出你的假设,以及需要领导层输入的决定。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项风险或控制指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查风险指标条目是否带有其操纵途径、护栏和证据规则。
关键要点
- 让风险登记册保持简短,由能行动的团队拥有,并在已有的交谈中评审。
- 测试关键控制是否运行,把失败视为有用的信息,并将证据自动化。
- 使用少数几个带阈值、响应和记录决定的领先指标。
- 用附自动化证据的、基于风险的变更路径,取代一刀切的批准。
- 显示范围和证据,而不是虚假的精确,并把矩阵用来开启对话。
- 让红色评级可以安全地给出,并从损失和未遂事件中学习。
参考文献与延伸阅读
- ISO 31000, Risk management: Guidelines, International Organization for Standardization.
- Committee of Sponsoring Organizations of the Treadway Commission, Enterprise Risk Management: Integrating with Strategy and Performance, 2017.
- Hubbard, D. W., The Failure of Risk Management: Why It's Broken and How to Fix It, 2nd ed., Wiley, 2020.
- Cox, L. A., "What's wrong with risk matrices?" Risk Analysis, 28(2), 2008.
- Taleb, N. N., The Black Swan: The Impact of the Highly Improbable, Random House, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Risk management.
- Wikipedia, Risk register.
- Wikipedia, Internal control.
- Wikipedia, Key risk indicator.
- Wikipedia, Risk matrix.
- Wikipedia, Black swan theory.
- Wikipedia, Goodhart's law.