安全事件与漏洞指标
安全是持续交付和运行服务的一部分,所以要度量人们暴露了多久、你遏制出错之处有多快,以及同事举手报告的意愿有多强,并且绝不把一个错误变成责备的理由。
概述与动因
每项服务都带有弱点,其中有些会被用来攻击它。漏洞是软件、硬件、配置或流程中的弱点,可被利用来损害系统的保密性、完整性或可用性。安全事件是这种损害发生、或可信地受到威胁的事件。这一领域的指标试图回答两个问题。我们暴露到什么程度,我们发现、修复问题并从中恢复有多快?
敏捷与 DevOps 的传统把安全视为持续交付的属性,而不是它末尾的关卡。DevSecOps通过把安全检查构建进流水线,并在开发、安全和运维之间共同承担责任,扩展了 DevOps 的思想。ITIL 通过其信息安全管理实践,贡献政策、基于风险的思维,以及与事件、变更和资产管理的联系。二者在日常工作中相遇:依赖更新作为普通变更到来,漏洞发现变成有负责人的待办项,事件与其他任何事件一样,通过无责的评审来处理(见主题 4.2,事后复盘与学习指标)。
安全指标面临特定的扭曲。
- 统计发现奖励不去看。扫描得少的团队发现得少。漏洞的原始计数可能因为扫描器失去了访问权限而下降,而不是因为任何东西有所改善。
- 严重程度分数是输入,不是真相。通用漏洞评分系统(CVSS)抽象地给出漏洞的严重程度分数,而像通用漏洞披露(CVE)这样的登记机构为其提供标识符。一个漏洞对你是否重要,取决于它在你的环境中是否可达、是否有利用代码正在使用,以及受影响资产的价值有多高。单独使用原始严重程度分数,会把精力送到错误的地方。
- 责备压制报告。如果人们因为点了一个链接、或因为报告了自己造成的事件而受到惩罚,报告就会停止,暴露在不为人见的地方增长。心理安全是一项安全控制。
- 时间度量隐藏长尾。打补丁时间的中位数可能看起来健康,而少数几个关键系统却暴露了数月。
本主题给出主要的度量,附带它们的定义、操纵途径和护栏。它建立在上一部分的资产和配置记录之上,因为你无法为找不到的东西打补丁或扫描(见主题 7.1,IT 资产管理指标,以及主题 7.4,配置与 CMDB 质量指标)。一点提醒:这是度量指南,不是安全手册。与合格的安全专业人员一起选择控制,并遵循适用于你的标准和法律职责,比如 ISO/IEC 27001 和国家机构的指南。
古德哈特定律的护栏对安全格外适用。当指标变成目标时,人们会重新分类发现、把资产排除在扫描之外,并在没有修复原因的情况下关闭工单(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 既度量暴露时间,也度量计数。一个弱点保持打开多久,比发现了多少个更重要。
- 依据背景排定优先级。结合严重程度、可利用性、可达性和资产价值。
- 先检查覆盖。来自漏掉一半资产的扫描的干净报告,是虚假的安慰。
- 把安全构建进流水线。让安全的选择成为容易的默认,并给出快速的反馈。
- 跨学科协作。安全、开发和运维共同拥有成果。
- 使报告安全。对错误的无责处理,使信号持续流动。
- 汇总人类行为数据。报告群体模式,绝不点名或给个人排名。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 暴露窗口 | 按优先级带,已知漏洞在范围内资产上保持打开的时间 | 从已知适用于该资产之日,到修复或获认可的缓解措施得到验证之日的天数的中位数和第 85 百分位数 | 天 | 漏洞扫描器、工单系统、变更记录 | 信息安全管理;问题管理 | 待办中修复缺陷的时间 | 每周 |
| 补丁合规率 | 满足其类别补丁政策窗口的范围内资产占比 | 在政策窗口内打了补丁的资产数 / 该期间范围内需要补丁的资产数 | 百分比 | 终端和服务器管理工具、资产登记册 | 信息安全管理;发布与部署管理 | 在流水线中保持最新的依赖 | 每周 |
| 逾期的关键发现 | 超过政策期限的关键优先级发现的数量和年龄 | 超过期限的关键发现数;最老的一个的年龄 | 计数;天 | 漏洞管理系统 | 信息安全管理;风险管理 | 超出约定限度的安全缺陷 | 每周 |
| 扫描覆盖率 | 在要求的间隔内被评估的范围内资产占比 | 在上一个间隔内成功扫描的资产数 / 范围内资产数 | 百分比 | 与资产登记册连接的扫描器报告 | 信息安全管理;IT 资产管理 | 每次构建都运行的流水线检查 | 每周 |
| 遏制时间 | 从检测到已确认的安全事件到遏制的时间 | 从检测到遏制的小时数的中位数和第 85 百分位数 | 小时 | 事件记录 | 事件管理;信息安全管理 | 失败后恢复服务的时间 | 每起事件,每月评审 |
| 风险例外的年龄 | 接受风险的例外的年龄,以及超过评审日期的占比 | 自批准以来的天数;超过评审日期的例外数 / 打开的例外数 | 天;百分比 | 例外登记册 | 风险管理;信息安全管理 | 技术债务评审 | 每月 |
| 安全报告率 | 员工报告的可疑事件相对于已确认安全事件的占比,作为报告文化的指标 | 该期间员工的报告数 / 该期间已确认的可疑事件数,附群体层面的趋势 | 比值 | 安全邮箱、事件记录 | 信息安全管理;事件管理 | 公开提出障碍 | 每月 |
在登记册中说明优先级带和政策窗口。暴露窗口在已知漏洞适用于该资产时开始,也就是披露与已知该资产运行受影响组件两者中较晚的那个时间,并在经验证的修复、或有文档记录且有时间限制的缓解措施处停止。遏制时间从检测开始,而不是从无人阅读的第一条告警开始。只有在评审之后,才排除测试发现和误报。安全报告率描述群体和趋势,绝不描述个人。
建议
了解你的资产和你的暴露
1. 从资产和依赖记录开始。扫描、打补丁和所有权,都取决于知道存在什么。把每个发现关联到资产、负责人和服务,并对照登记册度量扫描覆盖。在覆盖率低之处,先修复它再阅读发现。未扫描的资产是未知,比已知的弱点更糟。
2. 先缩小攻击面。移除不需要的东西:未使用的服务、开放的端口、旧账户、被遗忘的环境。你让退役的每一样东西,都是你不必打补丁的东西。把面向互联网的服务和休眠账户的计数作为简单的指标跟踪,并与负责人一起评审。
3. 把你的软件供应链包括进来。现代服务依赖许多组件。软件供应链包括库、构建工具、容器镜像,以及背后的供应商。使用前面所述的软件物料清单,找出有漏洞的组件在何处被使用(见主题 7.2,软件资产与许可证指标),并把依赖方面的发现与基础设施方面的发现纳入同样的度量。
排定优先级并修复
4. 依据背景排序,而不只是依据严重程度分数。把 CVSS 严重程度与已知是否有利用正在使用、有漏洞的组件是否可达,以及资产的重要性结合起来。已知被利用漏洞的公开清单有助于第一个因素。写下排序规则,评审它们,并在高严重程度的项目被降低优先级时记录理由。
5. 按带设定政策窗口,并对照它们报告。对每个优先级带,约定修复或缓解的目标时间。报告窗口内的占比、暴露的中位数和第 85 百分位数,以及最老的打开项目。窗口是用来交谈的目标,最老的项目值得关注,因为它们显示流程在哪里失败(见主题 1.6,服务指标的统计素养)。
6. 把打补丁当作普通而频繁的变更。最安全的补丁流程是经常运行、且乏味的流程。小而频繁的更新,比大而罕见的更容易测试和还原,自动化流水线可以持续应用它们。使用变更赋能的做法进行基于风险的批准,并为紧急修复保留一条紧急通道(见主题 4.3,变更赋能指标)。
7. 让例外可见且短命。有时无法修复。记录例外,附理由、补偿控制、负责人和评审日期,并报告例外的年龄。没有评审日期的例外会变成永久的,而永久的例外会成为真正的风险登记册。
响应与学习
8. 演练事件响应。计算机安全事件管理涵盖准备、检测、遏制、根除、恢复和经验教训。通过演练进行彩排,记录从检测开始的遏制时间,并对每起重大事件作无责评审。安全事件处理的结构与重大事件处理类似(见主题 3.4,重大事件指标)。
9. 度量遏制,而不只是检测。检测工具产生告警,价值在于随后发生的事。跟踪已确认的事件被遏制和恢复花了多久,以及其中多大份额是你自己的监控发现的,多大份额是外部人报告的。内部检测占比的上升,是可见性改善的迹象。
10. 从未遂事件中学习。被报告并被拦截的钓鱼邮件,或由同事在攻击者之前发现的漏洞,是免费的一课。像对待事件那样记录并评审这些,并感谢报告的人。安全报告率是这种文化的健康指标,它应当随信任而上升。
建设文化和流水线
11. 把检查放在开发人员工作的地方。在构建中运行依赖和静态分析,在拉取请求中给出反馈,并只在团队同意是阻碍项的问题上让构建失败。快速而相关的反馈会得到修复。大量低价值的发现会被忽略。跟踪流水线发现的修复时间,并与团队一起调整规则(见主题 2.7,拉取请求与代码评审指标)。
12. 培训和测试而不羞辱。意识演练,比如模拟钓鱼,可以建立技能,当结果被用来点名或惩戒个人时,也可能损害信任。只报告汇总的结果,聚焦于有多少人报告了可疑信息,并解释目的。如果一次演练让员工觉得被愚弄,就改变它。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 暴露窗口 | 不经验证就关闭发现;更改起始日期;重新分类严重程度 | 由修复团队之外的人做验证步骤;登记册中的起始日期规则;严重程度变更日志 |
| 补丁合规率 | 把难以打补丁的资产排除在范围之外;系统未重启就把补丁算作已应用 | 记录范围变更;从资产而不是工单验证已安装的版本 |
| 逾期的关键发现 | 拆分或合并发现;降低严重程度 | 按唯一的漏洞和资产计数;评审所有严重程度变更 |
| 扫描覆盖率 | 扫描更窄的集合;把认证失败的扫描算作数 | 对照资产登记册的覆盖;扫描质量(经认证的、完整的) |
| 遏制时间 | 把时钟启动得更晚;过早宣布遏制 | 时钟从第一个检测信号开始;用证据验证遏制 |
| 风险例外的年龄 | 自动续期例外;拆分例外以降低年龄 | 附理由评审例外的续期;对没有新证据的续期设上限 |
| 安全报告率 | 鼓励低价值的报告;为改善其他数字而阻止报告 | 报告的质量;阅读评论;调查人们是否觉得报告是安全的 |
健康的读数是:高的扫描覆盖,短而不断缩小的暴露长尾,带评审日期的诚实例外,被迅速遏制且更多由内部发现的事件,以及不带恐惧地告诉你可疑事件的员工。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 仅按严重程度分数排定优先级 | 简单、一致 | 忽略背景;把精力送到错误的地方 |
| 基于背景的优先级 | 聚焦于真正的风险 | 需要数据和判断 |
| 固定的补丁窗口 | 期望清晰 | 可能迫使仓促而有风险的变更 |
| 基于风险的窗口 | 适合具体情形 | 更难审计 |
| 频繁的自动化打补丁 | 变更小,暴露更少 | 需要良好的测试和回滚 |
| 罕见的大型补丁周期 | 熟悉 | 暴露更长,每次变更的风险更大 |
| 钓鱼模拟 | 建立意识 | 若被滥用,可能侵蚀信任 |
| 聚焦于报告文化 | 及早暴露问题 | 难以直接度量 |
文字化的答案是,依据背景排序,以小步并附良好的回滚频繁打补丁,附期限地记录例外,并把报告文化作为一项控制来投资。
与团队讨论的问题
1. 我们的扫描实际上看到了我们资产的多少? 把被扫描的资产与资产登记册比较。问缺了什么、为什么。主持人应寻找系统性未被扫描的类别,比如容器、远程设备或第三方系统。约定本季度要弥合的一个缺口。
2. 我们最老的打开的关键发现是什么?为什么它仍然打开? 看长尾,而不是平均值。追溯最老的几个:谁拥有它们,是什么阻碍了它们,补偿控制是什么。主持人应问例外是否有记录。约定由谁来解除最老那个的阻碍。
3. 上一次安全修复导致中断是什么时候?之后改变了什么? 回想一个例子。原因是仓促的修复,还是缺失的测试?讨论如何使打补丁变得例行而安全。把答案与变更和发布实践联系起来。
4. 如果一位同事今天报告了一封可疑邮件,他们会遇到什么? 描述从报告到响应的真实路径,包括如何感谢报告者。问是否有人因报告或因点击而感到难堪。交谈关乎信任。约定一项使报告更容易或更安全的小改变。
5. 我们的哪些安全数字可能在我们变得不那么安全的同时上升? 列出这些度量,想想每一个如何可能通过收窄范围或重新标记而被改善。为每一个指定一个护栏。这个练习为下次评审构建登记册条目。
6. 我们遏制一起已确认事件能有多快?我们怎么知道? 评审最近的两起事件,追溯从检测到遏制。记下延迟。问我们运行过什么演练。约定在下次评审之前运行一次。
四种视角
产品与交付团队
交付团队作出大部分修复,也引入许多弱点。他们应当把保持依赖最新作为正常流动的一部分,把安全发现视为有负责人和日期的待办项,并使用给出快速、相关反馈的流水线检查。他们需要清晰的优先级和据此行动的时间,也应当能自由地提出关切。
服务与运维团队
运维团队运行扫描器、应用补丁并响应事件。他们应当保持资产链接最新,诚实地报告覆盖,并附期限处理例外。他们还需要受保护的时间来演练事件响应,以及在出错时无责的文化。
领导层与治理
领导层设定风险偏好,并决定安全是作为持续的活动还是作为项目来出资。他们应当要暴露窗口和最老的打开项目,而不是总数,保护报告文化,并接受当可见性改善时数字会上升。治理应当要求为例外和事件学习提供证据。
客户与用户
用户既是受益者,也是防线之一。他们想要保护其数据的服务,也想要清晰、公平的指导。当事件影响他们时,应当迅速告知,当他们报告问题时应当受到尊重,并应当得到不会让其工作比必要的更难的安全措施(见主题 6.4,用户与员工体验)。
实践:一个敏捷 ITIL 示例
一家地区信用合作社运行网上银行、移动应用和网点系统,有一个小型工程团队和一个外包的安全运营服务。以下数字是示意数字。
董事会要求一个安全仪表板。安全分析员的初稿显示 4,200 个打开的漏洞且在下降,补丁合规率为 96%。工程负责人问起扫描覆盖。把扫描器的输出与资产登记册连接后,分析员发现,31% 的服务器和几乎所有容器在过去 30 天内没有被扫描,因为迁移之后扫描器失去了凭据。在被扫描的资产中,关键漏洞暴露窗口的中位数为 9 天,第 85 百分位数为 41 天。最老的关键发现已有 212 天,位于一个遗留系统上,其例外在四个月前已经过期。96% 的补丁合规率,只依据补丁工具所报告的资产计算。
团队与工程和运维一起作出四项改变。扫描覆盖率成为仪表板的第一行,目标是完全覆盖登记册,扫描认证被修复并受到监控。优先级排序在严重程度分数之外加上利用状态和资产重要性,使 4,200 个发现缩减为约 60 个当前要紧的短清单。依赖更新作为频繁的小变更,带着自动化测试进入流水线。例外获得负责人、补偿控制和评审日期,已过期的那个由风险委员会评审。安全分析员还改变了模拟钓鱼结果的报告方式:只显示群体层面的报告率,分析员亲自感谢那些报告的同事。
两个月后,扫描覆盖率为 97%,关键项暴露窗口的第 85 百分位数为 14 天,最老的关键发现是一个已缓解的例外,距评审还有 60 天。一位网点员工在几分钟内报告了一封可疑的付款请求邮件,该事件在不到两小时内被遏制。董事会要求在年底前把打开的漏洞数量减半。工程负责人建议改为报告暴露窗口和逾期的关键发现,解释说计数可以通过扫描得更少而下降。该决定被记录下来,董事会同意在下次会议上评审新的度量。
行业视角
初创企业。通常没有专门的安全团队,所以把基础构建进流水线:依赖更新、密钥扫描、多因素认证和最小权限。为一份简短的关键系统清单跟踪暴露窗口,并有一份简单的事件计划。在你了解自己的资产之前,抵制购买庞大的工具集。
小型企业。外包服务和云工具承载大部分风险。保留一份清单,到处打开多因素认证,让系统自动更新,并知道事件发生时该打电话给谁。度量补丁合规率和恢复备份的时间。避免羞辱报告错误的员工。
大型企业。规模需要跨许多团队和工具的一致数据。集中定义优先级带和窗口,让团队拥有自己的发现,按业务服务报告暴露,并定期运行演练。与供应商的安全团队协调,并测试交接。
政府与公共部门。行业往往面临带有针对特定漏洞的期限的强制性指令、正式的事件报告职责和审计要求。把这些视为设计输入:跟踪对指令期限的遵守,保存证据,按要求报告事件,同时保护个人隐私(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是扫描和监控工具(可能已经拥有);维护资产链接的时间;修复发现和更新依赖的工程时间;事件响应的准备和演练;以及培训。流水线检查需要设置时间和一些构建时间。外包监控有服务费。
回报是事件更低的可能性和更低的影响、更短的暴露,以及更少仓促的紧急变更。这些收益是真实的,又难以量化,因为没有发生的事件不留记录。避免引用行业平均的数据泄露成本或事件频率,除非你能追溯来源及其相关性。用你自己的数据建立论证:暴露窗口的趋势、因打补丁过晚而造成的紧急变更的数量、自动化消除的手工打补丁工作所花的时间,以及你过去事件的成本,包括员工时间和客户影响。如前面关于商业论证的主题所建议的,用具体的情景来描述风险降低(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 报告漏洞的计数。扫描漏掉东西时计数会下降。报告暴露窗口、逾期项和覆盖。
- 只按严重程度分数排定优先级。它忽略可达性和利用。加入背景。
- 把扫描当作真相。对照资产登记册检查覆盖和扫描质量。
- 永久的例外。它们成为隐藏的风险。给每个例外一位负责人和评审日期。
- 因错误而羞辱人。报告会停止。使用无责评审并汇总结果。
- 把安全当作末尾的关卡。它拖慢交付并招致变通办法。把检查构建进流水线。
- 大爆炸式的补丁周期。它们有风险又缓慢。以小变更频繁打补丁。
- 忽视供应商。他们的弱点就是你的。跟踪供应商的安全义务和事件。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 可见性 | 偶尔扫描部分系统 | 定期扫描主要系统 | 对照资产登记册跟踪扫描覆盖;发现与负责人相联 | 管理覆盖、暴露窗口和例外并形成趋势 | 跨团队和供应商的共享视图,包括依赖 |
| 优先级与修复 | 按嗓门最大的请求修复 | 基于严重程度的清单 | 基于背景的排序;按带的政策窗口;频繁的小补丁 | 评审窗口和长尾;与团队一起调整流水线检查 | 在人类监督下,自动化的、基于风险的修复 |
| 响应与文化 | 临时的响应;责备 | 基本的计划,很少测试 | 经过演练的计划;无责评审;重视报告 | 管理遏制时间和内部检测率;度量报告文化 | 与供应商和客户的联合演练;学习被广泛分享 |
检查清单
- 对照资产登记册度量扫描覆盖。
- 发现关联到资产、负责人和服务。
- 优先级带结合严重程度、利用、可达性和资产重要性。
- 按带约定政策窗口,并报告暴露窗口和最老的打开项目。
- 每次构建都运行依赖和流水线检查,附约定的阻碍项。
- 打补丁以频繁、小型、经过测试的变更运行,并有紧急通道。
- 例外有负责人、补偿控制和评审日期。
- 演练事件响应,遏制时间从检测开始度量。
- 人类行为数据只以汇总形式报告,并感谢报告。
- 跟踪供应商的安全义务和事件。
AI 提示词
评审漏洞优先级排序规则。
我们目前排定漏洞优先级的规则是:[描述]。我们的数据字段包括:[清单,例如严重程度分数、
利用状态、资产重要性、互联网暴露]。请评审该规则的盲点和被操纵的方式,并提出带清晰的带
和政策窗口的、基于背景的排序。不要把具体数字陈述为行业标准。列出你的假设,以及安全专家
应当确认的事项。
检查扫描覆盖。
这是按类别的资产登记册摘要,以及我们的扫描器在上一个[间隔]内看到的资产:[粘贴计数或
清理过的清单]。请找出覆盖率低的类别、缺口的可能原因,以及确认每个原因的最快检查。
建议如何报告覆盖率,使失败或部分的扫描不会看起来像成功。列出你的假设。
规划桌面推演。
请为[组织类型]设计一场 90 分钟的桌面推演,场景是:[描述,例如被攻破的供应商凭据]。包括
角色、注入事件的时间线、要促成的决定、要记录什么(包括检测和遏制时间),以及无责复盘
的问题。不要包含真实的姓名或系统。列出你的假设,以及要依据我们的背景调整什么。
为被报告的错误撰写无责的信息。
一位同事报告说他们[描述,例如点击了钓鱼邮件中的链接]。请起草一份来自安全团队的简短而
亲切的回复,感谢他们,解释我们将做什么,并询问我们需要的细节。然后起草一份用于每周
更新的汇总说明,在不点名任何人的情况下分享经验教训。列出你的假设,以及我应当评审的任何
语气选择。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项安全或漏洞指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查安全指标条目是否带有其操纵途径、护栏和隐私规则。
关键要点
- 度量暴露时间、最老的打开项目和扫描覆盖,而不是发现的原始计数。
- 依据背景排定优先级:严重程度、利用、可达性和资产重要性。
- 以小而经过测试的变更频繁打补丁,并给每个例外一位负责人和评审日期。
- 迅速遏制事件,无责地学习,并跟踪内部检测。
- 把报告文化视为一项控制:感谢报告的人,并绝不给个人排名。
- 把安全检查构建进流水线,使安全的选择成为容易的选择。
参考文献与延伸阅读
- National Institute of Standards and Technology, Guide to Enterprise Patch Management Planning: Preventive Maintenance for Technology, NIST Special Publication 800-40 Revision 4, 2022.
- National Institute of Standards and Technology, Computer Security Incident Handling Guide, NIST Special Publication 800-61 (latest revision).
- Forum of Incident Response and Security Teams, Common Vulnerability Scoring System, specification (latest version), https://www.first.org/cvss/.
- Cybersecurity and Infrastructure Security Agency, Known Exploited Vulnerabilities Catalog, https://www.cisa.gov/known-exploited-vulnerabilities-catalog.
- ISO/IEC 27001, Information security, cybersecurity and privacy protection: Information security management systems: Requirements, International Organization for Standardization.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Vulnerability (computing).
- Wikipedia, DevSecOps.
- Wikipedia, Common Vulnerability Scoring System.
- Wikipedia, Common Vulnerabilities and Exposures.
- Wikipedia, Goodhart's law.
- Wikipedia, Attack surface.
- Wikipedia, Software supply chain.
- Wikipedia, Computer security incident management.