合规与审计指标
当证据由工作本身产生时,合规最容易也最诚实,所以要度量有多少证据是自动到来的、发现被修复得多快、同样的发现多频繁地回来,并把审计员视为尽早加入对话的利益相关方。
概述与动因
大多数构建和运行 IT 服务的组织,都要对某个人负责:监管者、客户、认证机构、保险公司、董事会。合规是遵守法律、规则和标准、并证明你这样做了的行为。审计是对证据的系统性检查,以判断这是否属实。在 IT 中,这包括对财务报告控制、数据保护义务、安全认证和合同承诺的审计。信息技术审计检查围绕系统及其所存数据的控制。
合规和持续交付有摩擦的名声。合规在变更之前要求文件、签字和批准,而持续交付偏好持续发布的小变更。当合规被当作末尾的一个阶段时,摩擦是真实的。当合规被构建进工作流时,摩擦就减轻了。变更记录、代码评审、自动化测试和访问日志就是证据,而交付流水线每天都在产生它们。持续审计用自动化的、近乎实时的控制检查取代周期性的抽样,与持续交付的节奏相符。审计轨迹是显示谁在何时对哪个系统做了什么的记录,它往往是你拥有的最强的证据。
ITIL 描述了相关的实践:信息安全管理、风险管理,以及服务价值系统的治理,并指向像ISO/IEC 27001这样的、针对信息安全管理体系的标准。组织通常面临的框架包括针对财务控制的报告制度,比如美国的萨班斯-奥克斯利法案,欧盟的通用数据保护条例等数据保护法律,以及像SOC 2这样的保证报告,后者检查与安全及相关标准有关的控制。细节因司法辖区、行业和日期而异,本主题描述的是度量实践,而不是法律要求。关于适用于你的内容,请与你的合规、法务和审计同事合作。
合规指标的目标,是了解组织履行其义务的好坏,以及这花了多少力气,使两者都能改进。风险在于合规变成给审计员的表演。团队可以在最后一刻拿出文件而通过审计,却仍在运行有风险的做法。古德哈特定律的护栏适用:当"审计发现"成为目标时,人们会躲避审视、收窄范围,并就措辞进行谈判(见主题 1.2,古德哈特定律与指标心理学)。
有两条思路有帮助。
- 合规作为副产品。如果流水线自动记录评审、测试、批准和部署,那么无论审计是否临近,证据都存在。这也消除了事后重构证据的诱惑。
- 审计员作为利益相关方。敏捷实践重视与利益相关方的持续协作。审计员和评估员是有正当问题的利益相关方。让他们参与控制和证据的设计,在保持其独立性的同时,减少意外和返工。
关键原则
- 把证据作为工作的副产品来产生。流水线、工单和日志应当回答大部分审计问题。
- 把义务映射到控制和负责人。每项义务都有控制,每项控制都有负责人。
- 尽早与审计员协作。在审计之前分享设计和证据的做法,并保护其独立性。
- 修复原因,而不是发现。不消除原因就关闭的发现会回来。
- 既度量工作量,也度量成果。合规的成本是图景的一部分。
- 在重要之处保持职责分离。评审的独立性是一项控制,自动化可以支持它,但不能取代它。
- 对缺口保持诚实。自行报告的弱点,由你发现好过由别人发现。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 义务覆盖率 | 被映射到带负责人和证据来源的控制的适用义务占比 | 被映射到至少一项带负责人和证据来源的控制的义务数 / 适用义务数 | 百分比 | 义务登记册和控制登记册 | 治理;信息安全管理;风险管理 | 完成的定义包括控制证据 | 每季度 |
| 证据自动化率 | 从记录系统自动收集的、范围内控制证据占比 | 自动收集的控制证据项数 / 需要的证据项数 | 百分比 | 控制登记册、流水线和系统日志 | 信息安全管理;变更赋能 | 流水线自动记录评审、测试和部署 | 每季度 |
| 证据响应时间 | 提供审计员或评估员所要求的证据的时间 | 从请求到证据被接受的天数的中位数和第 85 百分位数 | 天 | 审计请求跟踪器 | 治理;信息安全管理 | 对利益相关方问题的响应能力 | 每次审计 |
| 发现关闭时间 | 按严重程度,关闭审计发现的时间 | 从发现发出到经验证的关闭的天数的中位数和第 85 百分位数 | 天 | 发现跟踪器 | 持续改进;风险管理 | 修复缺陷的时间 | 每月 |
| 重复发现率 | 从先前的审计或评审中重复出现的发现占比 | 在实质上与较早已关闭的发现相匹配的发现数 / 该期间的发现数 | 百分比 | 附原因链接的发现跟踪器 | 持续改进;问题管理 | 修复后重复出现的缺陷 | 每个审计周期 |
| 职责分离冲突 | 违反分离规则的访问或批准组合的计数,以及解决的时间 | 检测到的冲突数;解决所需天数的中位数 | 计数;天 | 身份与访问管理工具、变更记录 | 信息安全管理;变更赋能 | 对变更的独立评审 | 每月 |
| 审计工作量 | 每个范围单位,组织花在准备和支持一个审计周期上的人时 | 记录在审计准备和支持上的小时数 / 范围内的控制或系统数 | 每单位小时数 | 时间记录或工作量估计 | 治理;持续改进 | 非交付工作的成本 | 每个审计周期 |
在登记册中说明范围内的义务和审计范围。关闭时间在发现发出时启动,在审计员或独立验证者确认关闭时停止,而不是在团队说完成时。重复发现依据原因而不是措辞来匹配,并记录匹配规则。审计工作量是组织的趋势度量,绝不是对个人的度量。
建议
了解你的义务和控制
1. 用平实的语言列出适用的义务。与法务和合规同事一起,列出约束该服务的法律、标准、合同和政策,以及每一项在成果方面的要求。保持清单简短而可读。无人能平实地说出的义务,就是造成审计意外的那些。
2. 把每项义务映射到控制、负责人和证据。对每项义务,指出满足它的控制、负责的人,以及显示该控制在运行的证据。在一项控制满足若干义务之处,说明这一点,因为这减少重复的工作。义务覆盖率度量这张映射的完整性。未被映射的义务,是要弥合的或有意接受的缺口。
3. 偏好更少而更强的控制。自动化并经测试的一项控制,抵得上几项手工的。查找重叠的控制,并让不服务于任何义务的控制退役。每项控制都需要运行和提供证据的工作量(见主题 8.2,风险与控制指标)。
让证据成为副产品
4. 让流水线产生证据。把每次生产变更关联到请求、代码评审、测试结果,以及(在需要之处)批准,全部自动记录。显示这些的部署记录,无需写文件就能告诉审计员发生了什么。这依赖于敏捷团队已经在使用的持续交付实践(见主题 4.5,发布与部署指标)。
5. 在流水线中使用政策检查。把规则,比如"没有作者之外的人评审就不部署"或"没有工单就不能访问生产环境",编码为自动化检查。该检查既是控制,也是它的证据。保持规则可见并带版本,使对它们的变更也被记录。这支持职责分离,也就是没有单个人应当控制敏感流程的所有阶段这一原则。
6. 妥善保存审计轨迹。以无法被其所描述的人更改的方式保存访问和变更的日志,保留要求的期间,并使其可搜索。可以被其所记录的人编辑的轨迹,是薄弱的证据。与法务同事核对保留规则。
7. 度量有多少证据是自动的。证据自动化率显示哪里仍是手工收集。按工作量和风险给手工项目排序,并先自动化最糟的。随着比率上升,审计工作量和响应时间下降。
与审计员合作
8. 邀请审计员参与设计。尽早与内部审计和外部评估员分享对控制和证据的计划变更,并问什么能让他们满意。独立性意味着他们不设计你的控制,但并不意味着他们不能告诉你他们将需要什么证据。早期的交谈减少返工。内部审计师协会发布该职业的标准,解释内部审计的角色。
9. 准备一份证据索引。保留一份活的索引,说明每类证据存放在哪里、如何检索。跟踪证据请求的响应时间,并用延迟找出缺失的自动化。简短而稳定的流程,胜过每次审计前的手忙脚乱。
10. 就重要性和范围的含义达成一致。问审计员如何判断什么重要、什么在范围之内,并记录答案。共同的理解防止之后的争议。不要为避免审视而收窄范围,也不要无故扩大它。
修复原因并学习
11. 把每个发现当作问题记录。找出原因,修复它,并由独立的人验证关闭。把重复的发现与较早的发现联系起来,并检查第一次修复为何没有保持住。较高的重复发现率,指向只处理症状的修复,这与问题管理相联(见主题 4.1,问题管理指标)。
12. 跟踪成本并降低它。记录跨周期的审计工作量。如果工作量高而持平,就查找各次审计之间的重复、手工的证据收集,以及不服务于任何人的控制。连同成果一起报告工作量趋势。当合规降低了真正的风险时,它就值得其成本,而这些指标帮助你判断。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 义务覆盖率 | 把义务映射到薄弱或不相关的控制;把义务定义得很窄 | 由第二方评审控制的相关性;测试控制(见主题 8.2,风险与控制指标) |
| 证据自动化率 | 把截图或导出算作自动;先自动化低价值的证据 | 把自动定义为系统生成且防篡改;按风险排序 |
| 证据响应时间 | 迅速提供部分证据;就请求措辞进行谈判 | 只统计被接受的证据;跟踪后续请求 |
| 发现关闭时间 | 不经验证就关闭发现;重新分类严重程度 | 独立验证;严重程度变更日志 |
| 重复发现率 | 重新措辞发现使其不匹配;把较早的发现作为不同类型关闭 | 依据记录的规则按原因匹配;由内部审计评审 |
| 职责分离冲突 | 把冲突转移到范围之外的系统;授予从未被记录的临时访问 | 涵盖所有带敏感流程的系统;评审临时访问 |
| 审计工作量 | 不记录小时数;把工作量转移到其他预算 | 抽样时间记录;与团队调查比较 |
健康的读数是:上升的证据自动化、更短而更稳定的响应时间、经验证而关闭的发现、低的重复率,以及随流程成熟而下降的审计工作量。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 周期性的手工证据 | 审计员熟悉 | 成本高;事后重构 |
| 自动化的持续证据 | 维护成本低;及时 | 需要工程;审计员需要信任来源 |
| 繁重的批准 | 控制可见 | 缓慢;使变更合批 |
| 自动化的政策检查 | 一致而快速 | 规则必须正确且可见 |
| 审计员早期参与 | 更少的意外 | 需要小心以保持独立性 |
| 最后才审计 | 分离清晰 | 发现来得晚;返工 |
| 一项控制对应许多义务 | 高效 | 单次失败影响多项义务 |
| 许多具体的控制 | 映射清晰 | 重复的工作量 |
文字化的答案是,从流水线和记录系统自动化证据,在设计上让审计员及早参与并保持其独立性,并保留一套精益而强大的、映射到义务的控制。
与团队讨论的问题
1. 哪个审计问题我们回答得最久?为什么? 挑出上次审计中最慢的证据请求并追溯它。证据是缺失、分散,还是在某人的脑子里?讨论什么能让它自动化。主持人应捕获以小时计的成本。
2. 对上个月的任何一次生产变更,我们能否展示谁评审了它、运行了哪些测试? 随机挑一个变更并尝试。注意链条在哪里断裂。约定对变更记录或流水线的一项改进,以弥合这个缺口。
3. 我们在上次审计中承诺了什么?它保持住了吗? 评审发现和修复。对每一个,问原因是否被消除,以及谁验证了关闭。查找重复。约定一个要更深入研究的发现。
4. 如果问审计员如何让证据更容易,他们会告诉我们什么? 计划一次与内部审计或评估员关于证据设计的交谈。问他们信任什么、不信任什么。主持人应把他们的回答视为信息,并记住独立性规则。
5. 我们运行的哪些控制是没有任何义务需要的? 列出控制及其所服务的义务。找出目的不明确的。讨论让它们退役,以及它们不必要的证据。
6. 在这里,哪里一个人可以端到端地做某件敏感的事? 想想部署、访问授权和付款。检查工具是强制执行分离,还是只有政策。讨论补偿控制,比如在人手少的地方使用自动化评审。
四种视角
产品与交付团队
交付团队通过把工作做好,产生了大部分证据。他们应当保持变更、评审和测试记录相互关联,使用流水线的政策检查,并对拖慢工作却没有降低风险的控制提出关切。他们受益于与审计员就多少证据才足够进行的早期交谈。
服务与运维团队
运维团队运行访问管理、日志、备份和事件处理,这些对许多审计很核心。他们应当使日志防篡改并得到保留,按计划管理访问评审,并保存证据索引。他们承受手工证据的负担,并可以指出自动化在哪里帮助最大。
领导层与治理
领导层对合规负责,往往也对审计结果负责。他们应当为证据的自动化出资,要覆盖率和重复发现率,而不只是发现的计数,并支持审计员的独立性。治理应当期望对缺口的诚实报告,以及针对每个缺口的计划。
客户与用户
客户和用户依赖合规,作为对其数据和服务如何被处理的保证。当保证报告清晰、事件按要求被报告、控制不会让合法的使用比必要的更难时,他们受益。关于合规的透明沟通建立信任。
实践:一个敏捷 ITIL 示例
一家中型支付公司运行一个银行卡处理平台,每年依据一个安全保证框架和一个数据保护制度接受评估。以下数字是示意数字。
审计准备每年占用工程团队约六周。去年的评估以 14 项发现结束,其中 5 项与前一年重复。合规负责人梳理了情况。义务覆盖率为 83%,有 17% 的义务没有指名的控制负责人。证据自动化率为 22%,变更批准的大部分证据来自手工汇编的工单截图。证据响应时间的中位数为 9 天,第 85 百分位数为 21 天。发现关闭时间的中位数为 74 天,关闭往往由所属团队在没有验证的情况下标记。
合规负责人与交付和运维团队以及内部审计师一起工作。他们改变四件事。流水线中的每次生产变更现在都关联到请求、由作者之外的人所做的代码评审、测试结果和部署,自动记录在变更记录中。政策检查阻止缺少独立评审的部署,并为紧急情况记录例外路径。访问评审每季度从身份系统运行,它直接显示职责分离冲突。每个发现成为问题记录,由内部审计的独立验证者验证,重复的发现与其前身相联。
在下一次评估中,证据自动化率为 71%,证据响应时间的中位数为 2 天,第 85 百分位数为 5 天,审计准备约需两周。义务覆盖率为 97%,其余项目有文档化的接受。发现降到 6 项,其中一项重复,关闭时间的中位数为 31 天,且有独立验证。首席执行官要求明年零发现。合规负责人提议跟踪重复发现、关闭时间和证据自动化,并解释说,零发现的目标会推动团队隐藏问题或收窄范围,而什么也没发现的评估员可能没有认真去找。该决定被记录下来,董事会同意在下次会议上评审这些度量。
行业视角
初创企业。义务可能随着一位大客户或一轮融资突然到来。尽早养成习惯:同行评审、变更记录和流水线中的访问控制,使被索要时证据已经存在。当业务需要时选择一个框架,并把它映射到你已经在做的事情上。
小型企业。合规职责往往由合同和法律固定,资源有限。保留一份简短的义务清单,依赖有自己保证报告的托管服务,并保留一个简单的证据文件夹。当心购买成本高于其所应对风险的合规工具。
大型企业。许多义务相互重叠,所以把一项控制映射到许多义务的统一控制框架,可以节省大量工作。使用通用的证据来源、共享的发现跟踪器和审计日历,以避免重复的请求。协调内部审计、合规和安全,使团队不会为同一件事被检查三次。
政府与公共部门。合规职责广泛而公开,包括采购、记录、无障碍和数据保护规则,并有国家机构的审计。在要求的期间内记录决定和证据,在可能之处使各机构的报告一致,并在独立审计与管理层之间保持清晰的界线。义务可能随选举和立法而变化(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本包括控制登记册的工具、证据的流水线集成、身份和日志系统,以及合规人员和团队的时间。将证据自动化的初始工作量很大,但它取代了经常性的手工工作。
回报是更低的经常性审计工作量、更快的请求响应、更少的重复发现,以及对控制健康更诚实的视图。它们还包括避免在认证周期后期出现意外的成本。用你自己的数字建立论证:前后的审计准备小时数、证据响应时间、发现的数量和年龄,以及任何与审计相关的延迟对一笔商业交易造成的成本。避免引用关于合规成本的研究,除非你能追溯其方法和相关性。计入项目的成本,以及对薄弱控制过度自动化的风险。更广的财务处理见上一部分的最后一个主题(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 在最后一个月才为审计做准备。它产生重构的证据和手忙脚乱。在工作进行时记录证据。
- 以截图作为证据。它们是手工的、易于更改、成本高。使用系统生成的记录。
- 以零发现为目标。它奖励狭窄的范围和隐藏的问题。跟踪关闭、重复和覆盖。
- 靠断言关闭发现。同样的发现会回来。独立验证关闭。
- 把审计员视为对手。它增加双方的成本。在保持独立性的同时,就证据设计协作。
- 不服务于任何义务的控制。它们耗费工作量并滋生愤世嫉俗。让它们退役。
- 自动化糟糕的控制。它大规模地产生薄弱控制的证据。先测试控制。
- 手工的职责分离。它依赖记忆。在工具中强制执行并评审例外。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 义务与控制 | 少数人知道 | 义务和控制的清单 | 映射到控制、负责人和证据来源 | 跟踪覆盖率;减少重叠;测试控制 | 跨团队、供应商和制度的统一控制框架 |
| 证据 | 审计前才汇编 | 标准模板和证据文件夹 | 流水线和记录系统产生大量证据 | 管理自动化率、响应时间和工作量 | 持续保证,审计员直接使用证据 |
| 发现与学习 | 发现被争论并靠断言关闭 | 跟踪发现 | 发现被当作问题记录,附独立验证 | 分析重复和关闭时间,并反馈到控制设计 | 发现在组织内及与伙伴之间共享;改进成为常规 |
检查清单
- 适用的义务以平实的语言列出,并有负责人。
- 每项义务都映射到控制和证据来源。
- 生产变更自动带有关联的请求、评审、测试和部署证据。
- 政策检查在流水线中强制执行评审和职责分离。
- 审计轨迹防篡改,并在要求的期间内保留。
- 存在证据索引,并度量请求的响应时间。
- 在保持独立性的同时,就证据设计咨询审计员。
- 发现被记录为问题记录,并附独立验证地关闭。
- 重复的发现与其前身相联,并检查原因。
- 把审计工作量作为趋势来跟踪,并评审是否有重复。
AI 提示词
把义务映射到控制。
这是适用于我们在[行业和司法辖区]的服务的义务清单:[以平实语言粘贴]。这是我们的控制
清单:[粘贴]。请构建一张表,把每项义务映射到控制、显示每项控制在运行的证据,以及一个
负责人角色。标出没有控制的义务、没有义务的控制,以及薄弱的证据。不要给出法律结论。
列出你的假设,以及给法务和合规的问题。
规划证据自动化。
我们的手工审计证据包括:[列出项目及花费的小时数]。我们的记录系统是:[列出工具]。请按
工作量和风险给证据项排序,并提出如何从记录系统自动收集每一项、什么使证据值得信任
(防篡改、完整性),以及应与审计员确认什么。不要假定具体工具的功能。列出你的假设。
分析重复的发现。
这是过去[数量]个审计周期的发现,附原因和修复:[粘贴,已清理]。请按底层原因把发现分组,
找出重复,并建议早先的修复为何没有保持住。提出按原因匹配发现的规则,以及关闭的验证
步骤。不要在所给信息之外猜测。列出你的假设。
准备与审计员的早期交谈。
请为与内部审计就改变我们为[控制或流程]产生证据的方式而召开的会议,起草议程。包括我们
计划改变什么、我们需要回答的问题(可接受的证据、抽样、重要性)、为保持独立性我们不会
要求他们做什么,以及我们将如何记录结果。使用平实语言。列出你的假设和风险。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项合规或审计指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查合规指标条目是否带有其操纵途径、护栏和独立性规则。
关键要点
- 把证据作为交付的副产品,从流水线和记录系统产生,并度量其中多少是自动的。
- 把每项义务映射到一项控制、一位负责人和一个证据来源。
- 尽早邀请审计员参与证据设计,并保护其独立性。
- 通过消除原因来关闭发现,独立验证关闭,并留意重复发现率。
- 避免零发现之类的目标,并把工作量与成果一起跟踪。
- 在工具中强制执行职责分离,并保持审计轨迹防篡改。
参考文献与延伸阅读
- ISO/IEC 27001, Information security, cybersecurity and privacy protection: Information security management systems: Requirements, International Organization for Standardization.
- Institute of Internal Auditors, Global Internal Audit Standards, 2024.
- American Institute of Certified Public Accountants, Trust Services Criteria (used in SOC 2 examinations), latest version.
- Kim, G., Humble, J., Debois, P., and Willis, J., The DevOps Handbook, IT Revolution, 2016.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Regulatory compliance.
- Wikipedia, Information technology audit.
- Wikipedia, Continuous auditing.
- Wikipedia, Audit trail.
- Wikipedia, ISO/IEC 27001.
- Wikipedia, Sarbanes–Oxley Act.
- Wikipedia, General Data Protection Regulation.
- Wikipedia, SOC 2.
- Wikipedia, Goodhart's law.
- Wikipedia, Segregation of duties.
- Wikipedia, Internal audit.