受监管与政府报告
强制性报告是需要围绕它来设计的固定要求,所以要用你运行服务所用的同样记录来构建它,让报告视角与学习视角保持分开,并保护做工作的人免受扭曲工作的目标之害。
概述与动因
许多组织必须报告其服务,无论它们是否愿意。监管者索要事件通知、可用性数字和控制的证据。政府要求机构公布绩效数据、支出和无障碍声明。资助方和监督机构索要对照承诺的成果。合同要求服务报告。在这些环境中,报告不是内部管理的选择。它是一项带有到期日、定义,有时还带有惩罚的义务。
公共部门有特定的特点。对公民和民选机构的问责是核心职责,通过审计、立法、信息自由法和公布的结果来行使。开放政府和开放数据实践使信息可供审视和再利用。公共采购规则塑造什么可以买、如何买,记录管理义务规范信息保留多久。物有所值是公共开支常见的检验标准,独立机构开展绩效审计来检查它。细节因国家、政府层级和行业而异,本主题描述的是度量实践,而不是法律要求。请与你的法务、合规和记录同事合作。
受监管的私营部门组织,比如金融、卫生、能源和电信领域的组织,共有这些特点中的许多。它们面临事件通知职责、韧性报告和监管评审。共同的线索是,有交付团队之外的人定义了必须报告什么、何时报告。
持续交付和 ITIL 实践都有可贡献之处。敏捷关于与利益相关方持续协作的目标,延伸到监督机构,他们是有正当需求的利益相关方,而就他们要求什么进行早期交谈,可以防止返工。持续交付小而可工作的增量的敏捷习惯,适合报告:从记录系统自动生成的报告,比每季度手工汇编的更准确也更便宜。ITIL 的度量与报告实践及其服务级别管理,为定义度量和分享什么提供词汇。
报告义务产生三个众所周知的危险。
- 目标造成的扭曲。当一个被报告的数字带有后果时,工作就会向这个数字弯曲。公共部门关于目标的文献,包括约翰·塞登(John Seddon)关于公共部门系统思维的著作,以及杰里·穆勒(Jerry Muller)对指标迷恋的分析,描述了许多达成目标与服务公众相背离的案例。古德哈特定律的护栏完全适用(见主题 1.2,古德哈特定律与指标心理学)。
- 两套数字。一个数字的法定定义,往往不同于团队内部使用的定义。如果团队按一个管理却报告另一个,就没有人信任任何一个。让两者都保持可见,核对它们,并解释差异。
- 报告成为负担。手工的、重复的、不一致的请求耗费有技能的人。报告越依赖英雄式的电子表格工作,错误和延迟就越多地潜入。
本主题建立在本部分的合规、风险和供应商度量之上(见主题 8.2,风险与控制指标,主题 8.3,合规与审计指标,以及主题 8.4,供应商与合同指标),也建立在第一部分的数据基础之上(见主题 1.5,数据来源与埋点)。
关键原则
- 把义务视为设计输入。尽早列出它们,附定义、到期日和负责人,并围绕它们设计数据收集。
- 从记录系统产生报告。将提取自动化,并保持谱系可见。
- 把报告视角与学习视角分开。团队需要不受所报告内容约束的、坦率的工作度量。
- 核对定义。显示法定数字与团队自己的度量之间的关系。
- 诚实地报告,包括坏消息。更正和背景建立信任。
- 保护人们免受反常目标之害。使用附伴侣度量的法定目标,并解释其局限。
- 使公布的数据可用。无障碍、清晰度和格式对公众很重要。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 报告义务覆盖率 | 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 | 四者俱全的义务数 / 范围内的报告义务数 | 百分比 | 义务登记册 | 度量与报告;治理 | 与利益相关方关于信息需求的工作协议 | 每季度 |
| 报告及时性 | 在到期日之前提交的必需报告占比 | 在到期日当天或之前提交的报告数 / 该期间到期的报告数 | 百分比 | 报告日历和提交记录 | 度量与报告 | 兑现对利益相关方的承诺 | 每月 |
| 重述率 | 事后被更正的已提交报告或数字占比 | 提交后被更正的报告或数字数 / 已提交的报告或数字数 | 百分比 | 提交日志和更正日志 | 度量与报告;持续改进 | 逃逸缺陷 | 每季度 |
| 可追溯性覆盖率 | 能通过有文档的步骤追溯到记录系统的所报告数字占比 | 有文档化谱系、可追溯到记录系统的数字数 / 所报告的数字数 | 百分比 | 谱系文档、报告规格 | 度量与报告;知识管理 | 可复现的构建 | 每季度 |
| 定义一致性 | 法定定义和内部定义都有文档记录并经核对的所报告度量占比 | 有文档化核对的度量数 / 有法定定义的所报告度量数 | 百分比 | 指标登记册 | 度量与报告;服务级别管理 | 共同的完成定义 | 每季度 |
| 报告工作量 | 产生一份经常性报告所花的人时 | 每个报告周期记录的小时数,附手工提取和汇编所占的份额 | 小时 | 时间估计、工作量日志 | 度量与报告;持续改进 | 非交付工作的成本 | 每个报告周期 |
| 已公布的无障碍符合度 | 符合要求的无障碍标准的已公布报告和数据集占比 | 通过无障碍检查的已公布项目数 / 已公布项目数 | 百分比 | 无障碍测试结果 | 度量与报告;知识管理 | 包容性的完成定义 | 每季度 |
把法定定义、来源和到期日写在每个所报告的度量旁边。如果记录了接收机构的接受,则报告在被接收机构接受时才算"及时",而不是在发出时。重述统计对已提交数字的任何更正,无论是自愿的还是被要求的。报告工作量是组织的趋势度量,绝不是对个人的度量。无障碍符合度对照适用于你的标准来检查,比如《网页内容无障碍指南》。
建议
把义务视为设计输入
1. 保留一份报告义务登记册。对每一项,记录要求、法律或合同来源、要报告什么、定义、到期日、接收机构、内部负责人和数据来源。当法律、合同或监管者变化时评审它。尽早知道的义务可以被设计进去,晚发现的则必须手工汇编。
2. 尽早让监督机构参与。问监管者、审计员和资助方他们将如何使用这些数据、需要什么。有些会帮助你塑造定义,或接受以你已有的形式提供的数据。敏捷实践重视与利益相关方的协作,监督机构是利益相关方。保留这些交谈的记录,并在重要之处保持独立性。
3. 从一开始就为报告设计数据收集。在构建服务时,包括必需的报告将需要的事件和字段:事件时间戳、影响、类别、用户数。事后增加它们代价高昂。把它们定义一次,在团队之间共享定义,并由单一负责人负责该定义(见主题 1.4,指标治理与归属)。
从记录系统产生报告
4. 将从记录到报告的管道自动化。用脚本化的查询从事件、变更和服务系统提取,应用有文档的转换,并用经评审的模板生成报告。自动化的报告比手工的可重复、更快、更易审计。对查询和模板进行版本管理,使过去的报告可以被复现。
5. 记录谱系。对每个所报告的数字,注明它来自哪里、如何计算,以及谁来检查。可追溯性覆盖率度量这做得有多好。审计员或记者问"这个数字从哪里来?",应当在几分钟内得到清晰的答案。
6. 在提交之前,由独立的读者评审。请编制报告的团队之外的人检查定义、算术和叙述。评审能发现错误和没有依据的主张。记录评审。负责人的简短签署使所有权清晰。
7. 公开地更正。当在提交之后发现错误时,迅速更正,解释改变了什么,并注明原因。如果数据复杂,接近零的重述率是可疑的。可见而迅速的更正,比放任一个数字不动建立更多信任。
让报告与学习保持分开
8. 为团队维护一个工作视图。团队需要帮助他们改进的度量,比如百分位数、最老项目的年龄和质量伴侣。这些很少与法定数字相同。不要把工作视图局限于所报告的内容,也不要仅凭所报告的数字来管理。
9. 核对法定定义和内部定义。在必需的度量不同于团队自己的之处,记录差异并显示两者。例如,监管者的可用性数字可能排除计划维护,而用户把它体验为停机。在指标登记册和报告说明中显示这一核对。这防范"两套数字"的问题。
10. 把法定目标与伴侣度量配对。如果强加了一个目标,就增加能揭示扭曲的度量:质量、用户体验,以及被遗漏的工作。例如,把首次响应时间的目标与解决和重复联系的度量配对(见主题 3.1,服务台指标)。在报告中解释应如何阅读这个数字。
面向公众发布
11. 使公布的信息可用。在法律和隐私允许之处,以开放的、机器可读的格式发布,附清晰的描述、定义和日期。使文档和网页符合无障碍标准。以人们无法阅读或再利用的方式发布数据,满足了字面而挫败了目的。与真实用户一起测试,包括使用辅助技术的用户(见主题 6.4,用户与员工体验)。
12. 在你发布的内容中保护隐私和安全。汇总并抑制可能识别个人的小数字,避免发布有助于攻击者的细节,并与专家核对披露规则。对依据信息自由法作出的回应同样小心。记录关于删减的决定及理由。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 报告义务覆盖率 | 狭义地对待义务;列出负责人却没有取得同意 | 由合规或内部审计评审登记册;负责人确认 |
| 报告及时性 | 为赶日期而提交不完整的报告;把草稿算作提交 | 提交时的完整性检查;只统计被接受的报告;重述率 |
| 重述率 | 压制更正;悄悄地更正 | 由独立读者评审更正日志;低比率要连同可追溯性一起阅读 |
| 可追溯性覆盖率 | 敷衍地记录谱系;只包括简单的数字 | 通过从来源重新执行一次计算来抽样谱系 |
| 定义一致性 | 不经核对就宣布定义一致;只在报告中采用法定定义 | 评审核对文档;并排显示两个数字 |
| 报告工作量 | 不记录小时数;把工作转移给其他团队 | 与团队反馈比较;在估计中包括所有贡献者 |
| 已公布的无障碍符合度 | 运行只能发现部分问题的检查器;发布滞后的、单独的无障碍版本 | 用辅助技术做手工测试;检查版本之间的一致 |
健康的读数是:每项义务都有主,报告准时而准确、更正可见,数字可追溯到记录系统,法定和内部定义已核对,报告工作量下降,以及公众可以使用的公布信息。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 手工汇编报告 | 灵活;适用于任何数据 | 缓慢、易错、依赖个人 |
| 自动化报告 | 可重复、可审计、运行成本低 | 设置工作量;可能固化糟糕的定义 |
| 一套度量用于一切 | 简单 | 扭曲工作;法定数字很少符合团队需要 |
| 分开的报告视角和学习视角 | 坦率的学习;诚实的报告 | 需要核对和纪律 |
| 硬性的法定目标 | 问责清晰 | 反常效应;操纵 |
| 附伴侣度量和背景的目标 | 揭示扭曲 | 需要解释更多 |
| 与监管者早期接触 | 更少的意外 | 时间;需要维持界线 |
| 只保持一臂之距的关系 | 独立性清晰 | 反馈来得晚;返工 |
文字化的答案是,从记录系统自动化报告,让团队的工作视图与报告视图分开,公开地核对定义,并在保护监督机构独立性的同时,尽早与之接触。
与团队讨论的问题
1. 我们欠哪些报告?欠谁?何时到期?各归谁所有? 在房间里汇总清单,并与登记册比较。缺口常常出现:依据合同、对资助方,或依据少数人知道的规则所欠的报告。主持人应记录新增项,并指派负责人。
2. 如果某个被报告的数字不被报告,我们会以不同方式管理它吗? 挑一个法定或合同度量,问如果无人度量它,团队会怎么做。答案揭示数字与目的在哪里分歧。讨论什么样的伴侣度量会显示这一差别。
3. 我们今天能从来源复现上个季度的报告吗? 用一份报告试试。注意哪些是手工的、没有文档的或丢失的。约定自动化或文档化的第一步,以及由谁来做。
4. 我们如何处理提交后发现的错误? 评审流程和最近的一个例子。更正是否迅速而公开?有没有人害怕提出?约定什么使更正变得正常。
5. 使用辅助技术的人阅读我们已公布的报告时会体验到什么? 一起测试一份已公布的项目,或评审一次近期的无障碍检查。问谁为已公布的文档负责无障碍。约定一项修复,以及防止再发的流程。
6. 监管者或监督机构实际上如何使用我们的数据? 许多团队不知道。计划一次交谈来了解,并问不同的形式是否同样能满足他们。主持人应记下独立性的界线。
四种视角
产品与交付团队
交付团队构建报告所依赖的事件和字段,并感受法定目标的压力。他们应当把报告需要纳入完成的定义,保持一个坦率的工作视图,并在目标扭曲工作时指出。与负责报告的人进行早期交谈,有助于防止返工。
服务与运维团队
运维团队生成大部分底层数据,并常常编制报告。他们应当记录谱系、将提取自动化,并保留更正日志。他们最适合解释一个数字应如何阅读,并在它误导时发出警告。
领导层与治理
领导层对所报告内容的准确性和诚实负责。他们应当要可追溯性和核对,抵制把法定数字变成个人目标,保护提出错误的人,并支持与监督机构的接触。治理应当评审义务登记册和重述历史。
客户与用户
公众和客户依赖公布的信息,来追究服务的责任。他们需要能找到、读懂、再利用的数据,格式无障碍,并附对其含义的清晰解释。当事件影响他们时,他们也理应得到及时的通知,正如规则可能要求的那样。
实践:一个敏捷 ITIL 示例
一个国家机构提供每年被数百万人使用的在线许可服务。它必须每月向一个部委报告,公布年度绩效数据,并在规定时间内向监管者通报重大服务事件。以下数字是示意数字。
一次内部评审发现,该机构欠 31 份不同种类的报告,其中只有 22 份在义务登记册上,有指名的负责人和定义,覆盖率为 71%。月度数字由人工汇编,约需 60 小时,主要是把三个系统的数据拉到一张电子表格中。可追溯性很差:对头条数字,也就是可用性,没人能复现去年的数字。部委对可用性的定义排除计划维护,而该机构自己的工作视图则把它算入,这解释了为什么用户和部委看到的图景不同。该机构每个月都达到了首次响应时间的目标,服务台已开始自动确认请求以达成它,而解决时间却在上升。两份已公布的报告,在用屏幕阅读器检查时没有通过无障碍测试。
该机构的服务绩效负责人与部委以及交付和运维团队约定改变。义务登记册变得完整,附负责人、定义和日期。月度数字来自对事件和监控系统的脚本化查询,附有文档化的转换和经评审的模板,这把工作量削减到约 8 小时。一份核对说明列出法定和内部的可用性定义,报告中同时显示两个数字。首次响应的目标,在工作视图中与解决时间和重复联系配对,部委同意查看这些伴侣度量。该机构还更正了上一个季度的一个可用性数字,解释原因,并公布了更正。已公布的报告用无障碍模板制作,屏幕阅读器测试被加入发布检查清单。
一年后,义务覆盖率为 100%,报告准时,重述率低且每次更正都有解释,可追溯性涵盖所有头条数字,报告工作量下降了大约 85%。部长办公室要求一个 99.95% 可用性的新目标,由该机构的领导层负责。服务绩效负责人解释法定数字与用户体验到的数字之间的差别,并提议一个附伴侣度量和评审日期的目标。该决定被记录下来,部委同意在下一个报告年度之前,联合评审该定义。
行业视角
初创企业。报告职责可能随第一位企业客户或监管者到来。从一份简短的义务清单开始,从你自己的系统产生报告,并避免构建单独的报告流程。在合同中承诺服务级别时要小心。
小型企业。义务往往是合同性的,或与单一监管者相联。保留一份日历,使用模板,并记录数字是如何得出的。一份小而准确的报告,胜过一份大而仓促的。
大型企业。跨地区和制度的许多义务,要求有中央登记册、通用定义和共享的提取工具。当心对同一批团队的重复请求。对事件和服务数据使用单一事实来源,并为每种制度提供视图。
政府与公共部门。这是本主题的主场。为立法、部长要求、审计、信息自由请求和公众审视做计划。在法律允许之处公开发布数据,履行无障碍职责,在要求的期间内保存记录,并记录决定。抵制把法定数字变成个人绩效目标,并考虑目标对公民和员工的影响。
商业论证:动机、投资回报与总拥有成本
成本是构建和维护义务登记册的工作量、自动化提取和模板的工程、评审时间,以及无障碍测试。与手工汇编相比,自动化把工作量从重复的工作转移到一次性的构建和轻量的维护。
回报是更少的错误和更正、更少花在汇编上的员工时间、对监督请求更快的响应,以及与监管者和公众之间更大的信任。用你自己的数据建立论证:前后每份报告的小时数、重述的数量及影响、回答一个监督问题的时间,以及避免的任何惩罚或严重审计发现的成本。避免引用对合规负担的估计,除非你能追溯来源和方法。计入与监督机构持续接触的成本,并与意外的成本相比较(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 仅靠法定数字来管理。它扭曲工作。保持一个附伴侣度量的工作视图。
- 两套未核对的数字。信任崩塌。记录并显示差异。
- 把手工搭建的电子表格当作系统。它们会坏,且依赖个人。从记录系统自动化。
- 为赶日期而提交不完整的报告。它以一种失败换取另一种。约定延期,或附清晰的说明提交。
- 悄悄的更正。它们损害信任。公开更正并解释。
- 从法定数字派生出个人目标。它们奖励操纵并惩罚诚实的员工。把数字保持在服务层面。
- 无法阅读的出版物。形式上的合规挫败目的。发布可用的、无障碍的数据。
- 在发布时忽视隐私。小数字可能识别个人。汇总并评审披露。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 义务与定义 | 少数人知道 | 部分清单 | 附负责人、定义和日期的登记册;法定和内部定义已核对 | 对照法律的变化评审登记册;维护核对 | 与监督机构共同制定定义;在各机构之间共享 |
| 生产与质量 | 手工汇编 | 模板、部分脚本 | 从记录系统自动化,附谱系和独立评审 | 分析重述;管理工作量和及时性 | 持续生成报告;监督机构直接访问数据 |
| 使用与发布 | 为满足请求而报告 | 按请求发布 | 工作视图与报告视图分开;无障碍、可再利用的发布 | 带目标的伴侣度量;对出版物的用户测试 | 开放的关联数据,公众参与设计 |
检查清单
- 一份登记册列出每项报告义务,附负责人、定义、来源、到期日和接收机构。
- 所需的字段和事件从一开始就构建进服务。
- 报告由经版本管理的查询和模板从记录系统产生。
- 每个所报告的数字都有文档化的谱系和指名的检查人。
- 一位独立的读者在提交之前评审报告。
- 法定和内部定义已核对,并且两者都显示。
- 更正被记录、解释并迅速公布。
- 法定目标在报告中附有伴侣度量和背景。
- 已公布的报告和数据集符合适用的无障碍标准并经过隐私评审。
- 日历上有与每个主要监督机构就其需求的交谈。
AI 提示词
构建义务登记册。
这是我们认为所欠的报告、通知和出版物的清单:[以平实语言粘贴,附来源]。请将它们整理成
一份登记册,字段包括要求、来源、定义、数据来源、到期日、接收机构和负责人角色。标出缺失
的信息,以及看起来在团队之间重复的义务。不要给出法律结论。列出你的假设,以及给法务和
合规的问题。
核对两个定义。
[度量]的法定定义是:[文本]。我们的内部定义是:[文本]。我们的数据字段是:[清单]。请解释
差异,描述每个如何影响数字,建议如何在报告中显示两者,并提出一份向读者解释该差异的简短
说明。不要假定未给出的事实。列出你的假设。
规划报告的自动化。
我们每月用这些手工步骤和来源编制[报告]:[附小时数的清单]。请提出从记录系统将其自动化的
计划,包括有文档的查询、转换步骤、谱系说明、评审,以及过去报告的可复现性。建议哪些保持
手工及原因。不要假定具体的工具。列出你的假设和风险。
评审已公布报告的可用性。
这是我们计划发布的报告的文本结构:[粘贴标题和示例表格,不含敏感内容]。请评审其中的
平实语言、定义、数字的背景、表格和图表的无障碍,以及小数字带来的隐私风险。提出改进建议。
提醒我用辅助技术测试,并与专家核对披露规则。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项法定或受监管报告指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查报告指标条目是否显示其定义、核对、操纵途径和护栏。
关键要点
- 把报告义务视为设计输入,列出负责人、定义和到期日。
- 从记录系统产生报告,附谱系和独立评审。
- 让坦率的工作视图与报告视图分开,并公开地核对定义。
- 把法定目标与伴侣度量配对,并绝不把它们变成个人目标。
- 公开而迅速地更正错误。
- 发布公众能找到、读懂并再利用的信息,同时保护隐私。
参考文献与延伸阅读
- Seddon, J., Systems Thinking in the Public Sector, Triarchy Press, 2008.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- World Wide Web Consortium, Web Content Accessibility Guidelines (WCAG) 2.2, 2023, https://www.w3.org/TR/WCAG22/.
- European Parliament and Council, Directive (EU) 2016/2102 on the accessibility of the websites and mobile applications of public sector bodies, 2016.
- Government Digital Service, Service Standard, United Kingdom, https://www.gov.uk/service-manual/service-standard.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Public sector.
- Wikipedia, Accountability.
- Wikipedia, Freedom of information laws by country.
- Wikipedia, Open government.
- Wikipedia, Open data.
- Wikipedia, Public procurement.
- Wikipedia, Records management.
- Wikipedia, Value for money.
- Wikipedia, Performance audit.
- Wikipedia, Goodhart's law.