概述与动因

许多组织必须报告其服务,无论它们是否愿意。监管者索要事件通知、可用性数字和控制的证据。政府要求机构公布绩效数据、支出和无障碍声明。资助方和监督机构索要对照承诺的成果。合同要求服务报告。在这些环境中,报告不是内部管理的选择。它是一项带有到期日、定义,有时还带有惩罚的义务。

公共部门有特定的特点。对公民和民选机构的问责是核心职责,通过审计、立法、信息自由法和公布的结果来行使。开放政府和开放数据实践使信息可供审视和再利用。公共采购规则塑造什么可以买、如何买,记录管理义务规范信息保留多久。物有所值是公共开支常见的检验标准,独立机构开展绩效审计来检查它。细节因国家、政府层级和行业而异,本主题描述的是度量实践,而不是法律要求。请与你的法务、合规和记录同事合作。

受监管的私营部门组织,比如金融、卫生、能源和电信领域的组织,共有这些特点中的许多。它们面临事件通知职责、韧性报告和监管评审。共同的线索是,有交付团队之外的人定义了必须报告什么、何时报告。

持续交付和 ITIL 实践都有可贡献之处。敏捷关于与利益相关方持续协作的目标,延伸到监督机构,他们是有正当需求的利益相关方,而就他们要求什么进行早期交谈,可以防止返工。持续交付小而可工作的增量的敏捷习惯,适合报告:从记录系统自动生成的报告,比每季度手工汇编的更准确也更便宜。ITIL 的度量与报告实践及其服务级别管理,为定义度量和分享什么提供词汇。

报告义务产生三个众所周知的危险。

  • 目标造成的扭曲。当一个被报告的数字带有后果时,工作就会向这个数字弯曲。公共部门关于目标的文献,包括约翰·塞登(John Seddon)关于公共部门系统思维的著作,以及杰里·穆勒(Jerry Muller)对指标迷恋的分析,描述了许多达成目标与服务公众相背离的案例。古德哈特定律的护栏完全适用(见主题 1.2,古德哈特定律与指标心理学)。
  • 两套数字。一个数字的法定定义,往往不同于团队内部使用的定义。如果团队按一个管理却报告另一个,就没有人信任任何一个。让两者都保持可见,核对它们,并解释差异。
  • 报告成为负担。手工的、重复的、不一致的请求耗费有技能的人。报告越依赖英雄式的电子表格工作,错误和延迟就越多地潜入。

本主题建立在本部分的合规、风险和供应商度量之上(见主题 8.2,风险与控制指标,主题 8.3,合规与审计指标,以及主题 8.4,供应商与合同指标),也建立在第一部分的数据基础之上(见主题 1.5,数据来源与埋点)。

关键原则

  • 把义务视为设计输入。尽早列出它们,附定义、到期日和负责人,并围绕它们设计数据收集。
  • 从记录系统产生报告。将提取自动化,并保持谱系可见。
  • 把报告视角与学习视角分开。团队需要不受所报告内容约束的、坦率的工作度量。
  • 核对定义。显示法定数字与团队自己的度量之间的关系。
  • 诚实地报告,包括坏消息。更正和背景建立信任。
  • 保护人们免受反常目标之害。使用附伴侣度量的法定目标,并解释其局限。
  • 使公布的数据可用。无障碍、清晰度和格式对公众很重要。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
报告义务覆盖率 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 四者俱全的义务数 / 范围内的报告义务数 百分比 义务登记册 度量与报告;治理 与利益相关方关于信息需求的工作协议 每季度
报告及时性 在到期日之前提交的必需报告占比 在到期日当天或之前提交的报告数 / 该期间到期的报告数 百分比 报告日历和提交记录 度量与报告 兑现对利益相关方的承诺 每月
重述率 事后被更正的已提交报告或数字占比 提交后被更正的报告或数字数 / 已提交的报告或数字数 百分比 提交日志和更正日志 度量与报告;持续改进 逃逸缺陷 每季度
可追溯性覆盖率 能通过有文档的步骤追溯到记录系统的所报告数字占比 有文档化谱系、可追溯到记录系统的数字数 / 所报告的数字数 百分比 谱系文档、报告规格 度量与报告;知识管理 可复现的构建 每季度
定义一致性 法定定义和内部定义都有文档记录并经核对的所报告度量占比 有文档化核对的度量数 / 有法定定义的所报告度量数 百分比 指标登记册 度量与报告;服务级别管理 共同的完成定义 每季度
报告工作量 产生一份经常性报告所花的人时 每个报告周期记录的小时数,附手工提取和汇编所占的份额 小时 时间估计、工作量日志 度量与报告;持续改进 非交付工作的成本 每个报告周期
已公布的无障碍符合度 符合要求的无障碍标准的已公布报告和数据集占比 通过无障碍检查的已公布项目数 / 已公布项目数 百分比 无障碍测试结果 度量与报告;知识管理 包容性的完成定义 每季度

把法定定义、来源和到期日写在每个所报告的度量旁边。如果记录了接收机构的接受,则报告在被接收机构接受时才算"及时",而不是在发出时。重述统计对已提交数字的任何更正,无论是自愿的还是被要求的。报告工作量是组织的趋势度量,绝不是对个人的度量。无障碍符合度对照适用于你的标准来检查,比如《网页内容无障碍指南》。

建议

把义务视为设计输入

1. 保留一份报告义务登记册。对每一项,记录要求、法律或合同来源、要报告什么、定义、到期日、接收机构、内部负责人和数据来源。当法律、合同或监管者变化时评审它。尽早知道的义务可以被设计进去,晚发现的则必须手工汇编。

2. 尽早让监督机构参与。问监管者、审计员和资助方他们将如何使用这些数据、需要什么。有些会帮助你塑造定义,或接受以你已有的形式提供的数据。敏捷实践重视与利益相关方的协作,监督机构是利益相关方。保留这些交谈的记录,并在重要之处保持独立性。

3. 从一开始就为报告设计数据收集。在构建服务时,包括必需的报告将需要的事件和字段:事件时间戳、影响、类别、用户数。事后增加它们代价高昂。把它们定义一次,在团队之间共享定义,并由单一负责人负责该定义(见主题 1.4,指标治理与归属)。

从记录系统产生报告

4. 将从记录到报告的管道自动化。用脚本化的查询从事件、变更和服务系统提取,应用有文档的转换,并用经评审的模板生成报告。自动化的报告比手工的可重复、更快、更易审计。对查询和模板进行版本管理,使过去的报告可以被复现。

5. 记录谱系。对每个所报告的数字,注明它来自哪里、如何计算,以及谁来检查。可追溯性覆盖率度量这做得有多好。审计员或记者问"这个数字从哪里来?",应当在几分钟内得到清晰的答案。

6. 在提交之前,由独立的读者评审。请编制报告的团队之外的人检查定义、算术和叙述。评审能发现错误和没有依据的主张。记录评审。负责人的简短签署使所有权清晰。

7. 公开地更正。当在提交之后发现错误时,迅速更正,解释改变了什么,并注明原因。如果数据复杂,接近零的重述率是可疑的。可见而迅速的更正,比放任一个数字不动建立更多信任。

让报告与学习保持分开

8. 为团队维护一个工作视图。团队需要帮助他们改进的度量,比如百分位数、最老项目的年龄和质量伴侣。这些很少与法定数字相同。不要把工作视图局限于所报告的内容,也不要仅凭所报告的数字来管理。

9. 核对法定定义和内部定义。在必需的度量不同于团队自己的之处,记录差异并显示两者。例如,监管者的可用性数字可能排除计划维护,而用户把它体验为停机。在指标登记册和报告说明中显示这一核对。这防范"两套数字"的问题。

10. 把法定目标与伴侣度量配对。如果强加了一个目标,就增加能揭示扭曲的度量:质量、用户体验,以及被遗漏的工作。例如,把首次响应时间的目标与解决和重复联系的度量配对(见主题 3.1,服务台指标)。在报告中解释应如何阅读这个数字。

面向公众发布

11. 使公布的信息可用。在法律和隐私允许之处,以开放的、机器可读的格式发布,附清晰的描述、定义和日期。使文档和网页符合无障碍标准。以人们无法阅读或再利用的方式发布数据,满足了字面而挫败了目的。与真实用户一起测试,包括使用辅助技术的用户(见主题 6.4,用户与员工体验)。

12. 在你发布的内容中保护隐私和安全。汇总并抑制可能识别个人的小数字,避免发布有助于攻击者的细节,并与专家核对披露规则。对依据信息自由法作出的回应同样小心。记录关于删减的决定及理由。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
报告义务覆盖率 狭义地对待义务;列出负责人却没有取得同意 由合规或内部审计评审登记册;负责人确认
报告及时性 为赶日期而提交不完整的报告;把草稿算作提交 提交时的完整性检查;只统计被接受的报告;重述率
重述率 压制更正;悄悄地更正 由独立读者评审更正日志;低比率要连同可追溯性一起阅读
可追溯性覆盖率 敷衍地记录谱系;只包括简单的数字 通过从来源重新执行一次计算来抽样谱系
定义一致性 不经核对就宣布定义一致;只在报告中采用法定定义 评审核对文档;并排显示两个数字
报告工作量 不记录小时数;把工作转移给其他团队 与团队反馈比较;在估计中包括所有贡献者
已公布的无障碍符合度 运行只能发现部分问题的检查器;发布滞后的、单独的无障碍版本 用辅助技术做手工测试;检查版本之间的一致

健康的读数是:每项义务都有主,报告准时而准确、更正可见,数字可追溯到记录系统,法定和内部定义已核对,报告工作量下降,以及公众可以使用的公布信息。

权衡:利弊

做法 优势 劣势
手工汇编报告 灵活;适用于任何数据 缓慢、易错、依赖个人
自动化报告 可重复、可审计、运行成本低 设置工作量;可能固化糟糕的定义
一套度量用于一切 简单 扭曲工作;法定数字很少符合团队需要
分开的报告视角和学习视角 坦率的学习;诚实的报告 需要核对和纪律
硬性的法定目标 问责清晰 反常效应;操纵
附伴侣度量和背景的目标 揭示扭曲 需要解释更多
与监管者早期接触 更少的意外 时间;需要维持界线
只保持一臂之距的关系 独立性清晰 反馈来得晚;返工

文字化的答案是,从记录系统自动化报告,让团队的工作视图与报告视图分开,公开地核对定义,并在保护监督机构独立性的同时,尽早与之接触。

与团队讨论的问题

1. 我们欠哪些报告?欠谁?何时到期?各归谁所有? 在房间里汇总清单,并与登记册比较。缺口常常出现:依据合同、对资助方,或依据少数人知道的规则所欠的报告。主持人应记录新增项,并指派负责人。

2. 如果某个被报告的数字不被报告,我们会以不同方式管理它吗? 挑一个法定或合同度量,问如果无人度量它,团队会怎么做。答案揭示数字与目的在哪里分歧。讨论什么样的伴侣度量会显示这一差别。

3. 我们今天能从来源复现上个季度的报告吗? 用一份报告试试。注意哪些是手工的、没有文档的或丢失的。约定自动化或文档化的第一步,以及由谁来做。

4. 我们如何处理提交后发现的错误? 评审流程和最近的一个例子。更正是否迅速而公开?有没有人害怕提出?约定什么使更正变得正常。

5. 使用辅助技术的人阅读我们已公布的报告时会体验到什么? 一起测试一份已公布的项目,或评审一次近期的无障碍检查。问谁为已公布的文档负责无障碍。约定一项修复,以及防止再发的流程。

6. 监管者或监督机构实际上如何使用我们的数据? 许多团队不知道。计划一次交谈来了解,并问不同的形式是否同样能满足他们。主持人应记下独立性的界线。

四种视角

产品与交付团队

交付团队构建报告所依赖的事件和字段,并感受法定目标的压力。他们应当把报告需要纳入完成的定义,保持一个坦率的工作视图,并在目标扭曲工作时指出。与负责报告的人进行早期交谈,有助于防止返工。

服务与运维团队

运维团队生成大部分底层数据,并常常编制报告。他们应当记录谱系、将提取自动化,并保留更正日志。他们最适合解释一个数字应如何阅读,并在它误导时发出警告。

领导层与治理

领导层对所报告内容的准确性和诚实负责。他们应当要可追溯性和核对,抵制把法定数字变成个人目标,保护提出错误的人,并支持与监督机构的接触。治理应当评审义务登记册和重述历史。

客户与用户

公众和客户依赖公布的信息,来追究服务的责任。他们需要能找到、读懂、再利用的数据,格式无障碍,并附对其含义的清晰解释。当事件影响他们时,他们也理应得到及时的通知,正如规则可能要求的那样。

实践:一个敏捷 ITIL 示例

一个国家机构提供每年被数百万人使用的在线许可服务。它必须每月向一个部委报告,公布年度绩效数据,并在规定时间内向监管者通报重大服务事件。以下数字是示意数字。

一次内部评审发现,该机构欠 31 份不同种类的报告,其中只有 22 份在义务登记册上,有指名的负责人和定义,覆盖率为 71%。月度数字由人工汇编,约需 60 小时,主要是把三个系统的数据拉到一张电子表格中。可追溯性很差:对头条数字,也就是可用性,没人能复现去年的数字。部委对可用性的定义排除计划维护,而该机构自己的工作视图则把它算入,这解释了为什么用户和部委看到的图景不同。该机构每个月都达到了首次响应时间的目标,服务台已开始自动确认请求以达成它,而解决时间却在上升。两份已公布的报告,在用屏幕阅读器检查时没有通过无障碍测试。

该机构的服务绩效负责人与部委以及交付和运维团队约定改变。义务登记册变得完整,附负责人、定义和日期。月度数字来自对事件和监控系统的脚本化查询,附有文档化的转换和经评审的模板,这把工作量削减到约 8 小时。一份核对说明列出法定和内部的可用性定义,报告中同时显示两个数字。首次响应的目标,在工作视图中与解决时间和重复联系配对,部委同意查看这些伴侣度量。该机构还更正了上一个季度的一个可用性数字,解释原因,并公布了更正。已公布的报告用无障碍模板制作,屏幕阅读器测试被加入发布检查清单。

一年后,义务覆盖率为 100%,报告准时,重述率低且每次更正都有解释,可追溯性涵盖所有头条数字,报告工作量下降了大约 85%。部长办公室要求一个 99.95% 可用性的新目标,由该机构的领导层负责。服务绩效负责人解释法定数字与用户体验到的数字之间的差别,并提议一个附伴侣度量和评审日期的目标。该决定被记录下来,部委同意在下一个报告年度之前,联合评审该定义。

行业视角

初创企业。报告职责可能随第一位企业客户或监管者到来。从一份简短的义务清单开始,从你自己的系统产生报告,并避免构建单独的报告流程。在合同中承诺服务级别时要小心。

小型企业。义务往往是合同性的,或与单一监管者相联。保留一份日历,使用模板,并记录数字是如何得出的。一份小而准确的报告,胜过一份大而仓促的。

大型企业。跨地区和制度的许多义务,要求有中央登记册、通用定义和共享的提取工具。当心对同一批团队的重复请求。对事件和服务数据使用单一事实来源,并为每种制度提供视图。

政府与公共部门。这是本主题的主场。为立法、部长要求、审计、信息自由请求和公众审视做计划。在法律允许之处公开发布数据,履行无障碍职责,在要求的期间内保存记录,并记录决定。抵制把法定数字变成个人绩效目标,并考虑目标对公民和员工的影响。

商业论证:动机、投资回报与总拥有成本

成本是构建和维护义务登记册的工作量、自动化提取和模板的工程、评审时间,以及无障碍测试。与手工汇编相比,自动化把工作量从重复的工作转移到一次性的构建和轻量的维护。

回报是更少的错误和更正、更少花在汇编上的员工时间、对监督请求更快的响应,以及与监管者和公众之间更大的信任。用你自己的数据建立论证:前后每份报告的小时数、重述的数量及影响、回答一个监督问题的时间,以及避免的任何惩罚或严重审计发现的成本。避免引用对合规负担的估计,除非你能追溯来源和方法。计入与监督机构持续接触的成本,并与意外的成本相比较(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 仅靠法定数字来管理。它扭曲工作。保持一个附伴侣度量的工作视图。
  • 两套未核对的数字。信任崩塌。记录并显示差异。
  • 把手工搭建的电子表格当作系统。它们会坏,且依赖个人。从记录系统自动化。
  • 为赶日期而提交不完整的报告。它以一种失败换取另一种。约定延期,或附清晰的说明提交。
  • 悄悄的更正。它们损害信任。公开更正并解释。
  • 从法定数字派生出个人目标。它们奖励操纵并惩罚诚实的员工。把数字保持在服务层面。
  • 无法阅读的出版物。形式上的合规挫败目的。发布可用的、无障碍的数据。
  • 在发布时忽视隐私。小数字可能识别个人。汇总并评审披露。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
义务与定义 少数人知道 部分清单 附负责人、定义和日期的登记册;法定和内部定义已核对 对照法律的变化评审登记册;维护核对 与监督机构共同制定定义;在各机构之间共享
生产与质量 手工汇编 模板、部分脚本 从记录系统自动化,附谱系和独立评审 分析重述;管理工作量和及时性 持续生成报告;监督机构直接访问数据
使用与发布 为满足请求而报告 按请求发布 工作视图与报告视图分开;无障碍、可再利用的发布 带目标的伴侣度量;对出版物的用户测试 开放的关联数据,公众参与设计

检查清单

  • 一份登记册列出每项报告义务,附负责人、定义、来源、到期日和接收机构。
  • 所需的字段和事件从一开始就构建进服务。
  • 报告由经版本管理的查询和模板从记录系统产生。
  • 每个所报告的数字都有文档化的谱系和指名的检查人。
  • 一位独立的读者在提交之前评审报告。
  • 法定和内部定义已核对,并且两者都显示。
  • 更正被记录、解释并迅速公布。
  • 法定目标在报告中附有伴侣度量和背景。
  • 已公布的报告和数据集符合适用的无障碍标准并经过隐私评审。
  • 日历上有与每个主要监督机构就其需求的交谈。

AI 提示词

构建义务登记册。

这是我们认为所欠的报告、通知和出版物的清单:[以平实语言粘贴,附来源]。请将它们整理成
一份登记册,字段包括要求、来源、定义、数据来源、到期日、接收机构和负责人角色。标出缺失
的信息,以及看起来在团队之间重复的义务。不要给出法律结论。列出你的假设,以及给法务和
合规的问题。

核对两个定义。

[度量]的法定定义是:[文本]。我们的内部定义是:[文本]。我们的数据字段是:[清单]。请解释
差异,描述每个如何影响数字,建议如何在报告中显示两者,并提出一份向读者解释该差异的简短
说明。不要假定未给出的事实。列出你的假设。

规划报告的自动化。

我们每月用这些手工步骤和来源编制[报告]:[附小时数的清单]。请提出从记录系统将其自动化的
计划,包括有文档的查询、转换步骤、谱系说明、评审,以及过去报告的可复现性。建议哪些保持
手工及原因。不要假定具体的工具。列出你的假设和风险。

评审已公布报告的可用性。

这是我们计划发布的报告的文本结构:[粘贴标题和示例表格,不含敏感内容]。请评审其中的
平实语言、定义、数字的背景、表格和图表的无障碍,以及小数字带来的隐私风险。提出改进建议。
提醒我用辅助技术测试,并与专家核对披露规则。列出你的假设。

AI 技能

关键要点

  • 把报告义务视为设计输入,列出负责人、定义和到期日。
  • 从记录系统产生报告,附谱系和独立评审。
  • 让坦率的工作视图与报告视图分开,并公开地核对定义。
  • 把法定目标与伴侣度量配对,并绝不把它们变成个人目标。
  • 公开而迅速地更正错误。
  • 发布公众能找到、读懂并再利用的信息,同时保护隐私。

参考文献与延伸阅读

  1. Seddon, J., Systems Thinking in the Public Sector, Triarchy Press, 2008.
  2. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  3. World Wide Web Consortium, Web Content Accessibility Guidelines (WCAG) 2.2, 2023, https://www.w3.org/TR/WCAG22/.
  4. European Parliament and Council, Directive (EU) 2016/2102 on the accessibility of the websites and mobile applications of public sector bodies, 2016.
  5. Government Digital Service, Service Standard, United Kingdom, https://www.gov.uk/service-manual/service-standard.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Public sector.
  9. Wikipedia, Accountability.
  10. Wikipedia, Freedom of information laws by country.
  11. Wikipedia, Open government.
  12. Wikipedia, Open data.
  13. Wikipedia, Public procurement.
  14. Wikipedia, Records management.
  15. Wikipedia, Value for money.
  16. Wikipedia, Performance audit.
  17. Wikipedia, Goodhart's law.