事后复盘与学习指标
一份写下、归档、然后被遗忘的评审,没有教会任何人任何东西,所以要度量评审是否发生、质量是否够好、其行动是否完成,以及同样的原因是否不再回来,并让整个实践保持无责,使人们继续说真话。
概述与动因
每项服务有时都会失败。让一个团队稳步变好、与一个重蹈最糟一周的团队区分开来的,是失败之后几天里发生的事。事后复盘是对一起事件或一次未遂事件的书面记述:发生了什么,如何被检测和处理,是什么条件使其成为可能,以及团队将改变什么。ITIL 把这项活动称为事件后评审,本主题把这两个名称交替使用。常规的团队反思是近亲,它看的是普通的工作,而不是一次中断。
本主题涵盖的度量,告诉你这个学习回路是否有效。它问四个问题。应该发生的评审真的发生了吗?它们是否好到足以发现真实的东西?它们产生的行动是否完成?以及同样的原因是否仍然不断回来?还有第五个问题贯穿其他所有问题:人们是否感到足够安全,敢于描述真正发生的事?
本主题位于两个邻居之间,并避免重复它们。重大事件指标(见主题 3.4,重大事件指标)度量对已宣布的重大事件的评审及时性及其行动的后续跟进,在那个狭窄场景里,这两项度量归它们所有。问题管理指标(见主题 4.1,问题管理指标)拥有问题记录、已知错误和永久修复的时间。本主题把视野扩展到每个严重程度的事件、未遂事件和团队回顾会议,并拥有学习本身的质量:覆盖、深度、所有来源的行动关闭、原因的复发,以及保持数据诚实的无责信号。
本主题使用的术语
- 事后复盘或事件后评审:在服务恢复之后,对一起事件所作的结构化、无责的审视,以一份书面记录结束。
- 未遂事件:本可能造成事件或伤害、却没有造成的事件,例如在测试环境中被拦住的失败部署,或在用户注意到之前几分钟触发的告警。
- 行动项:一项具体的变更,有指名的所属团队、截止日期,以及判断何时完成的办法。
- 促成因素:使事件成为可能或更糟的条件。大多数事件有若干个。单一的"根本原因"往往是一种简化,根本原因分析最好被当作对条件的搜索,而不是对罪魁的搜索。
- 原因类别:来自一份简短、已约定的清单的稳定标签(例如"容量限制"、"配置漂移"、"缺少监控"、"所有权不清"),用于发现复发。它描述的是系统条件,绝不是人。
- 无责:一种评审风格,它问的是系统如何让一个理性的人那样行事,而不问该惩罚谁。它是一种实践,并与公正文化的思想相联,在这种文化里,诚实的错误被当作学习,而鲁莽的行为仍被另行处理。
- 信息技术基础架构库(ITIL):被广泛使用的 IT 服务管理(ITSM)框架。本主题所指的实践依 ITIL 4(2019)所述,而全书的日期截至 2026 年 10 月。见 ITIL。
敏捷与 ITIL 的视角有何不同
ITIL 贡献结构。在 ITIL 4 中,事件管理恢复服务,问题管理通过发现和管理原因来降低事件的可能性和影响,持续改进则把所学到的东西变成获得资助的变更。评审是前两者与第三者之间的铰链。ITIL 倾向于问评审是否举行了,在有必要之处是否打开了问题记录,以及改进是否登记了。
敏捷和站点可靠性工程(SRE)的传统贡献习惯。评审是无责的、简短的、为团队之外的读者而写、并被广泛分享。常规的团队反思,一种持续改进的习惯,问的是接下来要改变什么,而敏捷偏好小而频繁的调整,取代了单一的大型改进项目。Google 的《站点可靠性工程》一书用一章讲事后复盘文化,并论证评审流程的好坏,取决于它周围的文化。
两种视角一起使用,是强大的。ITIL 给你覆盖规则和行动栖身之处。敏捷与 SRE 的习惯给你诚实和速度。一起度量,它们显示回路是否在闭合。
关键原则
- 学习是产品,不是文档。当系统、流程或共同的理解中有些东西改变了,评审就成功了。统计改变,而不是文书工作。
- 无责是好数据的前提。如果人们害怕被责备,时间线就会单薄,促成因素会被收拾得整整齐齐,同样的事件会再来。在度量其他任何东西之前,先保护坦诚。
- 度量后续跟进和复发,而不是数量。评审的数量说明很少。完成的行动占比和不再出现的原因占比,则说明很多。
- 把指标保持在团队和系统层面。评审讲的是条件。绝不按人统计评审、行动或错误,也绝不在绩效谈话中使用这些数字。
- 让评审与事件相称。并非每个事件都值得一份长文档。依据影响和学习价值设定触发条件,让小事件得到简短的评审。
- 让行动诚实地竞争。行动项是工作。它属于与其他工作相同的待办,与之一起排序,并可以附记录在案的理由被拒绝。
- 阅读评审。数字定位问题。由人阅读一份样本,才能告诉你评审是否有价值。
指标定义
下面的指标描述一项服务或一组团队的学习回路。每项都说明统计什么、时钟在哪里启动和停止,以及排除什么。时间度量应当显示为中位数和一个高百分位数(例如第 85 百分位数),并附最老的未完成项的年龄,而不是平均值(见主题 1.6,服务指标的统计素养)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 评审覆盖率 | 获得了已完成评审的合格事件占比 | 在约定窗口内有已发布评审的合格事件数 / 该期间关闭的合格事件数。合格事件是满足书面触发条件的事件。窗口之内、到期末仍未关闭的事件被排除。 | 百分比 | 与评审库关联的 ITSM 工具事件记录 | 事件管理;问题管理 | 常规团队反思;团队工作协议 | 每月 |
| 评审质量分 | 已发布的评审是否达到一份简短的书面标准 | 样本中至少满足清单[约定数量]项的评审数 / 样本中的评审数。样本是每季度随机抽取的固定数量的评审,由所属团队之外的人评分。 | 百分比 | 评审库的季度样本及评分表 | 持续改进;问题管理 | 评审的完成定义 | 每季度 |
| 行动关闭率 | 评审的行动中按截止日期完成的占比 | 按截止日期完成或正式拒绝(附理由)的行动数 / 该期间到期的行动数。时钟在评审发布时启动,在所属团队标记行动完成且评审者确认时停止。以"不做"关闭的行动单独统计并报告。 | 百分比 | 与评审关联的团队待办或 ITSM 改进登记册 | 持续改进;问题管理 | 团队待办;改进行动 | 每月 |
| 打开行动的年龄 | 仍然打开的评审行动的年龄 | 对每个打开的行动,今天减去其评审的发布日期。报告中位数、第 85 百分位数和最老的。 | 天 | 团队待办或改进登记册 | 持续改进 | 工作项年龄;老化的在制品 | 每月 |
| 原因复发率 | 其原因类别与同一服务较早事件相符的事件占比 | 该期间中,其主要原因类别与同一服务过去十二个月内已关闭的某次评审相符的事件数 / 该期间有记录原因类别的事件数。没有记录原因类别的事件被排除并单独计数。 | 百分比 | 与事件记录关联的评审库原因类别字段 | 问题管理;事件管理 | 逃逸缺陷分析;回顾会议的主题 | 每季度 |
| 未遂事件上报率 | 人们选择上报的未遂事件和微弱信号的数量 | 该期间记录的未遂事件数 / 活跃服务数,按服务显示趋势,绝不按人。在一个健康项目的早期,这个比率应当上升,然后趋于平稳。 | 每项服务的计数 | 未遂事件日志,或问题跟踪器中的标记字段 | 事件管理;风险管理 | 团队健康检查;障碍板 | 每月 |
| 学习的触达范围 | 一次评审传播到写它的团队之外有多远 | 在发布后[约定天数]内,在所属团队之外被介绍或讨论(共享论坛、跨团队会议,或依赖团队的有记录的阅读)的评审数 / 该期间发布的评审数 | 百分比 | 论坛或会议记录及评审库 | 持续改进;知识管理 | 利益相关方评审;实践社区 | 每季度 |
| 回顾会议行动的结转 | 在下一次回顾会议之前完成的团队回顾行动占比 | 在下一次回顾会议之前完成的回顾行动数 / 上一次回顾会议约定的回顾行动数。附理由被有意放弃的行动,从两个计数中都去掉。 | 百分比 | 保存在团队待办中的回顾会议记录或看板 | 持续改进 | 常规团队反思 | 每个评审期,每季度评审 |
| 敢说话的脉搏 | 人们是否相信自己可以描述错误而不被责备 | 在一组简短的匿名问题(例如"我可以在评审中描述一个错误而不担心被责备")上,回答达到或超过[约定水平]的占比 / 收到的回答数。脉搏只对大到足以保护匿名性的群体报告。 | 百分比 | 匿名脉搏调查 | 持续改进;组织变革 | 团队健康检查;心理安全检查 | 每季度 |
当一份评审对预期的读者可见,而不是存为草稿时,它就是"已发布"。原因类别由评审小组依据评审本身,从一份简短的约定清单中记录,绝不由关闭工单的人记录。
建议
决定什么值得评审
1. 写下触发条件并公布。像"每起重大事件、前两个严重级别的每起事件、任何涉及客户数据丢失的事件,以及团队判断有启发性的任何未遂事件"这样的规则,消除了争论,并使覆盖率可以度量。没有书面的触发条件,评审就跟着心情和工作量走,覆盖率数字毫无意义。
2. 让评审与事件相称。小事件可以有半页的评审,三十分钟写成,而重大事件可能值得一份完整的时间线和一次有人主持的会议。一条轻量的通道,既保持了高覆盖,又不让这项实践成为负担。
通过阅读来判断质量
3. 每季度抽样并阅读评审。抽取一个小的随机样本,让所属团队之外的人对照一份简短的清单阅读每一份。有用的条目包括:显示决定及其作出时可得信息的时间线、不止一个促成因素、对哪些做得好的描述、带负责人和日期的行动,以及描述系统而不是个人的语言。报告达到标准的占比,并把发现作为辅导反馈给撰写者。
4. 教授评审的技能。后见之明偏差使事件在事后显得显而易见,并把作者推向"有人本应注意到"。请主持人重建人们在每一刻所知道的东西,并把五个为什么用作提问的提示,而不是得出单一答案的配方。
让行动完成
5. 把行动放进真正的待办。只存在于评审文档里的行动,对计划是不可见的。在所属团队的跟踪器中创建一个工作项,把它关联到评审,并让它像任何其他工作一样争夺容量。按团队和服务报告关闭情况,使被阻塞的行动对能够解除阻塞的人可见。
6. 允许诚实的"不做",并记录原因。有些行动结果证明太昂贵,或不再相关。附明确的理由关闭它们,比让它们打开一年、或不做就标为完成更健康。报告被拒绝的占比,因为占比很高,意味着评审流程在提出没人会资助的行动。
7. 除关闭率之外,也跟踪打开行动的年龄。打开行动年龄的第 85 百分位数和最老的打开行动,显示了什么被卡住了。在评审该服务可靠性的会议上,评审最老的那些。
留意重复
8. 保持一份简短的原因类别清单,并给每份评审打标签。八到十五个类别的清单就够了。当落入"其他"类别的事件超过一小部分时,评审这份清单。打标签使你能用数据回答"我们以前见过这个吗?",并为问题管理提供任何单份评审都无法显示的模式(见主题 4.1,问题管理指标,以及主题 4.6,技术债务与已知错误)。
9. 把复发视为关于行动的信号,而不是关于人的。当一个原因类别回来时,问之前的行动是否完成了,它们是否是正确的行动,以及这个类别是否过于宽泛。在所有行动都关闭之后复发,意味着这些行动没有奏效,这是有用的消息。
保护诚实
10. 保持评审无责,并使之可见。在模板中声明评审描述的是条件和决定,不归咎于谁,并让领导者感谢作者的坦诚。心理安全,在艾米·埃德蒙森对工作团队的研究中,是对团队对人际冒险是安全的这一共同信念(见主题 9.2,满意度与福祉指标)。
11. 奖励未遂事件的报告,并在一开始把上升的计数读作好消息。开始报告未遂事件的团队会看到计数攀升,因为这些事件一直在发生。事先说明这一点,跟踪产生了变更的未遂事件占比,并在团队同意下发布这些故事。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 评审覆盖率 | 收窄触发条件;降低严重级别,使事件落在触发条件之外;提交一行字的"评审"来打勾 | 评审质量分;把事件严重级别的计数与客户报告的影响比较;审计降级 |
| 评审质量分 | 用套话对照清单写作;由所属团队评分;可预测的样本 | 外部评分者;随机样本;每季度大声读两份评审;跟踪高分评审的行动是否完成 |
| 行动关闭率 | 把截止日期定得很远;把行动拆成琐碎的碎片;不经验证就关闭行动;宣布"不做"来清空清单 | 打开行动的年龄;带理由的被拒绝占比;评审者确认变更有效;原因复发率 |
| 打开行动的年龄 | 关闭再重开,或重新创建行动来重置年龄;把行动移到单独的"想法"清单 | 把新行动与起源的评审关联,并保留第一个日期;移到想法清单的行动计数 |
| 原因复发率 | 记录含糊或不断变化的原因类别,使没有任何东西匹配;使用宽泛的"其他"类别;把重复关联到另一个类别 | "其他"中的事件占比;定期按类别重读评审;评审类别清单本身 |
| 未遂事件上报率 | 为达到数字而要求报告;记录琐碎的事件;或者反过来,把这个数字读作失败而压制报告 | 带来变更的未遂事件占比;不对计数设目标;来自敢说话的脉搏的反馈 |
| 学习的触达范围 | 把名字加进分发清单;在出席很差的会议上介绍;把点击链接算作阅读 | 出席情况或实际的讨论记录;问依赖团队在上次评审之后改变了什么 |
| 回顾会议行动的结转 | 只同意容易完成的琐碎行动;跳过回顾会议;把条目标为完成 | 团队判断的行动影响;回顾会议举行率;同一主题是否连续数周出现 |
| 敢说话的脉搏 | 向回答者施压;只调查有信心的人;报告掩盖了低分群体的平均值 | 回复率和回答者构成;最小群体规模;完整阅读开放式评论;评审的语言是否改变 |
健康的读数显示:对重要的事件有评审,大多数评审达到一个质量标准,行动要么完成、要么被诚实地拒绝,领导者能叫出名字的少数几个老行动,处理之后频率下降的原因类别,以及先上升后稳定的未遂事件计数。当一起艰难的事件发生时,脉搏保持稳定或改善。一种过于整洁的模式,本身就是该去阅读样本的信号。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 评审每一起事件 | 覆盖完整;对触发条件没有争论 | 沉重;评审变得肤浅;团队对流程心生怨恨 |
| 依据书面触发条件评审 | 把精力集中在影响和学习价值上 | 触发条件需要维护;边界事件会漏掉 |
| 原因类别打标签 | 发现跨评审的模式 | 类别是一种简化;真正的原因往往同时是好几件事 |
| 对安全的匿名脉搏 | 对一个敏感问题的诚实信号 | 粗糙;小团队可能被识别;调查疲劳 |
文字化的答案是保持回路简短、数字很少:书面的触发条件、一个小的质量样本、一个行动跟踪器和一份原因类别清单,在团队信任其余部分之后,再加上安全脉搏。这里没有任何度量能证明学习已经发生。它们合在一起,显示学习的条件是否具备。
与团队讨论的问题
1. 我们最近的五起事件中,哪些得到了评审?有人因此改变了什么吗? 从事件清单出发,而不是从评审文件夹出发,使缺失的评审变得可见。对每份评审,问今天系统或流程中有什么不同。如果答案是"什么也没有",问为什么举行评审,谁读了它。主持人应不加评判地记录答案,因为它们显示这项实践产生的是变更还是文书工作。
2. 在这里,什么会使一个人在评审中更难说真话? 请求具体的例子:一位经理的反应、一次绩效评估、一次客户升级、一封邮件中的语气。邀请人们先匿名写下答案。寻找可以改变的条件,比如谁参加、谁阅读,以及领导者大声说了什么。这场交谈保护着本主题中其他的每一个数字。
3. 哪些行动项打开得最久?是什么阻止了它们? 展示最老的五个。对每个,问这个行动是否仍然正确,是否有一位有容量的负责人,以及应当做、重新排期还是拒绝。把焦点放在工作的系统上,而不是负责人上。在会议结束前,为每个约定一项决定。
4. 同类问题是何时回来的?这对先前的修复说明了什么? 用原因类别标签找到一次重复,并阅读较早的评审及其行动。问这些行动是否完成了,是否针对了促成因素,以及这个类别是否划得过宽。目标是一个更好的行动,而不是一个解释。
5. 我们报告未遂事件吗?有人报告时会发生什么? 请求一个近期的例子,并追溯随后发生了什么。如果什么也没有发生,问人们为什么还会再报告。如果计数很低,问人们在害怕什么。主持人应解释,计数起初上升是预期之中的,并约定团队将如何对待下一次报告,使报告觉得值得。
6. 如果我们不能看任何数字,怎么知道一份评审是好的? 这请团队用自己的话描述质量。常见的答案有"团队之外的某人学到了东西"、"修复保持住了"和"作者没有害怕"。把答案变成季度样本的清单,并在两个季度之后重新审视。
四种视角
产品与交付团队
交付团队撰写许多评审并承担大部分行动,所以最先感受到笨拙流程的代价。他们受益于简短的模板、清晰的触发规则,以及行动与团队待办项之间可见的链接。常规的团队反思,值得与事件评审同样的后续跟进纪律,完成自己回顾会议行动的团队,是在较小的规模上练习同一种习惯。要防止行动被功能压力挤出,并把这一权衡坦率地带给产品负责人(见主题 2.5,交付预测与规划指标)。
服务与运维团队
运维团队掌握着证据(时间线、告警、聊天记录),最适合一致地标注原因类别,并在重复变成一次中断之前注意到它。他们需要受保护的时间来写作,因为在长班次结束时写的评审是单薄的。把每份评审与它为之提供输入的任何问题记录关联起来(见主题 3.3,事件响应与解决时间)。
领导层与治理
领导者以他们事后所问的问题,为每次评审定调。"这是谁干的?"终结了诚实的评审,"我们学到了什么,我们要改变什么?"则邀请它们。治理机构应当在可靠性评审上期待看到覆盖、质量、行动年龄和复发,为需要投入的行动出资,并绝不按团队有多少事件或评审来比较团队。
客户与用户
客户很少看到评审,但他们感受到它的结果:同一个故障不再回来,以及它回来时一份诚实的说明。在合同允许之处,在重大事件之后发布一份平实语言的摘要(见主题 3.4,重大事件指标)。就同一问题的重复联系,是学习没有落地在客户一侧的信号(见主题 6.1,客户满意度指标)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着面向客户的店面、一个支付服务和一个内部库存平台。五个产品团队构建并运行这些服务,一个小型服务管理小组维护事件和问题流程。本示例中的数字是示意数字。
在一个季度里,这家零售商有 41 起处于前两个严重级别的事件。书面的触发条件使所有这些事件都有资格接受评审,36 份评审在十个工作日内发布,所以评审覆盖率约为 88%。领导层很高兴。服务管理小组抽取了八份评审的随机样本,请另一个产品领域的团队评分,发现只有三份达到约定的标准。常见的缺口是,时间线列出了发生了什么,却没有列出人们作出每项决定时知道什么,而促成因素一节只指出一个原因。
同一份样本显示,在该季度到期的 74 项行动中,51 项按截止日期完成,关闭率约为 69%。最老的打开行动已有 210 天,是支付数据库上的一个容量告警阈值,连续六周被推迟。原因标签显示,"容量限制"出现在 36 份评审中的 9 份里,其中 4 份属于支付服务。匿名脉搏由 70 位受邀者中的 58 位作答,在值班小组里偏低,那里有若干评论说,高级经理会就指名的个人提出尖锐的问题。
团队作出三项决定。第一,他们与参加评审的高级经理开了一次简短的会议,约定一条规则:会议室里的问题针对条件和决定,任何关于某个人的后续问题都通过团队负责人。第二,他们把最老的容量行动放在支付团队下一轮计划的顶部,由产品负责人与功能工作一起排序,并在可靠性评审上报告结果。第三,他们在评审模板中增加两项清单条目(人们在每项决定时知道什么,以及至少两个促成因素),并用一份匿名化的评审为撰写者举办一次辅导会。
操纵风险在下一个季度出现。评审覆盖率升到 97%,但不足 300 字的评审占比翻了一倍,还有几个团队把事件从严重级别二降到三,恰好低于触发条件。质量抽样和对严重级别变更的审计抓到了这一点。小组问为什么会发生降级,得知团队觉得评审带有惩罚的意味,于是放宽了对小事件的篇幅期待,同时保持严重级别二的触发条件。
行业视角
初创企业。小团队可以学得很快,因为每个人都参加了事件。风险在于什么也没写下来,教训随着下一位员工的到来而走掉。保持一页的模板,对任何在夜里叫醒人的事件举行评审,并只跟踪行动关闭和重复的原因。让创始人在不对个人加评论的情况下阅读评审,以保护坦诚。
小型企业。修好问题的那个人往往是唯一理解它的人。使用简短的模板,并每月评审最老的打开行动。
大型企业。标准化模板、触发条件和原因类别清单,让团队自行调整深度。提供一个可搜索的评审存放处、一个跨团队论坛和一位外部评分者。当心按事件或评审数量给团队排名的排行榜,因为它们惩罚透明。
政府与公共部门。评审可能面临法定职责、审计或信息自由请求,这使作者变得谨慎。把学习性评审与任何提交监督机构的正式报告分开,并记录被阻塞的行动及其依赖(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
这项实践的成本主要是时间。作者在每份评审上花数小时,许多人在一次会议上花一小时。季度质量抽样占用外部读者几个小时。原因标注和行动跟踪需要少量工具,可以是一个电子表格,加上现有工单和待办工具中的一个字段。还有一项更大、更不显眼的成本在领导者的行为上,因为如果领导者对坦诚的评审反应不好,这个项目就会失败。
回报来自不再复发的原因,以及因为团队见过类似情形而变短的事件。更少的重复事件释放工程和运维容量,减少升级,并降低对客户的干扰成本。评审的共享库缩短新员工的学习曲线,降低对少数经验丰富者的依赖。不要引用另一个组织的百分比。在开始之前,度量你自己的原因复发、打开行动年龄和重复联系的基线,并在两三个季度之后比较。
诚实的局限是,学习很难归因:复发的下降可能来自更好的评审、不相关的架构变更,或运气。更广的论述见主题 11.6(投资回报与商业论证)。
反模式与陷阱
- 评审作秀。评审满足一条规则,而无人阅读。相反,抽样并阅读评审,并以它们产生的变更来评判。
- 把根本原因当作一个人去寻找。评审点名一个人的错误就停了。相反,问是什么使这个错误可能发生,并列出若干促成因素。
- 行动膨胀。评审产生团队无力出资的长清单。相反,把每份评审限制在少数几个排好序的行动,并附理由拒绝其余的。
- 行动在待办之外。它们活在一份文档里,从未被计划。相反,在所属团队的跟踪器里创建工作项,并把它们关联到评审。
- 不经验证就关闭。行动被标为完成,而原因回来了。相反,请评审者确认变更有效,并观察原因类别的复发。
- 用计数比较团队。评审或未遂事件更多的团队看上去更糟。相反,把高计数读作开放,并把每个团队与自己的历史比较。
- 惩罚报信的人。领导者在一次坦诚的评审之后质问某个人。相反,约定领导者如何回应的规范,并在艰难的事件之后检查脉搏。
- 把指标当作学习的证明。把干净的仪表板当作组织在学习的证据。相反,继续阅读评审的样本,并询问撰写它们的人。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 触发条件与覆盖 | 评审取决于谁有空,以及感觉有多糟 | 部分团队为严重事件举行评审 | 书面触发条件和通用模板;按严重级别统计覆盖 | 覆盖有趋势,并对照降级审计;有轻量和完整的通道 | 触发条件与客户和供应商共同调整;对联合事件共享评审 |
| 质量与诚实 | 评审点名某个人或单一原因 | 部分团队撰写无责的评审 | 清单标准;期望使用无责的语言 | 外部季度样本;评审脉搏;为撰写者提供辅导 | 评审与供应商和用户共同撰写;跨团队阅读成为常规 |
| 行动与复发 | 行动存在于文档里,很少完成 | 部分团队跟踪行动;关闭情况不一 | 行动在真正的待办中,有负责人、日期和诚实的拒绝 | 评审关闭、年龄和原因复发,并有获得资助的改进 | 跨团队和供应商协调行动;原因类别随模式变化而修订 |
| 分享与学习 | 教训留在团队内 | 为团队张贴评审 | 评审可搜索,并在固定的论坛上分享 | 度量触达范围;依赖团队报告所作的变更 | 学习流向设计、入职和供应商合同 |
检查清单
- 书面的触发条件说明哪些事件得到评审,包括学习价值高的未遂事件。
- 存在简短的模板,并为小事件提供轻量通道。
- 评审通过模板和领导者的行为而保持无责。
- 每个行动都是所属团队待办中的工作项,有负责人和日期。
- 行动可以被拒绝,并且记录和报告理由。
- 存在一份简短的原因类别清单,每份评审都被打上标签。
- 每季度由一位外部读者为一份随机的评审样本评分。
- 最老的打开行动与服务可靠性一并评审。
- 打开行动的年龄以中位数、一个高百分位数和最老的报告。
- 存在未遂事件的上报路径,团队知道报告之后会发生什么。
- 本主题中没有任何指标按人报告或使用。
- 敢说话的脉搏只对大到足以保护匿名性的群体运行。
AI 提示词
评审一份事后复盘草稿的质量。
这是针对[服务]上[事件描述]的事后复盘草稿。请对照这份标准检查它:[粘贴你的评审清单]。
对每一项,说明草稿是否满足,引用支持你判断的行,并指出把过错归于某个人、而不是描述
条件的语言。不要添加文本中没有的事实。列出你的假设,以及你无法根据我提供的内容判断
的任何事情。
[粘贴草稿,已去除个人数据]
依据过去的评审提出原因类别。
下面是[服务或服务组]的[数量]份过去评审的摘要。请提出一份简短的原因类别清单,数量
介于[最少]和[最多]之间,描述系统条件,绝不涉及人。对每个类别,给出一行定义、
适合它的评审,以及含糊的评审。不要编造文本不支持的原因。列出你的假设,以及你无法
分类的评审。
[粘贴摘要]
分析打开行动项中的停滞模式。
这是[团队或服务]评审行动的导出:所属团队、创建日期、截止日期、状态,以及一行描述。
请报告打开行动年龄的中位数、第 85 百分位数和最大值,然后按可能的停滞原因(例如范围
不清、依赖另一个团队、没有容量、价值低)对最老的行动分组。按团队和服务报告模式,
绝不按个人。不要猜测数据不支持的原因。列出你的假设,以及会有帮助的额外字段。
[粘贴导出,已去除个人数据]
AI 技能
- 敏捷 ITIL 指标技能:用于为你即将报告的评审或学习指标,查找匹配的主题、定义和配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查修订后的学习指标是否仍然带有其时钟、操纵途径和护栏。
关键要点
- 评审的价值取决于它改变了什么,所以度量覆盖、质量、行动关闭和原因的复发,并阅读评审本身的样本。
- 无责是诚实数据的前提,领导者通过对坦诚评审的回应来保护它。
- 把行动放进真正的待办,限制其数量,允许诚实的拒绝,并观察最老的那些的年龄。
- 用一份简短的原因类别清单给评审打标签,使重复的原因变得可见,并为问题管理提供输入。
- 早期把上升的未遂事件计数读作开放的迹象,绝不按评审数量给人或团队排名。
- 把这里的每个数字与一个护栏配对,因为学习回路本身就是一个可以被操纵的目标。
参考文献与延伸阅读
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
- Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
- Reason, J., Human Error, Cambridge University Press, 1990.
- Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Just culture.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Agile software development.
- Wikipedia, Hindsight bias.
- Wikipedia, Five whys.
- Wikipedia, Psychological safety.