指标定义与公式参考
本附录列出内容主题中定义的每一项指标,按部分和主题分组。每个条目都带有来自所属主题的定义、公式、单位、数据来源、相关的 ITIL 实践、敏捷对应和频率,以及操纵途径和配套的护栏。它是根据每个主题的“指标定义”和“操纵途径与护栏”两节生成的,所以所属主题是权威:本处的条目与其主题有出入时,以主题为准,并重新生成本附录。
如何使用本参考
- 采用之前先查阅。在把一项指标加入仪表板之前,先阅读其条目,包括操纵途径和护栏,并连同它一起采用护栏(见主题 1.3,结果优先于产出:选择衡量什么)。
- 度量团队、服务和系统。没有任何条目是用来给个人排名的(见主题 1.2,古德哈特定律与指标心理学)。
- 判断请以所属主题为准。这里的公式很简短。术语的定义、关于抽样的注意事项和实例都在所属主题中。
- 记录你自己的变体。如果你的组织更改了某项定义,请在指标目录中记录变更及其原因(见主题 1.4,指标治理与归属)。指标卡有帮助(见主题 12.4,模板)。
- 示意数字会标明。本附录不含基准值。任何数字都来自你自己的基线。
第 1 部分:衡量基础
1.1 为何衡量敏捷 ITIL
所属主题:(见主题 1.1,为何衡量敏捷 ITIL)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 与决定挂钩的指标占比 | 已报告的指标中,有书面问题并有名有姓的决定可依据的指标所占的比例 | 有记录的问题和决定的指标数 / 季度末仪表板上报告的指标数 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 回顾会议的行动;工作约定 | 每季度 | 事后为每个指标编写看似合理的问题和决定,以抬高百分比 | 抽查决定日志:问问这个指标改变了什么,并对照条目写入日期与指标首次出现的日期 |
| 基线覆盖率 | 在范围内的服务和团队中,对每项约定的核心度量记录了起始值的比例 | 过去 12 个月内记录了基线的服务-度量对数 / 范围内所有服务-度量对数;服务目录之外的服务不计入 | 百分比 | 服务目录和指标登记册 | 服务级别管理;度量与报告 | 利益相关方评审;团队仪表板 | 每季度 | 只记录一次基线且从不刷新,或挑选方便的平静时段 | 要求每条基线写明日期范围和样本量;服务发生重大变化后复审基线 |
| 度量投入 | 用于手工收集、清洗和报告指标的人员时间 | 当月记录在手工收集和报告上的工时,不含根据发现采取行动的时间 | 每团队每月工时 | 时间记录或简短的团队调查 | 度量与报告 | 回顾会议的时间预算 | 每季度 | 通过不登记工时,或转移给供应商,把收集工作移出账面 | 与简短调查中人们所说的报告耗时对照;评审时把供应商的投入计入 |
| 评审时的数据年龄 | 小组开会讨论时,最新数据点有多旧 | 评审会议时间戳减去仪表板上最新数据点的时间戳;逐指标计算,报告中位数和第 85 百分位数 | 天 | 仪表板刷新日志 | 度量与报告 | 利益相关方评审 | 每次评审 | 会议前才刷新仪表板,而底层记录仍然陈旧 | 除刷新时间外,还报告源系统中最新记录的年龄 |
| 改进行动的跟进率 | 由指标评审提出的改进行动中,在约定期限内完成或经审慎关闭的比例 | 在提出后 90 天内完成或附理由关闭的行动数 / 该期间提出的行动数,自改进登记册记录日期起算 | 百分比 | 持续改进登记册或待办列表 | 持续改进 | 回顾会议的行动项 | 每季度 | 以"不再相关"为由关闭行动来凑百分比,或把行动拆成琐碎的小块 | 每季度复查关闭行动所给的理由,并跟踪该行动针对的度量是否有变化 |
1.2 古德哈特定律与指标心理学
所属主题:(见主题 1.2,古德哈特定律与指标心理学)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 护栏覆盖率 | 已报告的指标中,有具名且被跟踪的护栏的比例 | 有护栏的指标数 / 已报告的指标数 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 工作约定的回顾 | 每季度 | 在纸面上命名护栏,却从不跟踪 | 复查登记册:只有最新值出现在同一个仪表板上的护栏才算数 |
| 重开率 | 在规定窗口内被重新打开的已关闭工单或工作项的比例 | 14 天内被重新打开的项目数 / 该期间关闭的项目数 | 百分比 | ITSM 工具或问题跟踪系统的状态历史 | 事件管理;问题管理 | 完成的定义;逃逸缺陷 | 每月 | 关闭工单后另开新单,而不是重新打开;拉长窗口,让重开落到窗口之外 | 重复与关联工单的比率;同一原因在多张工单中的复发 |
| 定义变更数 | 某期间内对指标定义或状态工作流的变更次数,并附理由 | 定义变更日志中的条目数 | 次数 | 指标登记册变更日志 | 度量与报告 | 工作约定 | 每季度 | 不记录变更以使计数保持较低;不告诉任何人就改变工作流 | 每次评审时,把工具中的状态模型与登记册对照 |
| 指标使用率 | 在该期间的某个决定中被引用的已报告指标所占比例 | 在有记录的决定中被引用的指标数 / 已报告的指标数 | 百分比 | 决定日志或评审记录 | 持续改进 | 回顾会议的行动 | 每季度 | 例行公事地在决定日志里引用每个指标 | 追问这次引用改变了什么;抽查日志 |
| 感知差距 | 同一服务的满意度调查结果与由工单得出的服务级别之间的差值 | 调查得出的比率减去跟踪系统得出的比率 | 百分点 | 调查工具和 ITSM 工具 | 服务级别管理 | 利益相关方评审反馈 | 每季度 | 只调查满意的用户;把调查安排在一次良好互动之后 | 调查的回复率和受访者构成;在评审中朗读开放式评论 |
1.3 结果优先于产出:选择衡量什么
所属主题:(见主题 1.3,结果优先于产出:选择衡量什么)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 成果覆盖率 | 已报告指标中,在指标登记册里与某个具名客户或服务的书面成果相联的比例 | 有书面成果关联的指标数 / 该期间报告的指标数。仅统计出现在定期报告中的指标;不含单个团队保留的工作视图度量 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 产品目标与交付目标 | 每季度 | 为每个指标写一句含糊的成果("改进服务"),使关联在纸面上存在 | 抽查登记册:句子必须点出一个人或服务和一项变化;检查是否因这项度量而采取过某个决定 |
| 功能采用率 | 在发布后的规定窗口内使用某项新增或变更能力的合格用户所占比例 | 发布后 30 天内使用该能力的去重合格用户数 / 该期间去重合格用户数。时钟从正式可用开始;不含内部测试账号和无法触及该能力的用户 | 百分比 | 产品分析、服务目录使用日志 | 服务设计;发布管理 | 利益相关方评审反馈;产品成果度量 | 发布后 3 个月内每月,之后每季度 | 把被迫或自动的首次使用算作采用;缩小合格用户群;把该能力设为默认,使其无需选择就"被使用" | 该能力用户的任务完成情况或满意度;30 天和 90 天后的使用留存;阅读开放式评论 |
| 重复联系率 | 在先前一次联系被关闭后的规定窗口内,同一用户就同一服务再次联系的比例 | 在已关闭联系后 14 天内,同一用户就同一服务发起的新联系数 / 该期间已关闭的联系数。时钟从关闭开始;不含作为计划内跟进而开启的联系 | 百分比 | ITSM 工具的联系和工单历史 | 服务台;事件管理 | 逃逸缺陷;完成的定义 | 每月 | 告诉用户通过另一渠道提出新请求;把联系作为与无关联系的重复而关闭;延长关闭时间以避开窗口内的再联系 | 同一服务按渠道划分的联系;对关闭备注的抽样评审;用户报告的"问题已解决"比例 |
| 领先指标验证率 | 在评审期内,其变化先于所关联的滞后指标变化的在用领先指标所占比例 | 已确认领先于其滞后指标的领先指标数 / 在用的领先指标数。由团队在有记录的评审中判断,至少基于四个周期的数据;不含数据不足四个周期的指标 | 百分比 | 指标登记册和趋势历史 | 持续改进 | 对实验的回顾行动 | 每年两次 | 经过一次随意的查看就宣布领先指标有效;选择本来就和成果同步变化的指标 | 附有绘制数据的书面评审记录;每个周期请团队之外的人质疑一项结果 |
| 收益评审完成率 | 在约定的延迟后,其预期成果对照其度量进行了评审的、获得资助的变更或改进所占比例 | 在计划评审日期后 90 天内完成成果评审的变更数 / 评审日期落在该期间的变更数。不含发布前撤回的变更 | 百分比 | 变更记录、改进登记册、评审记录 | 持续改进;变更赋能 | 利益相关方评审;产品增量评审 | 每季度 | 评审只是名义上举行,或事后才设定预期成果,使其总能达成 | 将评审中的成果与变更获得资助时的陈述对照;跟踪促成计划变更的评审占比 |
1.4 指标治理与归属
所属主题:(见主题 1.4,指标治理与归属)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 归属覆盖率 | 有具名在任负责人的已报告指标所占比例 | 其负责人在期末仍担任该角色的已报告指标数 / 期末已报告的指标数;不含仅在某个团队私有看板内使用的指标 | 百分比 | 指标登记册 | 度量与报告 | 工作约定 | 每季度 | 指定某位经理或某个邮件列表为负责人以达到 100%,却没有能解释或更改该指标的人 | 请每位负责人解释该数字最近的一次变动;跟踪超过一周无人回答的问题 |
| 定义时效 | 其定义在约定间隔内被评审过的已报告指标所占比例 | 评审日期在最近 6 个月内的指标数 / 已报告的指标数;时钟从最近一次记录的评审开始,到期末停止 | 百分比 | 指标登记册变更日志 | 度量与报告;持续改进 | 回顾会议的行动 | 每季度 | 没读定义就改动评审日期 | 每季度抽查三个条目,将书面定义与工具的实际配置比较 |
| 来源一致性 | 恰好由一个具名来源计算的已报告指标所占比例 | 有一个权威来源且无已知平行计算的指标数 / 已报告的指标数;平行计算通过抽查仪表板和报告发现 | 百分比 | 登记册,加上仪表板和报告的样本 | 度量与报告;服务级别管理 | 指标的完成定义 | 每季度 | 宣布某来源为权威,而电子表格仍在流转且互相矛盾 | 统计在报告样本中发现的同一指标的不同数字个数;在评审中对账差异 |
| 退役率 | 某期间内被退役或合并的指标数相对于已报告指标数 | 该期间内被退役或合并的指标数 / 期初已报告的指标数;移入私有团队视图的指标视为已从报告集中退役 | 百分比 | 指标登记册变更日志 | 持续改进 | 回顾会议的行动 | 每季度 | 为显得有纪律而退役琐碎或无人用的指标,或通过改名使指标算作新的 | 评审退役日志,看移除了什么;同时跟踪已报告的总数和决定关联度数字 |
| 访问评审时效 | 其受众名单在间隔内被评审过的受限指标视图所占比例 | 最近 6 个月内做过受众评审的受限视图数 / 受限视图数;向全组织开放的视图不计入 | 百分比 | 访问名单或 BI 工具权限导出 | 信息安全管理;度量与报告 | 工作约定 | 每半年 | 没读名单就批准现有受众名单 | 将名单与当前团队成员和角色对比;报告发现的移除数 |
| 决定关联度 | 在登记册中与其所依据的决定相联的已报告指标所占比例 | 有记录的决定或问题的指标数 / 已报告的指标数;仅当决定是在最近 12 个月内作出的才算数 | 百分比 | 指标登记册和决定日志 | 持续改进 | 利益相关方评审和改进成果 | 每季度 | 为满足该字段而写含糊的决定,比如"改进服务" | 要求有日期的决定或问题,并抽查决定日志,看该指标是否真被查阅过 |
1.5 数据来源与埋点
所属主题:(见主题 1.5,数据来源与埋点)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 来源覆盖率 | 其事件自动到达指标存储的、在范围内的服务和团队所占比例 | 有自动馈送的服务或团队数 / 在范围内的服务或团队数;"在范围内"列在指标登记册中 | 百分比 | 指标登记册和管道配置 | 度量与报告;服务配置管理 | 团队关于工具的工作约定 | 每季度 | 馈送一连上就把服务算作已覆盖,即使它几乎不带事件;把难搞的服务排除在范围之外 | 将每个已覆盖服务的事件量与其已知活动量比较;对照服务目录复查范围清单 |
| 时间戳完整率 | 带有该指标时钟所需全部时间戳的已关闭工作项所占比例 | 带有全部所需状态变更时间戳的已关闭项目数 / 该期间关闭的项目数;仍然打开的项目不计入 | 百分比 | ITSM 工具或问题跟踪系统历史 | 事件管理;服务请求管理 | 看板或工作流历史 | 每月 | 用关闭时间填充必填时间戳以通过校验 | 连续状态之间间隔的分布;抽查已关闭项目,看时间是否合理 |
| 补录率 | 事后才记录的状态变更所占比例,以事件时间与录入时间之间的间隔衡量 | 事件发生后超过 24 小时才录入的状态变更数 / 该期间的状态变更数;时钟从事件开始,到录入停止 | 百分比 | 跟踪系统的审计轨迹,或管道事件时间与录入时间 | 变更赋能;事件管理 | 完成的定义 | 每月 | 恰好在阈值之内录入变更;放宽阈值;通过一次批量更新记录全部变更 | 按小时的录入时间模式;由自动化与由手工完成的变更占比;批量编辑审计 |
| 数据新鲜度 | 仪表板上的最新数据在被查看时有多旧 | 查看时间减去已加载的最新事件时间;报告中位数和第 95 百分位数 | 小时 | 管道运行日志和仪表板加载日志 | 度量与报告 | 利益相关方评审的准备 | 每周 | 显示最近一次刷新的时间,而不是最新事件的时间 | 在仪表板上显示最新事件时间;馈送没有新事件时告警 |
| 对账差异 | 同一计数的两个来源之间的分歧 | 两个计数之差的绝对值 / 记录系统的计数,针对固定的期间和范围 | 百分比 | 记录系统和报告层 | 服务级别管理;财务管理 | 发布报告检查 | 每月 | 选择能对上的期间或范围;调整报告层以匹配源头而不查找原因 | 提前固定范围和期间;记录发现的每个原因,并按季度复查原因 |
| 状态模型漂移 | 在用的不同状态名称或迁移的数量,与文档化模型相比 | 该期间观察到的未文档化状态或迁移数(计数);已文档化的不计入 | 计数 | 跟踪系统工作流配置和事件历史 | 持续改进 | 关于工作流的工作约定 | 每季度 | 为避免被标记,把既有状态挪作新含义;增加状态却不记录 | 每次评审时将工作流配置与登记册对照;阅读处于异常状态的项目样本 |
| 调查回复率 | 受邀者中完成调查的人所占比例 | 完成的回复数 / 已送达的邀请数;退回的邀请不计入 | 百分比 | 调查工具 | 服务级别管理;客户体验 | 利益相关方评审和改进反馈 | 每轮调查 | 只邀请可能回复的人;向满意的用户发送提醒;提供会使答案产生偏差的奖励 | 将回复者构成与用户群体比较;按轮次的答案分布;在评审中阅读开放式评论 |
1.6 服务指标的统计素养
所属主题:(见主题 1.6,服务指标的统计素养)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 解决时间中位数 | 该期间内已解决事件的解决时间中间值 | 该期间已解决事件的(解决时间戳减去创建时间戳)的第 50 百分位数;时钟从工单创建开始,到解决停止;暂停单独报告,不扣除;已取消和重复的工单不计入 | 小时或天 | ITSM 工具状态历史 | 事件管理;度量与报告 | 周期时间中位数 | 每周或每月 | 先关闭快的工单,把难的留着;把一张工单拆成几张容易的;在等待客户状态下暂停时钟 | 高百分位解决时间和最老未关闭项年龄;处于暂停状态的时间占比;关联工单比率 |
| 高百分位解决时间 | 大多数事件得到解决所需的时间,并写明百分位数 | 同上所述经过时间的第 85(或第 95)百分位数;仅当至少有 20 个项目已解决才计算,否则列出原始项目 | 小时或天 | ITSM 工具状态历史 | 事件管理;服务级别管理 | 周期时间百分位预测 | 每周或每月 | 选择对结果有利的百分位数,或在两次报告之间更改;把长个案作为"异常值"排除或重新归类 | 百分位数在登记册中固定;列出被排除项目及其理由;最老未关闭项年龄 |
| 最老未关闭项年龄 | 仍未关闭的最老项目的年龄,以及比高百分位数更老的项目数 | 现在减去未关闭项目的创建时间戳,不扣除暂停;统计服务队列中全部未关闭项目,包括等待客户的 | 天 | ITSM 工具或问题跟踪系统 | 事件管理;问题管理 | 工作项年龄 | 每周 | 不解决就关闭或合并最老项;把它移到另一个队列或类别 | 重开率;对最老已关闭项目的抽样审计;队列转移计数 |
| 比率报告覆盖率 | 显示了分子、分母和最小计数检查的已报告比率所占比例 | 带有计数和样本标记的已报告比率数 / 已报告的比率数;仅统计在该期间评审材料中公布的比率 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告 | 工作约定 | 每季度 | 用小字附上计数,而头条仍以百分比为主;把最小计数设得很低,使其从不触发 | 评审真正的仪表板,而不是登记册;最小计数与区间宽度一并评审 |
| 控制图信号率 | 在团队书面规则下,度量的控制图上显示特殊原因变异信号的点所占比例 | 按规则被标记的点数 / 最近 20 个或更多个点中绘制的点数;规则事先确定并记入日志 | 百分比 | 控制图工具或电子表格 | 持续改进 | 对过程的回顾式检视 | 每月 | 放宽界限、增加规则,或重启基线,使信号消失;通过更改度量来挪动点 | 规则和界限连同变更历史保存在登记册中;与原始直方图比较 |
| 区间宽度 | 头条比率上所述不确定性范围的宽度 | 使用登记册中所指明方法得到的该期间头条比率区间的上界减下界 | 百分点 | 由 ITSM 计数计算而得 | 服务级别管理 | 规划中的预测范围 | 每月 | 选择产生窄范围的方法或窗口;把不相似的服务合并以扩大样本 | 方法在登记册中指明;可按需提供按服务的细分;比较合并与未合并的结果 |
1.7 度量框架
所属主题:(见主题 1.7,度量框架)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 目标可追溯性 | 能追溯到书面目标和问题的已报告指标所占比例 | 有记录的目标和问题的指标数 / 已报告的指标数 | 百分比 | 指标登记册(见主题 1.4,指标治理与归属) | 度量与报告;持续改进 | 交付目标;产品目标 | 每季度 | 在指标已经存在之后才补写目标和问题,使记录看上去完整;用含糊的目标为任何指标辩护 | 每季度抽查五个条目,问这个问题是否本可以导致另一个指标;检查受众和决定是否已写明 |
| 关键结果得分分布 | 关键结果期末得分的分布,以各档位所占比例表示 | 各得分档位(例如 0.0 至 0.3、0.4 至 0.6、0.7 至 1.0)的关键结果数 / 该期间已评分的关键结果数;不含附记录理由被舍弃的关键结果 | 每档百分比 | OKR 跟踪工具或团队文档 | 持续改进;服务级别管理 | 季度规划;评审 | 每季度 | 写容易的关键结果,使得分聚集在 1.0 附近;慷慨地重新评分;不记录原因就舍弃进展不佳的关键结果 | 被舍弃的关键结果数及其理由;将关键结果与上一期间的成果比较;与领导层评审抱负的中位数 |
| 视角覆盖率 | 四个平衡计分卡视角中,至少有一项有当前值的度量的视角所占比例 | 上一期间有度量被报告的视角数 / 四 | 百分比 | 计分卡或仪表板 | 度量与报告;服务价值系统治理 | 利益相关方评审(客户与学习视图) | 每季度 | 给某个视角加一个象征性的度量,使其算作已覆盖;选择无法变动的度量 | 检查每个视角的度量在过去一年内是否变过值,并附有书面决定 |
| 指标评审年龄 | 自上次评审每个 KPI 的定义和目标以来的时间 | 评审日期减去上次评审的日期;时钟从最近一次记录的评审开始,到报告日期停止;报告中位数和最老的 | 天 | 指标登记册变更日志 | 持续改进;度量与报告 | 回顾会议的行动 | 每季度 | 没读指标就记录评审;只改日期 | 要求每次评审附带书面结果(保留、更改、退役),并抽查日志 |
| CSF-KPI 覆盖率 | 至少有一个当前被报告的 KPI 的关键成功因素所占比例 | 有当前 KPI 的 CSF 数 / 为服务或实践定义的 CSF 数 | 百分比 | 实践或服务文档;指标登记册 | ITIL 实践指南中的 CSF 与 KPI 方法 | 完成的定义;工作约定 | 每季度 | 指派与 CSF 无关的 KPI 以达到完全覆盖;选择无法暴露失败的 KPI | 对每一对,问什么读数会表明该 CSF 失败;寻找从未变红的 KPI |
第 2 部分:流动与持续交付指标
2.1 流动度量
所属主题:(见主题 2.1,流动度量)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 在制品(WIP) | 已开始但未完成的工作项 | 在某个说明的时刻(例如每天结束时),开始时间戳已设置而完成时间戳为空的项目数;尚未开始的待办项和已完成的项目不计入 | 项 | 问题跟踪系统或 ITSM 工具的状态历史 | 事件管理;服务请求管理;变更赋能 | WIP 限制;团队进行中的待办 | 每日快照,每周评审 | 把项目留在待办里或"就绪"列中直到最后一刻,使其不被算作已开始;关闭再重开项目;把工作藏在看板之外 | 将看板项目与收到的请求对账;对照团队的实际工作抽查看板;跟踪第一列中项目的年龄 |
| 吞吐量 | 单位时间内完成的工作项 | 完成时间戳落在该期间(例如一个日历周,周一至周日)的项目数;完成后又被重新打开的项目,仅在其为新项目时才再次计数 | 每周项数 | 问题跟踪系统或 ITSM 工具的状态历史 | 事件管理;服务请求履行 | 吞吐量;已完成项目 | 每周 | 把项目拆成微小的碎片;在完成前就关闭项目;先挑容易的项目 | 查看项目大小分布和重开率;统计与近期项目相关的逃逸缺陷和事件;评审所完成工作的类型构成 |
| 工作项年龄 | 未完成项目已进行的经过时间 | 当前时间减去开始时间戳,针对仍在进行中的项目;时钟在受阻期间继续走;尚未开始的项目不计入 | 天 | 问题跟踪系统或 ITSM 工具的状态历史 | 事件管理;问题管理 | 工作项年龄;每日团队站会 | 每日,在每次团队站会上评审 | 把陈旧的项目移到"完成"或新状态以重置时钟;悄悄取消老项目;为旧项目创建一个新的副本 | 审计向后的状态移动和被取消的项目;报告被取消的项目及其年龄;检查在接近年龄限制时创建的重复项 |
| 周期时间 | 已完成项目从开始到完成的经过时间 | 完成时间戳减去开始时间戳,按日历天计,首尾包含;时钟从首次进入已开始状态时启动,在进入已完成状态时停止;报告中位数以及第 85 和第 95 百分位数 | 天 | 问题跟踪系统或 ITSM 工具的状态历史 | 事件管理;服务请求履行;变更赋能 | 周期时间;项目持续时间 | 每周,滚动 8 至 12 周窗口 | 通过直到工作快做完才把项目移到"进行中",使时钟晚启动;通过在评审或发布之前就标记完成,使时钟提早结束 | 将开始时间与首次提交或首次活动比较;报告"完成"到发布之间的时间;抽查已完成项目是否真正完成 |
| SLE 达成率 | 达到团队服务级别期望的已完成项目所占比例 | 周期时间不超过 SLE 的已完成项目数 / 窗口内完成的全部项目数;仍然未关闭的项目不计入 | 百分比 | 由周期时间推导 | 服务级别管理 | 服务级别期望 | 每月 | 设定宽松的 SLE;把难的项目作为"特殊"排除;为保持在限制内而关闭项目 | 把 SLE 保持在过往数据的某个百分位数上,每季度评审;报告被排除的项目及原因;阅读第 95 百分位数和最老的未关闭项 |
| 受阻时间占比 | 项目被标记为受阻的进行中天数所占比例 | 处于受阻状态的项目-天数 / 进行中的项目-天数,针对该窗口;两者的时钟均从开始时间戳启动 | 百分比 | 问题跟踪系统的标记或 ITSM 工具中的受阻状态 | 事件管理;问题管理;供应商管理 | 阻碍;在每日团队站会上提出的障碍 | 每周 | 从不标记受阻,使占比看上去很低;把所有东西都标为受阻来解释延迟 | 将受阻占比与进行中项目的年龄比较;按类别评审受阻原因;抽查受阻项目,核对每个原因 |
2.2 前置时间、周期时间与流动效率
所属主题:(见主题 2.2,前置时间、周期时间与流动效率)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 前置时间 | 从请求到达到交付给请求者的经过时间 | 每个工作项的交付时间戳减去请求到达时间戳;时钟在请求被记录时启动,在请求者可以使用结果时停止;仍然未关闭的项目和在交付前被取消的项目被排除并单独计数 | 天或小时 | ITSM 工具或问题跟踪系统历史 | 服务请求管理;事件管理;变更赋能 | 团队看板上的前置时间;从请求到发布的时间 | 每周,每月评审 | 推迟创建请求记录,使时钟晚启动;关闭再重开项目以重启时钟;把一个请求拆成许多微小的请求 | 抽样对照请求记录与电子邮件或聊天中的首次联系;跟踪重开率;跟踪每个请求的项目大小和数量 |
| 周期时间 | 从团队开始工作到工作完成的经过时间 | 每个工作项的完成时间戳减去开始时间戳;时钟在首次进入活跃工作状态时启动,在首次进入完成状态时停止;开始之前和完成状态之后的时间被排除 | 天或小时 | 跟踪系统或看板的状态历史 | 事件管理;服务请求管理;变更赋能 | 周期时间(见主题 2.1,流动度量) | 每周 | 通过只在最后才把项目移到"进行中",使时钟晚启动;在几乎做完之前不把项目放上看板;把工作切成自身交付不了价值的碎片 | 未完成项目的工作项年龄(见主题 2.1,流动度量);检查已完成项目是否可供请求者使用;比较前置时间与周期时间 |
| 接触时间 | 有人或自动化正在积极处理该项目的时间 | 项目处于被归类为活跃工作的状态中的各区间之和;等待状态、受阻状态和队列状态被排除 | 小时 | 跟踪系统的状态历史,每个状态被归类为活跃或等待 | 事件管理;服务请求管理 | 价值流图中的处理时间 | 每月抽样 | 把等待状态归类为活跃,或记录活动以显得忙碌 | 每季度与团队一起评审状态归类;抽查项目,将记录的活动与提交、评论和日历对照 |
| 等待时间 | 项目处于队列中、受阻或暂停的时间 | 每个工作项的周期时间减去接触时间;没有记录开始的项目不适用 | 天或小时 | 跟踪系统的状态历史 | 事件管理;服务级别管理 | 看板上的等待时间或受阻时间 | 每月 | 创建新状态,使等待时间落入未被度量的缝隙;把等待的项目移到工作流之外的状态 | 统计未文档化的状态和迁移(见主题 1.5,数据来源与埋点);抽样确认周期时间等于接触时间加等待时间 |
| 流动效率 | 周期时间中花在活跃工作上的占比 | 该期间完成项目的接触时间之和 / 周期时间之和;状态历史缺失的项目被排除并单独计数 | 百分比 | 跟踪系统的状态历史 | 持续改进;服务请求管理 | 来自精益实践的流动效率 | 每月 | 把等待重新归类为活跃;只挑选快的项目作样本;先完成容易的项目以提高比率 | 带变更日志的固定状态归类;对全部已完成项目计算;与第 85 百分位数周期时间和未关闭项目的年龄一并报告 |
| 时钟暂停占比 | 周期时间中正式服务时钟被暂停的占比 | 该期间完成项目的暂停时长之和 / 周期时间之和;暂停指书面时钟规则中定义的那些状态 | 百分比 | ITSM 工具状态历史 | 服务级别管理;事件管理 | 受阻列或搁置列的时间 | 每月 | 为满足 SLA,而因不依赖客户的原因(例如内部交接)暂停正式服务时钟 | 抽样审计暂停原因;并排报告经过时间和 SLA 时间;评审客户自己对解决时间的看法(见主题 5.1,SLA、OLA 与 XLA 指标) |
2.3 在制品与排队
所属主题:(见主题 2.3,在制品与排队)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 在制品 | 位于约定边界之内已开始但未完成的项目数 | 快照时刻处于"在制"状态的项目数;位于第一个工作状态之前的待办或"就绪"队列中的项目,以及已完成的项目,不计入 | 项 | 问题跟踪系统或 ITSM 工具的状态历史 | 事件管理;服务请求管理 | 看板上的 WIP 计数 | 每日快照,每周评审 | 把项目移到"停放"或"搁置"状态以保持在限制之下;拆分项目使其看起来更小;在看板之外开始工作 | 停放状态中的项目数及其年龄;对照实际工作抽查看板;报告在制品中最老的项目 |
| 队列长度 | 等待工作开始或在阶段之间等待的项目数 | 快照时刻处于等待状态(例如"新建"、"待分诊"、"待评审")的项目数;受阻项目单独报告,不加在内 | 项 | 跟踪系统或 ITSM 状态历史 | 事件管理;变更赋能 | 看板上的就绪列和队列列 | 每日快照,每周评审 | 关闭再重开项目;在门口拒绝新项目;重命名等待状态,使其落在计数之外 | 在队列长度旁边显示重开率和拒绝率;每次指标评审时复查状态定义 |
| 排队时间 | 项目在每个阶段中,在工作开始之前等待的经过时间 | 时钟在项目进入等待状态时启动,在进入下一个活跃状态时停止;处于"受阻于客户"状态的时间被排除,并作为单独数字报告;报告中位数和第 85 百分位数 | 小时或天 | 跟踪系统或 ITSM 工具中的状态迁移时间戳 | 服务台;事件管理;变更赋能 | 价值流中的等待时间;队列列中的时间 | 每周 | 在工作已就绪后才创建记录,使时钟晚启动;通过受阻或等待客户状态暂停时钟;项目仅被打开就标为进行中 | 处于受阻和暂停状态的时间分布;在开始之后才创建的项目占比;通过简短调查得到的请求者报告的等待 |
| 到达与离开速率 | 每个期间进入和离开系统的项目数,及其差值即队列的净增长 | 到达 = 该期间进入边界的项目数;离开 = 该期间完成的项目数;净增长 = 到达减离开;被重开的项目仅当团队这样定义时才算作到达 | 每周项数 | 跟踪系统或 ITSM 的创建和解决时间戳 | 监控与事态管理;事件管理 | 吞吐量和累积流图 | 每周 | 快速关闭项目以提高离开数;拆分一个请求以提高两个计数;把重复项算作到达 | 已关闭项目上的质量和重开度量(见主题 3.3,事件响应与解决时间);项目大小分布;客户成果检查 |
| 团队负荷比 | 计划内和预期工作将占用团队容量的比例 | 期间内预期的需求工时(到达数乘以每项平均工作量)/ 扣除休假和固定承诺后的可用容量工时;团队说明如何估算工作量;绝不报告个人 | 百分比 | 容量计划、跟踪系统的工作量历史、值班表 | 容量与性能管理;人力与人才管理 | 计划工作中的团队容量 | 每月,以及每次规划活动 | 低估工作量以显示有富余容量,或夸大需求以论证增加人手;报告对自己有利的期间的比率 | 比较每个项目的估算与实际工作量;展示比率及其趋势和打断占比;对估算方法的同行评审 |
| WIP 限制突破率 | 某阶段或系统超过约定 WIP 限制的天数占比 | WIP 超出限制的天数 / 期间内的工作日数;团队记录了有意例外并附理由的天数单独报告 | 天数百分比 | 每日 WIP 快照和例外日志 | 持续改进;事件管理 | WIP 限制工作约定 | 每周 | 提高限制以停止突破;把项目移出看板来隐藏突破;随意批准例外 | 例外的数量和理由;附日期的限制变更历史;在突破率旁边显示周期时间百分位数 |
| 利特尔定律一致性比率 | 检查三个流动数字彼此是否一致 | 期间内的平均 WIP /(每天离开数乘以以天计的平均周期时间),针对同一边界和期间;比率接近 1 意味着定义一致,远离 1 意味着边界或时钟不一致 | 比率 | 与其他流动指标相同的跟踪系统数据 | 度量与报告 | 回顾会议中的流动指标合理性检查 | 每月 | 调整边界或期间,直到比率接近 1;把长寿命项目作为异常值排除 | 提前固定边界和期间;公布被排除的项目及其数量;连同理由评审对边界的更改 |
2.4 价值流指标
所属主题:(见主题 2.4,价值流指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 价值流前置时间 | 从客户提出请求到客户能够使用结果的经过时间 | 交付确认的时间减去请求被登记的时间;被取消或撤回的项目被排除;报告中位数以及第 85 和第 95 百分位数 | 天 | ITSM 工具记录,与来自流水线或履行系统的交付事件相连 | 服务请求管理;变更赋能 | 团队看板上的前置时间 | 每月 | 让时钟晚启动,例如从分诊而不是请求开始;在客户能够使用之前就关闭项目;把一个请求拆成几个小的 | 在指标登记册中写明固定的时钟规则;客户确认交付;重开项目和关联子项目的计数 |
| 处理时间 | 项目被积极处理的时间,按阶段和整条流计 | 每个阶段中项目处于活跃状态的各区间之和;队列、审批等待和受阻状态被排除 | 小时或天 | 跟踪系统状态历史;状态过粗时用时间记录 | 事件管理;服务请求管理 | "进行中"列的周期时间 | 每月 | 把空闲或受阻的状态记录为活跃,使处理时间上升、流看似高效;或把等待记录为工作以显得忙碌 | 观察项目样本;将处理时间与存在的时间记录比较;与团队一起评审状态定义 |
| 等待时间 | 项目在活跃工作之间闲置的时间,按阶段和整条流计 | 阶段经过时间减去该阶段的处理时间;包括队列、审批、交接和受阻时间 | 天 | 跟踪系统状态历史和 ITSM 工具的状态变更 | 变更赋能;服务台 | 队列列中的时间;受阻时间 | 每月 | 把等待移入未被跟踪的状态,例如旁路交谈、电子表格,或停掉时钟的"待定"状态 | 报告暂停和受阻状态的使用;将工单年龄与阶段时间戳比较;抽查系统外的等待 |
| 流程效率 | 前置时间中属于处理时间的占比 | 各阶段处理时间之和 / 同一批项目的价值流前置时间;仍未关闭的项目被排除 | 百分比 | 由处理时间和前置时间推导 | 持续改进 | 流动效率 | 每季度 | 对被度量的项目加急处理以缩短前置时间,或抬高处理时间以提高比率 | 在比率旁边显示前置时间和处理时间;报告加急占比;绝不为比率本身设目标 |
| 完整且准确的百分比(阶段) | 某阶段收到的项目中,无需更正、补全或退回就能使用的占比 | 按原样接受的项目数 / 期间内收到的项目数;因任何原因被退回的项目都算作未被接受 | 百分比 | 跟踪系统或 ITSM 工具中的退回和重开事件;抽样的验收评审 | 服务请求管理;变更赋能;问题管理 | 就绪的定义;返工率 | 每月 | 接收阶段降低接受标准,使被退回的项目变少,或发送阶段靠非正式的变通把工作推过去 | 书面的验收条件;下游缺陷和返工计数;由第三方评审被接受项目的样本 |
| 滚动的完整且准确百分比 | 干净地通过每个阶段的项目占比 | 一条流和一个期间内各阶段 %C/A 值的乘积(例如 0.90 x 0.85 x 0.95);流之外的阶段被排除 | 百分比 | 由各阶段的值推导 | 持续改进 | 贯穿流水线的逃逸缺陷和返工率 | 每季度 | 合并阶段,使退回发生在阶段内部,从交接计数中消失;挑选有利的阶段清单 | 提前固定阶段清单;在决定日志中报告阶段变更;与整条流的返工率比较 |
| 交接次数 | 项目在团队或队列之间传递的次数 | 每个项目从请求到交付期间,所属团队或队列的变更次数;报告中位数和第 85 百分位数 | 次数 | ITSM 工具或跟踪系统中的分派历史 | 服务台;服务请求管理 | 团队之间的依赖 | 每季度 | 把项目重新分派给共享队列或笼统的负责人,以避免被统计的所有者变更;把交接隐藏在横跨多个小组的单个"团队"里 | 按队列和角色统计;阅读抽样项目的分派历史;跟踪每个项目的重新分派次数 |
| 节拍时间比 | 流的节奏是否与需求匹配 | 观察到的完成间隔的中位数 / 节拍时间,其中节拍时间是可用工作时间除以同一期间所需求的项目数;比值大于 1 意味着流比需求慢 | 比率 | 来自入口队列的需求计数和完成事件 | 容量与性能管理;服务级别管理 | 吞吐量对需求;预测 | 每季度 | 把被推迟或被拒绝的需求算作没有需求;把部分完成算作完成 | 在比率旁边报告需求、被拒绝的需求和待办年龄;仅在客户确认时才计为完成 |
2.5 交付预测与规划指标
所属主题:(见主题 2.5,交付预测与规划指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 预测命中率 | 实际结果落在所述范围内的预测所占比例 | 实际结果在所述范围内的预测数 / 作出的预测数 | 百分比 | 预测日志和交付记录 | 容量与性能管理;持续改进 | 规划交谈中的预测准确度 | 每月 | 给出很宽的范围,使每次预测都命中;事后重新预测 | 预测范围宽度;在日志中保留原始预测;将范围与同行的历史比较 |
| 预测范围宽度 | 所述范围相对于预测中位数有多宽 | (上界减下界)/ 预测中位数 | 比率 | 预测日志 | 容量与性能管理 | 不确定性锥的收窄 | 每月 | 缩窄范围以显得自信 | 预测命中率;要求范围由记录的历史构建 |
| 交付目标成功率 | 该期间所述交付目标中已达成的所占比例,依据成果来判断 | 达成的目标数 / 设定的目标数 | 百分比 | 与利益相关方约定的目标记录 | 服务级别管理;持续改进 | 与利益相关方的成果评审 | 每月,或在一个目标每次发布时 | 设定容易的目标;事后重新定义目标;把产出算作成果 | 由利益相关方评判成果;目标措辞保存在日志中;检查所交付变更的使用数据 |
| 范围变更率 | 在作出预测之后,被增加、移除或重新估算大小的已承诺工作所占比例 | 预测后被增加或移除的项目数 / 原始预测中的项目数 | 百分比 | 工作跟踪系统的变更历史 | 变更赋能;服务级别管理 | 根据反馈调整待办 | 每月 | 拒绝正当的变更来冻结范围;通过重新估算项目大小来隐藏范围变更 | 利益相关方对响应能力的满意度;记录变更理由 |
| 容量分配 | 团队容量花在变更、运维工作和改进上的占比 | 各类别中已完成的项目数或工时 / 全部已完成的项目数或工时 | 百分比 | 带工作类型的工作跟踪系统 | 容量与性能管理;事件管理 | 工作类型分布 | 每月 | 把运维工作错标为改进;通过在看板之外工作来隐藏运维负荷 | 与事件和请求记录对账;抽查项目的类型 |
| 吞吐量稳定性 | 每周吞吐量的变异 | 每周吞吐量的标准差 / 每周吞吐量的平均值 | 比率 | 工作跟踪系统 | 容量与性能管理 | 流动的可预测性 | 每月 | 把项目拆成琐碎的碎片以抬高计数;未完成就关闭项目 | 项目大小分布;重开率;抽查所交付的价值 |
| 本地速度 | 单个团队在每个规划期内以自己规模单位计的已完成工作 | 满足完成定义的项目在该期间的估算之和 | 团队自定义的点数 | 工作跟踪系统 | 容量与性能管理 | 团队容量规划辅助 | 每个规划期 | 虚增估算;拆分故事以获取点数;比较团队 | 保持团队私有;与吞吐量和周期时间比较;绝不设定目标 |
2.6 待办事项与细化指标
所属主题:(见主题 2.6,待办事项与细化指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 待办规模 | 某具名待办列表在某个时间点的未关闭项目数 | 快照日期状态为未关闭或就绪的项目数;不含进行中的项目和已关闭的项目 | 项 | 问题跟踪系统或 ITSM 工具的快照 | 事件管理;服务请求管理;问题管理 | 产品待办;输入队列 | 每周 | 以过时为由批量关闭项目,拆分项目以显得忙碌,或把工作藏在旁路清单和电子表格里 | 带离开原因的待办舍弃率;定期把工具与真实的请求清单对照;客户对被放弃项目的反馈 |
| 待办年龄 | 未关闭项目已等待多久的分布 | 对每个未关闭项目,快照日期减去它进入待办列表的日期;报告中位数、第 85 百分位数和最老的项目 | 天 | 问题跟踪系统或 ITSM 的创建和状态历史 | 事件管理;问题管理;持续改进 | 待办健康度;老项目评审 | 每周 | 通过克隆或重建旧项目来重置进入日期;在待办列表之间移动项目;为改变时钟而重开而不是重新提出 | 对被克隆和被移动项目的审计;对最老项目的评审;跨关联记录从首次创建起算年龄 |
| 就绪工作深度 | 团队前方有多远的就绪工作 | 满足就绪定义的项目数 / 过去六个期间平均每周完成的项目数 | 周 | 问题跟踪系统的就绪标记和吞吐量历史 | 业务分析;服务请求管理 | 就绪的定义;细化 | 每个规划期 | 不检查就把项目标为就绪;为低价值工作撰写详细项目来虚增深度 | 对照定义阅读就绪项目的样本;工作开始时的返工或退回细化的比率 |
| 细化覆盖率 | 近期窗口中已就绪部分的占比 | 接下来两个双周的预期工作(或按顺序排在前 N 个)中满足就绪定义的项目数 / 该窗口中的项目数 | 百分比 | 问题跟踪系统的顺序、就绪标记和计划工作 | 业务分析;变更赋能(针对计划变更) | 产品待办细化 | 每个规划期 | 为达到数字而勾选就绪标记;缩小窗口,使计入的项目更少 | 规划后被退回的项目数;交付目标成功率和期中范围变更(见主题 2.5,交付预测与规划指标) |
| 待办流入-流出比 | 项目到达的速度是否快于离开 | 该期间新增的项目数 / 同期通过完成或舍弃而从待办列表移除的项目数;比值大于 1 意味着增长 | 比率 | 问题跟踪系统或 ITSM 的创建和解决事件 | 事件管理;服务请求管理;容量与性能管理 | 到达与离开速率 | 每周 | 快速关闭容易的项目以推高流出,或在门口拒绝新项目以压低流入 | 最老项目的年龄;舍弃率;未附理由被拒绝的请求占比;客户报告的未满足需求 |
| 待办舍弃率 | 未经交付就被移除而离开的项目占比 | 以"不做"、重复或过时而关闭的项目数 / 该期间离开待办列表的全部项目数;不含以完成而关闭的项目 | 百分比 | 问题跟踪系统的解决字段 | 持续改进;问题管理(已知错误评审) | 待办修剪;产品负责人排序 | 每月 | 舍弃用户仍然想要的项目,以缩小规模;或避免舍弃,使数字显得温和 | 与请求者一起评审被舍弃项目的样本;被舍弃项目的重开和重新提出率 |
| 服务待办超目标占比 | 超过约定响应或解决窗口的未关闭服务项目占比 | 经过时间超过服务目标的未关闭项目数 / 队列中全部未关闭项目数;时钟从登记时开始,仅在书面定义允许的状态下才暂停 | 百分比 | 带服务级别时钟的 ITSM 工具 | 服务级别管理;事件管理;服务请求管理 | 加急通道;服务级别期望 | 每日或每周 | 用等待客户状态暂停时钟、降低优先级,或关闭再重开以重置窗口 | 处于暂停状态的时间占比;重开率(见主题 1.2,古德哈特定律与指标心理学);已关闭工单的用户满意度 |
2.7 拉取请求与代码评审指标
所属主题:(见主题 2.7,拉取请求与代码评审指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 首次评审时间 | 拉取请求就绪待评审与首次实质性人工回应之间的等待 | 时钟在拉取请求离开草稿状态或以就绪状态开启时启动,在作者之外的人作出首次评审评论、变更请求或批准时停止;机器人和作者的评论以及纯标签变更被排除。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台的事件历史 | 软件开发与管理;变更赋能 | 关于评审响应性的工作约定;在制工作的流动 | 每周 | 把一句快速的"看着没问题"或一个表情符号作为首次回应;指派机器人或友好的评审者;等有人事先答应会看之后才把拉取请求标为就绪 | 合并后修复率;抽查没有评论的批准;在工作约定中要求首次回应必须是实质性的 |
| 评审周期时间 | 从就绪待评审到合并的总时间 | 时钟在拉取请求就绪待评审时启动,在合并时停止;未合并就关闭的拉取请求被排除并单独计数。以工作小时报告中位数和第 85 百分位数 | 工作小时 | 版本控制平台的事件历史 | 部署管理;变更赋能 | 团队看板上评审阶段的周期时间 | 每周 | 不等评审就合并;把一个变更拆成微小的碎片以更快通过;关闭再重开拉取请求以重置时钟 | 统计被关闭后又重开的拉取请求;评审轮次;合并后修复率;要求批准的受保护分支规则 |
| 拉取请求规模 | 一个拉取请求中的变更量 | 新增行数加删除行数,不含生成的文件、锁文件、引入的第三方代码和纯重命名,按仓库的忽略规则所列。按每个已合并的拉取请求,报告中位数和第 85 百分位数 | 变更行数 | 版本控制平台的差异统计 | 软件开发与管理 | 小批量;故事的切分 | 每周 | 把文件排除在计数之外;把单个变更拆成无法单独理解的碎片;用生成的代码填充规模 | 每季度评审忽略规则;检查拆分后的碎片能单独构建并通过测试;阅读最小和最大的样本 |
| 评审轮次 | 合并前作者推送与评审者回应的回路数 | 每个已合并的拉取请求中,不同的"请求变更"或"先评论后推送"回路的数量;首次提交为第零轮,自动检查失败被排除。报告中位数和第 85 百分位数 | 次数 | 版本控制平台的评审和推送事件 | 持续改进;软件开发与管理 | 评审阶段的返工信号;完成的定义 | 每周 | 为保持计数低而第一遍就批准;把讨论转到聊天中,使其不留痕迹;作者在一次提交里推送许多修补以隐藏轮次 | 合并后修复率;抽查零轮次的拉取请求;把讨论保留在拉取请求中 |
| 评审负荷集中度 | 评审工作在团队中分摊得有多不均匀 | 滚动 4 周内,团队完成的评审中由最忙的两位评审者处理的占比;评审自己的拉取请求和机器人评审被排除。针对团队报告,绝不按姓名报告 | 百分比 | 版本控制平台评审事件,汇总到团队层面 | 持续改进;知识管理 | 共享的代码所有权;集体所有权 | 每月 | 把评审拆成许多小批准来分摊计数;把评审指派给有空闲时间却没有相关知识的人 | 评审高风险区域评审者的知识;按区域观察合并后修复率;让该指标保持在团队层面 |
| 滞留拉取请求数 | 开启时间超过团队约定上限的拉取请求 | 在快照时刻仍然开启、不处于草稿状态、且自就绪待评审以来的年龄超过团队上限的拉取请求数;草稿被排除 | 计数 | 版本控制平台的开启中拉取请求列表 | 变更赋能;持续改进 | 工作项年龄;WIP 限制 | 每周 | 不合并就关闭滞留的拉取请求;把它们转为草稿来隐藏;提高滞留上限 | 未合并就关闭的拉取请求数;长期运行的草稿数;每季度与团队一起评审上限 |
| 合并后修复率 | 合并后不久紧接着一项纠正性变更的已合并拉取请求所占比例 | 合并后 14 天内紧接着有关联到同一变更的修复、回退或热修复的已合并拉取请求数 / 该期间已合并的拉取请求数;标注为计划内的后续工作被排除 | 百分比 | 版本控制历史、关联的问题,以及事件或变更记录 | 变更赋能;事件管理 | 内建质量;完成的定义 | 每月 | 把修复记录在没有链接的新工作项下;把纠正性工作标为计划内后续;把修复推迟到窗口之后来回避该指标 | 与事件和变更失败数据比较;抽查后续项目;审计所用的标签 |
2.8 DORA 指标
所属主题:(见主题 2.8,DORA 指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 变更前置时间 | 已提交的变更到达生产环境的时间 | 时钟在变更的首次提交时启动(或在其合并到主分支时,如果定义中这样说明),在对生产环境的部署成功完成时停止;报告该期间已部署变更的中位数和第 85 百分位数;从未部署的变更被排除,并作为在制工作单独报告 | 小时或天 | 与部署流水线相连的版本控制 | 部署管理;发布管理;变更赋能 | 周期时间;到生产环境的前置时间 | 每周或每次发布,每月评审 | 把时钟的起点往后挪,例如从合并而不是首次提交起算;过早合并到长期存在的分支;把难做的变更作为"不是代码"排除;让琐碎的变更通过流水线以拉低中位数 | 在制工作的百分位数和年龄;固定书面的时钟起点;每季度抽查最慢的 10% 变更;变更大小分布 |
| 部署频率 | 团队多频繁地部署到生产环境 | 该期间应用的成功生产部署次数 / 期间的天数;失败或被回滚的部署不计入成功数;对测试环境的部署被排除 | 每天或每周的部署次数 | 部署流水线事件日志 | 部署管理;发布管理 | 持续交付;在每个增量结束时发布 | 每周 | 把一个变更拆成许多琐碎的部署;重新部署未改变的构建;统计对预发环境的部署或空配置变更 | 每次部署的变更大小;包含用户可见变更的部署占比;它旁边的变更失败率和返工率 |
| 失败部署的恢复时间 | 当一次部署导致生产失败时,恢复所需的时间 | 时钟在检测到或报告失败时启动(每次规则相同),在用户的服务得到恢复时停止;报告该期间失败部署的中位数和第 85 百分位数;并非由部署引起的事件被排除 | 分钟或小时 | 与部署事件和监控告警相连的事件记录 | 事件管理;服务连续性管理 | 恢复时间;恢复工作 | 每次失败,每月评审 | 让时钟晚启动或过早关闭事件;在部分修复后把失败重新归类为新事件;提高"失败"的严重性门槛 | 同一事件在规定窗口内的复发;时钟起点取自监控告警;客户报告的影响持续时间 |
| 变更失败率 | 导致需要补救的失败的生产部署所占比例 | 需要热修复、回滚、补丁或事件响应的部署次数 / 该期间全部生产部署次数;把失败与其部署联系起来的规则被写下,并每次以同样方式应用 | 百分比 | 与事件、回滚和热修复部署相连的部署事件 | 变更赋能;事件管理 | 完成的定义;逃逸缺陷 | 每月 | 不把事件与部署联系起来;只统计导致完全中断的失败;放宽窗口使失败落在窗口之外;向前修复并称其为新变更 | 每季度对照部署日志评审一批事件样本;跟踪记录了部署链接的事件占比;部署返工率 |
| 部署返工率 | 计划外并为修复面向用户的问题而进行的生产部署所占比例 | 为应对生产问题而进行的计划外部署次数 / 该期间全部生产部署次数;碰巧包含修复的计划内部署被排除;"计划外"的规则被写下 | 百分比 | 按部署原因打标签、并与事件或缺陷记录相联的流水线日志 | 变更赋能;问题管理 | 计划外工作;计划之外发布的缺陷修复 | 每月 | 把修复标为计划内工作;把修复捆绑进计划好的发布;通过推迟修复来避免修复部署 | 来自跟踪系统的缺陷和逃逸缺陷计数;未关闭生产缺陷的年龄;对部署样本的标签审计 |
2.9 运维工作与计划外工作
所属主题:(见主题 2.9,运维工作与计划外工作)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 计划外工作比率 | 已完成工作项中,在期间开始时不在计划之内的所占比例(按数量) | 在期间开始之后才进入看板或待办的、在该期间完成的项目数 / 该期间完成的全部项目数;时钟从规划活动开始,在期间结束时停止;已取消的和仍未关闭的项目被排除 | 百分比 | 带项目创建时间和规划快照的问题跟踪系统 | 事件管理;服务请求管理 | 范围变更;工作项类型 | 每月 | 把项目较晚才加进规划快照,使它们算作计划内;让紧急工作不被跟踪,使其永远不被计入;把计划内项目标为计划外,以解释未达成的计划 | 带时间戳的冻结规划快照;未分类计数;每季度阅读一批已关闭项目的样本,把标签与实际发生的情况比较 |
| 容量分配符合度 | 实际工作量与规定的变更工作、运行工作和改进工作划分的吻合程度 | 对每个类别,实际占比与约定占比之差的绝对值,求和后除以二;实际占比是该类别中已完成的项目数(或团队记录的工作量)/ 全部已完成项目数;没有类别的项目单独报告,不被丢弃 | 百分点 | 问题跟踪系统的工作类型字段,以及存在的时间记录 | 持续改进;容量与性能管理 | 容量分配或容量规划 | 每月 | 在类别之间移动项目以匹配约定的划分;把一个项目拆成几个以挪动占比;选择团队本来就能达到的划分 | 工作约定中书面写明的固定类别定义;对照其类别抽查项目描述;计划承诺可靠度 |
| 打断率 | 计划之外的需求多频繁地到达团队、并到达做计划工作的人 | 期间内团队收到的打断数 / 期间的工作日数,其中打断是登记在团队入口渠道、且不在计划之内的任何工单、呼叫、消息请求或要求;对同一底层需求的重复只计一次 | 每工作日的打断次数 | 入口渠道日志、ITSM 队列、告警系统和团队打断日志 | 事件管理;服务请求管理;监控与事态管理 | 打断日志或团队工作约定 | 每周 | 把打断变成从不进入日志的私下帮忙;把几项需求合并成一个条目;不鼓励人们提出要求 | 将日志与入口渠道流量和告警历史比较;在回顾会议中问团队日志是否符合他们的体验 |
| 加急率 | 使用了加急通道的已完成项目所占比例 | 该期间进入加急通道的已完成项目数 / 该期间完成的全部项目数;时钟从项目被标记为加急时启动,在完成时停止;在工作开始前被降级移出通道的项目单独计数 | 百分比 | 看板通道历史或优先级字段历史 | 事件管理;变更赋能(紧急变更) | 加急服务类别 | 每月 | 为显得守纪律而让紧急工作不进通道,或为求快而把一切都放进去;把加急重新定义为"重要" | 带准入检验的通道限制;评审时达到检验的加急项目占比;计划工作被挤占数 |
| 计划工作被挤占数 | 为给计划外工作腾地方而被推迟或放弃的计划内项目数 | 该期间内被移出、推迟或未完成并附有"被计划外工作挤占"的记录理由的计划内项目数(计数);因目标变化而移除的项目被排除 | 项目数 | 带原因字段的看板变更历史 | 变更赋能;持续改进 | 交付目标保护;范围协商 | 每月 | 把挤占记录为出于选择的范围变更;让计划内项目悄悄失败而不附理由;回避可能被挤占的计划内项目 | 每个被移出或未完成的项目都必须填写原因字段;计划承诺可靠度;在回顾会议上评审原因 |
| 重复的计划外工作占比 | 其原因与回溯窗口内早先某个计划外项目相符的计划外项目所占比例 | 该期间完成的、关联到回溯窗口(例如 90 天)内同一问题记录、告警规则或原因标签的早先项目的计划外项目数 / 该期间完成的全部计划外项目数;没有原因标签的项目作为单独的未分类计数报告 | 百分比 | ITSM 事件和问题记录、跟踪系统的原因标签 | 问题管理;已知错误管理 | 回顾会议的行动项;反复出现的缺陷标签 | 每月 | 使用粗糙的原因标签,让重复被隐藏,或使用精细的标签,让没有什么重复;关闭问题记录以去掉链接 | 每季度评审原因标签分类;未分类计数;问题记录关闭后的复发检查 |
| 计划承诺可靠度 | 团队为该期间计划的项目中,在期间内完成的所占比例 | 期间内完成的计划内项目数 / 期间开始时的计划内项目数;开始之后增加的项目从两个计数中都排除 | 百分比 | 规划快照和跟踪系统的完成历史 | 服务级别管理;变更赋能 | 预测可靠度 | 每月 | 计划得小,以便全部完成;虚增估算;把部分完成的项目算作完成;在期间开始前就舍弃难的项目 | 随时间比较所计划项目的大小和价值;对交付目标的成果检查;计划外工作比率,使计划胆怯时高数值不被读作健康 |
第 3 部分:服务台、事件与请求指标
3.1 服务台指标
所属主题:(见主题 3.1,服务台指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 联系量 | 服务台收到的联系数,按渠道和期间 | 该期间创建的联系数,按渠道;内部测试联系、重复的电子邮件自动回复,以及服务台主动外呼的电话被排除 | 计数 | 电话或聊天平台日志;ITSM 工具的联系记录 | 服务台 | 待办细化中的需求信号 | 每周 | 坐席通过把用户重定向到不被计数的渠道来抑制登记,或把一次联系拆成几次,使队列显得忙碌;管理者追求更低的量 | 每 100 用户的联系率,以及定期把电话计数与工单计数对账;每个渠道都必须被计数的固定规则 |
| 联系率 | 联系数相对于所服务人群规模,使增长不被误认为问题 | 该期间的联系数 / 该期间的活跃用户数或活跃账户数,按每 100 个用户折算;用户数取自同一期间,且"活跃"的定义被写下 | 每 100 用户的联系数 | 联系记录以及身份或许可证系统 | 服务台;服务级别管理 | 产品评审中按使用量调整的需求 | 每月 | 事后挑选分母(例如对"活跃"的宽泛定义),使比率看上去更好 | 对"活跃用户"的书面、带日期的定义,并在比率旁边显示原始计数 |
| 应答时间 | 从联系进入队列到有人或自动应答引擎介入的等待 | 时钟在联系进入队列时启动,在首次人工响应时停止;被放弃的联系不计入此项度量,而计入放弃率;报告中位数和第 85 百分位数 | 秒(电话、聊天);分钟或小时(电子邮件、门户) | 电话平台;聊天平台;ITSM 工具时间戳 | 服务台 | 响应性工作约定 | 评审窗口内每日,趋势中每周 | 联系被自动问候语应答,或被转到安静的队列,或电话被接起后被搁置;电子邮件得到一个算作应答的自动回复 | 把时钟定义为首次人工响应,并在旁边跟踪放弃率和再联系 |
| 放弃率 | 在有人介入之前由用户结束的联系占比 | 在首次人工响应之前由用户结束的联系数 / 进入队列的联系数;在短暂宽限期内(在定义中说明,例如五秒)结束的联系被作为意外排除 | 百分比 | 电话平台;聊天平台 | 服务台 | 服务评审中的延迟代价信号 | 每周 | 来电者在进入队列之前就被挂断,宽限期被拉长,或一次回电提议被算作已应答的联系 | 应答时间百分位数、回电完成率,以及公布的宽限期 |
| 处理时间 | 服务台在一次联系上花费的时间 | 时钟在有人介入时启动,在其结束联系时停止,包括联系后的文档工作;等待用户的时间仅当定义这样说明时才计入;报告中位数和第 85 百分位数,按联系类型拆分 | 分钟 | 电话平台;聊天平台;ITSM 工具工作日志 | 服务台;事件管理 | 细化和容量规划中的付出信号 | 每周 | 通话被仓促处理、过早转接,或在问题解决之前结束;记录单薄;工作被挪到时钟排除的联系后时间 | 首次联系解决率、再联系率,以及由团队对文档质量的抽样评审 |
| 首次联系解决率 | 在首次联系时就解决、且之后没有就同一事项再联系的联系占比 | 在联系期间解决、且在再联系窗口内没有被同一用户就同一问题再次联系的联系数 / 合格的联系数;仅需转介的通话以及服务台不被期望解决的通话被排除 | 百分比 | ITSM 工具的解决和关联字段;收集到的用户确认 | 服务台;事件管理 | 完成定义检查,首次接触即解决 | 每月 | 无论结果如何都在通话期间关闭工单,对"同一事项"作狭窄理解,或把困难的联系归类为"不被期望解决" | 再联系率、单问题的用户确认,以及由团队对排除项的定期审计 |
| 再联系率 | 已解决的联系之后又就同一事项再次联系的占比 | 在再联系窗口内(例如七天,在定义中设定)被同一用户就同一服务或问题再次联系的联系数 / 先前期间已解决的联系数;关于新问题的联系被排除 | 百分比 | ITSM 工具的关联和重开历史;联系记录 | 服务台;事件管理 | 逃逸缺陷率 | 每月 | 要求用户为后续问题新开一张工单,或把后续记录在另一个类别下,使其无法关联 | 工具中的关联规则、对未关联重复联系的抽样审计,以及用户报告的解决情况 |
3.2 事件数量与优先级
所属主题:(见主题 3.2,事件数量与优先级)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 按服务的事件量 | 某期间内为某项服务打开的事件数 | 打开时间落在该期间内、归属于受影响服务的事件数;服务请求、合并到父记录的重复项,以及作为误提而取消的记录被排除 | 计数 | ITSM 工具的事件记录 | 事件管理 | 每个团队的生产缺陷或计划外工作项 | 每周,每月评审 | 把事件登记为请求、合并不相关的工单、不鼓励用户报告,或把重复项以"未发现故障"关闭 | 在事件量旁边显示用户报告的联系量和请求量;来自服务台的满意度和放弃率;抽查读起来像故障的请求 |
| 归一化事件率 | 事件相对于服务使用量的比率 | 期间内打开的事件数 / 同一期间和范围的使用量(活跃用户、会话或交易,按服务选定并记录)x 1,000;使用量必须来自事件工具之外的来源 | 每 1,000 个使用单位的事件数 | ITSM 工具加来自分析或监控的使用数据 | 事件管理;服务级别管理 | 每次发布或每个用户的缺陷密度 | 每月 | 选择能给出最佳数字的分母,或在期间之间更改使用量的定义 | 每项服务在登记册中记录固定的使用量度量;在比率旁边显示原始计数 |
| 优先级构成 | 打开的事件在各优先级上的占比 | 以打开时记录的优先级计的事件数 / 期间内打开的全部事件数,对每个级别显示;被重新分类的事件按打开时的优先级计,并按关闭时的优先级再显示一次 | 各级别的百分比 | ITSM 工具,包括优先级变更的历史 | 事件管理 | 缺陷的严重性分布;服务类别构成 | 每月 | 降低优先级以显得平静,或提高优先级以获得关注;给出低优先级以避开响应目标 | 优先级重新分类率;对照影响和紧急程度矩阵的每月抽样评审;客户报告的影响 |
| 优先级重新分类率 | 优先级在打开与关闭之间发生变化的事件占比 | 该期间关闭的事件中,关闭优先级与打开优先级不同的事件数 / 该期间关闭的事件数 | 百分比 | ITSM 工具的审计轨迹 | 事件管理 | 缺陷待办上的重新分诊率 | 每月 | 该变时不变优先级,使比率看上去稳定;只在关闭时更改以符合目标 | 抽查事件期间影响发生变化的记录;评审事件时间线 |
| 类别集中度 | 最大的几个类别所占的事件量比重 | 数量最多的前五个类别中的事件数 / 期间内全部已分类的事件数;未分类的事件作为其自身占比单独报告 | 百分比 | ITSM 工具的类别和服务字段 | 事件管理;问题管理 | 按组件或史诗划分的缺陷簇 | 每月 | 使用笼统的类别,或把一个大类别拆成几个来隐藏集中度 | 未分类和"其他"记录的占比;定期评审类别清单;对照解决备注检查类别 |
| 重复事件率 | 在规定窗口内,对同一服务、配置项和类别再次出现的事件占比 | 期间内,在前面的窗口内(例如 30 天,一次设定并记录)对同一服务、CI 和类别存在较早已关闭事件的事件数 / 期间内打开的事件数;被重开的记录算作重开,不算重复 | 百分比 | ITSM 工具和 CMDB 链接 | 事件管理;问题管理 | 回归或逃逸缺陷率 | 每月 | 用不同的措辞或 CI 开一个新事件以避开关联;过早关闭以避免重开 | 按文本和服务评审近似重复的记录;重开率;与问题记录的关联率 |
| 重开率 | 被重新打开的已关闭事件占比 | 该期间关闭、之后在规定窗口内(例如 7 天)被重新打开的事件数 / 该期间关闭的事件数 | 百分比 | ITSM 工具状态历史 | 事件管理 | 被重开的缺陷;返工 | 每月 | 要求用户开新工单而不是重开;迟迟关闭工单以避免重开 | 引用近期已关闭工单的新工单计数;客户对解决的确认;关闭时间分布 |
| 监控发现占比 | 在用户报告之前由监控首先发起的事件占比 | 首个事件是自动告警的事件数 / 期间内打开的全部事件数;由人依据告警打开的事件按告警时间计 | 百分比 | ITSM 工具,监控集成 | 监控与事态管理;事件管理 | 由告警驱动与由客户报告的缺陷 | 每月 | 创建自动打开事件的嘈杂告警,或让人们把用户报告重新标为告警 | 可操作告警占比等告警质量度量(见主题 5.5,监控与告警质量指标);事件来源审计 |
3.3 事件响应与解决时间
所属主题:(见主题 3.3,事件响应与解决时间)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 检测时间 | 在组织得知之前,故障影响用户多久 | 时钟在用户影响的第一刻启动(取自监控数据,或评审中记录的已确认影响开始时间);在首个告警或用户报告时停止。按服务报告中位数和第 95 百分位数。没有已知开始时间的事件被计数并单独报告,不被丢弃 | 分钟 | 监控和告警平台;带影响开始字段的事件记录 | 事件管理;监控与事态管理 | 可观测性和告警质量工作(见主题 5.5,监控与告警质量指标) | 每月 | 把影响开始设得比实际晚;放宽告警阈值,使更少的故障算作事件;只统计监控抓到的事件 | 首先由用户而不是监控报告的事件占比;对照监控数据定期评审影响开始的估计 |
| 确认时间 | 发起的告警或工单在有人认领之前等待多久 | 时钟在告警触发或工单登记时启动;在某位具名的人或团队接受它时停止。自动分派不会停止时钟。按优先级报告中位数和第 95 百分位数 | 分钟 | 寻呼工具;ITSM 工具分派历史 | 事件管理;服务台 | SRE 轮值中的值班响应 | 每月 | 自动分派或自动确认以停止时钟;确认告警之后却什么也不做 | 同一批事件的首次响应时间和恢复时间;抽查被确认后没有后续活动的告警 |
| 首次响应时间 | 用户等待第一个有用的人工答复多久 | 时钟在事件被登记时启动;在首条针对该报告的人工消息或行动时停止。自动确认和模板化回执被排除。说明工作时间时钟 | 分钟或工作小时 | ITSM 工具的沟通日志 | 服务台;事件管理 | 对用户的及时反馈,如工作约定中所述 | 每周 | 发送模板化或一个词的回复以停止时钟 | 评审首次回复样本是否有实质内容;重复联系和调查评论 |
| 恢复时间 | 用户有多久没有可用的服务 | 时钟在用户影响开始时启动;在用户能再次使用服务时停止,包括通过变通办法或回滚。稍后修复的原因不会延长它。按优先级和服务报告中位数和第 95 百分位数 | 分钟或小时 | 带影响开始和恢复时间戳的事件记录;监控 | 事件管理 | DORA 术语中的平均恢复时间,读作分布(见主题 2.8,DORA 指标) | 每月 | 在用户能使用之前就宣布服务已恢复;通过压制症状来恢复;把中断登记为计划内维护 | 窗口内的复发;恢复时间之后用户报告的影响;事后被重新标注的事件占比 |
| 解决时间 | 事件记录在被关闭之前开着多久 | 时钟在事件被登记时启动;在恢复及用户确认或合理等待之后被关闭时停止。处于"等待客户"的时间显示为单独报告的占比,不从头条数字中扣除。按优先级报告中位数和第 95 百分位数 | 小时或工作小时 | ITSM 工具状态历史 | 事件管理 | 计划外工作的周期时间(见主题 2.2,前置时间、周期时间与流动效率) | 每月 | 把工单移到"等待客户"或"搁置";在一次联系尝试后关闭;把事件拆成子项,以便提前关闭父项 | 处于暂停状态的时间占比;重开率;最老未关闭事件的年龄;阅读关闭备注的样本 |
| 最老未关闭事件的年龄 | 最久未关闭的事件已经开了多久 | 对每个未关闭事件,现在减去登记时间,按优先级列出最老的几个。不扣除暂停状态 | 天 | ITSM 工具的未关闭事件清单 | 事件管理 | 团队看板上的工作项年龄(见主题 2.1,流动度量) | 每周 | 关闭并重新提出最老的工单;把它重新归类为问题或请求,以将其从清单中移除 | 把重复项关联到原始记录并报告关联年龄;每个期间转为问题或请求的事件计数 |
| 活跃时间占比 | 事件的经过时间中花在积极工作而不是等待上的比例 | 处于活跃状态的时间之和 / 从登记到关闭的总时间,针对该期间关闭的事件。活跃状态指有人正在处理事件的状态;等待状态在定义中列出 | 百分比 | ITSM 工具状态历史 | 事件管理 | 流动效率(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 | 记录简短而无意义的工作,把时间标为活跃;不付出力气就移入活跃状态 | 把活跃时间与恢复时间等成果比较;抽查工作备注 |
| 重新分派次数 | 事件在恢复之前换了多少次所属团队 | 从登记到恢复期间分派组的变更次数,汇总为中位数和有三次或更多次变更的事件占比。按服务和优先级计,绝不按坐席计 | 计数 | ITSM 工具分派历史 | 事件管理;服务台 | 交接次数(见主题 9.3,协作与交接指标) | 每月 | 在同一个团队内重开,而不是传递出去;通过旁路渠道传递工作,使工具里没有交接 | 恢复时间和用户满意度;定期观察工作如何在团队之间移动 |
3.4 重大事件指标
所属主题:(见主题 3.4,重大事件指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 重大事件数 | 某期间内按服务宣布的重大事件数 | 满足宣布标准并在该期间内(按宣布时间)被宣布的事件数,按服务;在头一个小时内被降级的事件单独列出并被排除 | 每季度的计数 | 带重大事件标记的 ITSM 工具事件记录 | 事件管理 | 团队或服务健康评审 | 月度报告,季度趋势 | 提高宣布门槛,让事件停留在"高"优先级而从不宣布,把一起事件拆成几条记录,或把几起合并为一起 | 固定、带版本的标准;每季度抽查高影响的普通事件;在计数旁边跟踪客户影响和宣布时间 |
| 重大事件持续时间 | 客户受影响的时间 | 每起事件的服务恢复时间减去影响开始时间。影响开始是监控中最早的证据或首次用户报告,以较早者为准。部分恢复被记录为它自己的事件,完全恢复使时钟停止 | 每起事件的分钟数 | 监控时间线、ITSM 工具中的事件时间线 | 事件管理;服务级别管理 | 交付度量中的恢复时间(见主题 2.8,DORA 指标) | 每起事件;长窗口的中位数和最大值按季度 | 把时钟重置到较晚的影响开始,在用户仍然失败时宣布"已恢复",或关闭并重开一条新记录 | 影响开始取自监控;用面向用户的指标确认恢复;被重开和关联的记录算作一起事件 |
| 宣布时间 | 从影响开始到宣布重大事件之间的延迟 | 每起事件的宣布时间减去影响开始时间。从未被宣布的事件,由对普通高影响事件的季度评审发现,并以宣布时间"不适用(从未宣布)"计入 | 每起事件的分钟数 | 监控时间线、ITSM 工具审计轨迹 | 事件管理;监控与事态管理 | 团队工作约定中升级的就绪定义 | 每起事件 | 对一切事件都提前宣布以显得快,或把宣布时间倒填到影响开始 | 后来被降级的已宣布事件占比;宣布时间的审计轨迹;对照原始监控抽查时间线 |
| 客户影响 | 有多少用户、多少使用量受到影响 | 每起事件的受影响用户数(或失败请求数)乘以受影响的分钟数。只统计在影响窗口内尝试使用服务的用户。计划内维护被排除 | 用户分钟,或失败请求 | 服务遥测、支持联系记录 | 服务级别管理;事件管理 | 面向用户的服务级别指标(见主题 5.2,SLI、SLO 与错误预算) | 每起事件 | 缩小"受影响"的定义,只统计提了工单的用户,或度量一个仍然正常的依赖 | 影响既由遥测也由联系得出;在事件评审时评审一段平实语言的影响陈述 |
| 沟通及时性 | 受影响各方是否被及时告知 | 在宣布后目标时间内发出首次面向客户通知的重大事件占比,以及在约定间隔内发出计划更新的占比。时钟从宣布开始。仅限内部的信息被排除 | 事件百分比;更新百分比 | 状态页历史、ITSM 工具中的沟通日志 | 事件管理;服务级别管理 | 团队工作约定中的利益相关方沟通 | 每起事件;季度汇总 | 发布含糊的通知以启动时钟,发送没有内容的更新,或把内部消息计入 | 抽查更新的内容;客户对清晰度的反馈;只计面向客户的通知 |
| 评审完成及时性 | 评审是否进行得足够早而有用 | 在恢复后约定的工作日数内发布了评审的重大事件占比。时钟在发布时停止,而不是在初稿时。仍在窗口之内的事件被排除 | 百分比 | 评审库、ITSM 工具 | 持续改进;问题管理 | 改进跟进 | 每季度 | 为赶日期而发布单薄的文档,或宣称评审"不需要" | 同行对样本的评审质量阅读(见主题 4.2,事后复盘与学习指标);显示被豁免的评审占比 |
| 行动项跟进率 | 评审的行动是否被完成 | 按期完成的评审行动数 / 该期间到期的评审行动数。以"不做"关闭的行动单独计数并附理由,不被隐藏 | 百分比;逾期计数 | 与评审相联的问题跟踪系统 | 持续改进;问题管理 | 来自回顾会议的待办项 | 每月 | 写含糊或琐碎、容易关闭的行动,不做工作就关闭行动,或把它们重新标为"不做" | 抽查行动质量;对照系统变更核实已关闭的行动;评审"不做"的占比和理由 |
| 重复的重大事件率 | 同一原因的再次发生 | 该期间内记录的原因与前十二个月内较早某起重大事件相符的重大事件数 / 该期间的重大事件数。匹配按原因字段,人工评审 | 百分比,并显示计数 | 评审记录、问题记录 | 问题管理 | 待办中的预防工作 | 每季度 | 通过选用不同的措辞把每个原因记为新的,或把一切归于"人为错误" | 带定义的简短原因分类;由事件之外的人评审原因字段;没有系统性解释,"人为错误"不被接受为原因 |
3.5 服务请求履行指标
所属主题:(见主题 3.5,服务请求履行指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 请求履行时间 | 交付一项请求的经过时间,按每个目录项显示中位数和第 95 百分位数 | 时钟在用户提交请求时启动,在用户确认交付或交付被记录时停止;被用户取消的请求被排除;等待用户的时间单独报告,不被扣除 | 工作日或小时 | ITSM 工具的请求历史 | 服务请求管理 | 团队看板上的周期时间(见主题 2.2,前置时间、周期时间与流动效率) | 每周,每月趋势 | 无论用户是否是原因都为"等待用户"而暂停时钟;在交付之前关闭请求,再以新请求重开;把一个请求拆成几个小的 | 按项目的暂停时间占比,并抽样审计暂停理由;重开率;关闭前用户对交付的确认 |
| 目标内履行率 | 在为其目录项约定的目标内交付的请求占比 | 目标内履行的请求数 / 该期间履行的请求数;时钟同上,仍然未关闭的项目被排除,并计入待办年龄 | 百分比 | ITSM 工具的请求历史;目录项目标表 | 服务级别管理 | 服务级别期望 | 每月 | 把目标重新定义得更容易;只统计完成的请求而忽略老的未关闭请求;为目标集挑选速度快的项目 | 未关闭请求的待办年龄;对目标的更改连同理由记录在指标登记册中;目标集按数量涵盖所有项目 |
| 请求待办与年龄 | 按目录项,未关闭请求的数量以及最老的有多老 | 期末的未关闭请求数(计数);每个未关闭请求的年龄 = 报告日期减提交日期;报告计数、年龄中位数和最老年龄 | 计数和天 | ITSM 工具的未关闭请求队列 | 服务请求管理 | 在制品和老化的工作项(见主题 2.3,在制品与排队) | 每周 | 以"无回应"或"陈旧"为由关闭旧请求;把请求移到另一个队列或类别,使其离开被计数的队列 | 未经交付就关闭的请求计数,按理由;在月度会议上评审类别和队列的转移 |
| 批准等待时间 | 请求等待批准所花的时间 | 时钟在请求批准时启动,在批准被授予或被拒绝时停止;没有批准步骤的请求被排除 | 小时 | ITSM 工具的批准日志 | 服务请求管理;变更赋能 | 看板上的受阻时间或"等待"列 | 每月 | 批准人不读就批准以节省自己的时间;请求者在系统之外追着批准人,使记录的等待很短 | 对照政策抽查被批准的请求;被批准项目的重开率和安全例外;每个项目的批准步骤数 |
| 按目录项的请求量 | 每个项目提交的请求数,及其占全部请求的比重 | 该期间每个项目提交的请求数;若能识别,作为重复而重新提交的请求被排除;报告计数和占总数的比重 | 计数和百分比 | ITSM 工具的请求记录 | 服务目录管理 | 为待办塑形而作的需求分析 | 每月 | 通过让目录更难找到或不鼓励请求来降低数量;把请求重新归类为事件或"一般咨询" | 目录的用户满意度;被归类为"其他"的联系占比;服务的采用数据(见主题 6.3,服务采用与目录指标) |
| 自动化占比 | 提交之后无人工步骤即履行的请求所占的部分 | 由自动化端到端履行的请求数 / 该期间履行的请求数;任何履行步骤经人工接触的请求都算作人工;若政策要求,由人作出的批准不算作人工履行步骤 | 百分比 | ITSM 工具的履行记录和自动化平台日志 | 服务请求管理;服务价值链中的自动化 | 完成定义中的自动化 | 每月 | 自动化琐碎的项目以抬高百分比;把仍由人手工检查的脚本化请求算作自动化;把人工步骤藏在单独的工单里 | 按请求量和消除的实际处理时间加权的占比;自动化失败和回退为人工的比率;对"自动化"请求做端到端追踪的抽样 |
| 请求重开率 | 因结果有误或不完整而被用户重新打开或重新提出的已履行请求所占比例 | 履行后 7 天内被同一用户就同一项目重新打开或重新提出的请求数 / 该期间履行的请求数;7 天窗口是团队写下的一个示例 | 百分比 | ITSM 工具的请求历史 | 服务请求管理 | 返工率;缺陷逃逸 | 每月 | 通过让重开变得困难来不鼓励重开;告诉用户开一个新请求,这会重置计数 | 同一用户在窗口内就同一项目的重复请求;按项目的用户满意度;允许从通知中重开 |
3.6 知识管理指标
所属主题:(见主题 3.6,知识管理指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 知识链接率 | 在解决的那一刻至少附有一篇知识文章的已解决案例占比 | 该期间已解决、至少有一篇关联文章的案例数 / 该期间已解决的案例数。按解决日期计;重大事件、以重复关闭的案例,以及未经人工处理而自动关闭的案例被排除 | 百分比 | ITSM 工具:案例与文章的关联表 | 知识管理;事件管理 | 完成的定义包括捕获所学到的东西 | 团队每周;评审每月 | 在关闭前给每个案例附上一篇文章,往往是通用的或非常热门的;事后批量链接 | 链接案例的月度相关性抽样;指向同样几篇文章的链接占比;链接时间戳对解决时间戳 |
| 复用比 | 文章链接中指向已有文章而不是在该案例期间创建的文章的占比 | 指向在案例打开之前就已存在的文章的链接数 / 该期间已解决案例上建立的全部文章链接数。案例关闭之后才添加的链接被排除 | 百分比 | ITSM 工具:文章创建日期对案例打开日期 | 知识管理;持续改进 | 复用胜过返工;代码及其文档的共同所有权 | 每月 | 为每个案例创建一篇新文章,再立即链接它,使它在下一次算作复用;或从不创建,使比率看上去完美 | 通过定期搜索发现的重复文章率;以"不存在文章"为理由关闭的案例占比 |
| 文章新鲜度 | 在说明的评审窗口内被评审、或被使用并确认无误的在用文章占比 | 评审或确认使用日期在窗口内的在用文章数 / 在用文章数。若一篇文章在过去 12 个月内(团队的选择)被关联到案例或被读者查看过,则为在用;草稿和已退役的文章被排除 | 百分比 | 知识库元数据和查看日志 | 知识管理;服务台 | 文档的待办细化;回顾会议的行动 | 每月 | 不检查就把文章标为已评审;通过琐碎的编辑重置评审日期;只统计容易评审的文章 | 对近期已评审文章对照真实服务测试的样本;同一批文章的有帮助率和书面评论 |
| 零结果搜索率 | 没有返回任何文章的知识搜索占比 | 零结果搜索数 / 全部搜索数。机器人和自动检查所作的搜索被排除;一分钟内重复的搜索只计一次 | 百分比 | 知识库或门户的搜索日志 | 知识管理;服务台;服务请求管理 | 未满足用户需求的发现;待办输入 | 每周 | 添加能匹配任何查询的含糊或笼统文章;堆砌关键词;把难办的搜索词排除出日志 | 点击之后短期内就同一话题的联系;有帮助率;人工阅读热门搜索词 |
| 有帮助率 | 读者反馈中说文章有帮助的占比,连同回复率一起显示 | 有帮助票数 /(有帮助票数 + 无帮助票数),针对该期间的文章;回复率 = 反馈票数 / 文章查看数 | 百分比,附回复率 | 知识库反馈小部件和查看日志 | 知识管理;客户体验 | 利益相关方对文档的评审反馈 | 每月 | 只提示满意的读者去投票;隐藏"无帮助"选项;由团队内部投票 | 在比率旁边显示回复率和回复者构成;书面评论;阅读文章之后的联系率 |
| 发布时间 | 从文章草稿被创建,到其被评审并对其受众可见的经过时间 | 时钟在草稿创建时启动,在发布(或首次获批的可见状态)时停止。处于"搁置,等待产品发布"状态的时间被排除;报告中位数和第 85 百分位数 | 天(中位数和第 85 百分位数) | 知识库工作流历史 | 知识管理 | 工作项从开始到完成的前置时间(见主题 2.2,前置时间、周期时间与流动效率) | 每月 | 发布单薄的草稿来停止时钟;把一篇文章拆成几块;把草稿移到时钟排除的状态 | 近期已发布文章的相关性和有帮助率;处于被排除状态的草稿的数量和年龄 |
| 贡献广度 | 文章创建和改进在团队中的分布,度量时不点名 | 该期间创建或改进过文章的不同贡献者数 / 该期间解决过案例的团队成员数。仅针对团队报告,绝不作为姓名清单 | 百分比 | 与团队成员关系相联的知识库编辑历史 | 知识管理;持续改进 | 集体所有权;结对和群集协作 | 每季度 | 作琐碎的编辑,使每个人都显得是贡献者;要求人们增加一句话以满足配额 | 抽查编辑的大小和实质;所贡献文章的复用和有帮助率;报告中不含姓名 |
3.7 自助服务与自动化指标
所属主题:(见主题 3.7,自助服务与自动化指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 自助服务成功率 | 用户的需求在没有人员联系的情况下得到满足的自助服务会话占比 | 以完成的成果结束(请求已提交并履行、文章被标为有帮助、重置已完成),且在 7 天内没有就同一需求发生人员联系的会话数,除以所有开始了某项任务的会话数。时钟在门户中第一次有意义的操作时启动,在完成或放弃时停止。机器人流量、测试账户和纯浏览被排除 | 百分比 | 门户和身份日志、工单系统、会话分析 | 服务请求管理;知识管理 | 客户反馈回路;基于成果的验收标准 | 每月 | 把任何完成的表单或任何页面浏览算作成功;分数下降时移除"这有帮助吗"的提示;把难的话题排除出分母 | 掉落率以及由人阅读已关闭会话的样本;报告分母规则 |
| 估计分流率 | 在 0 级被解决、而本会到达人员的需求的估计占比 | 比较某项服务在自助服务变更前后每 1,000 个活跃用户的联系率,或对照一个对照组,并针对已知的需求变动调整。陈述为估计并指明方法。转到另一个渠道的联系被排除 | 百分比(估计) | 工单系统、用户人口计数、实验或队列数据 | 服务台;事件管理 | 带对照组的实验;A/B 测试 | 每季度 | 隐藏联系路径;在联系之前增加步骤;不论原因,把所有减少的工单都归类为分流 | 每 1,000 个活跃用户的联系数、受影响服务的用户满意度,以及写在数字旁边的方法 |
| 掉落率 | 失败的自助服务尝试中,以就同一需求的人员联系而告终的占比 | 在同一用户就同一话题的被放弃或不成功的自助服务会话之后 7 天内打开的人员联系数,除以不成功的会话数。时钟在会话结束时启动。无关的联系被排除 | 百分比 | 在用户和话题上与工单系统相连的门户日志 | 服务台;知识管理 | 完成定义中的升级路径;来自支持的反馈 | 每月 | 把匹配窗口定得很短,使回流落在窗口之外;把后续联系作为重复关闭 | 跨所有渠道的重复联系率;评审回流联系的样本 |
| 自助服务采用率(门户优先占比) | 通过自助服务渠道提出的合格请求和事件报告所占比例 | 通过门户、机器人或 API 创建的项目数,除以提供自助服务路径的目录条目的全部项目数。没有自助服务路径的项目被排除 | 百分比 | 工单系统渠道字段、目录配置 | 服务请求管理;服务目录管理 | 发布之后的采用跟踪 | 每月 | 不管是否合适都强制把所有请求放进门户;把电话创建的工单重新标为门户工单 | 自助服务成功率和用户付出的力气;没有可用门户路径的请求占比 |
| 自动化覆盖率 | 由自动化无手工步骤完成的合格重复性工作的占比 | 由自动化流程端到端完成的项目数,除以被判定为可自动化的类型的全部项目数。只有书面的候选清单点名的类型才算可自动化。一次性工作和自动化拒绝的项目被排除 | 百分比 | 工单系统、自动化平台日志、候选清单 | 服务请求管理;部署管理 | 完成定义的自动化;流水线即代码 | 每月 | 为候选清单挑选容易的项目;用琐碎的任务扩大分母;把部分手工的流程算作自动化 | 每季度评审的书面候选清单;自动化失败与返工率;剩余项目的人工接触时间 |
| 自动化失败与返工率 | 失败、需要人工修复,或产生了之后被更正的结果的自动化运行占比 | 出错、被回滚,或在 7 天内被人工修复所跟进的自动化运行数,除以全部自动化运行数。时钟在运行开始时启动。计划内的演练运行被排除 | 百分比 | 自动化平台日志、工单系统、变更记录 | 变更赋能;事件管理 | 变更失败率;构建和测试稳定性 | 每周 | 把人工修复排除出计数;让失败的运行悄悄重试直到成功;把失败标为"计划内演练运行" | 与流程相联的事件和告警记录;检测失败运行的时间;对结果的抽样审计 |
| 每种请求类型的人工接触时间 | 花在作为自动化候选的请求类型上的人员工作量 | 期间内人员在该类型项目上记录的实际处理分钟数,按每项汇总为中位数和第 85 百分位数。未记录时间之处通过抽样估计。等待时间被排除 | 每项分钟数 | 时间抽样、工单工作日志 | 服务请求管理 | 琐务跟踪;价值流中的浪费 | 每季度 | 不记录看似手工的项目的时间;把时间分派给另一个类别;只在安静的日子抽样 | 书面并评审抽样计划;与同类型的周期时间和队列年龄比较 |
| 层级分布(左移占比) | 项目在支持链条中的哪个位置被解决 | 在各层级(0、1、2、3)被解决的项目数,除以该期间全部已解决项目数。层级是做过实际处理的最高层。在分诊前取消的项目被排除 | 按层级的百分比 | 工单系统的解决组和分派历史 | 事件管理;服务台 | 群集协作和升级的模式;跨职能团队 | 每月 | 通过重新分类升级,或在 1 级关闭项目并在 2 级作为新项目重开,来提高在 1 级解决的占比 | 重开率和关联工单率;解决质量的抽样;按层级的客户满意度 |
第 4 部分:问题、变更与发布指标
4.1 问题管理指标
所属主题:(见主题 4.1,问题管理指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 问题的打开与关闭 | 按服务,进入和离开打开状态的问题记录之流 | 该期间打开的数量和该期间关闭的数量,各按关闭代码(已修复、接受风险、重复、无法复现);重复的被显示,但从"已修复"计数中排除 | 每期间的计数 | ITSM 问题记录 | 问题管理 | 待办的流入和吞吐 | 每月 | 打开许多琐碎的记录;把一个问题拆成几个;以重复或"无法复现"关闭记录来清空清单 | 关闭代码构成;修复后复发率;每季度阅读一份已关闭记录的样本 |
| 问题待办年龄 | 打开的问题已经等了多久 | 对每个打开的问题,快照日期减去记录的创建日期;按优先级报告打开问题的中位数、第 85 百分位数和最老的 | 天 | ITSM 问题记录 | 问题管理 | 看板上的工作项年龄 | 每月 | 不修复就关闭最老的记录;作为新记录重开以重置时钟;把问题重新分类为请求 | 把新记录与其原始记录关联,并从第一条记录起报告年龄;按理由列出的关闭清单;对接受风险的评审 |
| 事件到问题的链接率 | 在预期应有的地方,指向某个问题或已知错误的事件占比 | 该期间有关联问题或已知错误的事件数 / 该期间优先级为高及以上、或被重开、或属于重复类别的事件数;以用户错误或重复关闭的事件被排除 | 百分比 | ITSM 事件和问题记录 | 事件管理;问题管理 | 回顾会议中的模式发现 | 每月 | 把每起事件关联到一个含糊的笼统问题以提高比率 | 指向最大五个问题的链接占比;检查链接是否真正匹配的样本;关联症状的复发 |
| 根本原因时间 | 一个已诊断的问题要花多久才达到有记录的原因 | 时钟在问题记录创建时启动,在原因被记录且第二个人评审过时停止;未经原因而关闭的问题被排除并单独计数;报告中位数和第 85 百分位数 | 天 | ITSM 问题记录及其审计轨迹 | 问题管理 | 探针或调查的时间盒 | 每月 | 记录一个快速而肤浅的原因来停止时钟;写"人为错误";跳过第二位评审者 | 修复后复发率;不单独接受"人为错误"的原因分类法;对照证据评审一份原因样本 |
| 已知错误复用率 | 事件到来时,已知错误被使用的频率 | 以关联已知错误或其变通办法而解决的事件数 / 该期间症状与当时已存在的已知错误相符的事件数;没有匹配已知错误的事件被排除 | 百分比 | ITSM 事件链接;知识文章的使用 | 知识管理;问题管理 | 团队运行手册或行动手册的使用 | 每月 | 统计在事件关闭之后才添加的链接;把一个已知错误加到某项服务的每起事件上 | 事件关闭与链接之间的时间;响应者对条目是否有帮助的反馈;对 90 天内未被使用的条目的评审 |
| 永久修复时间 | 一个问题从诊断到修复在生产环境中运行,暴露了多久 | 时钟在原因被记录时启动,在关联的修复变更被实施并确认时停止;以接受风险关闭的问题被排除并单独计数;报告中位数和第 85 百分位数 | 天 | 问题记录;变更记录或流水线部署事件 | 问题管理;变更赋能 | 修复项的周期时间 | 每月 | 在修复被验证之前就把变更标为已实施;以接受风险关闭来避免这项工作 | 修复后复发率;带负责人和评审日期的接受风险清单;时钟停止之前的验证步骤 |
| 修复后复发率 | 已修复问题中,其关联症状又回来的占比 | 在某个队列季度中以已修复关闭、且在修复上线后 90 天内出现新的匹配事件的问题数 / 该季度以已修复关闭的问题数;90 天窗口是一个示例,并在图表上标明 | 百分比 | ITSM 事件和问题记录;部署事件 | 问题管理;持续改进 | 逃逸缺陷或回归率 | 每季度 | 把症状定义得很窄,使复发不匹配;放宽关闭窗口,使修复落入更早的队列;延迟链接 | 由所属团队之外的人评审的原因分类法;事件链接率;预先说明的固定窗口 |
| 仅有变通办法的占比 | 仅由变通办法保护的已知问题占比 | 处于已知错误状态且没有计划修复的打开问题数 / 处于已知错误状态的打开问题数;有指名负责人和评审日期的接受风险问题,作为单独的一组显示 | 百分比 | ITSM 问题记录 | 问题管理;风险管理 | 技术债务登记册 | 每月 | 排定一个没有真实日期的占位修复;把问题移到接受风险;降低问题的优先级 | 已经延误的计划修复的年龄;由指名的高管负责人评审的接受风险清单;按问题的重复事件成本 |
4.2 事后复盘与学习指标
所属主题:(见主题 4.2,事后复盘与学习指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 评审覆盖率 | 获得了已完成评审的合格事件占比 | 在约定窗口内有已发布评审的合格事件数 / 该期间关闭的合格事件数。合格事件是满足书面触发条件的事件。窗口之内、到期末仍未关闭的事件被排除。 | 百分比 | 与评审库关联的 ITSM 工具事件记录 | 事件管理;问题管理 | 常规团队反思;团队工作协议 | 每月 | 收窄触发条件;降低严重级别,使事件落在触发条件之外;提交一行字的"评审"来打勾 | 评审质量分;把事件严重级别的计数与客户报告的影响比较;审计降级 |
| 评审质量分 | 已发布的评审是否达到一份简短的书面标准 | 样本中至少满足清单[约定数量]项的评审数 / 样本中的评审数。样本是每季度随机抽取的固定数量的评审,由所属团队之外的人评分。 | 百分比 | 评审库的季度样本及评分表 | 持续改进;问题管理 | 评审的完成定义 | 每季度 | 用套话对照清单写作;由所属团队评分;可预测的样本 | 外部评分者;随机样本;每季度大声读两份评审;跟踪高分评审的行动是否完成 |
| 行动关闭率 | 评审的行动中按截止日期完成的占比 | 按截止日期完成或正式拒绝(附理由)的行动数 / 该期间到期的行动数。时钟在评审发布时启动,在所属团队标记行动完成且评审者确认时停止。以"不做"关闭的行动单独统计并报告。 | 百分比 | 与评审关联的团队待办或 ITSM 改进登记册 | 持续改进;问题管理 | 团队待办;改进行动 | 每月 | 把截止日期定得很远;把行动拆成琐碎的碎片;不经验证就关闭行动;宣布"不做"来清空清单 | 打开行动的年龄;带理由的被拒绝占比;评审者确认变更有效;原因复发率 |
| 打开行动的年龄 | 仍然打开的评审行动的年龄 | 对每个打开的行动,今天减去其评审的发布日期。报告中位数、第 85 百分位数和最老的。 | 天 | 团队待办或改进登记册 | 持续改进 | 工作项年龄;老化的在制品 | 每月 | 关闭再重开,或重新创建行动来重置年龄;把行动移到单独的"想法"清单 | 把新行动与起源的评审关联,并保留第一个日期;移到想法清单的行动计数 |
| 原因复发率 | 其原因类别与同一服务较早事件相符的事件占比 | 该期间中,其主要原因类别与同一服务过去十二个月内已关闭的某次评审相符的事件数 / 该期间有记录原因类别的事件数。没有记录原因类别的事件被排除并单独计数。 | 百分比 | 与事件记录关联的评审库原因类别字段 | 问题管理;事件管理 | 逃逸缺陷分析;回顾会议的主题 | 每季度 | 记录含糊或不断变化的原因类别,使没有任何东西匹配;使用宽泛的"其他"类别;把重复关联到另一个类别 | "其他"中的事件占比;定期按类别重读评审;评审类别清单本身 |
| 未遂事件上报率 | 人们选择上报的未遂事件和微弱信号的数量 | 该期间记录的未遂事件数 / 活跃服务数,按服务显示趋势,绝不按人。在一个健康项目的早期,这个比率应当上升,然后趋于平稳。 | 每项服务的计数 | 未遂事件日志,或问题跟踪器中的标记字段 | 事件管理;风险管理 | 团队健康检查;障碍板 | 每月 | 为达到数字而要求报告;记录琐碎的事件;或者反过来,把这个数字读作失败而压制报告 | 带来变更的未遂事件占比;不对计数设目标;来自敢说话的脉搏的反馈 |
| 学习的触达范围 | 一次评审传播到写它的团队之外有多远 | 在发布后[约定天数]内,在所属团队之外被介绍或讨论(共享论坛、跨团队会议,或依赖团队的有记录的阅读)的评审数 / 该期间发布的评审数 | 百分比 | 论坛或会议记录及评审库 | 持续改进;知识管理 | 利益相关方评审;实践社区 | 每季度 | 把名字加进分发清单;在出席很差的会议上介绍;把点击链接算作阅读 | 出席情况或实际的讨论记录;问依赖团队在上次评审之后改变了什么 |
| 回顾会议行动的结转 | 在下一次回顾会议之前完成的团队回顾行动占比 | 在下一次回顾会议之前完成的回顾行动数 / 上一次回顾会议约定的回顾行动数。附理由被有意放弃的行动,从两个计数中都去掉。 | 百分比 | 保存在团队待办中的回顾会议记录或看板 | 持续改进 | 常规团队反思 | 每个评审期,每季度评审 | 只同意容易完成的琐碎行动;跳过回顾会议;把条目标为完成 | 团队判断的行动影响;回顾会议举行率;同一主题是否连续数周出现 |
| 敢说话的脉搏 | 人们是否相信自己可以描述错误而不被责备 | 在一组简短的匿名问题(例如"我可以在评审中描述一个错误而不担心被责备")上,回答达到或超过[约定水平]的占比 / 收到的回答数。脉搏只对大到足以保护匿名性的群体报告。 | 百分比 | 匿名脉搏调查 | 持续改进;组织变革 | 团队健康检查;心理安全检查 | 每季度 | 向回答者施压;只调查有信心的人;报告掩盖了低分群体的平均值 | 回复率和回答者构成;最小群体规模;完整阅读开放式评论;评审的语言是否改变 |
4.3 变更赋能指标
所属主题:(见主题 4.3,变更赋能指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 按类型的变更数量 | 完成的变更数量,按标准、常规和紧急划分 | 该期间达到已实施状态的变更记录数,按批准时的类型分组;已取消和已撤回的变更被排除并单独报告;按服务报告,不按人 | 每周或每月的变更数,按类型 | ITSM 工具中的变更记录,与流水线部署事件关联 | 变更赋能 | 完成的工作项的吞吐;每个增量的发布内容 | 每周,每月评审 | 把一个变更拆成许多小记录以显得忙碌,把许多合成一个以显得平静,或让非正式的变更不入账 | 每月对照流水线部署事件核对计数;跟踪没有匹配变更记录的部署占比 |
| 标准变更占比 | 走预先授权路径的已完成变更占比 | 该期间完成的标准变更数 / 该期间完成的全部变更数;事后被重新分类的变更按其最终类型计数,并记录重新分类 | 百分比 | 带类型和重新分类历史的变更记录 | 变更赋能 | 团队工作协议和完成定义所涵盖的例行工作 | 每月 | 为达到目标而把有风险的工作重新分类为标准,或写下涵盖一切的宽泛标准程序 | 对分类的季度样本评审;按类型的变更失败率(见主题 4.4,变更失败与返工);重新分类的日志 |
| 批准前置时间 | 变更等待授权决定的时间 | 时钟在请求作为可供评估而提交时启动,在授权决定被记录时停止;等待请求人提供信息的时间被排除并单独显示;报告该期间常规变更的中位数和第 85 百分位数;没有批准步骤的标准变更被排除 | 小时或工作日 | 变更记录或流水线批准事件上的时间戳 | 变更赋能 | 工作流中的等待时间;在评审列中的时间 | 每周,每月评审 | 晚启动时钟、早停止时钟、为不需要问的问题暂停时钟,或不读就批准 | 中位数旁边的第 85 百分位数;对批准实质的抽样评审;按批准人群体、绝不按个人的变更失败率 |
| 自动批准占比 | 由流水线控制或预先授权的政策作出并记录的授权决定占比 | 其批准由有记录的自动检查、或依据书面政策的有记录的同行评审授予的变更数 / 该期间完成的全部变更数;由委员会或经理手工签字的,算作非自动 | 百分比 | 流水线日志、代码评审记录和变更记录 | 变更赋能;部署管理 | 自动化质量门禁;作为完成定义一部分的同行评审 | 每月 | 增加总是通过的自动检查,或把没有评论的同行评审算作保证 | 对自动批准和同行批准的抽样评审;自动批准变更的逃逸缺陷和失败率;绕过计数 |
| 批准队列年龄 | 待处理请求此刻已经等了多久 | 当前正在等待决定的每个变更的年龄,从提交到快照的时刻;报告最老的项目和打开队列的第 85 百分位数;已完成的批准被排除 | 小时或工作日 | 带有打开批准状态的变更记录 | 变更赋能 | 工作项年龄;老化的在制品 | 每日快照,每周评审 | 关闭或撤回旧请求使队列显得很短,或把它们移到带新时间戳的新请求 | 撤回和重新提交的请求计数;从首次提交起度量的请求年龄 |
| 变更记录完整性 | 其记录能回答谁、什么、为什么、何时以及哪项服务的已完成变更占比 | 所有必填字段都已填写、并与受影响的服务或配置项关联的变更数 / 该期间完成的全部变更数;必填字段列在定义中;在变更实施之后才创建的记录被标出 | 百分比 | 变更记录、版本控制链接、配置数据 | 变更赋能;服务配置管理 | 从提交到工单再到部署的可追溯性 | 每月 | 用占位文本填写必填字段,或为满足报告而在变更之后创建记录 | 标出在实施之后创建的记录;对自由文本做抽样质量评审;链接到提交的比率 |
4.4 变更失败与返工
所属主题:(见主题 4.4,变更失败与返工)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 变更失败率 | 导致服务降级或需要补救的生产变更占比 | 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更数 / 该期间完成的全部生产变更数;窗口从变更完成时开始,在固定天数(例如 7 天)之后结束,写入指标登记册;仍在窗口之内的变更单独报告,并在窗口关闭之前从比率中排除 | 百分比 | 与事件工具和热修复清单关联的变更记录或部署日志 | 变更赋能;事件管理 | 完成的定义;逃逸缺陷 | 每月,按 90 天滚动窗口 | 收窄失败窗口;不把事件关联到变更;把糟糕的变更归类为"服务请求"或"维护";向前修复并称之为新变更;把许多修改捆绑成一个变更,使一次失败覆盖它们 | 变更到事件的链接率;对照事件清单的季度样本审计;失败定义的一致性;旁边显示前置时间和部署频率 |
| 紧急变更占比 | 通过紧急路径做出的变更占比 | 记录为紧急的变更数 / 该期间完成的全部变更数;紧急是指因紧迫而绕过或缩短了正常评估,预先授权的标准变更从两个计数中都排除 | 百分比 | 变更记录的类型字段 | 变更赋能 | 计划外工作和加急服务类别 | 每月 | 用虚假的风险评级让紧急工作走标准路径;把普通工作当作紧急以避开批准;把一个紧急变更拆成几个常规变更 | 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能指标) |
| 回滚率 | 被还原到先前版本的变更占比 | 在到达生产环境之后被还原的变更数 / 该期间全部生产变更数;在变更到达任何用户之前做出的回滚(例如金丝雀在第一步就被停止)单独统计 | 百分比 | 部署日志和发布工具 | 发布管理;部署管理 | 流水线和发布实践 | 每月 | 向前修复以避免记录回滚;让坏掉的版本一直在线;把变更压在生产之外,使没有东西可还原 | 旁边显示热修复率和返工率;恢复时间的分布;对照部署日志的事件样本 |
| 热修复率 | 在正常发布流程之外应用的紧急补丁的变更占比 | 被标记或分支为热修复的变更数 / 该期间全部生产变更数;分母包括热修复本身 | 百分比 | 版本控制的分支或标签及部署日志 | 变更赋能;事件管理 | 计划外工作;加急 | 每月 | 不给热修复打标签;通过正常分支推送;把热修复称为"一个小改进" | 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作) |
| 部署返工率 | 作为对较早部署中问题的计划外修复的部署占比 | 在同一失败窗口内,修复近期较早部署中的缺陷或失败的生产部署数 / 该期间全部生产部署数;来自路线图的计划内后续工作被排除 | 百分比 | 带"修复"链接或标签的部署日志,以及工作跟踪器 | 变更赋能;持续改进 | 返工;逃逸缺陷;失败需求 | 每月 | 不把修复关联到原始部署;把修复标为"计划内";把修复与新功能捆绑 | 纠正性部署上必填的"修复"链接;对标为计划内的部署做抽样评审;旁边显示变更失败率 |
| 变更到事件的链接率 | 记录了是否由变更造成、以及是哪个变更的已解决事件占比 | 带有已填写的"由变更引起"字段(是或否,为"是"时加上变更标识符)的事件数 / 该期间已解决的事件数;时钟在事件关闭时停止 | 百分比 | 事件工具和变更记录 | 事件管理;变更赋能 | 事件后评审;完成的定义 | 每月 | 不检查就把字段填为"否";让字段默认为"否";批量关闭事件以提高百分比 | 在事件后评审中对"否"的答案做抽样检查;没有默认值;对样本的评审者评论 |
| 失败定义的一致性 | 两位评审者对一份样本变更是否失败的一致程度 | 两位独立评审者依据书面定义得出相同失败结论的样本变更数 / 样本变更数;每季度随机抽取至少 20 个变更的样本 | 百分比 | 与指标登记册一起保存的样本评审表 | 持续改进;度量与报告 | 回顾会议 | 每季度 | 为样本挑选容易的例子;评审者就是被度量的人;放宽定义使每个人都一致 | 由团队之外的人抽取的随机样本;有意包括边界案例;公布分歧并修复定义 |
4.5 发布与部署指标
所属主题:(见主题 4.5,发布与部署指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 部署频率 | 某项服务多频繁地收到一次成功的生产部署 | 该期间该服务的成功生产部署数 / 该期间的天数;部署到测试或预发布环境、失败或被回滚的部署,以及未变更构建的重新部署被排除;仅配置的部署计入单独的系列 | 每天或每周的部署数 | 部署流水线事件日志 | 部署管理 | 持续交付;交付一个可工作的增量 | 每周 | 把一个变更拆成琐碎的部署;重新部署未变更的构建;统计部署到预发布;把仅配置的部署与主系列一起统计 | 发布批量大小以及带用户可见变更的部署占比;单独的配置系列;旁边显示变更失败率 |
| 发布频率 | 用户多频繁地收到他们能触及的变更 | 该期间的发布事件数 / 该期间的天数;发布事件是一个变更或一组变更对其预期用户变得可触及的那一刻(对所有用户打开的开关、渐进式推出的最后阶段,或没有开关的变更的部署);暗启动、停在部分阶段的推出,以及只影响内部用户的开关变更被排除 | 每周或每月的发布数 | 与流水线日志和发布日历关联的开关服务审计日志 | 发布管理 | 在每个增量结束时发布;提供一个潜在可交付的增量 | 每周,每月评审 | 把部署重新标记为发布;把对内部员工打开的开关算作发布;为达到目标而发布空洞或表面的变更;把推出的每个阶段算作单独的发布 | 发布的书面定义;每季度对照用户可见变更检查发布样本;批量大小和面向客户的变更计数 |
| 发布前置时间 | 一个完成的变更在用户能触及之前要等多久 | 时钟在变更合并到主线并通过其自动检查时启动(或者,如果你的团队这样写,则在第一次提交时启动),在变更按上述定义被发布时停止;报告该期间已发布变更的中位数和第 85 百分位数;尚未发布的变更被排除,并报告为等待中的工作的年龄 | 小时或天 | 与流水线和开关审计日志关联的版本控制 | 发布管理;部署管理 | 从完成到交付的前置时间;到客户的前置时间 | 每周,每月评审 | 把时钟起点推迟,例如在批准而不是合并时开始;把等待很久的变更当作"被阻塞"排除;先发布一个琐碎的变更以拉低中位数;让时钟在部署时结束 | 第 85 百分位数和等待中最老变更的年龄;固定的书面起点;每季度评审最慢的 10% 变更 |
| 部署到发布的间隔 | 已部署的代码在用户能触及之前保持"暗"状态多久 | 时钟在变更被部署到生产环境时启动,在其被发布时停止;报告中位数和第 85 百分位数;在部署的那一刻就发布的变更间隔为零,并包括在内;部署后未经发布就被移除的变更被排除并单独计数 | 小时或天 | 与开关审计日志关联的流水线日志 | 发布管理;部署管理 | 暗启动;把部署与发布解耦 | 每月 | 为一个象征性的用户打开开关以提前记录发布;把长期处于暗状态的代码称为"不是发布"而排除出样本;删除暗代码以避免长的间隔 | 发布时的暴露占比(什么算已发布的阈值);部署后未发布即被移除的变更计数;陈旧开关计数 |
| 发布批量大小 | 一次发布中一起发出多少变更 | 该期间每次发布合并的变更数(拉取请求或工作项)的中位数和第 85 百分位数;变更的单位被写下;每个变更只计一次,计入使其可触及的那次发布 | 每次发布的变更数 | 与发布事件关联的版本控制和问题跟踪器 | 发布管理;变更赋能 | 小批量;工作的垂直切片 | 每次发布,每月评审 | 把工作拆成人为的拉取请求;把无关的变更合并为一个以减少发布数;只统计捆绑中的大变更 | 以行数或文件数计的变更大小中位数作为背景度量;评审发布样本中是否有无关捆绑;频率旁边显示大小 |
| 功能开关覆盖率 | 在开关之后发布的用户可见变更占比 | 该期间发布时带有开关的用户可见变更数 / 该期间发布的全部用户可见变更数;基础设施变更和无法设开关的缺陷修复被排除,"用户可见"的规则被写下 | 百分比 | 与问题跟踪器和发布日志关联的开关服务 | 发布管理;变更赋能 | 渐进式交付;实验驱动的开发 | 每月 | 给琐碎的变更加开关以提高比率;只给安全的变更设开关,而让有风险的变更不带开关发出;创建一个实际上无法关闭的开关 | 对一份开关样本的关闭测试结果;陈旧开关计数;没有开关的事件原因 |
| 陈旧开关计数 | 有多少开关已超出其目的 | 在其所守护的变更触达所有用户之后,超过规定天数仍存在于代码或配置中的发布开关数;永久的运维开关(紧急关闭开关、权限开关)被标记并排除;每种开关类型的年限被写下 | 开关数,以及发布开关的年龄中位数(天) | 与代码搜索关联的开关服务清单 | 发布管理;知识管理 | 技术债务清理;移除开关的完成标准 | 每月 | 把发布开关重新标记为永久以脱离陈旧计数;删除开关记录却把它留在代码里;不经评审就延长到期日期 | 对照登记册定期搜索代码;评审每一次开关类型的变更;最老发布开关的年龄 |
4.6 技术债务与已知错误
所属主题:(见主题 4.6,技术债务与已知错误)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 已知错误待办年龄 | 打开的已知错误等待永久修复多久 | 时钟在问题记录被标记为"已知错误"时启动;在永久修复被发布到生产环境时停止;以"接受风险"关闭的项目单独报告并排除。按服务报告计数、年龄中位数和第 85 百分位数年龄 | 天(分布) | ITSM 工具的问题和已知错误记录、发布记录 | 问题管理 | 老化工作项图表;缺陷待办的年龄 | 每月 | 把旧记录以"接受风险"或"不修复"关闭;把一条旧记录拆成新的年轻记录;通过重新登记来重置时钟 | 在同一页报告接受风险的计数和年龄;由所属团队之外的人评审关闭;保留记录谱系 |
| 变通办法覆盖率 | 有文档化、经测试、坐席可遵循的变通办法的打开已知错误占比 | 变通办法在过去 6 个月内被评审过的打开已知错误数 / 打开的已知错误数;已关闭和接受风险的项目被排除 | 百分比 | 与已知错误记录关联的知识库 | 问题管理;知识管理 | 运行手册或可运维性的完成定义 | 每月 | 写一个含糊的变通办法来满足字段;统计没有任何坐席试过的变通办法 | 关联事件中变通办法的使用和失败率;定期测试一份变通办法样本 |
| 与打开的已知错误关联的事件 | 其原因是打开的已知错误的事件,是对服务中断所付利息的直接度量 | 该期间与事件开始时仍打开的某个已知错误关联的事件数 / 该期间的全部事件数;没有原因链接的事件报告为未关联,不计入 | 百分比,加计数 | ITSM 工具的事件到问题的链接 | 事件管理;问题管理 | 逃逸缺陷;生产缺陷的流入 | 每月 | 让事件不关联,或把它们关联到另一个原因,使占比下降 | 旁边报告未关联事件占比;对已关闭事件作遗漏链接的抽样评审 |
| 债务存量 | 仍然打开的已登记技术债务项的数量和估计规模 | 期末债务登记册中打开的项目数;规模是登记时分配的粗略工作量档位(小时、天、周)之和;未登记的或疑似的债务被排除 | 计数,以及工作量档位 | 跟踪器中的债务登记册,按服务标记 | 持续改进;服务设计 | 标记为债务的产品待办项 | 每月 | 不登记债务,使存量看起来很小;把许多项目合并成一个大项目;登记琐事以显得勤勉 | 对照代码评审和事件复盘的样本评审登记册;项目规模和具体性检查 |
| 债务利息 | 由打开的债务和已知错误造成的额外工作,以团队时间计 | 该期间记录在带有债务或已知错误引用的工作项上的小时数(变通办法、手工步骤、返工,以及在受影响变更上的额外工作)/ 该期间团队的总工作小时数;修复工作本身被排除,并计入容量占比 | 工作时间的百分比 | 工作项上的时间或工作量标签,保持在团队层面 | 持续改进;问题管理 | 计划外工作和返工占比 | 每月 | 少打标签以避开审视,或多打标签以争取修复预算;把这个数字读作对团队的评级 | 对已标记和未标记项目的样本审计;仅团队层面的视图,团队之间不作比较;把利息与事件链接放在一起阅读 |
| 债务容量占比 | 用于偿还债务和已知错误的交付容量占比 | 标记为债务修复或已知错误修复的已完成工作项的容量(项目数或工作量)/ 该期间全部已完成工作项;没有标签的项目被排除 | 百分比 | 跟踪器,按标签统计已完成项目 | 持续改进;变更赋能 | 容量分配 | 每个计划期,每月评审 | 把普通的功能工作标记为修复;挑选容易的表面项目来填满份额 | 成果检查:最老的高利息项目的年龄和事件链接在下降;对照排序评审修复了什么 |
| 债务净变化 | 账本是在增长还是在缩小 | 该期间登记的债务和已知错误项 减去 该期间解决的项目;解决是指修复已发布,而不是已合并;以"不修复"关闭的项目单列一行统计 | 计数(有符号) | 债务登记册和已知错误记录 | 持续改进 | 按类别的待办变化 | 每月 | 解决许多微小的项目来抵消少数几个大的;把项目以"不修复"关闭使计数下降 | 按规模档位和按利息显示净变化;报告"不修复"一行;对已解决项目的复发检查 |
第 5 部分:服务级别、可用性与可靠性指标
5.1 SLA、OLA 与 XLA 指标
所属主题:(见主题 5.1,SLA、OLA 与 XLA 指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| SLA 达成率 | 在该期间达到所述 SLA 目标的被度量项目(事件、请求或时间窗口)占比 | 达到目标的项目数除以被度量的项目数。时钟在协议中定义的记录时间启动(例如工单创建),在定义的停止事件(例如确认已恢复)停止。排除:作为重复而取消的项目,以及处于约定排除项(如计划维护)内的时间。在占比旁边报告计数 | 百分比,附 n | ITSM 工具的时间戳;基于时间的目标使用监控数据 | 服务级别管理;事件管理;服务请求管理 | 滚动窗口内的服务级别目标达成情况(见主题 5.2,SLI、SLO 与错误预算) | 每月,附每周的内部视图 | 把目标选得容易;提前关闭工单、之后再重开;把优先级向下重新分类;把困难的案例当作"不在范围内"排除 | 重开率和优先级重新分类率;与客户一起阅读已关闭工单的样本;每季度评审排除清单 |
| 险些违约占比 | 达到了目标、但在允许时间的最后十分之一内完成的项目占比 | 在目标时间的 90% 或以上完成、且仍在目标之内的项目数,除以达到目标的项目数。时钟与 SLA 相同。对时间窗口不适用(仅适用于到达目标时间的度量) | 百分比 | ITSM 工具的时间戳 | 服务级别管理 | 流动图上接近服务级别期望的工作占比(见主题 2.1,流动度量) | 每月 | 在限度前一分钟停止时钟,然后在记录之外继续工作;把一张工单拆成两张较短的 | 从最后一次客户联系到确认恢复的时间;每起事件的关联或子工单计数 |
| 时钟暂停占比 | 总的工单经过时间中,处于暂停 SLA 时钟的状态的时间占比 | 范围内项目的总暂停时间除以从启动到停止的总经过时间。没有使用暂停状态的项目被排除。按暂停状态报告 | 百分比 | ITSM 工具的状态历史 | 服务级别管理;事件管理 | 流动视图中的阻塞时间和等待时间(见主题 2.4,价值流指标) | 每月 | 在并非等待客户的工单上使用暂停状态;把工作移到不被计数的状态 | 对样本审计暂停理由;被客户撤销的暂停占比;被暂停工单的体验分数 |
| OLA 达成率 | 两个团队之间的内部交接中,达到 OLA 目标的占比 | 在 OLA 目标内完成的交接数除以收到的交接数。时钟在接收团队被分派时启动,在它退回或关闭该项目时停止。排除:错误分派的项目,单独统计 | 百分比,附 n | ITSM 工具的分派历史 | 服务级别管理;事件管理 | 团队之间的交接等待时间和被阻塞的工作(见主题 9.3,协作与交接指标) | 每月 | 把交接退回发送方以重启时钟;标记项目为已接受却不开始工作 | 每个项目的退回计数以及跨团队的恢复总时间;端到端的 SLA 结果 |
| 交接等待时间(第 85 百分位数) | 一个项目在接收团队的队列中等待多久才开始工作 | 从分派给接收团队到该团队第一次记录的行动之间的时间的第 85 百分位数。排除:等待客户的项目 | 小时或分钟 | ITSM 工具的分派和活动历史 | 服务级别管理;事件管理 | 流动视图中的排队时间(见主题 2.3,在制品与排队) | 每周 | 分派给某个人而不是团队队列以隐藏等待;记录一个象征性的第一次行动 | 对第一次行动的质量抽样;从分派到第一次客户可见更新的时间 |
| 按旅程的体验分数 | 客户或用户对服务如何支持某个已定义旅程(比如获得新笔记本电脑或从中断中恢复)的评分 | 该期间已完成旅程在固定量表上的调查评分的均值和分布。报告回复率和回答者构成。排除:不完整的调查。不是单一的平均值,所以显示分布 | 评分量表,附回复率 | 简短的互动后调查;ITSM 工具的旅程事件 | 服务级别管理;客户满意度实践(见主题 6.1,客户满意度指标) | 客户反馈和成果度量 | 每月,显示每一波 | 只向满意的用户发送调查;提出引导性问题;辅导响应者给出高分 | 回答者构成对照总体;回复率显示在分数旁边;在评审中阅读开放式评论 |
| 西瓜缺口 | SLA 读作已达成、而体验度量或用户影响度量读作很差的报告期或服务占比 | SLA 达成率达到或高于目标、而体验低于其约定水平的服务(或期间)数,除以 SLA 达成率达到或高于目标的服务(或期间)数。体验水平必须在该期间评分之前约定 | 绿色服务的百分比 | SLA 达成率与体验分数一并使用 | 服务级别管理;持续改进 | 对照成果的结果回顾 | 每季度 | 把体验水平设得很低,使缺口保持很小;在体验下滑时更改体验度量 | 事先约定体验水平,变更连同理由记录;整个分布的趋势 |
| 协议覆盖与时效 | 其 SLA、OLA 和供应商合同存在、且在约定间隔内被评审过的在线服务占比 | 三层都已文档化、并在间隔内被评审过的服务数,除以服务目录(service catalog,ITIL 自己的拼写是 service catalogue)中的在线服务数。间隔由组织设定。排除:正在退役的服务 | 百分比 | 服务目录和协议登记册 | 服务级别管理;服务目录管理;供应商管理 | 按常规节奏评审的工作协议和团队章程 | 每季度 | 不经真正评审就把协议标为已评审;把一份空壳文档算作 SLA | 评审的证据(出席者、变更、决定);阅读协议样本,看实际内容和客户签字 |
5.2 SLI、SLO 与错误预算
所属主题:(见主题 5.2,SLI、SLO 与错误预算)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| SLI 达成率 | 一项服务的一个指示器上,好事件占有效事件的比例 | 好事件数 / 有效事件数,针对从报告期开始到结束的窗口;SLO 文档排除的事件(负载测试、如果 SLO 这样规定则包括事先宣布的计划维护)从分子和分母中都被去掉 | 百分比 | 负载均衡器、应用或合成探测的遥测;监控或可观测性平台 | 服务级别管理;监控与事件管理 | 可运维性的完成定义;利益相关方对服务健康状况的评审 | 持续,每日并按窗口报告 | 把"有效"事件收窄到失败消失,比如排除重试的请求或整类错误;只度量最健康的组件;只从有利的位置探测 | 在 SLO 文档中公布 SLI 的定义和排除项,附变更日志;把 SLI 与支持联系和用户投诉比较;定期评审被排除的事件及其数量 |
| SLO 合规性 | SLI 在 SLO 窗口内是否达到目标,以及在最近多少个窗口达到 | SLI 达成率达到或高于目标的窗口数 / 在过去 12 个月中评估的窗口数;仍然打开的窗口被排除 | 窗口的百分比 | SLI 达成率的历史 | 服务级别管理;持续改进 | 关于可靠性的团队目标或工作协议 | 每月,附季度趋势 | 把目标设得低到总是通过;在糟糕时期之后改变窗口长度;把违约重新定义为维护期 | 目标由用户参与设定并按计划评审;窗口在文档中固定;在合规性旁边报告排除项的计数和对窗口的计划外变更 |
| 剩余错误预算 | 当前窗口中尚未花费的那部分预算 | 1 -(迄今的坏事件数 / 整个窗口允许的坏事件数),其中允许的坏事件数 =(1 - SLO)× 整个窗口预期的有效事件数;时钟在窗口开始时启动,在窗口结束时停止 | 预算的百分比 | SLI 达成率和流量预测 | 服务级别管理;风险管理 | 发布就绪检查;计划工作的输入 | 每日,每周评审 | 把坏事件重新分类为被排除;夸大预期流量,使允许的坏事件数显得更大;提前重置窗口 | 允许的坏事件数依据窗口结束时的实际流量计算;被排除事件的数量显示在预算旁边;窗口日期预先固定 |
| 消耗速率 | 预算相对于均匀花费速率的花费速度 | (回溯期内的坏事件数 / 有效事件数)/(1 - SLO);说明回溯期,例如 1 小时或 6 小时 | 比值(1 表示恰好按预算) | 细时间分辨率的 SLI 遥测 | 监控与事件管理;事件管理 | 值班告警规则;群集协作的触发 | 持续,在告警规则中评估 | 调整告警阈值使消耗永不触发;使用过长的回溯期,使快速消耗被平均掉 | 用过去的事件做告警覆盖测试("这条规则本会呼叫吗?");可行动的告警率和漏检计数(见主题 5.5,监控与告警质量指标) |
| 预算政策遵循度 | 错误预算政策中的触发条件被触发时,约定的后果被采用的频率 | 该期间政策行动在约定时间内被采取的触发数 / 该期间被触发的触发数;以记录在案的理由被正式豁免的触发,单独统计,不被去掉 | 百分比 | 政策文档、决策日志和待办历史 | 服务级别管理;变更赋能 | 工作协议;回顾会议的后续跟进 | 每季度 | 例行地批准例外;编写触发条件永远无法达到的政策;把象征性的可靠性工单算作政策行动 | 单独计数并评审例外;该期间例外的占比;完成的可靠性工作(见主题 4.1,问题管理指标) |
| SLO 覆盖率 | 拥有当前 SLO 和有效 SLI 的关键用户旅程或范围内服务的占比 | 至少有一个 SLO 且其 SLI 数据在过去 7 天内到达的范围内服务或旅程数 / 范围内的服务或旅程数;"范围内"列在服务目录(ITIL 术语是 service catalogue)中 | 百分比 | 服务目录、SLO 登记册和监控配置 | 服务目录管理;服务级别管理 | 团队服务所有权清单 | 每季度 | 给每项服务加一个琐碎的 SLO 以提高百分比;在没有数据流入时把旅程算作已覆盖 | SLI 数据新鲜度检查(数据在过去 7 天内到达);评审 SLO 覆盖的是关键旅程,而不是次要的端点 |
5.3 可用性指标
所属主题:(见主题 5.3,可用性指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 基于时间的可用性 | 服务满足书面的"在线"定义的范围内时间占比 | (窗口内范围内的分钟数 减去 计划外停机分钟数)/ 窗口内范围内的分钟数。时钟在第一次失败的探测(之后被确认为用户影响)时启动,或在事件评审中记录的已确认影响开始时启动;在服务再次满足定义时停止。约定服务时间内的计划内停机单独显示,约定服务时间之外的时间从分母中排除 | 百分比 | 合成监控结果;带影响开始和恢复时间戳的事件记录 | 可用性管理;服务级别管理 | 针对单一系统的基于时间的 SLI(见主题 5.2,SLI、SLO 与错误预算) | 每月 | 探测一个始终在线的琐碎页面,而真正的旅程失败;拉长探测间隔,使短中断落在两次检查之间;缩小范围内的时间;把中断算作降级 | 用户加权的可用性和真实用户监控;探测间隔写在数字旁边;对照监控记录抽样事件 |
| 基于请求的可用性 | 成功的有效请求占比 | 窗口内成功的有效请求数 / 有效请求总数。有效请求排除格式错误的请求和由调用方造成的客户端错误;由服务造成的失败,包括超时,算作失败。按服务和用户旅程报告 | 百分比 | 负载均衡器、网关或应用的日志和度量 | 可用性管理;监控与事件管理 | 带 SLO 和错误预算的成功率 SLI(见主题 5.2,SLI、SLO 与错误预算) | 每日趋势,每月报告 | 把容易的请求(健康检查、缓存资源)算进分母来稀释失败;把服务器错误归类为客户端错误;排除用户体验为失败的重试 | 按关键旅程而不是按请求的成功率;评审排除清单;与用户报告的事件比较 |
| 用户加权的可用性 | 按受影响的用户或旅程加权的可用性,使高峰时的中断比夜间的算得更重 | 1 减去(窗口内失败的用户会话数或失败的旅程数 / 用户会话总数或旅程总数)。如果某个已定义的关键步骤失败,则该会话算作失败;部分成功作为单独的降级占比报告,不折算在内 | 百分比 | 真实用户监控;应用会话日志;分析事件 | 可用性管理;服务级别管理 | 基于旅程的 SLI,以及主题 6.2 中的体验度量(见主题 6.2,体验级别协议) | 每月 | 选择加权方式使高峰时的失败无足轻重;把"成功"的会话定义得很宽松,使损坏的步骤仍能通过 | 公布加权规则和旅程清单;与中断期间的投诉量和支持联系比较 |
| 计划外停机 | 服务在没有事先批准的通知下不可用的分钟数 | 窗口内中断持续时间之和,从已确认的影响开始到已确认的恢复,针对在开始之前未通过变更赋能宣布和批准的中断。同一服务上重叠的中断被合并,而不是相加。报告总分钟数、中断次数,以及中断持续时间的中位数和第 95 百分位数 | 分钟 | 带影响开始和恢复时间戳的事件记录 | 事件管理;可用性管理 | 被读作分布的恢复时间(见主题 3.3,事件响应与解决时间) | 每月 | 事后把中断重新归类为计划内;推迟已确认的影响开始;把一次中断拆成两次,使其显得更短 | 计划内停机占比,规则是开始之后才宣布的中断是计划外的;把影响开始与监控数据比较 |
| 计划内停机占比 | 事先宣布并获得批准的停机占全部停机的比例 | 窗口内的计划内停机分钟数 /(计划内加计划外停机分钟数)。只有当一次中断在开始之前通过变更记录获批、且其开始和结束时间已传达给用户时,才算计划内;超出获批窗口的部分,从窗口结束的那一刻起重新归类为计划外 | 百分比 | 带获批窗口的变更记录;事件记录;状态页历史 | 变更赋能;可用性管理 | 偏好零停机部署的发布和维护实践(见主题 4.3,变更赋能指标) | 每月 | 把变更预订为获批窗口,使超时和失败算作计划内;通过安排不必要的维护来夸大计划内占比 | 超时的分钟数重新归类为计划外;变更失败率和紧急变更占比(见主题 4.4,变更失败与返工) |
| 中断频率与间隔 | 中断多频繁地开始,以及服务在两次中断之间运行多久 | 窗口内开始的中断次数;以及对每对连续的中断,从第一次的恢复到第二次的开始之间的正常运行分钟数,汇总为中位数和第 5 百分位数。当间隔少于十个时,不报告为单一的平均值 | 计数;分钟 | 事件记录;监控历史 | 事件管理;问题管理 | 与变更失败率并列的稳定性信号(见主题 4.4,变更失败与返工) | 每月 | 合并事件,或仅在长时间间隔之后才打开新事件,使计数保持很低;压制告警,使短中断不被记录 | 对照原始监控事件抽样告警和事件;监控覆盖和告警质量(见主题 5.5,监控与告警质量指标) |
| 降级占比 | 服务可以工作、但低于约定质量的时间 | 延迟、错误或正确性指示器突破其阈值的分钟数(不含已计为停机的分钟)/ 范围内的分钟数。阈值按服务规定,例如在 SLO 中 | 百分比 | 监控和 SLI 度量 | 可用性管理;容量与性能管理 | 延迟 SLI(见主题 5.4,容量与性能指标) | 每月 | 把阈值设得很宽松,使缓慢的服务永不突破;把降级的时间宣布为在线 | 在数字旁边评审延迟百分位数和用户报告的缓慢(见主题 5.4,容量与性能指标) |
| 度量覆盖率 | 可用性度量实际上观察到了服务面向用户的行为中的多少 | 有活跃探测或真实用户度量的关键用户旅程数 / 服务定义中列出的关键用户旅程数 | 百分比 | 服务定义;监控配置 | 监控与事件管理;可用性管理 | 可观测性覆盖和告警质量(见主题 5.5,监控与告警质量指标) | 每季度 | 只列出容易探测的旅程,使覆盖率读作 100%;把一个旅程算作已被一个从不运行的探测覆盖 | 旅程清单与服务负责人和用户一起约定;每季度抽样探测的运行历史 |
5.4 容量与性能指标
所属主题:(见主题 5.4,容量与性能指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 资源利用率 | 一种资源的容量在某个间隔内被使用的占比,报告为间隔序列的高百分位数 | 忙碌容量 / 总容量,按 1 到 5 分钟的间隔;报告评审窗口内的中位数和第 95 百分位数;资源被排空的维护窗口被排除 | 百分比 | 基础设施监控和云平台度量 | 容量与性能管理;监控与事件管理 | 完成定义中的运营验收标准;SRE 的资源信号 | 每周 | 在长间隔上取平均以隐藏峰值;把闲置的预留容量算作"已使用";只报告最安静的资源 | 平均值旁边的高峰时段第 95 百分位数;饱和度度量;对照服务地图评审范围内的资源清单 |
| 饱和度 | 因某资源已被完全使用而在等待它的工作量 | 队列长度、运行队列、待处理请求或被限流的请求,按间隔;报告第 95 百分位数,以及有任何等待的间隔占比;没有需求的间隔被排除 | 计数,或间隔的百分比 | 应用和基础设施遥测 | 容量与性能管理;监控与事件管理 | SRE 的饱和度信号;服务队列上的在制品限制 | 每周 | 提高队列限制,使没有东西被报告为被拒绝或被限流;把等待移到另一个未被度量的队列 | 同一操作的延迟百分位数和错误率;端到端的队列时间,而不是单个阶段;评审路径中的所有队列 |
| 延迟百分位数 | 回答一个面向用户的操作的请求所花的时间,以中位数、p95 和 p99 报告 | 每个成功请求,从边缘收到请求到发出最后一个字节的响应时间;失败的请求报告为错误,不报告为快速响应;在滚动窗口内度量 | 毫秒 | 负载均衡器或网关日志、追踪、真实用户监控 | 服务级别管理;容量与性能管理 | SRE 的延迟指示器和服务级别目标 | 持续,每周评审 | 只报告平均值或中位数;从样本中去掉缓慢或失败的请求;从快速的内部位置度量;排除"异常值" | 始终显示 p95 和 p99;错误和超时率显示在延迟旁边;真实用户监控与服务端计时比较;显示原始样本量 |
| 余量 | 服务在突破其目标之前还能承载的剩余负载 | (经测试或建模的极限负载 - 当前峰值负载)/ 当前峰值负载;峰值是窗口内最繁忙的一小时;极限负载是测试中延迟目标首次被突破时的负载,不是硬件最大值 | 百分比,或按当前增长速度的天数 | 负载测试结果和流量遥测 | 容量与性能管理;服务级别管理 | 流水线中的非功能需求和性能测试 | 每月,以及重大发布之前 | 选择温和的测试工作负载;测试比生产更大的环境;把断裂点定义为硬件最大值 | 对照生产流量形态评审测试工作负载;测试与生产差异的书面清单;在相关变更之后重新测试余量 |
| 预测误差 | 某一期间的预测需求与实际需求之间的差异 | 绝对值(预测峰值 - 实际峰值)/ 实际峰值,针对规定的时间跨度;预测在跨度开始时冻结,之后不修订;未预测的一次性事件被列出,而不是被去掉 | 百分比 | 预测登记册和流量遥测 | 容量与性能管理;服务财务管理中与需求相关的计划 | 发布和路线图预测;SRE 的需求预测 | 每季度 | 事后修订预测;设定非常宽的范围,使每个结果都"在范围内";把有意外的月份作为"未预测事件"去掉 | 预测在登记册中冻结并注明日期;连同误差一起报告范围宽度;列出并评审每个被排除的事件 |
| 容量前置时间 | 需求被接受后,使新容量投入服务所需的时间 | 时钟在容量请求获批时启动,在该容量承载生产流量时停止;报告中位数和第 85 百分位数;被取消的请求被排除 | 天 | ITSM 工具中的请求记录、变更记录、供应日志 | 容量与性能管理;服务请求管理;变更赋能 | 平台待办项的前置时间(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 | 通过延迟批准记录来推迟时钟起点;在下单时而不是在容量承载流量时关闭请求;拆分请求 | 时钟定义为从批准到承载流量;把已关闭请求的样本与供应日志比较;重开请求的计数 |
| 性能测试覆盖率 | 有近期、真实的负载测试的关键服务占比 | 在代表性环境和工作负载上,有通过的负载测试且测试年限小于规定年限的关键服务数 / 登记册中的关键服务数;年限限制被写下 | 百分比 | 测试结果存储和服务登记册 | 容量与性能管理;发布管理 | 持续交付流水线中的非功能测试 | 每季度 | 运行一个琐碎的测试以宣称覆盖;缩短关键服务的清单;把一个旧的通过的测试一直留在账上 | 记录测试的年限和工作负载的真实性;对照服务目录和事件历史评审关键服务清单;既报告失败的测试,也报告通过的 |
5.5 监控与告警质量指标
所属主题:(见主题 5.5,监控与告警质量指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 告警数量 | 通知了人的告警数,分为呼叫和工单 | 该期间送达某个轮班或队列的不同通知数;同一个仍然打开的告警的重复被归为一个;完全由自动化处理、没有通知人的告警被排除;按每个轮班每周报告,并单独报告非工作时间占比 | 每个轮班周的告警数 | 呼叫和告警路由工具 | 监控与事件管理 | 关于值班的团队工作协议 | 每周 | 提高阈值、增加长延迟,或把告警从呼叫移到静默队列,使计数下降而问题无人看见;拆分或合并告警以改变计数 | 监控检测占比和检测时间;规则:每一次降级都连同理由记录,并在一个季度后评审 |
| 可行动告警率 | 之后有人采取了有用行动的告警占比 | 带有记录行动(修复、缓解、升级,或对告警规则的更改)的告警数 / 该期间已评审的告警数;在任何确认之前就自动解决的告警算作不可行动;未评审的告警作为单独的计数报告,不被丢弃 | 百分比 | 与评审标签、工单或事件关联的告警记录 | 监控与事件管理;事件管理 | 针对运维的团队改进行动 | 每周评审,每月趋势 | 事后把告警标为可行动,或采取琐碎的行动(一条评论、一次确认)使其合格;让吵闹的告警保持未评审,使其永不进入分母 | 在比率旁边显示未评审告警的计数;由轮班之外的人做样本检查;写下"有用行动"的定义 |
| 误报率 | 在不存在问题时触发的告警占比 | 评审中标为误报的告警数 / 该期间已评审的告警数;"误报"是指该状况不是故障,没人愿意被告知;一个真实但太小而无需行动的问题不是误报 | 百分比 | 告警评审标签 | 监控与事件管理 | 回顾会议中的噪声评审 | 每月 | 把误报定义得很窄,使"真实但无意义"的告警算作真实;不打标签就关闭吵闹的告警 | 分别跟踪可行动告警率和"真实但不值得呼叫"标签;定期抽样已关闭的告警 |
| 检测覆盖率 | 至少有一条针对面向用户症状的、经过测试的告警的范围内服务占比 | 有一条在过去 12 个月内经测试或真实事件检验过的症状告警的服务数 / 服务目录范围内的服务数;范围内服务的清单在期初固定 | 百分比 | 服务目录、告警规则清单、测试记录 | 服务配置管理;监控与事件管理 | 新服务的完成定义 | 每季度 | 给每项服务加一个琐碎的告警(一次 ping)以宣称覆盖;统计从未被测试过的告警 | 要求告警观察面向用户的症状,并在过去 12 个月内被检验过;监控检测占比 |
| 监控检测占比 | 在用户或同事报告之前,由监控检测到的事件占比 | 其第一个信号是告警的事件数 / 该期间的事件数;时钟是事件打开时间,没有记录第一个信号的事件报告为未知,不算作已检测 | 百分比 | 带第一信号字段的事件记录、告警时间线 | 事件管理 | 事件评审(事件后学习) | 每月 | 即使是用户先报告的,也把每起事件记录为"由监控检测到";事后创建一条告警,然后引用它;把第一信号字段留空以避免难看的数字 | 在占比旁边显示未知计数;第一信号的证据取自告警时间线,而不是记忆;从支持记录链接客户报告的事件 |
| 检测时间(TTD) | 从用户影响开始到第一条通知人的告警之间的经过时间 | 第一条通知人的告警时间 减去 影响开始时间,其中影响开始是服务级别指示器最早突破的时间,在事件评审中确定;报告中位数和第 95 百分位数;没有告警的事件被排除并单独计数 | 分钟 | 事件评审、告警时间线、服务级别指示器历史 | 事件管理;监控与事件管理 | 事件后评审 | 每月,按事件 | 把影响开始宣布得比实际晚;排除没有告警的事件;报告平均值以隐藏长尾 | 影响开始取自服务级别指示器的历史;没有告警的事件被统计并显示;中位数和第 95 百分位数一起报告 |
| 告警集中度 | 最吵的几条告警规则所产生的告警数量占比 | 告警数最多的五条规则产生的告警数 / 该期间的全部告警数;同一告警只计一次;五条规则的数量是一个惯例,团队说明理由即可更改 | 百分比 | 告警规则清单和呼叫记录 | 持续改进;监控与事件管理 | 回顾会议的改进待办 | 每月 | 把一条吵闹的规则拆成几条,使它们都不在前五名;重命名规则 | 除了按规则,也按底层故障或服务报告集中度;在旁边跟踪总数量和可行动告警率 |
| 告警规则时效 | 有负责人、有运行手册链接,并在约定间隔内被评审过的呼叫规则占比 | 满足这三项条件的呼叫规则数 / 全部呼叫规则数;该期间被停用的规则被排除 | 百分比 | 告警规则清单 | 知识管理;监控与事件管理 | 关于运营就绪的工作协议 | 每季度 | 加入占位的负责人、空的运行手册链接,或走过场的评审来满足条件 | 抽查运行手册链接是否可用、并在真实响应中被用过;在演练日测试运行手册的做法 |
5.6 服务连续性指标
所属主题:(见主题 5.6,服务连续性指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| RTO 达成率 | 服务在其规定的 RTO 之内恢复的恢复演练占比 | 恢复时间 <= RTO 的演练数 / 已运行的演练数。时钟在演练失败的宣布开始时(注入时间或场景宣布)启动,在服务通过针对真实或合成用户的约定健康检查时停止。桌面推演和没有计时恢复的演练被排除并单独统计 | 百分比,附演练次数 | 演练报告、来自监控的时间线、带 RTO 的服务登记册 | 服务连续性管理;可用性管理 | 演练日的结果;交付度量中的恢复时间 | 每次演练;每季度汇总 | 选择小的测试数据集、容易的场景或经过彩排的脚本;在团队已经开始之后才晚启动时钟;放宽健康检查,使"已恢复"更早到来;设定宽裕的 RTO,使每次测试都通过 | 与每个结果一起记录数据量、场景意外程度和健康检查的定义;把 RTO 与 BIA 比较;把每次演练显示为自己的一行,包括失败的 |
| RPO 达成率 | 数据丢失保持在规定 RPO 之内的恢复演练占比 | 测得的数据丢失跨度 <= RPO 的演练数 / 恢复数据的演练数。数据丢失跨度是恢复之后存在的最后一次写入与失败时刻之间的时间。不恢复任何状态的演练被排除 | 百分比,附演练次数 | 演练报告、将恢复的数据与源或写入日志比较 | 服务连续性管理;信息安全管理 | 作为完成定义一部分的恢复演练 | 每次演练;每季度汇总 | 只对主表而不是所有状态度量丢失;测试一个因没有负载而保持同步的副本;在错过结果之后重新定义 RPO | 对照范围内所有数据存储的写入日志验证数据丢失;在真实的写入负载下测试;保留目标的变更日志并附理由 |
| 已测试的恢复覆盖率 | 在约定测试间隔内做过动手恢复测试的一级和二级服务占比 | 在间隔内有合格测试的服务数 / 范围内的服务数。合格测试是动手的(不只是桌面推演),并在测试或生产环境中恢复服务。间隔按层级设定 | 百分比,按层级 | 服务登记册、演练日历和报告 | 服务连续性管理;服务目录管理 | 演练日计划 | 每月 | 把桌面讨论算作测试;测试一个小得微不足道的服务以提高百分比;通过把服务重新归类到较低层级来缩小范围内的清单 | 一级的计数要求动手测试;按服务关键程度加权报告覆盖率;对照 BIA 审计层级变更 |
| 距上次成功恢复测试的天数 | 每项关键服务最近一次通过的恢复测试的年龄 | 报告日期 减去 同时满足 RTO 和 RPO 的最近一次测试的日期。失败的测试不重置时钟。从未测试过的服务显示为"从未",而不是零 | 天,按服务,最老的突出显示 | 演练报告、服务登记册 | 服务连续性管理 | 演练日计划;工作项年龄 | 每月 | 重新运行一个容易的测试以重置年龄;把部分测试标为通过;在纸面评审之后重置日期 | 显示上一次通过的测试的范围;显示最老的年龄和从未测试过的服务;要求同时满足 RTO 和 RPO |
| 备份恢复成功率 | 以经验证、可用的数据完成的备份恢复尝试占比 | 完成并通过数据验证检查的恢复数 / 尝试的恢复数,涵盖自动化和手工的恢复测试。仅仅备份作业成功被排除,因为运行了的作业不是有效的恢复 | 百分比,按数据层级 | 备份系统日志、自动化恢复验证结果 | 服务连续性管理;基础设施与平台管理 | 恢复演练;完成定义中的可运维性标准 | 自动化测试每周;评审每月 | 把备份作业成功报告为恢复成功;只测试已知良好的备份;用一个不可能失败的检查来验证 | 跟踪对随机抽样的备份的恢复;要求有数据验证的结果;每次审计时评审检查本身 |
| 演练发现关闭率 | 恢复演练的发现中,在约定时间内关闭的占比,按严重程度划分 | 在目标内关闭的发现数 / 该期间到期的发现数。时钟在发现被记录进演练报告时启动,在经验证的修复时停止,即通过重新测试或评审确认。由指名的负责人接受为风险的发现单独统计 | 百分比,附逾期发现的计数 | 演练报告、问题跟踪器 | 服务连续性管理;持续改进 | 回顾会议的行动项;待办项年龄 | 每月 | 不修复就关闭发现;降低严重程度以放宽截止日期;把一个发现拆成许多容易的;一开始就少记录发现 | 通过重新测试验证关闭;在关闭率旁边报告每次演练的发现数,因为下降的计数可能意味着演练更温和;评审严重程度的变更 |
| 计划时效 | 在其服务最近一次重大变更之后,或在其评审间隔内,被评审过的连续性计划和运行手册占比 | 评审日期晚于最近一次重大变更、且在间隔内的计划数 / 范围内的计划数。重大变更是指被标记为改变了架构、数据存储、依赖或供应商的变更记录 | 百分比,附最老未评审计划的年龄 | 计划库(版本控制)、变更记录、服务登记册 | 服务连续性管理;变更赋能 | 完成定义包括运行手册的更新 | 每季度 | 不阅读计划就更新评审日期;把变更标为非重大;用永不过时的通用文字填充计划 | 抽样计划,并与没有写过它们的人一起走一遍;把重大变更标记率与架构变更历史比较;把时效与测试结果相联 |
5.7 琐务与值班指标
所属主题:(见主题 5.7,琐务与值班指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 每班呼叫数 | 一个班次期间送达轮班的呼叫数 | 班次开始到班次结束之间送达的呼叫数,每班次一个计数,在 5 分钟内合并同一告警组的重复呼叫之后(合并窗口是团队设置)。测试呼叫和误发的呼叫被排除。报告各班次的中位数和第 90 百分位数,加上最繁忙的班次 | 每班呼叫数 | 呼叫工具;值班排班表 | 事件管理;监控与事件管理 | 计划外工作政策;可持续的节奏 | 每周评审,每月趋势 | 提高告警阈值或静音告警使计数下降;把不相关的告警合并成一次呼叫;把呼叫移到没人看的工单队列 | 监控漏掉的检测覆盖和客户报告的事件(见主题 5.5,监控与告警质量指标);检测时间(见主题 3.3,事件响应与解决时间) |
| 非工作时间呼叫占比 | 在书面工作窗口之外到达的呼叫占比 | 该期间工作窗口之外送达的呼叫数 / 送达的全部呼叫数。窗口按轮班以本地时间设定;假日算作窗口之外 | 百分比 | 呼叫工具;轮班日历 | 事件管理;监控与事件管理 | 关于可用性的工作协议 | 每月 | 把工作窗口重新定义得更宽;重新安排作业和部署,使呼叫转移到办公时间却没有减少;把呼叫重新归类为"低紧急度" | 数量旁边显示占比;受变更控制的书面工作窗口;评审移动了什么 |
| 夜间打断率 | 一个班次在受保护的睡眠窗口内至少有一次呼叫的频率 | 在受保护的睡眠窗口(例如本地时间 22:00 到 07:00,由团队设定)内至少有一次呼叫的班次数 / 该期间的全部班次数。被自动确认、没有人工响应的呼叫被排除 | 班次的百分比 | 呼叫工具;确认日志 | 事件管理;劳动力与人才管理 | 可持续的节奏;团队健康检查 | 每月 | 把确认推迟到早上;自动确认呼叫;只统计到达人的呼叫 | 按小时的确认时间(见主题 3.3,事件响应与解决时间);没有人工响应的呼叫单独报告;夜间的客户影响 |
| 琐务占时间的比例 | 轮班的工作时间中花在琐务上的占比 | 一个月内,轮班在被分类为琐务的工作上记录的小时数 / 轮班记录的总工作小时数。会议、培训和休假从分子和分母中都被排除。分类遵循琐务的六个特征,由团队应用 | 时间的百分比 | 工作跟踪器中的时间抽样或任务标签;团队分类评审 | 持续改进;部署管理;服务请求管理 | 计划外工作占比;计划内工作中的容量分配 | 每月,每季度评审分类 | 把琐务重新分类为"工程"或"项目工作";记录得比实际花费的少;只标记容易描述的 | 由轮班之外的人定期审计已分类的项目;团队自己对这一周感觉如何的看法;花在计划内改进工作上的时间占比 |
| 按来源的琐务 | 琐务小时数在手工重启、访问请求、证书续期和工单分诊等具名来源中的分布 | 每个来源的琐务小时数 / 总琐务小时数,列出前五个来源和一个"其他"组。排除项与琐务占时间的比例相同 | 按来源的琐务小时数百分比 | 工作跟踪器中的时间抽样或任务标签 | 问题管理;服务请求管理 | 改进项的待办 | 每季度 | 把一个大来源拆成几个小的,使没有一个显眼;让某个来源以"其他"的形式保持无名 | 对"其他"组设上限(例如低于琐务小时数的五分之一,这是团队设置);每季度抽样"其他"中的项目 |
| 重复呼叫率 | 由在规定窗口内曾呼叫过轮班的状况所引起的呼叫占比 | 其告警组或原因代码与 30 天内较早的一次呼叫相匹配的呼叫数 / 该期间的全部呼叫数。原因代码由响应者在关闭时设置;未设置的代码单独报告 | 百分比 | 呼叫工具;事件记录的原因代码 | 问题管理;事件管理 | 回顾会议的行动;技术债务待办 | 每月 | 每次都用新的原因代码关闭呼叫,使匹配被漏掉;把原因代码放宽到一切都不同;延长或缩短窗口 | 对样本的原因代码审计;同一告警组在各事件中的复发(见主题 4.1,问题管理指标) |
| 轮班深度 | 共同承担呼叫器的合格响应者数量,相对于要填补的角色数 | 完成了值班就绪培训并可参加班次的人数 / 每个轮班周期的班次位置数。休假和借调减少可用性。按轮班报告为比值,绝不按人 | 比值 | 轮班排班表;就绪检查清单 | 劳动力与人才管理 | 跨职能团队;技能矩阵 | 每季度 | 统计尚未完成就绪培训的人;统计很少可用的人;填充名册 | 名义池实际覆盖的班次占比;按位置的实际班次数,不带姓名报告;就绪检查清单的完成情况 |
| 已消除的琐务 | 通过自动化或设计变更,从轮班的工作中移除的重复性琐务小时数 | 变更之前某个来源的预估每月琐务小时数 减去 变更之后的同一数字,在交付后至少两个周期内度量。一次性清理所节省的小时数被排除 | 每月小时数 | 前后的时间抽样;改进工单 | 持续改进;问题管理 | 已交付的改进项 | 每季度 | 把一次性清理算作重复性的节省;忽视构建和维护自动化的工作量;没有前后对比就宣称节省 | 在两个周期内度量前后的小时数;自动化的维护工作量;随后几个季度的琐务占时间的比例 |
第 6 部分:客户与体验指标
6.1 客户满意度指标
所属主题:(见主题 6.1,客户满意度指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| CSAT | 针对已定义互动类型,满意的回答占比 | 在五分制中评为 4 或 5 的回答数 / 有效回答数 | 百分比 | 与工单或发布相联的互动后调查 | 服务台;事件管理;服务级别管理 | 利益相关方评审反馈 | 每周或每月 | 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单不发调查就关闭 | 向每张合格工单自动发送调查;回复率和回答者构成;重开率 |
| NPS | 针对已定义服务和受众,推荐者减去贬损者 | 回答 9 或 10 的百分比 减去 回答 0 到 6 的百分比 | 点,范围 -100 到 100 | 按固定间隔发送的关系调查 | 持续改进;服务级别管理 | 产品成果评审 | 每季度 | 只调查友好的用户;把调查时机放在一次好事件之后;当面询问;重新标记量表的点 | 登记册中固定的受众和日程;回答者覆盖;阅读贬损者的评论 |
| CES | 对完成某事有多容易的平均评分或偏正面评分的占比 | 偏正面的回答数 / 有效回答数,或平均评分 | 百分比或均值 | 与工单、请求或发布相联的互动后调查 | 服务请求管理;服务台 | 细化中的可用性反馈 | 每月 | 以把工作转移到别处的方式去掉表单中的步骤;只在顺利的请求之后询问 | 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行指标) |
| 调查回复率 | 受邀用户中作出回复的占比 | 收到的回答数 / 送达的调查数 | 百分比 | 调查工具和工单系统 | 度量与报告 | 评审中的反馈参与度 | 每月 | 只邀请可能回答的人;每次向不同的名单发送调查 | 写下邀请规则;把受邀者与用户总体比较 |
| 回答者覆盖 | 回答者构成在约定维度上与用户总体的吻合程度 | 每个群体中回答者的占比,与该群体在用户中的占比比较,按群体 | 百分点 | 与用户目录或工单数据连接的调查工具 | 度量与报告 | 利益相关方地图 | 每季度 | 把难以触达的群体从比较中去掉;不说明就重新加权 | 公布维度和方法;在加权结果旁边显示未加权结果 |
| 评论主题占比 | 自由文本评论被分配到各个主题的占比 | 主题中的评论数 / 已编码的评论数 | 百分比 | 已编码的调查评论 | 持续改进 | 回顾会议的主题 | 每月 | 为避开糟糕的主题而对评论编码;合并主题使没有一个显得大 | 由第二个人对一份样本编码;保持主题清单稳定并记录变更 |
| 贬损者跟进时间 | 从低评分到与用户有记录的联系之间的时间 | 跟进记录的时间戳 减去 低评分的时间戳,取中位数和第 85 百分位数 | 小时或天 | 调查工具和工单系统 | 事件管理;持续改进 | 工作协议中的反馈回路 | 每月 | 记录一条备注却不联系用户;联系用户要求更好的分数 | 检查跟进记录的内容;在下一次调查中问用户是否有人联系过他们 |
6.2 体验级别协议
所属主题:(见主题 6.2,体验级别协议)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 体验分数 | 针对某项服务和受众,对约定体验陈述的平均评分 | 在固定量表上,对一条陈述的有效回答的平均评分 | 量表点数 | 按日程发送的简短脉搏调查 | 服务级别管理;持续改进 | 利益相关方评审反馈;产品成果评审 | 每月 | 只调查满意的用户;把调查时机放在好事件之后;重新措辞陈述,使其更容易同意 | 回复率和回答者构成;稳定的措辞日志;阅读评论 |
| 情绪趋势 | 针对某项服务,自由文本评论中语气的方向 | 每个期间被编码为正面的评论占比 减去 被编码为负面的占比 | 百分点 | 已编码的调查评论和工单评论 | 持续改进 | 回顾会议的主题 | 每月 | 调整工具或主题清单,直到趋势上升;排除负面渠道 | 每月由人检查一份样本;保持固定的编码指南并记录变更 |
| 每用户摩擦事件 | 表明用户遇到麻烦的信号计数,按活跃用户归一化 | (重复联系 + 被重开的项目 + 超出设定次数的登录失败 + 被放弃的请求)/ 活跃用户数 | 每用户事件数 | 工单系统、身份日志、请求门户 | 服务台;事件管理 | 使用中发现的缺陷 | 每月 | 重新定义事件使计入的更少;通过使服务台难以联系来劝阻重复联系 | 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台指标) |
| 因 IT 问题损失的时间 | 用户在一个期间内因服务问题而损失的估计时间 | 自我报告的每用户损失分钟数,或按受影响用户加权的处于降级状态的实测时间 | 每用户分钟数 | 脉搏调查;与用户计数连接的监控 | 可用性管理;事件管理 | 因阻碍而损失的周期时间 | 每季度 | 以锚定低估计的方式提问;只统计重大事件 | 把自我报告的时间与实测的降级时间比较;评审调查措辞 |
| 旅程完成率 | 完成已定义旅程、没有放弃也没有寻求帮助的用户占比 | 完成旅程而没有帮助联系的用户数 / 开始旅程的用户数 | 百分比 | 门户分析;工单链接 | 服务请求管理;服务目录管理 | 可用性测试中的任务成功率 | 每月 | 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 | 登记册中的旅程定义;帮助联系率和升级 |
| XLA 达成率 | 该期间达成的约定体验目标占比 | 达成的目标数 / 约定的目标数 | 百分比 | XLA 登记册 | 服务级别管理 | 交付目标的达成 | 每季度 | 设定已经达成的目标;定义一个很小的目标集合 | 与用户一起评审目标设定;连同趋势和目标历史显示达成率 |
| 体验缺口 | 同一服务的 SLA 达成率与体验分数之间的差异 | 各服务间 SLA 达成率的排名 减去 体验分数的排名,或一份书面比较 | 排名差或说明 | SLA 报告和脉搏调查 | 服务级别管理 | 完成定义与用户反馈的对照 | 每季度 | 选择看起来最好的服务或期间;改变被比较的 SLA | 事先约定固定的比较集合;显示所有服务 |
6.3 服务采用与目录指标
所属主题:(见主题 6.3,服务采用与目录指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 采用率 | 在该期间至少使用过一次某项服务的合格用户占比 | 至少有一次完成使用的不同合格用户数 / 合格用户数 | 百分比 | 与用户目录连接的服务使用日志 | 服务目录管理;服务级别管理 | 功能采用;产品成果评审 | 每月 | 强制使用;把登录或页面浏览算作使用;把"合格用户"收窄到已经在使用它的人 | 完成成果的定义;与满意度和费力评分比较;公布合格用户的规则 |
| 活跃使用率 | 仍随时间持续使用服务的采用者占比 | 在该期间活跃、且在上一期间也使用过该服务的用户数 / 上一期间活跃的用户数 | 百分比 | 使用日志;队列表 | 持续改进 | 产品分析中的留存 | 每月 | 自动注册用户,使其显得活跃;发送计入活动的通知 | 只统计由用户发起、已完成的操作;对流失用户做抽样访谈 |
| 目录覆盖率 | 通过目录而不是临时渠道到达的请求占比 | 通过目录创建的请求数 / 所有渠道的全部请求数 | 百分比 | 请求管理工具;邮箱和聊天标签 | 服务请求管理;服务目录管理 | 带有书面定义的待办项 | 每月 | 把每个请求都强塞进通用目录项;用"请使用门户"关闭邮件请求 | 请求放弃率和满意度;统计有多少请求通过另一个渠道重新提出 |
| 请求放弃率 | 用户开始但未提交的请求占比 | 开始后 24 小时内未提交的请求数 / 开始的请求数 | 百分比 | 门户分析 | 服务请求管理 | 可用性测试中的任务放弃 | 每月 | 去掉需要的表单字段,这把工作转移到履行;只在很长的窗口之后才统计被放弃的请求 | 履行时的返工和澄清率(见主题 3.5,服务请求履行指标) |
| 搜索成功率 | 以一次请求或一次查看答案而告终的目录搜索占比 | 在会话内之后有请求或知识查看的搜索数 / 搜索数 | 百分比 | 门户搜索日志 | 知识管理;服务目录管理 | 用户研究中的可查找性 | 每月 | 把任何点击算作成功;添加匹配每个查询的无关文章 | 检查结果是否被使用(提出了请求、文章被评为有帮助);阅读零结果搜索 |
| 陈旧项目占比 | 超过评审日期、或在规定期间内无使用的目录项占比 | 逾期未评审或 12 个月内请求数为零的项目数 / 目录中的项目数 | 百分比 | 目录登记册 | 服务目录管理 | 待办项年龄与修剪 | 每季度 | 不阅读就把项目标为已评审;批量重置评审日期 | 抽样已评审的项目检查准确性;显示最近一次真正变更的日期 |
| 请求集中度 | 被请求最多的几个项目所占的请求占比 | 前五个项目的请求数 / 全部目录请求数 | 百分比 | 请求管理工具 | 服务请求管理 | 按类型的工作帕累托图 | 每季度 | 把热门项目拆成许多个;把不相关的项目合并以隐藏长尾需求 | 带变更日志的固定项目分类法;按类别查看长尾 |
6.4 用户与员工体验
所属主题:(见主题 6.4,用户与员工体验)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 第一天就绪率 | 新员工的设备、账户和访问权限在其开始时间已完整且可用的占比 | 开始时所有约定项目都可用的新员工数 / 该期间的新员工数 | 百分比 | 入职请求、身份系统、新员工确认 | 服务请求管理;服务目录管理 | 关于入职的团队工作协议 | 每月 | 缩短约定的清单;在项目可用之前就标为就绪;推迟正式的开始日期 | 登记册中的书面清单;新员工的确认;达到产出的时间 |
| 达到产出的时间 | 从开始日期到新员工具备首个真正任务所需一切之间的经过时间 | 从开始日期到新员工及其经理确认之间的天数的中位数和第 85 百分位数 | 天 | 入职跟踪器;简短的确认问题 | 服务请求管理;持续改进 | 新团队成员做出首个变更的时间 | 每月 | 把时钟的起点推迟;过早关闭入职记录 | 登记册中的时钟定义;经理和新员工都确认 |
| 变通办法普遍度 | 使用未经批准的工具或手工步骤绕开官方服务的受访员工占比 | 报告了该服务存在变通办法的回答者数 / 有效回答者数 | 百分比 | 脉搏调查;受许可的工具发现报告 | 服务级别管理;持续改进 | 每日团队检查中提出的障碍 | 每季度 | 通过暗示后果来阻止诚实的回答;只询问满意的群体 | 匿名性声明;回复率和回答者构成;隐私保障合规性 |
| 强制打断分钟数 | 人们被强制重启、更新和登录提示等计划内 IT 行动所打断的时间 | 计划内行动造成的总打断分钟数 / 该群体中的活跃用户数 | 每人每月分钟数 | 终端管理日志,按群体汇总 | 变更赋能;发布与部署管理 | 不被打断的工作时间 | 每月 | 只统计某些类型的打断;把打断转移到未被度量的群体 | 定义所有计划内的打断类型;按群体报告,包括远程和轮班员工 |
| 无障碍请求解决时间 | 解决与无障碍需求相关的请求的时间 | 从请求到确认可用的解决方案之间的小时数的中位数和第 85 百分位数 | 小时 | 带无障碍标签的请求系统 | 服务请求管理;事件管理 | 包容性的完成定义 | 每月 | 以部分修复关闭请求;把请求标成别的东西以避开时钟 | 请求人确认解决方案有效;评审未标记的请求 |
| 工具脉搏分数 | 对一个具名工具或服务在一个简短约定问题上的评分 | 按工具,有效回答的平均评分或偏正面回答的占比 | 量表点数或百分比 | 脉搏调查,轮换工具 | 服务级别管理;持续改进 | 团队成员对其工具的反馈 | 每季度 | 只调查满意的用户;更改问题;训练员工回答得好 | 稳定的措辞日志;回复率和构成;阅读评论 |
| 隐私保障合规性 | 满足抑制和汇总规则的体验报告占比 | 满足规则的报告数 / 已发布的报告数 | 百分比 | 对照隐私规则评审已发布的报告 | 信息安全管理;度量与报告 | 关于数据使用的工作协议 | 每季度 | 没有独立评审就报告合规;放宽群体以隐藏问题 | 由团队之外的人定期评审;公布规则(k 的值和抑制) |
6.5 价值实现与业务成果
所属主题:(见主题 6.5,价值实现与业务成果)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 收益实现率 | 在约定的评审日期被观察到的预期收益占比 | 度量结果达到或高于约定阈值的收益数 / 评审日期在该期间的预期收益数 | 百分比 | 带负责人、基线和评审日期的收益登记册 | 持续改进;服务价值系统治理 | 与利益相关方的成果评审 | 每季度 | 设定低阈值;移动评审日期;事后重新定义收益 | 阈值和日期在批准时固定;证据质量占比;负责人在交付团队之外 |
| 达到首个价值的时间 | 从工作开始到用户得到第一个可度量收益的时间 | 从第一项工作开始,到收益指标首次按预期变动之日的天数 | 天 | 工作跟踪器和收益指标 | 服务设计;发布与部署管理 | 持续交付价值 | 每项举措 | 选择因错误原因而变动的早期指标;晚启动时钟 | 登记册中定义指标和时钟;与收益负责人确认 |
| 假设检验率 | 发布之后其所述价值假设得到检验的已发布变更占比 | 有发布后检验记录的变更数 / 带有假设的已发布变更数 | 百分比 | 与发布记录关联的假设日志 | 持续改进;变更赋能 | 从已发布的工作中学习 | 每月 | 撰写总能通过的含糊假设;只检验成功的变更 | 抽样假设的可检验性;评审中包括零结果和失败的结果 |
| 证据质量占比 | 有基线和所述比较方法的、所主张的收益占比 | 有基线和方法的收益主张数 / 所报告的收益主张数 | 百分比 | 收益登记册的评审 | 度量与报告 | 对成果的诚实报告 | 每季度 | 回填基线;把任何比较都描述为方法 | 变更之前注明日期的基线;由团队之外的人评审 |
| 成果指标变动 | 所选成果指标相对于其基线、以及(可得时)相对于对照的变化 | (之后的指标 减去 之前的指标),并在旁边报告对照组的变化 | 指标单位 | 产品分析、服务数据、财务 | 服务级别管理;持续改进 | 关键结果的进展 | 每月 | 挑选有利的期间或群体;忽视混杂因素 | 预先登记的期间和群体;考虑过的混杂因素清单 |
| 业务影响小时数 | 因服务问题而使业务流程降级或停止的小时数 | 流程负责人归因于 IT 服务原因的流程降级或停止的小时数 | 小时 | 与流程负责人确认相联的事件记录 | 事件管理;可用性管理 | 业务影响评审 | 每月 | 流程负责人夸大或缩小归因;重新分类事件以避免归因 | 书面并记录的归因规则;与事件和可用性记录比较 |
| 与成果相联的容量占比 | 花在与所述成果相联的工作上的团队容量占比 | 与已记录成果相联的项目上的容量 / 总容量 | 百分比 | 带成果字段的工作跟踪器 | 服务价值系统;组合治理 | 与产品目标对齐的工作 | 每季度 | 给所有工作贴上通用的成果标签;为例行工作编造成果 | 与利益相关方一起评审成果清单;抽样项目检查链接质量 |
第 7 部分:资产、配置与财务指标
7.1 IT 资产管理指标
所属主题:(见主题 7.1,IT 资产管理指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 清单准确率 | 记录与所发现情况相符的抽样资产占比 | 记录在所有约定字段上与物理或技术证据相符的抽样资产数 / 抽样的资产数 | 百分比 | 与资产登记册和发现数据比较的审计样本 | IT 资产管理;配置管理 | 完成的定义包括登记资产 | 每季度 | 对容易的资产抽样;只在清理之后审计;以更少的字段计为匹配 | 由团队之外的人抽取随机样本;固定的字段清单;从两个方向抽样 |
| 发现覆盖率 | 在该期间被发现工具看到的预期资产占比 | 过去 30 天内至少被一个发现来源看到的资产数 / 登记册中发现工具能看到的资产数 | 百分比 | 与登记册连接的发现工具报告 | IT 资产管理;监控与事件管理 | 基础设施即代码的状态与现实相符 | 每月 | 把"预期资产"收窄到发现工具能看到的;排除难以扫描的网络 | 记录排除项;与采购和云账单比较 |
| 核对率 | 在独立来源之间匹配的资产占比 | 在登记册和第二个来源(例如采购、身份或云账单)中都匹配的资产数 / 任一来源中的资产数 | 百分比 | 登记册、采购、身份、云账单的导出 | IT 资产管理;供应商管理 | 环境的单一事实来源 | 每月 | 选择一个派生自第一个来源的第二来源;在薄弱的键上自动匹配 | 使用真正独立的来源;手工抽查匹配 |
| 无主资产占比 | 没有具名且有效负责人的资产占比 | 没有负责人或负责人已离开的资产数 / 登记册中的资产数 | 百分比 | 与人员目录连接的登记册 | IT 资产管理;信息安全管理 | 服务和组件的清晰所有权 | 每月 | 指派一个笼统的团队作为负责人;填入占位的人 | 由笼统团队拥有的资产计数;负责人确认抽样 |
| 生命周期阶段完整性 | 有当前生命周期阶段及该阶段所要求日期的资产占比 | 已记录阶段和所需日期的资产数 / 登记册中的资产数 | 百分比 | 登记册 | IT 资产管理;发布与部署管理 | 流水线中跟踪的环境生命周期 | 每月 | 填入默认日期;把每项资产都设为"使用中" | 在审计中将阶段与证据比较;查看年龄分布 |
| 记录时间 | 资产变更与其在登记册中更新之间的延迟 | 从变更事件到登记册更新的小时数或天数的中位数和第 85 百分位数 | 天 | 与登记册时间戳比较的变更、采购或流水线事件 | IT 资产管理;变更赋能 | 流水线中的自动登记 | 每月 | 倒填变更事件;把事件时间记录为记录时间 | 与源系统的时间戳比较;编辑的审计轨迹 |
| 未能说明下落的资产率 | 在审计时无法定位或解释的预期资产占比 | 预期但未找到、且没有已批准处置作为解释的资产数 / 预期的资产数 | 百分比 | 审计结果 | IT 资产管理;信息安全管理 | 对丢失物品的回顾发现 | 每次审计 | 未经批准就注销资产;把它们重新归类为已处置 | 处置的批准和证据率;将注销与财务记录比较 |
7.2 软件资产与许可证指标
所属主题:(见主题 7.2,软件资产与许可证指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 有效许可证状况 | 按许可证自己的计数单位,每个产品持有的授权与发现的使用之间的比较 | 持有的授权数 减去 发现的部署数或用户数,按产品 | 单位(盈余为正,缺口为负) | 授权记录、发现工具、身份系统 | IT 资产管理;供应商管理 | 面向团队的可见目录和使用数据 | 关键产品每月;其他每季度 | 以有利的单位计数;让影子部署留在发现之外 | 按许可证自己的单位计数;与费用和身份数据比较;由法务评审计数规则 |
| 许可证利用率 | 已付费授权中处于活跃使用的占比 | 过去 90 天内有活动的授权数 / 已付费的授权数 | 百分比 | 厂商使用报告、身份日志、授权记录 | IT 资产管理;财务管理 | 对工具价值的回顾 | 每月 | 缩短活动窗口;把机器人或服务账户的登录算作使用 | 登记册中的固定窗口;排除非人类账户;与厂商使用报告比较 |
| 闲置软件成本 | 已付费却未使用的授权的年度成本 | (未使用的授权数乘以单位成本)之和 | 每年的货币金额 | 授权记录、使用数据、发票 | IT 资产管理;财务管理 | 工具链中的浪费削减 | 每季度 | 恰好在评审之前重新谈判或取消,以减少数字;忽略用卡支付的订阅 | 包括所有支出来源;在通知窗口开始时跟踪成本 |
| 未经许可的应用数 | 在使用中、却不在获批目录里的软件应用数量 | 在费用数据、单点登录日志或网络数据中看到的、不在目录里的应用 | 计数 | 费用报告、身份提供方、网络和终端数据 | IT 资产管理;信息安全管理 | 在可见支持下选择工具的团队 | 每月 | 把一切都批准进目录以减少计数;通过使用个人账户隐藏使用 | 目录评审标准;查看支出和身份数据;问团队需要什么 |
| 续约就绪度 | 在通知日期之前做过使用评审的续约占比 | 在通知日期前至少 90 天完成使用评审的续约数 / 该期间到期的续约数 | 百分比 | 合同登记册和评审记录 | 供应商管理;财务管理 | 对变化提前计划 | 每季度 | 举行敷衍的评审;把通知日期设得更晚 | 带必需输入的评审检查清单;合同日期由采购持有 |
| SBOM 覆盖率 | 拥有最新软件物料清单的生产服务占比 | 在上一个发布周期生成了 SBOM 的服务数 / 生产服务数 | 百分比 | 构建流水线输出、服务目录 | IT 资产管理;信息安全管理 | 完成定义包括依赖可见性 | 每月 | 生成遗漏传递依赖的 SBOM;统计未发布的构建输出 | 在登记册中定义深度;对照已部署的制品抽查 SBOM |
| 开源评审覆盖率 | 生产中有记录的许可证识别和政策决定的组件占比 | 记录了许可证和决定的组件数 / 在 SBOM 中发现的组件数 | 百分比 | 软件构成分析工具、政策登记册 | IT 资产管理;供应商管理 | 流水线中的依赖评审 | 每月 | 不作决定就把组件标为已评审;接受"未知"许可证 | 统计许可证未知的组件;评审一份决定样本 |
7.3 硬件资产生命周期指标
所属主题:(见主题 7.3,硬件资产生命周期指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 年龄分布 | 按类别的设备年龄分布,以及超出计划寿命的占比 | 年龄的中位数和第 85 百分位数;比该类别计划寿命更老的设备占比 | 年;百分比 | 资产登记册的购买和部署日期 | IT 资产管理;容量与性能管理 | 技术健康评审 | 每季度 | 更换健康的设备以降低平均值;通过把旧设备重新归类为备件而将其排除 | 按年龄段的故障率;闲置设备占比;评审重新归类 |
| 按时更新率 | 到达计划更换时间、并在计划窗口内被更换的设备占比 | 在窗口内被更换的设备数 / 该期间到达计划更换时间的设备数 | 百分比 | 资产登记册和更新计划 | IT 资产管理;服务请求管理 | 对工作环境的计划内维护 | 每季度 | 放宽计划窗口;通过编辑计划推迟计划日期 | 计划变更连同理由被记录;与故障和用户反馈比较 |
| 按型号的故障率 | 按型号和年龄段,每 100 台设备每年的故障数 | 该期间的硬件故障数 / 平均在用设备数,换算为一年,乘以 100 | 每年每 100 台的故障数 | 与登记册连接的事件和维修记录 | 事件管理;IT 资产管理 | 工作环境中的缺陷 | 每季度 | 把故障编码为用户损坏或软件故障;延迟维修记录 | 抽样故障编码;将维修记录与事件记录比较 |
| 闲置设备占比 | 在规定期间内没有活动的已发放设备占比 | 60 天内没有登录或网络活动的设备数 / 已发放的设备数 | 百分比 | 终端管理日志,按类别汇总 | IT 资产管理;财务管理 | 浪费削减 | 每月 | 把计划内的后台活动算作使用;把闲置设备重新分配给幽灵用户 | 以人工登录作为活动信号;抽查分配 |
| 更换前置时间 | 用一台可用的设备替换故障或丢失设备的时间 | 从报告到用户拥有可用设备的小时数或天数的中位数和第 85 百分位数 | 天 | 事件和请求记录 | 事件管理;服务请求管理 | 解除团队成员阻碍的时间 | 每月 | 在发出时停止时钟;在用户拥有可用设备之前关闭请求 | 时钟在用户确认时结束;调查近期的更换 |
| 安全处置完成率 | 有数据擦除或销毁的记录证据的退役设备占比 | 有擦除或销毁证据的退役设备数 / 退役的设备数 | 百分比 | 处置记录和擦除证书 | 信息安全管理;IT 资产管理 | 退役设备的完成定义 | 每月 | 记录擦除却无证据;证书与序列号不匹配 | 将证书与序列号匹配;与处置合作伙伴一起审计一份样本 |
| 再利用与回收率 | 通过获批渠道被再利用、翻新或回收的退役设备占比 | 通过获批渠道被再利用、翻新或回收的设备数 / 退役的设备数 | 百分比 | 处置和合作伙伴记录 | IT 资产管理;供应商管理 | 计划中的可持续目标 | 每季度 | 把送往下游处理不明的经纪人的设备算作已回收 | 要求经认证的合作伙伴和下游报告;抽样审计 |
7.4 配置与 CMDB 质量指标
所属主题:(见主题 7.4,配置与 CMDB 质量指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| CI 完整性 | 所有必填属性都以有效值填写的范围内 CI 占比 | 每个必填属性都有效的范围内 CI 数 / 范围内 CI 数 | 百分比 | CMDB、属性规则 | 服务配置管理;IT 资产管理 | 完成的定义包括服务描述 | 每月 | 用默认值或占位符填写必填属性;收窄必填清单 | 统计默认值和占位符;固定的必填清单;准确性样本 |
| CI 准确率 | 记录在必填属性上与证据相符的抽样 CI 占比 | 在所有必填属性上相符的抽样 CI 数 / 抽样的 CI 数 | 百分比 | 与在线系统比较的审计样本 | 服务配置管理 | 基础设施即代码的状态与现实相符 | 每季度 | 对容易的类别抽样;在清理之后审计 | 从两个方向独立抽取的随机样本;固定的方法 |
| 依赖覆盖率 | 其上游和下游依赖已映射并经评审的关键服务占比 | 在过去 90 天内评审过依赖地图的关键服务数 / 关键服务数 | 百分比 | CMDB 关系和评审记录 | 服务配置管理;可用性管理 | 架构和服务所有权评审 | 每季度 | 不阅读就把地图标为已评审;只映射琐碎的依赖 | 影响预测命中率;对照在线流量抽查一张地图 |
| 影响预测命中率 | 实际受影响的服务都在 CMDB 预测的影响之内的事件和变更占比 | 所有受影响服务都被预测到的事件或变更数 / 被评审的事件或变更数 | 百分比 | 与 CMDB 查询比较的事件后评审和变更记录 | 事件管理;变更赋能 | 关于缺失依赖的无责评审发现 | 每季度 | 选择进展顺利的事件;把受影响的服务记录得很窄 | 评审所有重大事件;评审者在所属团队之外 |
| 重复 CI 率 | 重复了另一个 CI 的 CI 占比 | 被匹配规则标为重复并在评审中确认的 CI 数 / 范围内 CI 数 | 百分比 | CMDB 匹配报告和评审样本 | 服务配置管理 | 单一事实来源 | 每月 | 合并不同的 CI 以降低比率;放宽匹配规则 | 抽样合并的正确性;记录合并规则 |
| 更新延迟 | 现实世界中某个 CI 的变更与其在 CMDB 中的更新之间的延迟 | 从变更事件到 CMDB 更新的小时数或天数的中位数和第 85 百分位数 | 小时或天 | 与 CMDB 时间戳比较的变更事件和流水线事件 | 服务配置管理;变更赋能 | 流水线中的自动登记 | 每月 | 倒填变更事件;只统计自动更新 | 比较来自源系统的事件和更新时间戳;审计轨迹 |
| CMDB 使用率 | 引用 CI 的事件和变更占比,以及其中用户报告记录有帮助的占比 | 引用有效 CI 的记录数 / 该期间的事件和变更数;外加已评审记录中 CI 数据有帮助的占比 | 百分比 | ITSM 工具、简短的反馈提示 | 事件管理;变更赋能 | 在工作中使用共享记录的团队 | 每月 | 出于形式加入 CI 引用;让字段必填,填什么值都行 | 检查所引用的 CI 是否相关;关于是否有帮助的反馈问题 |
7.5 服务成本与单位经济
所属主题:(见主题 7.5,服务成本与单位经济)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 每项服务的成本 | 使用文档化的分摊规则,一项具名服务的全额年度成本 | 该期间该服务的直接成本 + 分摊的共享成本 | 每年的货币金额 | 总账、成本中心数据、云和许可证账单、时间或活动数据 | 服务财务管理;服务目录管理 | 长期存在的产品团队及其平台的成本 | 每季度 | 通过分摊规则把成本转移到其他服务;让不利的成本保持未分摊 | 分摊覆盖率;规则公布并由负责人评审;将总数与总账比较 |
| 单位成本 | 用户所看重的每个单位的成本,比如每个活跃用户、每笔交易或每个已解决的请求 | 该期间每项服务的成本 / 该期间交付的单位数 | 每单位的货币金额 | 每项服务的成本和数量数据 | 服务财务管理;服务级别管理 | 每项成果的服务成本 | 每季度 | 用低价值的单位增大分母;削减质量以削减成本;更改单位 | 质量伴侣度量;固定的单位定义;成果检查 |
| 分摊覆盖率 | 被归属到具名服务、或被声明为共享开销的 IT 开支占比 | 归属到服务或声明为开销的开支 / IT 总开支 | 百分比 | 总账和分摊模型 | 服务财务管理 | 每个团队工作的可见成本 | 每季度 | 把大量金额宣布为共享开销以避免归属 | 报告开销占比;评审什么被宣布为开销以及原因 |
| 运行、变更与改进的划分 | 用于运行服务、变更服务和改进服务的开支或容量占比 | 每个类别的开支或容量 / 总计 | 百分比 | 总账标签、工作跟踪器的工作类型 | 服务财务管理;持续改进 | 按工作类型的容量分配 | 每季度 | 把运行工作重新标记为改进或变更;在期末才打标签 | 在接收时打标签;抽样项目的类型;与事件和请求数据比较 |
| 预测偏差 | 按服务,预测成本与实际成本之间的差异 | (实际 减去 预测)/ 预测 | 百分比 | 预测日志和总账 | 服务财务管理 | 预测准确性 | 每月 | 给预测加水分;在期内晚些时候修订预测 | 预测在期初记录;随时间将预测范围与实际比较 |
| 成本展示争议率 | 服务负责人提出质疑、且被更改的成本展示或成本回收明细项占比 | 质疑后被更改的明细项数 / 发出的明细项数 | 百分比 | 成本展示系统和争议日志 | 服务财务管理 | 对共享成本的回顾 | 每季度 | 劝阻争议;在不改变规则的情况下更改明细项 | 评审争议及其结果;检查反复争议之后规则是否改变 |
| 长期存在团队的出资占比 | 作为服务的稳定团队容量出资的交付和运维开支占比 | 长期存在的服务团队的开支 / 交付和运维总开支 | 百分比 | 总账和组织架构图 | 服务财务管理;组织变革 | 围绕服务和积极投入的人构建的团队 | 每年 | 把项目改名为长期存在的团队,却不改变出资或所有权 | 随时间检查团队的稳定性和所有权;服务健康度量 |
7.6 FinOps 与云成本指标
所属主题:(见主题 7.6,FinOps 与云成本指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 分摊覆盖率 | 被归属到所属团队或声明的共享池的云开支占比 | 带有有效负责人和服务标签、或位于声明的共享池中的开支 / 云总开支 | 百分比 | 云账单导出、标签政策 | 服务财务管理;IT 资产管理 | 团队对其所运行之物的所有权 | 每周 | 把一切都标给一个笼统的负责人;把大量金额宣布为共享 | 笼统负责人所拥有的开支占比;共享池的规模和评审;负责人确认抽样 |
| 云单位成本 | 用户所看重的每个单位的云资源成本 | 该期间该服务的云成本 / 该期间交付的单位数 | 每单位的货币金额 | 与服务数量连接的账单数据 | 服务财务管理;服务级别管理 | 每项成果的服务成本 | 每月 | 选择廉价增长的单位;削减可靠性以削减成本 | 固定的单位定义;可靠性和质量伴侣 |
| 浪费率 | 花在闲置或明显过大的资源上的开支占比 | 依据约定规则,花在闲置或过大资源上的开支 / 范围内资源的总开支 | 百分比 | 利用率度量和账单 | 容量与性能管理;财务管理 | 工具链中的浪费削减 | 每周 | 收窄闲置的定义;把浪费转移到范围之外的账户 | 登记册中的规则;扫描所有账户;抽样规则所排除的资源 |
| 承诺覆盖率 | 被折扣承诺覆盖的合格稳定使用占比 | 被承诺覆盖的合格使用量 / 合格使用量 | 百分比 | 账单和承诺报告 | 服务财务管理;供应商管理 | 对可预测需求的规划 | 每月 | 对夸大的基线作出承诺以追逐高百分比 | 承诺利用率;对照使用历史检查基线 |
| 承诺利用率 | 所购买的承诺中被使用的占比 | 已使用的承诺小时数 / 已购买的承诺小时数 | 百分比 | 承诺报告 | 服务财务管理;供应商管理 | 来自计划投资的价值 | 每月 | 加入不需要的合格使用量来填满承诺 | 与真实需求的增长比较;单位成本 |
| 预测偏差 | 按团队和总体,预测与实际云开支之间的差异 | (实际 减去 预测)/ 预测 | 百分比 | 预测日志和账单数据 | 服务财务管理 | 预测准确性 | 每月 | 给预测加水分;晚些时候修订它们 | 在期初记录预测;跟踪范围宽度和命中率 |
| 异常确认时间 | 从成本异常告警到负责人记录决定的时间 | 从告警到负责人响应的小时数的中位数和第 85 百分位数 | 小时 | 异常告警和工单记录 | 监控与事件管理;事件管理 | 对生产信号的响应能力 | 每月 | 不看就确认告警;自动关闭告警 | 记录决定和结果;抽样告警检查响应质量 |
7.7 投资回报与商业论证
所属主题:(见主题 7.7,投资回报与商业论证)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 投资回报 | 在所述期间内,净收益相对于成本 | (总收益 减去 总成本)/ 该期间的总成本 | 百分比 | 商业论证、总账、收益登记册 | 服务财务管理;持续改进 | 对照出资的成果评审 | 决策时以及每次评审 | 选择很长的期间,或统计软性收益;遗漏运营成本 | 关于期间和成本范围的固定规则;收益证据质量;独立评审 |
| 总拥有成本 | 在所述期间内,一项服务或资产的全生命周期成本 | 该期间的取得 + 运行 + 支持 + 变更 + 培训 + 处置成本 | 货币 | 总账、成本模型、供应商合同 | 服务财务管理;IT 资产管理 | 长期存在的团队及其平台的成本 | 决策时以及每年 | 遗漏支持、培训、变更工作量或处置;使用乐观的数量 | 成本类别检查清单;与类似过往工作的实际 TCO 比较 |
| 回收期 | 累积净收益等于初始投资所需的时间 | 累积收益 减去 累积成本 达到零的时间 | 月 | 商业论证的现金流 | 服务财务管理 | 达到首个价值的时间,扩展到成本回收 | 决策时以及每次评审 | 把起点定义得晚;统计未实现的收益 | 固定时钟的定义;与实现收益的准确性比较 |
| 净现值 | 在所述折现率下,预期收益的现值 减去 成本的现值 | 各期(收益 减去 成本)/(1 + 折现率)的期次方,求和 | 货币 | 商业论证的现金流、关于折现率的财务政策 | 服务财务管理 | 基于价值的优先级排定 | 决策时 | 选择低折现率;延长时间跨度 | 折现率由财务政策设定;显示敏感性分析 |
| 成本估计准确性 | 已完成举措的实际成本与估计成本之比 | 实际成本 / 批准时的估计成本,按举措并作为分布 | 比值 | 商业论证记录和总账 | 服务财务管理;持续改进 | 预测准确性 | 每季度 | 事后修订基线估计;把超支作为范围变更排除 | 估计在批准时冻结;记录经批准的范围变更;显示完工总成本 |
| 收益估计准确性 | 已完成举措的实现收益与预期收益之比,使用收益的证据规则 | 实现的收益 / 批准时的预期收益,按举措并作为分布 | 比值 | 商业论证记录和收益登记册 | 持续改进;服务价值系统治理 | 与利益相关方的成果评审 | 每季度 | 统计未被度量的收益;重新定义收益 | 收益登记册规则;交付团队之外的负责人确认 |
| 基于证据的停止率 | 因证据改变了图景而在阶段关卡被停止或重新塑造的已出资举措占比 | 在关卡处依据证据被停止或重塑的举措数 / 到达关卡的举措数 | 百分比 | 阶段关卡的决定日志 | 持续改进;组合治理 | 从已发布的工作中学习 | 每季度 | 停止低价值的工作以夸大比率;从不停止任何东西 | 与准确性度量一起阅读;评审停止与继续的理由 |
第 8 部分:安全、风险、合规与供应商指标
8.1 安全事件与漏洞指标
所属主题:(见主题 8.1,安全事件与漏洞指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 暴露窗口 | 按优先级带,已知漏洞在范围内资产上保持打开的时间 | 从已知适用于该资产之日,到修复或获认可的缓解措施得到验证之日的天数的中位数和第 85 百分位数 | 天 | 漏洞扫描器、工单系统、变更记录 | 信息安全管理;问题管理 | 待办中修复缺陷的时间 | 每周 | 不经验证就关闭发现;更改起始日期;重新分类严重程度 | 由修复团队之外的人做验证步骤;登记册中的起始日期规则;严重程度变更日志 |
| 补丁合规率 | 满足其类别补丁政策窗口的范围内资产占比 | 在政策窗口内打了补丁的资产数 / 该期间范围内需要补丁的资产数 | 百分比 | 终端和服务器管理工具、资产登记册 | 信息安全管理;发布与部署管理 | 在流水线中保持最新的依赖 | 每周 | 把难以打补丁的资产排除在范围之外;系统未重启就把补丁算作已应用 | 记录范围变更;从资产而不是工单验证已安装的版本 |
| 逾期的关键发现 | 超过政策期限的关键优先级发现的数量和年龄 | 超过期限的关键发现数;最老的一个的年龄 | 计数;天 | 漏洞管理系统 | 信息安全管理;风险管理 | 超出约定限度的安全缺陷 | 每周 | 拆分或合并发现;降低严重程度 | 按唯一的漏洞和资产计数;评审所有严重程度变更 |
| 扫描覆盖率 | 在要求的间隔内被评估的范围内资产占比 | 在上一个间隔内成功扫描的资产数 / 范围内资产数 | 百分比 | 与资产登记册连接的扫描器报告 | 信息安全管理;IT 资产管理 | 每次构建都运行的流水线检查 | 每周 | 扫描更窄的集合;把认证失败的扫描算作数 | 对照资产登记册的覆盖;扫描质量(经认证的、完整的) |
| 遏制时间 | 从检测到已确认的安全事件到遏制的时间 | 从检测到遏制的小时数的中位数和第 85 百分位数 | 小时 | 事件记录 | 事件管理;信息安全管理 | 失败后恢复服务的时间 | 每起事件,每月评审 | 把时钟启动得更晚;过早宣布遏制 | 时钟从第一个检测信号开始;用证据验证遏制 |
| 风险例外的年龄 | 接受风险的例外的年龄,以及超过评审日期的占比 | 自批准以来的天数;超过评审日期的例外数 / 打开的例外数 | 天;百分比 | 例外登记册 | 风险管理;信息安全管理 | 技术债务评审 | 每月 | 自动续期例外;拆分例外以降低年龄 | 附理由评审例外的续期;对没有新证据的续期设上限 |
| 安全报告率 | 员工报告的可疑事件相对于已确认安全事件的占比,作为报告文化的指标 | 该期间员工的报告数 / 该期间已确认的可疑事件数,附群体层面的趋势 | 比值 | 安全邮箱、事件记录 | 信息安全管理;事件管理 | 公开提出障碍 | 每月 | 鼓励低价值的报告;为改善其他数字而阻止报告 | 报告的质量;阅读评论;调查人们是否觉得报告是安全的 |
8.2 风险与控制指标
所属主题:(见主题 8.2,风险与控制指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 风险评审时效 | 在约定间隔内由其负责人评审过的打开风险占比 | 在间隔内被评审的风险数 / 打开的风险数 | 百分比 | 风险登记册的评审日期 | 风险管理;持续改进 | 在计划和评审交谈中评审风险 | 每月 | 不经讨论就把风险标为已评审;更改间隔 | 抽样评审的实质内容;登记册中固定的间隔 |
| 负责人覆盖率 | 有已接受所有权的、具名且当前的负责人的打开风险占比 | 有经确认的当前负责人的风险数 / 打开的风险数 | 百分比 | 与人员目录连接的风险登记册 | 风险管理 | 待办上由团队拥有的风险 | 每月 | 在不让其知情的情况下指派负责人;点名一位没有权限的高层人员 | 负责人确认;检查负责人能否对应对措施采取行动 |
| 控制测试覆盖率 | 在要求的周期内被测试运行情况的关键控制占比 | 在周期内被测试的关键控制数 / 关键控制数 | 百分比 | 控制登记册和测试记录 | 风险管理;信息安全管理 | 流水线中的自动化检查 | 每季度 | 测试容易的控制;把设计评审算作运行测试 | 关键控制清单由第二方固定;记录测试类型 |
| 控制有效率 | 被发现按设计运行的、受测试控制的占比 | 被发现有效的控制数 / 被测试的控制数 | 百分比 | 测试结果 | 风险管理;持续改进 | 因正确的原因而通过的自动化测试 | 每季度 | 测试小样本;选择能通过的样本 | 独立于负责人的抽样方法;记录样本量 |
| KRI 突破响应时间 | 从关键风险指标越过其阈值到记录决定的时间 | 从突破到决定的小时数或天数的中位数和第 85 百分位数 | 小时或天 | KRI 监控和决定日志 | 风险管理;监控与事件管理 | 对生产信号的反应 | 每月 | 在突破之后更改阈值;记录一个没有内容的决定 | 阈值变更日志;决定内容抽样 |
| 处理计划及时性 | 在承诺日期之前完成的风险处理占比 | 按日期完成的处理数 / 该期间到期的处理数 | 百分比 | 风险登记册和行动跟踪器 | 风险管理;持续改进 | 已交付的改进行动 | 每季度 | 设定容易的日期;重新定义完成 | 批准时与负责人约定日期;检查风险评级是否移动 |
| 基于风险的变更占比 | 通过基于风险的路径、附有控制证据而获批的变更占比 | 通过基于风险的路径并附必需证据而获批的变更数 / 该期间的变更数 | 百分比 | 变更记录 | 变更赋能;风险管理 | 带自动化检查持续交付的变更 | 每月 | 把变更归为低风险以避免评审;附上并非由控制产生的证据 | 对照规则抽样分类;来自流水线的自动化证据 |
8.3 合规与审计指标
所属主题:(见主题 8.3,合规与审计指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 义务覆盖率 | 被映射到带负责人和证据来源的控制的适用义务占比 | 被映射到至少一项带负责人和证据来源的控制的义务数 / 适用义务数 | 百分比 | 义务登记册和控制登记册 | 治理;信息安全管理;风险管理 | 完成的定义包括控制证据 | 每季度 | 把义务映射到薄弱或不相关的控制;把义务定义得很窄 | 由第二方评审控制的相关性;测试控制(见主题 8.2,风险与控制指标) |
| 证据自动化率 | 从记录系统自动收集的、范围内控制证据占比 | 自动收集的控制证据项数 / 需要的证据项数 | 百分比 | 控制登记册、流水线和系统日志 | 信息安全管理;变更赋能 | 流水线自动记录评审、测试和部署 | 每季度 | 把截图或导出算作自动;先自动化低价值的证据 | 把自动定义为系统生成且防篡改;按风险排序 |
| 证据响应时间 | 提供审计员或评估员所要求的证据的时间 | 从请求到证据被接受的天数的中位数和第 85 百分位数 | 天 | 审计请求跟踪器 | 治理;信息安全管理 | 对利益相关方问题的响应能力 | 每次审计 | 迅速提供部分证据;就请求措辞进行谈判 | 只统计被接受的证据;跟踪后续请求 |
| 发现关闭时间 | 按严重程度,关闭审计发现的时间 | 从发现发出到经验证的关闭的天数的中位数和第 85 百分位数 | 天 | 发现跟踪器 | 持续改进;风险管理 | 修复缺陷的时间 | 每月 | 不经验证就关闭发现;重新分类严重程度 | 独立验证;严重程度变更日志 |
| 重复发现率 | 从先前的审计或评审中重复出现的发现占比 | 在实质上与较早已关闭的发现相匹配的发现数 / 该期间的发现数 | 百分比 | 附原因链接的发现跟踪器 | 持续改进;问题管理 | 修复后重复出现的缺陷 | 每个审计周期 | 重新措辞发现使其不匹配;把较早的发现作为不同类型关闭 | 依据记录的规则按原因匹配;由内部审计评审 |
| 职责分离冲突 | 违反分离规则的访问或批准组合的计数,以及解决的时间 | 检测到的冲突数;解决所需天数的中位数 | 计数;天 | 身份与访问管理工具、变更记录 | 信息安全管理;变更赋能 | 对变更的独立评审 | 每月 | 把冲突转移到范围之外的系统;授予从未被记录的临时访问 | 涵盖所有带敏感流程的系统;评审临时访问 |
| 审计工作量 | 每个范围单位,组织花在准备和支持一个审计周期上的人时 | 记录在审计准备和支持上的小时数 / 范围内的控制或系统数 | 每单位小时数 | 时间记录或工作量估计 | 治理;持续改进 | 非交付工作的成本 | 每个审计周期 | 不记录小时数;把工作量转移到其他预算 | 抽样时间记录;与团队调查比较 |
8.4 供应商与合同指标
所属主题:(见主题 8.4,供应商与合同指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 供应商服务级别达成率 | 供应商达到的已签约服务级别度量占比,与同一服务的体验度量配对 | 该期间达成的度量数 / 已签约的度量数;报告在该服务的用户体验分数旁边 | 百分比 | 供应商报告、你自己的监控、调查数据 | 供应商管理;服务级别管理 | 对合作伙伴贡献于目标的评审 | 每月 | 供应商把事件排除出度量;暂停时钟;狭窄的定义 | 自己的监控;体验度量;审计排除项 |
| 归因于供应商的事件时间 | 归因于供应商的组件或行动的服务影响小时数 | 供应商的失败是确认原因的事件的影响小时数之和 | 小时 | 带原因分析的事件记录、供应商事件报告 | 事件管理;供应商管理 | 因外部阻碍而损失的时间 | 每月 | 争议归因;把供应商的故障归类为客户一侧 | 联合原因评审;由中立评审者处理争议;跟踪有争议的占比 |
| 合同登记册覆盖率 | 拥有当前合同、指名的内部负责人和已排定评审的供应商占比 | 三者俱全的供应商数 / 范围内的供应商数 | 百分比 | 合同登记册、采购记录 | 供应商管理;财务管理 | 对外部依赖的清晰所有权 | 每季度 | 指名并不知情的负责人;列出没有日期的合同 | 负责人确认;检查评审会议是否举行 |
| 尽职调查时效 | 风险评估在其评审周期内的关键供应商占比 | 在周期内评估过的关键供应商数 / 关键供应商数 | 百分比 | 供应商风险评估 | 供应商管理;风险管理;信息安全管理 | 对风险的定期评审 | 每季度 | 仅靠问卷做评估;供应商自我认证 | 对关键供应商的证据要求;抽样验证 |
| 退出就绪度 | 有文档化的、并在约定期间内测试过的退出计划的关键供应商占比 | 有经测试的退出计划的关键供应商数 / 关键供应商数 | 百分比 | 退出计划和测试记录 | 供应商管理;服务连续性管理 | 对依赖的恢复演练 | 每年 | 写下计划就称之为已测试;没有真实步骤的演练 | 记录演练了什么;对演练作独立评审 |
| 集中度 | 依赖单一供应商、且没有经测试的替代方案的关键服务占比 | 有单一供应商依赖、且没有经测试替代方案的关键服务数 / 关键服务数 | 百分比 | 依赖地图、供应商登记册 | 供应商管理;风险管理 | 避免单点故障 | 每季度 | 在纸面上把一个供应商拆成若干法律实体 | 依赖地图直到最终提供方;评审共享平台 |
| 联合行动关闭率 | 与供应商的联合评审中约定的行动里,在到期日之前关闭的占比 | 按日期关闭的联合行动数 / 到期的联合行动数 | 百分比 | 评审纪要和行动跟踪器 | 供应商管理;持续改进 | 已交付的回顾行动 | 每季度 | 设定容易的行动;没有效果就关闭 | 评审行动的质量;检查预期的问题是否改善 |
8.5 受监管与政府报告
所属主题:(见主题 8.5,受监管与政府报告)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 报告义务覆盖率 | 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 | 四者俱全的义务数 / 范围内的报告义务数 | 百分比 | 义务登记册 | 度量与报告;治理 | 与利益相关方关于信息需求的工作协议 | 每季度 | 狭义地对待义务;列出负责人却没有取得同意 | 由合规或内部审计评审登记册;负责人确认 |
| 报告及时性 | 在到期日之前提交的必需报告占比 | 在到期日当天或之前提交的报告数 / 该期间到期的报告数 | 百分比 | 报告日历和提交记录 | 度量与报告 | 兑现对利益相关方的承诺 | 每月 | 为赶日期而提交不完整的报告;把草稿算作提交 | 提交时的完整性检查;只统计被接受的报告;重述率 |
| 重述率 | 事后被更正的已提交报告或数字占比 | 提交后被更正的报告或数字数 / 已提交的报告或数字数 | 百分比 | 提交日志和更正日志 | 度量与报告;持续改进 | 逃逸缺陷 | 每季度 | 压制更正;悄悄地更正 | 由独立读者评审更正日志;低比率要连同可追溯性一起阅读 |
| 可追溯性覆盖率 | 能通过有文档的步骤追溯到记录系统的所报告数字占比 | 有文档化谱系、可追溯到记录系统的数字数 / 所报告的数字数 | 百分比 | 谱系文档、报告规格 | 度量与报告;知识管理 | 可复现的构建 | 每季度 | 敷衍地记录谱系;只包括简单的数字 | 通过从来源重新执行一次计算来抽样谱系 |
| 定义一致性 | 法定定义和内部定义都有文档记录并经核对的所报告度量占比 | 有文档化核对的度量数 / 有法定定义的所报告度量数 | 百分比 | 指标登记册 | 度量与报告;服务级别管理 | 共同的完成定义 | 每季度 | 不经核对就宣布定义一致;只在报告中采用法定定义 | 评审核对文档;并排显示两个数字 |
| 报告工作量 | 产生一份经常性报告所花的人时 | 每个报告周期记录的小时数,附手工提取和汇编所占的份额 | 小时 | 时间估计、工作量日志 | 度量与报告;持续改进 | 非交付工作的成本 | 每个报告周期 | 不记录小时数;把工作转移给其他团队 | 与团队反馈比较;在估计中包括所有贡献者 |
| 已公布的无障碍符合度 | 符合要求的无障碍标准的已公布报告和数据集占比 | 通过无障碍检查的已公布项目数 / 已公布项目数 | 百分比 | 无障碍测试结果 | 度量与报告;知识管理 | 包容性的完成定义 | 每季度 | 运行只能发现部分问题的检查器;发布滞后的、单独的无障碍版本 | 用辅助技术做手工测试;检查版本之间的一致 |
第 9 部分:人员、团队与改进指标
9.1 团队健康与开发者体验
所属主题:(见主题 9.1,团队健康与开发者体验)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 反馈回路时间 | 按回路类型,一个人得到一次常见操作的结果所需的时间 | 按团队,构建、测试运行、代码评审等待和部署的分钟数或小时数的中位数和第 85 百分位数 | 分钟或小时 | 流水线和评审工具的时间戳,按团队汇总 | 发布与部署管理;持续改进 | 持续交付中的快速反馈 | 每周 | 排除缓慢的情形;度量大多数工作不走的快速路径 | 报告第 85 百分位数;在登记册中定义每个回路的起点和终点 |
| 专注时间占比 | 按团队的报告,处于不短于约定最小长度的不被打断时段中的工作时间占比 | 在简短脉搏中收集的、团队报告的专注时段小时数 / 工作小时数 | 百分比 | 团队脉搏;仅在团队同意并汇总时才使用日历数据 | 持续改进;知识管理 | 为深度工作保护的时间 | 每月 | 占用日历时间却不专注;为取悦经理而夸大专注 | 团队拥有的脉搏;与打断原因比较;不按个人报告 |
| 认知负荷评分 | 团队对理解和更改某个具名系统或流程有多难的评分 | 按系统,在一个简短的约定量表上的平均评分和离散程度 | 量表点数 | 与系统或流程相联的简短脉搏 | 服务设计;知识管理 | 对工作的共同理解 | 每季度 | 把系统评得低以避免审视;挑选容易的系统去评 | 评一份固定的系统清单;与入职时间和事件模式比较 |
| 障碍解决时间 | 从团队提出一个障碍到它被消除、或记录了不消除的决定之间的时间 | 从提出到解决或决定的天数的中位数和第 85 百分位数 | 天 | 障碍清单或跟踪器 | 持续改进;问题管理 | 被消除的障碍 | 每月 | 不修复就关闭障碍;拒绝记录障碍 | 团队确认解决;重新打开的障碍比率 |
| 团队健康检查趋势 | 团队自己对其所选维度的评分随时间的变化 | 两次检查之间,团队所选维度评分的变化 | 量表点数 | 由团队拥有的团队健康检查 | 持续改进 | 团队对如何变得更有效的反思 | 每月或每季度 | 经理施压要求好分数;团队调整分数以避免关注 | 团队拥有结果;仅在团队同意下分享趋势 |
| 工具与流程满意度 | 团队对其日常使用的工具和流程的满意度评分 | 每个具名工具或流程的平均评分或偏正面回答的占比 | 量表点数或百分比 | 简短脉搏 | 服务级别管理;持续改进 | 环境与工作的契合 | 每季度 | 调查满意的用户;训练员工回答得好 | 回复率和构成;阅读评论;与系统度量相联 |
| 维度覆盖 | 团队实际使用的度量所涵盖的 SPACE 维度数量 | 至少有一项在用度量的五个维度中的数量 | 计数(0 到 5) | 指标登记册 | 度量与报告;治理 | 均衡的度量 | 每年 | 用象征性的度量来算一个维度 | 检查每项被计入的度量是否用于某个决定 |
9.2 满意度与福祉指标
所属主题:(见主题 9.2,满意度与福祉指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 可持续节奏评分 | 团队对当前节奏能否无限期保持的评分 | 对于"我们可以无限期地以这种节奏继续工作"这一陈述,在约定量表上的平均评分和离散程度 | 量表点数 | 匿名团队脉搏 | 持续改进;劳动力与人才管理 | 无限期地保持恒定的节奏 | 每月 | 经理施压要求好分数;团队报告被期望的内容 | 匿名性和群体规模规则;与工作负荷事实比较;阅读评论 |
| 心理安全评分 | 团队对提出问题、承担人际风险有多安全的评分 | 每个团队,在一组简短的、经验证的陈述上的平均评分 | 量表点数 | 匿名团队脉搏 | 持续改进;劳动力与人才管理 | 信任和坦诚的反思 | 每季度 | 只调查安全的团队;通过更改措辞来提高分数 | 固定的措辞日志;回复率和构成;与事件和错误的报告率比较 |
| 需要支持评分 | 团队对工作中的自主、胜任和关联的评分 | 每个团队,三条陈述各自的平均评分 | 量表点数 | 匿名团队脉搏 | 劳动力与人才管理;持续改进 | 拥有所需环境的、积极投入的个人 | 每季度 | 重新定义陈述;辅导答案 | 稳定的措辞;由团队自己解读;评论 |
| 工作负荷压力评分 | 团队对相对于容量而言工作负荷有多繁重的评分 | 平均评分,以及把工作负荷评为不可持续的占比 | 量表点数;百分比 | 匿名团队脉搏 | 容量与性能管理;劳动力与人才管理 | 可持续的开发 | 每月 | 压低报告的压力以避免审视;在纸面上调整范围 | 与计划外工作和轮班负荷比较;检查隐藏的工作 |
| 持续延长工时的周数 | 在团队或轮班层面统计的、轮班或团队远超其正常工时工作的周占比 | 该期间团队层面延长工时的周数 / 该期间的周数 | 百分比 | 按团队汇总的轮班记录和值班日志;团队报告、自愿选择 | 事件管理;容量与性能管理 | 作为过载信号的加班 | 每月 | 不记录工时;把工作移出轮班记录 | 与事件日志和团队评论比较;允许无惩罚地报告 |
| 自愿离职与离职主题 | 一个期间内自愿离开的团队成员占比,附来自离职交谈的主题 | 自愿离职者数 / 平均人数;来自同意的离职者的主题计数 | 百分比;计数 | 人力资源记录、离职交谈 | 劳动力与人才管理 | 留住有经验的人 | 每季度 | 把辞职重新归类为非自愿;引导离职交谈 | 清晰的分类规则;独立的离职交谈;查看较长的时期 |
| 对福祉反馈采取行动的时间 | 从团队提出福祉关切到有记录的响应之间的时间 | 从关切到有记录的决定或行动的天数的中位数和第 85 百分位数 | 天 | 团队反馈日志 | 持续改进 | 对团队反思的及时响应 | 每季度 | 记录没有行动的响应;迅速关闭关切 | 团队确认响应是有意义的;跟踪评分是否变化 |
9.3 协作与交接指标
所属主题:(见主题 9.3,协作与交接指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 交接次数 | 一个工作项在完成之前更换所属团队的次数 | 按项目类型,每个已完成项目的团队间转移次数的中位数和第 85 百分位数 | 每项的转移次数 | ITSM 或跟踪器的分派历史,按团队汇总 | 事件管理;服务请求管理;变更赋能 | 端到端承担工作的跨职能团队 | 每月 | 让项目保持分派给一个团队,而其他团队在做工作;重新分派到共享队列以避免计数 | 检查按团队的实际活动;按活动而不只是按分派统计交接 |
| 交接等待占比 | 一个项目的经过时间中,交接之后在工作恢复之前等待的占比 | 从交接到接收团队首次行动之间的时间 / 总经过时间,跨项目取中位数 | 百分比 | 分派和活动的时间戳 | 事件管理;服务请求管理 | 流动效率;排队时间 | 每月 | 把首次行动记录为仅仅是一次确认;晚些时候才分派给正确的团队 | 把"首次行动"定义为实质性的步骤;与满意度和解决时间比较 |
| 重新分派率 | 在团队之间被传递超过两次、或被退回先前团队的项目占比 | 被重新分派超过两次或被退回的项目数 / 已完成的项目数 | 百分比 | 分派历史 | 事件管理;问题管理 | 返工和反复被踢回的工作 | 每月 | 即使错了也拒绝重新分派;关闭并以另一个团队的名义重新打开项目 | 解决质量和重开率;抽样被踢回的项目 |
| 依赖延迟 | 项目因等待另一个团队而被阻塞的时间 | 处于"被另一个团队阻塞"状态的天数的中位数和第 85 百分位数,并指明依赖 | 天 | 跟踪器的阻塞状态和依赖字段 | 变更赋能;发布与部署管理 | 被阻塞的工作项年龄 | 每月 | 不记录阻塞状态;指错依赖 | 与周期时间和项目年龄比较;与团队一起评审依赖字段 |
| 协作解决率 | 由来自若干团队的人实时共同工作、而没有依次升级而解决的事件占比 | 有记录的实时协作(例如共享频道或通话)、并且无需进一步交接就解决的事件数 / 符合条件优先级的事件数 | 百分比 | 带协作标签的事件记录 | 事件管理;重大事件管理 | 对问题的群集协作 | 每月 | 把每起事件都标为协作;创建没有真实工作的共享频道 | 检查通话或频道是否包括解决问题的人;解决时间和成果 |
| 知识覆盖率 | 至少有规定数量的团队成员能够操作和更改的关键组件占比 | 至少有目标数量的人能够操作和更改的关键组件数 / 关键组件数 | 百分比 | 由团队维护的技能与所有权地图 | 知识管理;服务连续性管理 | 共同所有权和集体代码所有权 | 每季度 | 列出理论上能做这项工作的人;夸大地图 | 结对或演练的证据;问谁实际执行了上一次变更 |
| 利益相关方响应时间 | 从团队向利益相关方提出问题,到得到可用答案的时间 | 从问题被记录到答案被记录的小时数的中位数和第 85 百分位数 | 小时 | 未决问题的问题日志或跟踪器字段 | 服务级别管理;业务关系管理 | 持续的利益相关方参与 | 每月 | 晚些时候才记录问题;在答案不可用时就标为已收到 | 利益相关方确认答案可用;抽样问题 |
9.4 技能与学习指标
所属主题:(见主题 9.4,技能与学习指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 受保护的学习时间占比 | 被留出并实际用于学习的团队容量占比 | 团队层面,工作时间内用于学习的小时数或容量份额 / 总工作容量 | 百分比 | 团队容量计划和工作跟踪器的工作类型 | 劳动力与人才管理;持续改进 | 用于反思和技术卓越的时间 | 每月 | 把普通工作记录为学习;排定的时间随后被取消 | 只统计已使用的时间;与工作类型记录和团队评论比较 |
| 交叉培训深度 | 在上一期间由至少两个人执行过的关键任务占比 | 该期间由两人或更多人执行过的关键任务数 / 关键任务数 | 百分比 | 团队的任务与所有权地图,由近期工作验证 | 知识管理;服务连续性管理 | 对工作的集体所有权 | 每季度 | 列出从未做过该任务的人;把单次观察算作数 | 近期工作的证据;演练结果 |
| 首次贡献的时间 | 新团队成员完成其首个真正的变更或已解决案例所需的时间 | 从开始日期到生产环境中首个已完成的真实工作项的天数的中位数和第 85 百分位数 | 天 | 入职跟踪器和工作跟踪器 | 劳动力与人才管理;知识管理 | 新团队成员做出首个变更的时间 | 每次招聘,每季度评审 | 统计琐碎的变更;晚启动时钟 | 在登记册中定义"真实"的工作;询问新成员及其伙伴 |
| 社区参与 | 在该期间参加实践社区(由其自己选择)的团队成员占比 | 团队层面,该期间参加、贡献或介绍过的成员数 / 团队成员数 | 百分比 | 社区记录,自愿 | 知识管理;持续改进 | 实践社区 | 每季度 | 强制出席;统计报名 | 仅限自愿;问社区产出了什么 |
| 培训应用率 | 学习者或其团队在 90 天内报告在工作中使用了所学的培训经历占比 | 被报告为已应用的学习经历数 / 已完成的学习经历数 | 百分比 | 给学习者的简短后续问题,匿名汇总到团队 | 劳动力与人才管理;持续改进 | 应用于工作的学习 | 每季度 | 施压让学习者说他们应用了;只问热心者 | 匿名汇总;在团队层面跟进;查看可观察的变化 |
| 相关认证覆盖率 | 因法律、合同或入门原因而需要认证的角色中,该要求得到满足的占比 | 持有所需认证的角色数 / 需要认证的角色数 | 百分比 | 角色要求登记册、证书记录 | 劳动力与人才管理;治理 | 满足合同或监管的入门要求 | 每年 | 为不需要的角色收集证书;把认证当作胜任 | 范围限于真实的要求;以其他证据检查实际能力 |
| 跨团队分享的经验教训 | 在原团队之外被分享、并被另一个团队使用的来自事件或改进的经验教训数量 | 该期间有另一个团队使用记录的已分享教训数 | 计数 | 经验教训登记册和评审记录 | 知识管理;持续改进 | 跨团队分享的学习 | 每季度 | 分享琐碎的教训;统计帖子数 | 要求另一个团队有记录的使用;评审质量 |
9.5 持续改进指标
所属主题:(见主题 9.5,持续改进指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 行动跟进率 | 评审中约定的改进行动里,在约定日期之前完成的占比 | 按日期完成的行动数 / 该期间到期的行动数 | 百分比 | 改进登记册或团队待办 | 持续改进 | 已交付的反思行动 | 每月 | 约定琐碎的行动;移动到期日;没有做就关闭 | 评审行动的规模和价值;记录日期变更;效果检查率 |
| 改进待办年龄 | 打开的改进项的年龄,特别关注最老的 | 打开项目的年龄(天)的中位数和第 85 百分位数;最老的一个的年龄 | 天 | 改进登记册 | 持续改进 | 待办年龄 | 每月 | 不作决定就以"不做"关闭旧项目;拆分项目以重置年龄 | 记录关闭的理由;跟踪未采取行动就关闭的项目;评审最老的 |
| 效果检查率 | 对照基线检查了效果的已完成改进占比 | 有前后检查记录的已完成改进数 / 已完成的改进数 | 百分比 | 带基线和结果字段的改进登记册 | 持续改进;度量与报告 | 从实验中学习 | 每季度 | 记录没有基线的检查;只检查成功的 | 变更之前注明日期的基线;包括零结果和负面结果 |
| 从想法到试验的时间 | 从提出一个改进想法到在真实工作中首次试验之间的时间 | 从提出到首次试验的天数的中位数和第 85 百分位数 | 天 | 改进登记册 | 持续改进 | 对变更的快速反馈 | 每月 | 把计划称为试验;试验琐碎的变体 | 把试验定义为真实工作中的改变;查看被试验想法的重要性 |
| 一线想法占比 | 在团队层面统计,由做工作的人提出的改进想法占比 | 由做工作的团队成员提出的想法数 / 提出的想法数 | 百分比 | 改进登记册 | 持续改进 | 自组织团队 | 每季度 | 经理以员工的名字提交想法;强制的想法配额 | 在团队层面记录按作者的想法;不设配额;询问团队 |
| 重复问题率 | 在旨在消除其原因的改进之后又再次出现的问题占比 | 在相关改进关闭后的规定期间内再次出现的问题数 / 带有相关原因而关闭的改进数 | 百分比 | 按原因关联的事件、问题和改进记录 | 问题管理;持续改进 | 修复之后的逃逸缺陷 | 每季度 | 为同一问题记录不同的原因;把较早的记录以另一种类型关闭 | 依据记录的规则按原因匹配;由团队之外的人评审 |
| 改进容量占比 | 用于改进工作的团队容量占比 | 标记为改进的容量或已完成项目 / 总容量或已完成项目 | 百分比 | 工作跟踪器的工作类型 | 持续改进;容量与性能管理 | 用于反思和技术卓越的时间 | 每月 | 把普通工作标记为改进;排定的时间随后被用于交付 | 抽样项目的类型;与实际花费的时间比较 |
9.6 组织变革与采纳指标
所属主题:(见主题 9.6,组织变革与采纳指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 目的清晰度 | 能用自己的话说出一项实践的目的,以及他们将如何判断它是否奏效的团队成员占比 | 在简短的匿名检查中给出清晰目的和指标的成员数 / 被询问的成员数,在团队层面 | 百分比 | 简短的匿名检查,按团队汇总 | 组织变革管理;持续改进 | 团队对为何这样工作的理解 | 每季度 | 辅导人们背诵目的;提出引导性问题 | 匿名检查;请求一个他们将如何判断的例子;与成果变动比较 |
| 实践采用广度 | 使用某项已定义实践的团队占比,按可观察的行为而不是出席来定义 | 在上一期间显示出已定义行为、并经团队和一位观察者确认的团队数 / 范围内的团队数 | 百分比 | 经观察确认的团队自我评估 | 组织变革管理 | 实践的传播 | 每季度 | 统计看板和会议;团队为观察者表演 | 按行为和目的定义;由团队之外的人观察;成果变动 |
| 相对于对照的成果变动 | 在同一期间,采用的团队与相似的非采用团队相比,某项成果度量的变化 | 采用者的成果变化 减去 对照团队的变化 | 成果单位 | 每个团队的成果度量(流动、稳定性、体验) | 持续改进;度量与报告 | 从实验中学习 | 每季度 | 选择有利的对照组或期间;遗漏其他变化 | 事先选定对照和期间;列出其他变化;显示不确定性 |
| 变革负荷 | 同时影响一个团队的重大变革数量 | 该期间要求某个团队改变其工作方式的重大变革举措数,按团队 | 计数 | 变革组合和团队输入 | 组织变革管理;变更赋能 | 可持续的节奏 | 每季度 | 把一项举措拆成小块;不统计非正式到来的变革 | 按对团队工作的影响来统计;请团队列出他们正在吸收的东西 |
| 利益相关方参与率 | 受影响的人参与了设计和评审的变革举措占比 | 有受影响的人参与的记录的举措数 / 举措数 | 百分比 | 举措记录和受影响团队的确认 | 组织变革管理;利益相关方参与 | 持续的利益相关方参与 | 每季度 | 邀请人们参加一次介绍会并称之为参与;只记录出席 | 受影响的团队确认他们影响了设计;记录据此所作的改变 |
| 自愿采纳占比 | 选择该实践的采用团队占比,相对于被指令的 | 报告自己选择了该实践的采用团队数 / 采用团队数 | 百分比 | 团队报告 | 组织变革管理 | 自组织团队 | 每年 | 把强制说成选择;团队在觉得不得不这样做时说自己选择了 | 匿名报告;问如果他们拒绝会发生什么 |
| 回退率 | 在采用之后一年内放弃某项实践的团队占比 | 在 12 个月内停止的团队数 / 采用的团队数 | 百分比 | 随时间的团队记录 | 组织变革管理;持续改进 | 因无益而被放弃的实践 | 每年 | 使放弃一项实践代价高昂或被隐藏;把被放弃的实践重新命名 | 评审放弃的理由;允许安全地撤回 |
第 10 部分:人工智能时代的指标
10.1 服务管理中的 AI 度量
所属主题:(见主题 10.1,服务管理中的 AI 度量)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 基线完整度 | 其主要指标有已记录的采用前基线的、计划中的 AI 用例占比 | 有注明日期基线的用例数 / 计划的用例数 | 百分比 | 用例登记册 | 持续改进;度量与报告 | 实验之前的基线 | 每季度 | 事后记录基线;使用方便的指标 | 注明日期的基线;对基线方法的独立评审 |
| AI 使用覆盖率 | 按用例,使用了 AI 的合格工作项或任务占比 | 使用了 AI 协助的项目数 / 合格项目数,来自工具日志或用户标签,在团队层面 | 百分比 | 工具使用日志、标签 | 服务台;事件管理;发布与部署管理 | 愿意的团队采用一款工具 | 每月 | 强制使用;统计琐碎或自动的调用 | 绝不作为目标;与成果变动比较;统计有意义的使用 |
| 建议接受与推翻率 | 原样接受、编辑后接受或被拒绝的 AI 建议占比 | 每个类别中的建议数 / 提供的建议数 | 百分比 | 按团队汇总的工具日志 | 服务台;知识管理 | 对机器建议的评审 | 每月 | 奖励接受;使拒绝变得麻烦 | 无目标;经评审的输出准确率;询问用户的体验 |
| 经评审的输出准确率 | 经合格评审者判断为正确且适合用途的 AI 抽样输出占比 | 被判断为正确的输出数 / 抽样的输出数 | 百分比 | 抽样评审记录 | 质量保证;知识管理 | 输出的完成定义 | 每月 | 抽样容易的输出;宽松的评审者 | 由独立评审者随机抽样;书面标准;评审者轮换 |
| 相对基线的任务时间 | 使用 AI 完成已定义任务的时间,与基线或对照组比较 | 使用 AI 的任务时间的中位数和第 85 百分位数,减去基线或对照的同一数值 | 分钟或小时 | 计时的任务、工单时间戳 | 服务台;事件管理 | 任务的周期时间 | 每季度 | 只计生成的时间;挑选容易的任务 | 到达经检查结果的时间;随机抽样任务;包括评审和返工 |
| 每个 AI 辅助任务的成本 | 每项任务的 AI 辅助工作总成本,包括评审和返工 | (许可证和使用成本 + 评审和返工的时间成本)/ 使用 AI 完成的任务数 | 每任务货币额 | 供应商发票、时间估算、工作跟踪器 | 服务财务管理 | 每项成果的服务成本 | 每季度 | 遗漏评审时间或治理成本 | 完整成本检查清单;与时间研究比较 |
| 相对于对照的成果变动 | AI 辅助工作的成果指标,与类似的非辅助工作相比的变化 | AI 辅助组的指标变化 减去 对照组的变化 | 指标单位 | 每个用例的成果度量(质量、满意度、重开率、缺陷) | 持续改进 | 从实验中学习 | 每季度 | 选择有利的群体或期间;忽略其他变化 | 事先约定的对照和期间;其他变化的清单 |
10.2 度量 AI 辅助工作
所属主题:(见主题 10.2,度量 AI 辅助工作)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 留存率 | 在规定期间之后基本保持不变的 AI 辅助变更占比 | 30 天后被修改或回退的比例低于设定值的 AI 辅助变更数 / 30 天前合并的 AI 辅助变更数 | 百分比 | 与辅助标签相联的版本控制历史,在团队层面 | 发布与部署管理;变更赋能 | 站得住的工作;低返工 | 每月 | 为了保持数字而避免必要的变更;只把成功的变更标记为辅助 | 按工具日志而不是作者选择来打标签;与逃逸缺陷和返工配对 |
| 合并后返工 | 在短期内需要后续修复的变更占比,分辅助和对照变更 | 14 天内有关联的后续修复的变更数 / 合并的变更数,按组 | 百分比 | 版本控制、问题跟踪器、变更记录 | 变更赋能;问题管理 | 逃逸缺陷;返工 | 每月 | 在另一张工单或未关联的新变更中修复;把修复推迟到窗口之外 | 登记册中的关联规则;查看更长的窗口;生产缺陷 |
| 评审负荷 | 每项变更的评审者工作量,分辅助和对照变更 | 每项变更的评审时间和评审轮数的中位数和第 85 百分位数,按组 | 小时;轮 | 评审工具时间戳,按团队汇总 | 发布与部署管理 | 评审作为反馈与学习 | 每月 | 仓促的评审降低度量的时间;没有评论的批准 | 评审深度抽样;逃逸缺陷;评审者调查 |
| 逃逸缺陷率 | 每项变更在生产环境中发现的缺陷,分辅助和对照变更 | 发布后发现并归因于某项变更的缺陷数 / 发布的变更数,按组 | 每变更缺陷数 | 与变更相联的缺陷跟踪器 | 事件管理;问题管理 | 所发布之物的质量 | 每季度 | 不把缺陷归因于变更;把缺陷重新分类为增强 | 归因规则;对缺陷分类的独立抽样 |
| 解释检查通过率 | 其作者能在评审中解释做法及其权衡的、抽样的 AI 辅助变更占比 | 作者向评审者解释到其满意的抽样变更数 / 抽样的变更数 | 百分比 | 抽样的评审笔记 | 知识管理;变更赋能 | 对代码的共同理解 | 每季度 | 作者为检查排练;宽松的评审者 | 随机、不预先通知的抽样;轮换评审者;聚焦设计理由 |
| 辅助支持质量 | AI 辅助的支持回复与非辅助回复相比的重开率和用户满意度 | 重开的辅助工单数 / 辅助工单数,以及好评数 / 评分数,按组 | 百分比 | ITSM 工具、调查 | 服务台;事件管理 | 服务成果的质量 | 每月 | 只辅助容易的工单;辅导用户给高分 | 按类型和难度匹配工单;回复率和构成;阅读评论 |
| 无辅助信心评分 | 团队对不用工具完成关键任务之信心的评分 | 按团队,在约定量表上的平均评分和离散度 | 量表分 | 匿名团队脉搏调查 | 劳动力与人才管理;知识管理 | 团队能力与学习 | 每季度 | 夸大评分以避免审视;压低评分以争取更多工具 | 匿名;与演练中观察到的实践比较;阅读评论 |
10.3 AI 智能体与聊天机器人指标
所属主题:(见主题 10.3,AI 智能体与聊天机器人指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 经验证的解决率 | 用户确认问题已解决、或在规定期间内未回来的机器人对话占比 | 有确认的解决、或 7 天内无回头联系的对话数 / 以可解决意图开始的对话数 | 百分比 | 对话日志、用户确认、工单和联系数据 | 服务台;知识管理 | 对用户可工作的成果 | 每周 | 把任何对话结束都算作已解决;提出引导性的确认问题 | 中立地定义确认;回头联系率;抽样对话 |
| 回头联系率 | 机器人结束的对话之后,通过任何渠道就同一问题再次联系的占比 | 7 天内有相关联系跟随的对话数 / 未经移交而结束的对话数 | 百分比 | 与工单和联系记录相联的对话日志 | 服务台;事件管理 | 逃逸缺陷 | 每周 | 只通过一个渠道度量;窗口太短 | 联接所有渠道;用更长的窗口作为检查;抽样回头联系 |
| 移交上下文完整度 | 向真人的移交中,该人无需请用户重复就掌握了所需信息的占比 | 经接收座席判断为完整的抽样移交数 / 抽样的移交数 | 百分比 | 抽样的移交、座席反馈 | 服务台;知识管理 | 跨越边界的顺畅协作 | 每月 | 传递冗长的记录而不是摘要;抽样容易的移交 | 接收座席的评价;随机抽样;移交之后到解决的时间 |
| 到达真人的时间 | 从用户要求真人、或机器人决定移交,到真人接手的时间 | 分钟数的中位数和第 85 百分位数 | 分钟 | 对话日志、队列数据 | 服务台;事件管理 | 用户需要帮助时的响应性 | 每周 | 在菜单之后才开始计时;把队列确认算作接手 | 时钟从请求开始;接手意味着有真人在对话中处于活动状态 |
| 回答准确率 | 经合格评审者判断为正确、完整且安全的机器人抽样回答占比 | 被判断为正确的回答数 / 抽样的回答数 | 百分比 | 抽样评审 | 知识管理;质量保证 | 回答的完成定义 | 每月 | 抽样容易的对话;宽松的评审者 | 由独立评审者随机抽样;对抗性测试用例 |
| 机器人满意度与费力程度 | 用户在对话之后对满意度和轻松程度的评分,附评论 | 好评数 / 评分数;平均费力评分 | 百分比;量表分 | 对话之后的简短调查 | 服务台;客户体验 | 对可工作软件的反馈 | 每周 | 只调查已完成的对话;把调查放在只有满意用户才能到达之处 | 也调查被放弃的对话;回复率和构成;阅读评论 |
| 智能体行动撤销率 | AI 智能体所采取的行动中,必须被更正、撤销或升级的占比 | 被撤销或更正的行动数 / 采取的行动数,按行动类型和风险类别 | 百分比 | 行动审计日志、变更记录 | 变更赋能;事件管理 | 返工与回滚 | 每周 | 不记录撤销;把更正重新分类为新工作 | 防篡改的审计日志;把撤销与行动相联;事件评审 |
10.4 指标膨胀与质量稀释
所属主题:(见主题 10.4,指标膨胀与质量稀释)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 产出与成果之比 | 相对于其本应产生的成果的产出量 | 产出计数(工单、文章、变更)/ 成果度量(已解决的问题、被使用的文章、留存的变更),同一期间,作为趋势追踪 | 比率 | 工作跟踪器、知识库、成果度量 | 持续改进;度量与报告 | 可工作的软件胜过文档数量 | 每月 | 选择随数量上升的成果度量;改变期间 | 在登记册中固定成果;与满意度和重开率比较 |
| 有用项占比 | 经合格评审者判断为有用的抽样项目占比 | 被判断为有用(正确、相关、不重复)的抽样项目数 / 抽样的项目数 | 百分比 | 随机抽样评审 | 知识管理;质量保证 | 内容的完成定义 | 每月 | 抽样容易的项目;宽松的评分标准;受产出者影响的评审者 | 随机抽样;书面评分标准;独立、轮换的评审者 |
| 验证负担 | 每单位产出上,用于检查和修正生成工作的人的时间 | 评审和修正的小时数 / 产出单位数,作为趋势追踪 | 每单位小时数 | 时间估算、评审工具数据 | 服务财务管理;持续改进 | 评审容量作为约束 | 每月 | 不记录评审时间;把检查转嫁给下游团队 | 包括下游返工;询问评审者的负荷 |
| 内容冗余率 | 与另一项重复或实质重叠的知识项占比 | 在评审中或通过匹配被标记为重复或重叠的项目数 / 知识库中的项目数 | 百分比 | 知识库评审、匹配报告 | 知识管理 | 单一事实来源 | 每季度 | 漏掉重复的狭窄匹配规则;合并不同的项目 | 手工抽样重复项;记录合并规则 |
| 生成知识的已评审占比 | 在发布之前经合格的人评审并批准的 AI 生成知识项占比 | 附有批准的评审而发布的生成项目数 / 发布的生成项目数 | 百分比 | 知识库元数据 | 知识管理;变更赋能 | 发布前评审 | 每月 | 没读就标记评审完成;批量评审 | 抽样评审的实质;每次评审的时间;已发布项目中的错误率 |
| 积压流入对解决 | 对受 AI 影响的队列,到来的工作的增长相对于已解决工作的增长 | (创建项目数的变化)/(解决项目数的变化),与 AI 之前的基线比较 | 比率 | 工单和跟踪器历史 | 事件管理;服务请求管理 | 流动平衡 | 每月 | 自动关闭项目;拆分项目 | 检查解决的质量;重开率;抽样已关闭的项目 |
| 指标漂移标记 | 引入 AI 之后,其定义或分布发生明显变化、并经评审和注释的指标数量 | 评审中被标记的指标数 / 登记册中的指标数 | 计数;百分比 | 指标登记册评审、分布检查 | 度量与报告 | 对度量的回顾 | 每季度 | 为避免工作而不标记;把一切都标记 | 每季度评审所有指标;要求对每个标记作出决定 |
10.5 AI 治理与风险指标
所属主题:(见主题 10.5,AI 治理与风险指标)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| AI 使用登记册覆盖率 | 通过独立手段发现的 AI 使用中,在登记册上并附有负责人和风险类别的占比 | 登记册上附有负责人和风险类别的使用数 / 通过独立发现(采购、费用、身份、网络和员工报告)找到的使用数 | 百分比 | 登记册、采购和费用数据、身份日志、调查 | 治理;IT 资产管理;风险管理 | 可见的工作和清晰的所有权 | 每季度 | 登记琐碎的使用以提高百分比;分母仅限于已登记的内容 | 以独立发现作为分母;抽样登记册条目的质量;对未登记使用的特赦 |
| 风险评估时效 | 在要求的周期内有风险评估的中、高风险使用占比 | 周期内已评估的使用数 / 中、高风险使用数 | 百分比 | 风险评估 | 风险管理;信息安全管理 | 对风险的定期反思 | 每季度 | 总是通过的轻描淡写的评估;评估低风险使用 | 评审评估的深度;检查风险类别是否符合标准 |
| 变更控制覆盖率 | 对生产环境中模型、提示词、工具和数据源的变更,经过带有要求的测试的变更控制的占比 | 有变更记录、测试和与风险相称的批准的变更数 / 检测到的变更数 | 百分比 | 与版本历史和供应商发布说明比较的变更记录 | 变更赋能;发布与部署管理 | 小步、受控、可逆的变更 | 每月 | 不检测供应商变更;事后记录变更 | 通过版本历史和供应商通知检测;变更记录在发布前加时间戳 |
| 评估时效 | 有当前评估(在相关之处包括准确性、安全性和公平性)且结果在容差之内的生产使用占比 | 周期内有评估且结果可接受的使用数 / 范围内的生产使用数 | 百分比 | 评估记录 | 质量保证;风险管理 | 行为的完成定义 | 每季度 | 在容易的案例上评估;看到结果后才选择容差 | 由独立方评审测试集;事先设定阈值 |
| 人的监督证据率 | 有记录在案的、实质性的人工评审的、抽样的有后果的输出或决定占比 | 有可能改变结果的书面评审的抽样项目数 / 抽样的项目数 | 百分比 | 抽样的决定记录 | 风险管理;治理 | 发布前评审 | 每月 | 没读就点击批准;记录本无法改变结果的评审 | 抽样评审的实质;植入已知错误;评审者负荷 |
| AI 事件率与遏制时间 | 涉及 AI 的事件(有害输出、数据暴露、不安全行动)按使用计的数量,以及遏制它们的时间 | 每个生产使用每季度的事件数;从检测到遏制的小时数的中位数和第 85 百分位数 | 事件;小时 | 标记为 AI 的事件记录 | 事件管理;信息安全管理 | 无责的响应与学习 | 每季度 | 不报告事件;收窄定义 | 容易、无责的报告;与用户投诉和审计发现比较 |
| 供应商 AI 尽职调查时效 | 在关键服务中提供 AI 功能的供应商中,其针对 AI 的评估为最新的占比 | 有当前 AI 评估的供应商数 / 有 AI 功能的关键供应商数 | 百分比 | 供应商评估 | 供应商管理;风险管理 | 对依赖项的定期评审 | 每季度 | 由营销人员回答的问卷;没有证据的评估 | 对关键供应商的证据要求;独立核实 |
第 11 部分:建设指标体系
11.1 设计服务指标仪表板
所属主题:(见主题 11.1,设计服务指标仪表板)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 问题覆盖率 | 仪表板能用已定义的度量回答的、所列受众问题的占比 | 有度量和定义的问题数 / 受众所列的问题数 | 百分比 | 来自利益相关方研讨的问题清单;指标卡 | 持续改进;服务级别管理 | 持续的利益相关方参与 | 每季度 | 写下现有度量已经回答的狭窄问题;遗漏困难的问题 | 包括体系团队之外的利益相关方;明确评审未回答的问题 |
| 定义完整度 | 具有最新书面定义、数据来源、负责人和已知局限的、所展示度量的占比 | 四项齐全的度量数 / 所展示的度量数 | 百分比 | 指标卡或目录 | 信息与技术管理;知识管理 | 共同的理解;可见的工作 | 每季度 | 用套话填字段;无人阅读的定义 | 请团队之外的人抽样检查定义是否清晰;检查定义是否与实际计算相符 |
| 数据新鲜度 | 在预期间隔内更新的所展示度量的占比 | 按时更新的度量数 / 所展示的度量数 | 百分比 | 管道日志;仪表板元数据 | 监控与事件管理 | 快速反馈 | 每周 | 用未变的数据刷新陈旧的来源;在来源馈送失败时把刷新算作成功 | 除刷新时间外检查来源时间戳;与记录数和预期量比较 |
| 决定关联 | 近期评审导致了记录在案的决定、行动或有意识地选择不作为的、受评审度量的占比 | 该期间有关联决定的度量数 / 受评审的度量数 | 百分比 | 评审笔记;改进登记册 | 持续改进 | 定期反思 | 每季度 | 事后记录决定来填字段;为避免空白而捏造行动 | 接受"选择不作为"作为记录在案的决定;抽样检查关联是否有真实的先前讨论 |
| 展示规模 | 每个受众视图上的度量数量 | 每个视图的计数 | 度量 | 仪表板配置 | 持续改进 | 简洁 | 每季度 | 把度量藏在次级标签页上;把一个视图拆成多个 | 跨所有标签页按受众统计度量;问受众他们实际使用多少数字 |
| 退役率 | 因不再为决定提供信息而在该期间被移除或替换的度量 | 退役的度量数 / 期初所展示的度量数 | 百分比 | 仪表板的变更日志 | 持续改进 | 持续演进 | 每年 | 让显示不佳结果的不便度量退役 | 评审退役清单中趋势不利的度量;要求说明理由 |
| 受众触达(描述性) | 在该期间打开过自己视图的目标团队或角色的占比 | 查看过的不同团队或角色数 / 目标团队或角色数 | 百分比 | 仪表板访问日志,汇总到团队或角色 | 信息与技术管理 | 持续的利益相关方参与 | 每季度 | 为提高计数而打开页面;会议上强制查看 | 保持描述性;与决定关联一起阅读;不报告个人的查看 |
11.2 工具全景
所属主题:(见主题 11.2,工具全景)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 来源覆盖率 | 已约定度量所需的记录系统中,自动接入指标存储的占比 | 已连接并测试的来源数 / 已约定度量所需的来源数 | 百分比 | 来源清单;管道配置 | 信息与技术管理;服务配置管理 | 管道的持续交付 | 每季度 | 连接容易的或无关的来源;把不携带可用数据的连接计算在内 | 按已约定的度量计数;检查每个来源的数据完整性 |
| 管道可靠性 | 按时完成且检查通过的计划数据加载占比 | 按时且检查通过的加载数 / 计划的加载数 | 百分比 | 管道日志和测试结果 | 监控与事件管理 | 自动化测试和快速反馈 | 每周 | 放松检查使加载总能通过;安排更少的加载 | 评审检查的强度;追踪对账和来源行数 |
| 新度量的上线时间 | 从新度量的请求获批,到它附带定义卡可用的经过时间 | 从批准到发布的天数,中位数和第 85 百分位数 | 天 | 请求和发布记录 | 服务请求管理;变更赋能 | 价值的小增量 | 每季度 | 在没有定义或测试的情况下发布;收窄什么算新度量 | 要求以定义卡和对账检查作为完成的条件 |
| 对账率 | 在抽样检查中,指标存储与来源系统相吻合的关键数字占比 | 在容差内吻合的数字数 / 检查的数字数 | 百分比 | 对账检查 | 信息与技术管理 | 可信的反馈 | 每月 | 选择容易检查的数字;在失败后放宽容差 | 在检查之前选好样本;事先固定容差;包括困难的数字 |
| 手工工作量占比 | 经常性报告的工作量中,花在手工收集和清理上的占比 | 手工步骤的小时数 / 经常性报告的总小时数 | 百分比 | 时间估算;团队调查 | 持续改进 | 消除琐务 | 每季度 | 低估手工工作;把工作量藏在其他预算中 | 询问做工作的人;与每个报告周期后期所花的时间比较 |
| 退出就绪度 | 定义、历史和仪表板能否以文档化的、可用的形式导出 | 已测试且完整的导出数 / 计划的导出测试数 | 百分比 | 导出测试记录 | 供应商管理;服务连续性管理 | 可持续的选择 | 每年 | 测试部分导出;把文档化的计划算作就绪 | 对样本运行完整还原到另一款工具中;核实定义和历史 |
| 每个受支持团队的工具成本 | 体系工具的完整年度成本除以其服务的团队数 | (许可证 + 基础设施 + 维护工作量)/ 服务的团队数 | 每团队货币额 | 财务和工作量记录 | 服务财务管理 | 可持续的节奏 | 每年 | 排除维护工作量;在纸面上增加团队 | 包括员工时间;统计积极使用其视图的团队 |
11.3 推行指标而不滋生恐惧
所属主题:(见主题 11.3,推行指标而不滋生恐惧)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 用途章程覆盖率 | 已就其度量用来做什么、绝不用来做什么达成书面声明的参与团队占比 | 有已约定章程的团队数 / 参与的团队数 | 百分比 | 体系持有的章程 | 治理;组织变革管理 | 工作协议 | 每季度 | 走过场地签署章程;领导者无视它们 | 检查章程在实践中的使用;报告个人用途事件;与团队一起评审章程 |
| 团队所有权占比 | 团队所展示度量中,其定义由团队帮助撰写或已批准的占比 | 有团队批准的度量数 / 向团队展示的度量数 | 百分比 | 指标目录;批准记录 | 持续改进 | 自组织团队 | 每季度 | 团队批准他们没有读过的定义;体系把已成稿的定义交付签字 | 抽样定义是如何形成的;追踪团队要求并作出的改变 |
| 坦诚信号 | 引入度量之后,对问题和险情的报告是保持稳定还是上升 | 每个团队每季度的险情或问题报告数,之前与之后;趋势 | 报告 | 事件、险情和事后复盘记录 | 事件管理;持续改进 | 无责的反思 | 每季度 | 施压让团队多报或少报问题;重新命名类别 | 与严重程度和事后复盘的内容一起阅读;与客户报告的问题比较 |
| 质疑周转 | 从某人或某团队质疑一个数字,到对其可见的解决之间的时间 | 从质疑到解决的天数的中位数和第 85 百分位数 | 天 | 质疑日志 | 持续改进;知识管理 | 响应反馈 | 每季度 | 没有可见的解决就关闭质疑;劝阻质疑 | 要求有可见的回应;调查质疑者;追踪重复质疑 |
| 对度量的感知安全(调查) | 团队层面对"关于我们工作的数据被用来帮助我们"之类陈述的调查认同度 | 团队调查中认同的百分比;显示回复率 | 百分比 | 匿名团队调查,汇总 | 组织变革管理 | 信任与积极投入的个人 | 每年两次 | 辅导受访者;低回复率隐藏了不满的团队 | 匿名和最小群体规模;显示回复率;直接与团队交谈 |
| 个人用途事件 | 与章程相悖、数据被展示或用来给个人排名或评价的情形 | 每季度报告的情形计数,附结果 | 计数 | 向体系的报告;对仪表板和评审的检查 | 治理 | 尊重人 | 每季度 | 不报告;把事件重新分类为别的东西;责怪报告者 | 轻松的匿名报告;保护报告者;检查评审和仪表板中的个人数据 |
| 自愿采纳 | 在某一期间内,在任何强制之前选择加入体系的合格团队占比 | 选择加入的团队数 / 受邀的合格团队数 | 百分比 | 体系记录 | 组织变革管理 | 试点与学习 | 每季度 | 把压力包装成邀请;统计为避免审视而加入的团队 | 问团队为什么加入;检查实践中的使用;让该期间不受强制影响 |
11.4 指标体系的成熟度模型
所属主题:(见主题 11.4,指标体系的成熟度模型)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 评估参与度 | 完成了附自己讨论的自评的参与团队占比 | 完成并讨论的团队数 / 参与的团队数 | 百分比 | 评估记录 | 持续改进 | 反思与回顾 | 每年两次 | 为达到配额而填表;由一个人代替团队填写 | 要求团队讨论;请求每项主张背后的证据 |
| 按维度的概貌 | 每个维度上团队自评级别的分布,以范围而不是单一得分展示 | 每个维度上处于各级别的团队数 | 每级别团队数 | 自评,汇总 | 持续改进;治理 | 可见的工作 | 每年两次 | 抬高级别以显得好看;压低级别以获得帮助 | 不与经费或地位挂钩;请求证据;公开校准 |
| 来自评估的改进行动 | 已约定的下一步中,已完成、附理由放弃或仍在进行的占比 | 已关闭或附理由处理的行动数 / 已约定的行动数 | 百分比 | 改进登记册 | 持续改进 | 小实验 | 每季度 | 为了关闭而选择琐碎的步骤;没有做就关闭 | 评审步骤的规模和价值;在下次评估时检查成果 |
| 决定证据 | 在抽样的度量中,团队能说出上一季度该度量为之提供信息的某项决定或有意识选择的占比 | 有指名决定的度量数 / 抽样的度量数 | 百分比 | 团队访谈;评审笔记 | 持续改进 | 证据胜过仪式 | 每季度 | 事后捏造决定;列出无关紧要的决定 | 询问日期和相关人员;接受"选择不作为"作为一项决定 |
| 定义与数据信任 | 团队层面对定义清晰、数据正确的认同度 | 在简短团队调查中认同的百分比;显示回复率 | 百分比 | 匿名团队调查 | 知识管理;信息管理 | 共同的理解 | 每年两次 | 辅导受访者;低回复率隐藏不满 | 匿名和最小群体规模;显示回复率;直接与团队交谈 |
| 升级到下一级别的时间(描述性) | 在团队选择提升一个维度一级的情形下,所需的经过时间 | 从约定的步骤到团队重新评估的月数的中位数 | 月 | 评估历史 | 持续改进 | 可持续的节奏 | 每年 | 仓促宣称进展;隐藏倒退 | 保持描述性;与证据一起阅读;记录倒退而不惩罚 |
| 评估负担 | 每个团队评估所需的小时数 | 每个团队小时数的中位数 | 小时 | 来自团队的时间估算 | 持续改进 | 可持续的节奏 | 每年两次 | 为削减小时数而跳过讨论 | 将小时数与参与度和证据质量一起追踪 |
11.5 渐进式采纳路线图
所属主题:(见主题 11.5,渐进式采纳路线图)。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 | 操纵途径 | 护栏 |
|---|---|---|---|---|---|---|---|---|---|
| 首个有用结果的时间 | 从体系开始到试点团队说帮助其作出了一项变更的首个度量之间的经过时间 | 从启动到首次经团队确认有帮助的使用的天数 | 天 | 体系日志;团队确认 | 持续改进 | 尽早且持续地交付价值 | 一次,然后每个新团队 | 宣称琐碎的变更有用;仓促做一个样板工程 | 问团队改变了什么;检查该变更是否持续 |
| 积极使用度量的团队 | 在该期间按其自述在评审中使用了其度量的受邀团队占比 | 在评审中使用度量的团队数 / 受邀团队数 | 百分比 | 团队确认;评审笔记 | 组织变革管理 | 持续的利益相关方参与 | 每月 | 为打勾而举行评审;声称发生过的使用实际并未发生 | 请求所作的决定;抽样评审笔记;与团队交谈 |
| 可追溯到度量的改进 | 团队作出的、并附理由归因于某项度量所显示之物的变更数量 | 团队报告的、附有与某项度量的明确关联的变更计数 | 计数 | 改进登记册 | 持续改进 | 基于证据的实验 | 每季度 | 为达到计数而捏造关联;为无关的变更居功 | 保持描述性;请团队说明理由;对不确定的关联如实接受 |
| 退役的度量与报告 | 因不再为决定提供信息而停止的度量或报告 | 每季度退役的计数 | 计数 | 目录变更日志 | 持续改进 | 持续演进 | 每季度 | 让不便的度量退役;让已退役的以新名称重新引入 | 评审退役清单中趋势不利的项目;要求说明理由 |
| 基线覆盖率 | 具有至少几个月的已记录基线的已约定度量占比 | 有基线的度量数 / 已约定的度量数 | 百分比 | 指标目录 | 服务级别管理;持续改进 | 证据胜过意见 | 每季度 | 捏造历史;使用对日后结果有利的期间 | 记录来源和期间;保留原始数据;在变更之前选定基线 |
| 体系工作量占比 | 参与团队的时间中,花在度量任务上的占比 | 用于收集、报告和评审的小时数 / 团队总小时数,按估算 | 百分比 | 团队时间估算 | 持续改进 | 可持续的节奏 | 每季度 | 低估工作量;把工作转移给计数之外的人 | 询问做工作的人;与周期后期的加班比较 |
| 阶段评审完成度 | 与团队举行了的计划阶段评审占比,附记录的变更 | 有记录变更的已举行评审数 / 计划的评审数 | 百分比 | 体系记录 | 持续改进 | 定期反思 | 每阶段 | 简短、敷衍的评审;记录永远不会发生的变更 | 检查变更是否得到执行;问团队评审是否值得他们花时间 |