配置与 CMDB 质量指标
配置数据库只有在人们足够信任它、愿意在变更或事件中使用它时,才物有所值,所以要依据它回答真实问题的好坏来度量其质量,并让拥有服务的团队保持自己的记录最新。
概述与动因
当数据库服务器在凌晨三点失败时,有人会问哪些服务依赖它。当团队计划一项变更时,有人会问还有什么可能出问题。答案应当来自构成你的服务的各种事物及其连接方式的记录。这份记录是配置管理的主题,其背后的数据库是配置管理数据库,通常简称 CMDB。
配置项(CI)是为交付某项 IT 服务而需要管理的任何组件:服务器、应用、数据库、网络设备、云账户、合同。配置管理数据库存储关于 CI 及其属性、以及它们之间关系的信息。资产管理问的是你有什么、谁拥有它、它花费多少(见主题 7.1,IT 资产管理指标),而配置管理问的是各部分如何组合在一起、什么依赖什么。
CMDB 的名声参差不齐,而且这名声是应得的。许多 CMDB 是作为全面的地图构建的,里面充满比任何人能修复的速度衰减得更快的数据,然后被废弃。敏捷与 DevOps 的传统提供了更好的起点。用代码描述其基础设施的团队,对其运行的东西拥有权威的、带版本的定义,并且可以自动把它发布到共享记录中。基础设施即代码使记录成为交付的副产品。ITIL 4 把这项实践描述为服务配置管理,并强调支持决策所需的信息,而不是为完整而完整。
配置记录的质量有若干部分,它们对应于数据完整性这一更广的思想:
- 完整性:重要的 CI 和属性都存在。
- 准确性:记录所说的与现实相符。
- 及时性:变更足够早地出现在记录中,从而有用。
- 一致性:同一件事物不会以不同名称被记录两次。把指向同一事物的记录匹配起来,是实体解析的问题。
- 关系质量:CI 之间的依赖存在且正确。大部分价值和大部分衰减,都在这里。
对 CMDB 最深的检验是使用。人们在事件和变更期间查阅、并在其错误时更正的记录,是健康的。只被审计的记录则不是。因此,下面的度量把质量度量与使用度量配对。
古德哈特定律的护栏在这里带有一个转折:完整性很容易用默认值夸大,而准确性很容易不经检查就宣称。坚持要求独立证据和使用度量(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 从问题出发。决定你需要记录回答什么,只构建那些。
- 偏好较小而被信任的记录,而不是较大而可疑的记录。范围在信任赢得之后才扩大。
- 让事实来源为记录提供输入。应当由流水线、云 API 和发现工具写入,而不是拿着电子表格的人。
- 让服务团队拥有其服务的记录。他们了解自己的依赖,也感受错误的代价。
- 既按使用也按质量度量。好的记录会被查阅。
- 对照现实检查。通过问记录是否预测了所发生的事来检验它。
- 在源头修复。错误的记录是症状。找出让它漂移的流程。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| CI 完整性 | 所有必填属性都以有效值填写的范围内 CI 占比 | 每个必填属性都有效的范围内 CI 数 / 范围内 CI 数 | 百分比 | CMDB、属性规则 | 服务配置管理;IT 资产管理 | 完成的定义包括服务描述 | 每月 |
| CI 准确率 | 记录在必填属性上与证据相符的抽样 CI 占比 | 在所有必填属性上相符的抽样 CI 数 / 抽样的 CI 数 | 百分比 | 与在线系统比较的审计样本 | 服务配置管理 | 基础设施即代码的状态与现实相符 | 每季度 |
| 依赖覆盖率 | 其上游和下游依赖已映射并经评审的关键服务占比 | 在过去 90 天内评审过依赖地图的关键服务数 / 关键服务数 | 百分比 | CMDB 关系和评审记录 | 服务配置管理;可用性管理 | 架构和服务所有权评审 | 每季度 |
| 影响预测命中率 | 实际受影响的服务都在 CMDB 预测的影响之内的事件和变更占比 | 所有受影响服务都被预测到的事件或变更数 / 被评审的事件或变更数 | 百分比 | 与 CMDB 查询比较的事件后评审和变更记录 | 事件管理;变更赋能 | 关于缺失依赖的无责评审发现 | 每季度 |
| 重复 CI 率 | 重复了另一个 CI 的 CI 占比 | 被匹配规则标为重复并在评审中确认的 CI 数 / 范围内 CI 数 | 百分比 | CMDB 匹配报告和评审样本 | 服务配置管理 | 单一事实来源 | 每月 |
| 更新延迟 | 现实世界中某个 CI 的变更与其在 CMDB 中的更新之间的延迟 | 从变更事件到 CMDB 更新的小时数或天数的中位数和第 85 百分位数 | 小时或天 | 与 CMDB 时间戳比较的变更事件和流水线事件 | 服务配置管理;变更赋能 | 流水线中的自动登记 | 每月 |
| CMDB 使用率 | 引用 CI 的事件和变更占比,以及其中用户报告记录有帮助的占比 | 引用有效 CI 的记录数 / 该期间的事件和变更数;外加已评审记录中 CI 数据有帮助的占比 | 百分比 | ITSM 工具、简短的反馈提示 | 事件管理;变更赋能 | 在工作中使用共享记录的团队 | 每月 |
按类别和关键程度定义"范围内 CI"的范围,并予以记录。CI 只在你指明为必填的属性上才是准确的。更新延迟从真实事件(比如一次部署或一次购买)开始,在 CMDB 反映它时停止。影响预测命中率需要一个记录实际受影响服务的评审步骤,它的可靠程度只取决于这一评审。
建议
决定记录是干什么用的
1. 写下 CMDB 必须回答的问题。典型的问题有:什么依赖这个组件,谁拥有这项服务,最近有什么变化,这里的失败会影响什么,以及什么已不在支持范围内。对每个问题,指出所需的 CI 类别、属性和关系。任何回答问题不需要的东西,都是可以省略的候选。
2. 从最重要的服务开始。挑出少数几项关键服务,端到端地映射它们,并在增加更多之前把这一点做对。十项服务的可靠地图,比一千项服务的可疑地图帮助更大。随着信任和使用的增长而扩展。
3. 简单地定义类别、属性和关系类型。一份简短的 CI 类别清单(服务、应用、数据库、主机、网络、云资源)和关系类型(依赖于、运行于、连接到、归属于),就涵盖了大多数需要。试图捕获一切的模型很难填写,更难查询。保留一份书面的模型,并有意地更改它。
从源头为记录提供输入
4. 从流水线和代码发布。在基础设施和应用被定义为代码之处,让交付流水线在每次变更时创建、更新和退役 CI,包括与代码一起声明的所有权和依赖信息。把这种声明视为服务完成定义的一部分。这使更新延迟接近零,并使记录与实际运行的东西保持一致。
5. 把发现用作第二意见。网络和云的服务发现找出实际在运行什么以及它如何连接。把它与声明的记录比较。差异就是发现:要么声明缺少了什么,要么有不应运行的东西在运行。仅靠发现,没有所有权,只会产生嘈杂的数据,所以用它来检查,而不是创作。
6. 使用稳定的标识符和匹配规则。当不同来源以不同的名称称呼同一事物时,就产生重复。为每个 CI 类别约定唯一的标识符,记录来源标识符,并运行匹配规则来发现并合并重复。手工评审一份匹配样本,因为自动合并可能把不同的东西合并在一起。
7. 让每个服务团队拥有自己的那一份。构建并运行服务的团队,最适合了解它的依赖并注意到错误。让他们容易做到:一份模板、计划时的简短评审,以及在他们的数据被使用时的反馈。中央团队拥有模型、工具和检查,而不是每一条记录。
度量质量和使用
8. 通过抽样审计准确性。每季度随机抽取一份 CI 样本,对照在线系统检查,再从在线系统抽取第二份样本,检查它们是否出现在记录中。按类别报告准确率,并显示错误的主要来源。保持抽样方法固定,使趋势有意义。
9. 用事件检验地图。在一次重大事件或变更之后,把实际受影响的服务与 CMDB 所预测的比较。记录漏掉的并修复缺失的依赖。这是最有意义的准确性检验,因为它对照事件检查记录,而且随着地图被更正,命中率会提高。使用无责评审,使人们乐于报告漏掉的情形(见主题 4.2,事后复盘与学习指标)。
10. 跟踪使用,并问它是否有帮助。统计事件和变更引用 CI 的频率,并向响应者和批准人提一个关于记录是否有帮助的简短问题。使用率上升且答案是正面的,是价值最清晰的迹象。使用率低,意味着人们不信任记录,或不知道它的存在,两者都是可以修复的。
11. 与负责人定期评审依赖地图。依赖随软件的演进而变化。请关键服务的负责人每季度确认自己的地图,最好作为一次计划或架构交谈的一部分。把确认日期用作属性,并显示逾期的地图。
保持诚实且适度
12. 让无人使用的东西退役。移除没有问题需要、也无人查阅的 CI 类别和属性。更少而更好的字段提高准确性。每年评审模型,并记录移除了什么、为什么。较小的记录需要保持真实的东西更少,也使质量度量更容易被诚实地达到。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| CI 完整性 | 用默认值或占位符填写必填属性;收窄必填清单 | 统计默认值和占位符;固定的必填清单;准确性样本 |
| CI 准确率 | 对容易的类别抽样;在清理之后审计 | 从两个方向独立抽取的随机样本;固定的方法 |
| 依赖覆盖率 | 不阅读就把地图标为已评审;只映射琐碎的依赖 | 影响预测命中率;对照在线流量抽查一张地图 |
| 影响预测命中率 | 选择进展顺利的事件;把受影响的服务记录得很窄 | 评审所有重大事件;评审者在所属团队之外 |
| 重复 CI 率 | 合并不同的 CI 以降低比率;放宽匹配规则 | 抽样合并的正确性;记录合并规则 |
| 更新延迟 | 倒填变更事件;只统计自动更新 | 比较来自源系统的事件和更新时间戳;审计轨迹 |
| CMDB 使用率 | 出于形式加入 CI 引用;让字段必填,填什么值都行 | 检查所引用的 CI 是否相关;关于是否有帮助的反馈问题 |
健康的读数是:一份较小的记录,有很高的实测准确率,能预测真实事件的依赖地图,自动化类别的更新延迟接近零,以及说因为它有帮助而使用这份记录的人。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 全面的 CMDB | 视野广;支持许多使用场景 | 保持真实的代价高昂;会衰减 |
| 最小的、由问题驱动的 CMDB | 被信任且便宜 | 有缺口;需要增长的纪律 |
| 由发现驱动的填充 | 发现未知之物;手工工作量低 | 嘈杂;缺乏所有权和目的 |
| 由流水线驱动的填充 | 准确;延迟低 | 限于通过流水线构建的东西 |
| 记录的集中所有权 | 一致 | 缓慢;远离知识 |
| 记录的团队所有权 | 准确而快速 | 有差异;需要模板和检查 |
| 图式模型 | 对关系和影响查询很自然 | 需要技能和工具 |
| 关系表模型 | 熟悉而简单 | 对深层依赖查询很别扭 |
文字化的答案是,从小处着手、由问题驱动,从流水线填充,以发现作为第二意见,并让服务团队负责自己的记录。图数据库可以使依赖问题问起来很自然,不过只要模型保持简单,传统数据库也行。
与团队讨论的问题
1. 我们上一次希望 CMDB 能回答的问题是什么?它能回答吗? 回想一次近期的事件或变更,有人在其中搜索依赖。他们找到了什么,又改做了什么?主持人应记录那个问题,以及记录是否被查阅。结果是这份记录目的的第一个候选。
2. 如果我们最重要的服务现在失败,我们对预测的影响有多大把握? 请求 CMDB 预测的影响,并与了解该服务的人所相信的比较。注意差异。约定先验证哪个依赖,以及由谁来检查。
3. 每项服务的记录归谁所有?他们知道吗? 列出关键服务及其 CMDB 条目的负责人。问负责人是否知道、最近是否评审过。在负责人是"CMDB 团队"之处,讨论如何把所有权移交给服务团队。
4. 我们为了满足必填字段而填了什么? 查找默认值和占位符。它们显示模型在哪里要求的多于任何人所知道的。决定是移除这个字段、将其自动化,还是找到真正的来源。
5. 我们的记录在哪里与实际运行的情况不一致? 对一项服务,把发现的输出与记录比较。对每一处差异,问应当改变的是记录还是现实。交谈往往既发现陈旧的数据,也发现未经授权的组件。
6. 我们会停止记录什么? 列出六个月来无人使用的类别、属性和关系。问如果每一个消失会怎样。约定移除两个,并观察是否有人注意到。
四种视角
产品与交付团队
交付团队掌握着其服务依赖什么的知识,最适合保持记录真实。他们应当把所有权和依赖与代码一起声明,在设计变化时评审它们,并在计划变更时使用记录。包括更新服务描述的完成定义,使记录靠近工作。
服务与运维团队
运维团队在事件和变更期间查阅记录,所以最先感受到其错误。他们应当在评审中报告漏掉的情形,运行发现检查,维护匹配规则,并向负责人提供反馈。他们还运营工具和审计样本。
领导层与治理
领导层希望影响和风险可见,他们常常赞助令人失望的大型 CMDB 项目。他们应当要使用和准确性的证据,而不是记录数量,为流水线集成出资,并接受把较小的范围做好。治理应当期望看到影响预测命中率和缺口清单。
客户与用户
当事件被更快地诊断、变更更不容易破坏依赖服务时,用户受益。他们很少看到 CMDB,但看到它的效果:沟通中正确地点出受影响的服务,以及变更之后更少的意外。他们在事件之后的反馈,显示影响图景是否正确。
实践:一个敏捷 ITIL 示例
一家国家航空公司的技术小组运行约 300 个应用和一个客户订票平台。以下数字是示意数字。
CMDB 持有 180,000 个 CI,由一个发现工具在五年前填充。服务管理负责人想知道它是否值得保留。她请一个小团队来检验。对于质量,他们审计 150 个抽样的 CI,发现在五个必填属性上的准确率为 71%。对于地图,他们评审最近 20 起重大事件,并把实际受影响的服务与 CMDB 预测的比较:它在 20 起中的 6 起预测出了所有受影响的服务,命中率为 30%。对于使用,上个季度有 12% 的事件引用了一个 CI,在一次简短的响应者调查中,大多数人说他们依赖的是另一个维基页面。重复的 CI 占总数的 9%。
团队与服务负责人一起作出四项决定。它把范围缩小到承载客户最多的 40 项服务,五个 CI 类别和四种关系类型。它请每个服务团队在与代码一起保存的一个简短文件中声明负责人、依赖和运行位置,流水线在每次发布时将其发布到 CMDB。它每周运行发现,并向负责人报告差异。它在事件评审中增加一个字段"CMDB 的预测对吗?",并在两周内修复每一次遗漏。
两个季度后,限定范围的 CMDB 有 14,000 个 CI,抽样集合上的准确率为 92%,流水线中服务从发布到记录的更新延迟不到一小时,最近 12 起事件的命中率为 75%。事件中的 CMDB 使用率升到了 58%,响应者说不再需要那个维基页面。首席运营官要求制定一个计划,一次性纳入其余的 260 个应用。服务管理负责人提议每季度增加十项服务,在每项服务于一次测试事件中赢得高于约定水平的命中率之后,并解释说先前宽泛的记录从未被信任过。该决定被记录下来,每季度评审。
行业视角
初创企业。除了服务目录和基础设施代码之外,几乎不需要 CMDB。把服务负责人和依赖保存在代码库中,并由此生成地图。只有当问题超出文件的能力时,才增加数据库。
小型企业。一张简单的图加上一份带负责人和厂商的系统清单可能就够了。在每次重大变更之后更新它。抵制为小型资产购买平台,但要保持图表最新,因为它在中断时无价。
大型企业。规模需要模型、联合所有权,以及与若干来源的集成,包括收购。标准化标识符和核心模型,让团队在规则内扩展它,并按领域度量使用和准确性。预期要运行一项持续的匹配和清洗职能。
政府与公共部门。服务往往建立在长期存在的系统、承包商和共享基础设施之上,事件的影响可能波及公众。明确映射对供应商和共享平台的依赖,保存审计记录,并与连续性计划对齐(见主题 5.6,服务连续性指标)。
商业论证:动机、投资回报与总拥有成本
成本是建模和治理的工作量、流水线和发现的集成、一些工具,以及审计和修复的工作量。许多组织已经拥有这个平台。一旦模板存在,通过流水线填充就很便宜。试图一次性填充一切的大型项目代价高昂,而且往往失败。
回报是更短的事件、更安全的变更,以及更少花在寻找信息上的时间。用你自己的证据建立论证:响应者在一次典型事件中花在寻找依赖上的时间、缺失的依赖信息延误诊断的事件占比,以及造成意外影响的变更。影响预测命中率是衡量记录是否本会有帮助的直接度量。避免关于由变更引起的事件占比或中断成本的已发布说法,除非你能追溯其来源。把保持一份庞大而可疑的记录的成本,与一份小而被信任的记录的价值相比较。
反模式与陷阱
- 先填充一切。一份庞大而陈旧的记录摧毁信任。从关键服务开始。
- 发现作为唯一来源。它无法告诉你某物为何存在或谁拥有它。与声明结合。
- 审计完整性却称之为质量。完整而错误,比不完整而正确更糟。抽样检查准确性。
- 中央团队拥有所有数据。他们不了解这些数据。把所有权交给服务团队。
- 带默认值的必填字段。它们看起来完整,却不带任何信息。移除或自动化它们。
- 用 CI 的数量来度量。多不等于好。度量准确性、命中率和使用。
- 忽视关系。没有依赖,CMDB 只是清单。投资于关键服务的地图。
- 因遗漏而责备人。他们会不再报告。把遗漏的依赖视为发现。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 范围与模型 | 发现工具发现了什么就是什么 | 定义了模型;范围宽泛 | 由问题驱动的模型;映射了关键服务 | 当命中率和使用有依据时才扩大范围 | 跨团队和供应商的联合模型;共享标识符 |
| 填充与质量 | 手工或一次性加载 | 计划内的发现和导入 | 流水线从代码发布;发现作为检查;抽样审计 | 度量准确性、延迟和重复并形成趋势 | 实时数据流,带自动核对和负责人确认 |
| 使用 | 很少被查阅 | 少数团队使用 | 作为标准做法在事件和变更中被引用 | 对照事件检验影响预测;跟踪使用和有帮助程度 | 记录为自动化决策和共享的供应商地图提供依据 |
检查清单
- 已写下 CMDB 必须回答的问题。
- 范围限于关键服务,并有明确的增长规则。
- 模型有一小组类别、属性和关系类型。
- 每项关键服务都有在上个季度确认过其记录的负责人。
- 流水线为以代码构建的服务发布 CI 变更。
- 将发现结果与记录比较,并评审差异。
- 每季度从两个方向审计一份随机的准确性样本。
- 事件评审记录预测的影响是否正确。
- 跟踪事件和变更中的 CMDB 使用,并附有关于是否有帮助的问题。
- 按计划让未使用的类别和属性退役。
AI 提示词
定义问题和范围。
我们运行[组织类型和服务]。我们需要配置信息的典型情形:[列出事件、变更、审计]。请起草
我们的 CMDB 应当回答的问题清单、每个问题所需的 CI 类别、属性和关系,以及一个以最关键
服务为主的最小起始范围。不要编造工具。列出你的假设,以及应当与服务负责人确认的事项。
分析一次影响预测的遗漏。
在事件[描述]之后,CMDB 预测的受影响服务是:[清单],实际受影响的服务是:[清单]。请解释
每一处差异的可能原因(缺失的依赖、错误的关系、陈旧的数据、间接依赖),建议如何验证每一个,
并提出在源头的修复。不要假定信息无法支持的原因。列出你的假设。
为服务团队设计声明文件。
请提出一份简短的、人可读的声明,服务团队将其与代码一起保存,为 CMDB 描述该服务:负责人、
支持联系人、层级、依赖、运行位置和数据分类。包括流水线可以应用的验证规则,以及一个针对
[服务类型]的最小示例。把它限于[粘贴问题]中的问题所要求的内容。列出你的假设,以及应当与
安全部门一起评审的字段。
规划季度准确性审计。
我们的 CMDB 在这些类别中持有[数量]个 CI:[清单]。请设计一次季度审计,用从两个方向抽取的
随机样本(从 CMDB 到现实,以及从现实到 CMDB),说明每个类别要检查什么、如何诚实地报告
准确率和错误来源,以及如何避免给自己的作业打分。不要夸大统计精确度。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项配置质量指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查 CMDB 指标条目是否带有其操纵途径、护栏和独立证据规则。
关键要点
- 构建 CMDB,以回答关于最重要服务的有名有姓的问题,并随信任的增长而扩大它。
- 从流水线和代码填充,把发现用作第二意见,并让服务团队拥有自己的记录。
- 对照事件检验质量:把预测的影响与事件中实际发生的比较。
- 度量使用和有帮助程度,而不是 CI 的数量。
- 从两个方向、依据独立证据抽样检查准确性。
- 让无人使用的东西退役,并在源头修复错误。
参考文献与延伸阅读
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Configuration Management, TSO, 2020.
- Wang, R. Y., and Strong, D. M., "Beyond accuracy: what data quality means to data consumers," Journal of Management Information Systems, 12(4), 1996.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd ed., Technics Publications, 2017.
- Morris, K., Infrastructure as Code, 2nd ed., O'Reilly, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Configuration item.
- Wikipedia, Configuration management database.
- Wikipedia, Infrastructure as code.
- Wikipedia, Data integrity.
- Wikipedia, Entity resolution.
- Wikipedia, Goodhart's law.
- Wikipedia, Service discovery.
- Wikipedia, Graph database.