概述与动因

当数据库服务器在凌晨三点失败时,有人会问哪些服务依赖它。当团队计划一项变更时,有人会问还有什么可能出问题。答案应当来自构成你的服务的各种事物及其连接方式的记录。这份记录是配置管理的主题,其背后的数据库是配置管理数据库,通常简称 CMDB。

配置项(CI)是为交付某项 IT 服务而需要管理的任何组件:服务器、应用、数据库、网络设备、云账户、合同。配置管理数据库存储关于 CI 及其属性、以及它们之间关系的信息。资产管理问的是你有什么、谁拥有它、它花费多少(见主题 7.1,IT 资产管理指标),而配置管理问的是各部分如何组合在一起、什么依赖什么。

CMDB 的名声参差不齐,而且这名声是应得的。许多 CMDB 是作为全面的地图构建的,里面充满比任何人能修复的速度衰减得更快的数据,然后被废弃。敏捷与 DevOps 的传统提供了更好的起点。用代码描述其基础设施的团队,对其运行的东西拥有权威的、带版本的定义,并且可以自动把它发布到共享记录中。基础设施即代码使记录成为交付的副产品。ITIL 4 把这项实践描述为服务配置管理,并强调支持决策所需的信息,而不是为完整而完整。

配置记录的质量有若干部分,它们对应于数据完整性这一更广的思想:

  • 完整性:重要的 CI 和属性都存在。
  • 准确性:记录所说的与现实相符。
  • 及时性:变更足够早地出现在记录中,从而有用。
  • 一致性:同一件事物不会以不同名称被记录两次。把指向同一事物的记录匹配起来,是实体解析的问题。
  • 关系质量:CI 之间的依赖存在且正确。大部分价值和大部分衰减,都在这里。

对 CMDB 最深的检验是使用。人们在事件和变更期间查阅、并在其错误时更正的记录,是健康的。只被审计的记录则不是。因此,下面的度量把质量度量与使用度量配对。

古德哈特定律的护栏在这里带有一个转折:完整性很容易用默认值夸大,而准确性很容易不经检查就宣称。坚持要求独立证据和使用度量(见主题 1.2,古德哈特定律与指标心理学)。

关键原则

  • 从问题出发。决定你需要记录回答什么,只构建那些。
  • 偏好较小而被信任的记录,而不是较大而可疑的记录。范围在信任赢得之后才扩大。
  • 让事实来源为记录提供输入。应当由流水线、云 API 和发现工具写入,而不是拿着电子表格的人。
  • 让服务团队拥有其服务的记录。他们了解自己的依赖,也感受错误的代价。
  • 既按使用也按质量度量。好的记录会被查阅。
  • 对照现实检查。通过问记录是否预测了所发生的事来检验它。
  • 在源头修复。错误的记录是症状。找出让它漂移的流程。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
CI 完整性 所有必填属性都以有效值填写的范围内 CI 占比 每个必填属性都有效的范围内 CI 数 / 范围内 CI 数 百分比 CMDB、属性规则 服务配置管理;IT 资产管理 完成的定义包括服务描述 每月
CI 准确率 记录在必填属性上与证据相符的抽样 CI 占比 在所有必填属性上相符的抽样 CI 数 / 抽样的 CI 数 百分比 与在线系统比较的审计样本 服务配置管理 基础设施即代码的状态与现实相符 每季度
依赖覆盖率 其上游和下游依赖已映射并经评审的关键服务占比 在过去 90 天内评审过依赖地图的关键服务数 / 关键服务数 百分比 CMDB 关系和评审记录 服务配置管理;可用性管理 架构和服务所有权评审 每季度
影响预测命中率 实际受影响的服务都在 CMDB 预测的影响之内的事件和变更占比 所有受影响服务都被预测到的事件或变更数 / 被评审的事件或变更数 百分比 与 CMDB 查询比较的事件后评审和变更记录 事件管理;变更赋能 关于缺失依赖的无责评审发现 每季度
重复 CI 率 重复了另一个 CI 的 CI 占比 被匹配规则标为重复并在评审中确认的 CI 数 / 范围内 CI 数 百分比 CMDB 匹配报告和评审样本 服务配置管理 单一事实来源 每月
更新延迟 现实世界中某个 CI 的变更与其在 CMDB 中的更新之间的延迟 从变更事件到 CMDB 更新的小时数或天数的中位数和第 85 百分位数 小时或天 与 CMDB 时间戳比较的变更事件和流水线事件 服务配置管理;变更赋能 流水线中的自动登记 每月
CMDB 使用率 引用 CI 的事件和变更占比,以及其中用户报告记录有帮助的占比 引用有效 CI 的记录数 / 该期间的事件和变更数;外加已评审记录中 CI 数据有帮助的占比 百分比 ITSM 工具、简短的反馈提示 事件管理;变更赋能 在工作中使用共享记录的团队 每月

按类别和关键程度定义"范围内 CI"的范围,并予以记录。CI 只在你指明为必填的属性上才是准确的。更新延迟从真实事件(比如一次部署或一次购买)开始,在 CMDB 反映它时停止。影响预测命中率需要一个记录实际受影响服务的评审步骤,它的可靠程度只取决于这一评审。

建议

决定记录是干什么用的

1. 写下 CMDB 必须回答的问题。典型的问题有:什么依赖这个组件,谁拥有这项服务,最近有什么变化,这里的失败会影响什么,以及什么已不在支持范围内。对每个问题,指出所需的 CI 类别、属性和关系。任何回答问题不需要的东西,都是可以省略的候选。

2. 从最重要的服务开始。挑出少数几项关键服务,端到端地映射它们,并在增加更多之前把这一点做对。十项服务的可靠地图,比一千项服务的可疑地图帮助更大。随着信任和使用的增长而扩展。

3. 简单地定义类别、属性和关系类型。一份简短的 CI 类别清单(服务、应用、数据库、主机、网络、云资源)和关系类型(依赖于、运行于、连接到、归属于),就涵盖了大多数需要。试图捕获一切的模型很难填写,更难查询。保留一份书面的模型,并有意地更改它。

从源头为记录提供输入

4. 从流水线和代码发布。在基础设施和应用被定义为代码之处,让交付流水线在每次变更时创建、更新和退役 CI,包括与代码一起声明的所有权和依赖信息。把这种声明视为服务完成定义的一部分。这使更新延迟接近零,并使记录与实际运行的东西保持一致。

5. 把发现用作第二意见。网络和云的服务发现找出实际在运行什么以及它如何连接。把它与声明的记录比较。差异就是发现:要么声明缺少了什么,要么有不应运行的东西在运行。仅靠发现,没有所有权,只会产生嘈杂的数据,所以用它来检查,而不是创作。

6. 使用稳定的标识符和匹配规则。当不同来源以不同的名称称呼同一事物时,就产生重复。为每个 CI 类别约定唯一的标识符,记录来源标识符,并运行匹配规则来发现并合并重复。手工评审一份匹配样本,因为自动合并可能把不同的东西合并在一起。

7. 让每个服务团队拥有自己的那一份。构建并运行服务的团队,最适合了解它的依赖并注意到错误。让他们容易做到:一份模板、计划时的简短评审,以及在他们的数据被使用时的反馈。中央团队拥有模型、工具和检查,而不是每一条记录。

度量质量和使用

8. 通过抽样审计准确性。每季度随机抽取一份 CI 样本,对照在线系统检查,再从在线系统抽取第二份样本,检查它们是否出现在记录中。按类别报告准确率,并显示错误的主要来源。保持抽样方法固定,使趋势有意义。

9. 用事件检验地图。在一次重大事件或变更之后,把实际受影响的服务与 CMDB 所预测的比较。记录漏掉的并修复缺失的依赖。这是最有意义的准确性检验,因为它对照事件检查记录,而且随着地图被更正,命中率会提高。使用无责评审,使人们乐于报告漏掉的情形(见主题 4.2,事后复盘与学习指标)。

10. 跟踪使用,并问它是否有帮助。统计事件和变更引用 CI 的频率,并向响应者和批准人提一个关于记录是否有帮助的简短问题。使用率上升且答案是正面的,是价值最清晰的迹象。使用率低,意味着人们不信任记录,或不知道它的存在,两者都是可以修复的。

11. 与负责人定期评审依赖地图。依赖随软件的演进而变化。请关键服务的负责人每季度确认自己的地图,最好作为一次计划或架构交谈的一部分。把确认日期用作属性,并显示逾期的地图。

保持诚实且适度

12. 让无人使用的东西退役。移除没有问题需要、也无人查阅的 CI 类别和属性。更少而更好的字段提高准确性。每年评审模型,并记录移除了什么、为什么。较小的记录需要保持真实的东西更少,也使质量度量更容易被诚实地达到。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
CI 完整性 用默认值或占位符填写必填属性;收窄必填清单 统计默认值和占位符;固定的必填清单;准确性样本
CI 准确率 对容易的类别抽样;在清理之后审计 从两个方向独立抽取的随机样本;固定的方法
依赖覆盖率 不阅读就把地图标为已评审;只映射琐碎的依赖 影响预测命中率;对照在线流量抽查一张地图
影响预测命中率 选择进展顺利的事件;把受影响的服务记录得很窄 评审所有重大事件;评审者在所属团队之外
重复 CI 率 合并不同的 CI 以降低比率;放宽匹配规则 抽样合并的正确性;记录合并规则
更新延迟 倒填变更事件;只统计自动更新 比较来自源系统的事件和更新时间戳;审计轨迹
CMDB 使用率 出于形式加入 CI 引用;让字段必填,填什么值都行 检查所引用的 CI 是否相关;关于是否有帮助的反馈问题

健康的读数是:一份较小的记录,有很高的实测准确率,能预测真实事件的依赖地图,自动化类别的更新延迟接近零,以及说因为它有帮助而使用这份记录的人。

权衡:利弊

做法 优势 劣势
全面的 CMDB 视野广;支持许多使用场景 保持真实的代价高昂;会衰减
最小的、由问题驱动的 CMDB 被信任且便宜 有缺口;需要增长的纪律
由发现驱动的填充 发现未知之物;手工工作量低 嘈杂;缺乏所有权和目的
由流水线驱动的填充 准确;延迟低 限于通过流水线构建的东西
记录的集中所有权 一致 缓慢;远离知识
记录的团队所有权 准确而快速 有差异;需要模板和检查
图式模型 对关系和影响查询很自然 需要技能和工具
关系表模型 熟悉而简单 对深层依赖查询很别扭

文字化的答案是,从小处着手、由问题驱动,从流水线填充,以发现作为第二意见,并让服务团队负责自己的记录。图数据库可以使依赖问题问起来很自然,不过只要模型保持简单,传统数据库也行。

与团队讨论的问题

1. 我们上一次希望 CMDB 能回答的问题是什么?它能回答吗? 回想一次近期的事件或变更,有人在其中搜索依赖。他们找到了什么,又改做了什么?主持人应记录那个问题,以及记录是否被查阅。结果是这份记录目的的第一个候选。

2. 如果我们最重要的服务现在失败,我们对预测的影响有多大把握? 请求 CMDB 预测的影响,并与了解该服务的人所相信的比较。注意差异。约定先验证哪个依赖,以及由谁来检查。

3. 每项服务的记录归谁所有?他们知道吗? 列出关键服务及其 CMDB 条目的负责人。问负责人是否知道、最近是否评审过。在负责人是"CMDB 团队"之处,讨论如何把所有权移交给服务团队。

4. 我们为了满足必填字段而填了什么? 查找默认值和占位符。它们显示模型在哪里要求的多于任何人所知道的。决定是移除这个字段、将其自动化,还是找到真正的来源。

5. 我们的记录在哪里与实际运行的情况不一致? 对一项服务,把发现的输出与记录比较。对每一处差异,问应当改变的是记录还是现实。交谈往往既发现陈旧的数据,也发现未经授权的组件。

6. 我们会停止记录什么? 列出六个月来无人使用的类别、属性和关系。问如果每一个消失会怎样。约定移除两个,并观察是否有人注意到。

四种视角

产品与交付团队

交付团队掌握着其服务依赖什么的知识,最适合保持记录真实。他们应当把所有权和依赖与代码一起声明,在设计变化时评审它们,并在计划变更时使用记录。包括更新服务描述的完成定义,使记录靠近工作。

服务与运维团队

运维团队在事件和变更期间查阅记录,所以最先感受到其错误。他们应当在评审中报告漏掉的情形,运行发现检查,维护匹配规则,并向负责人提供反馈。他们还运营工具和审计样本。

领导层与治理

领导层希望影响和风险可见,他们常常赞助令人失望的大型 CMDB 项目。他们应当要使用和准确性的证据,而不是记录数量,为流水线集成出资,并接受把较小的范围做好。治理应当期望看到影响预测命中率和缺口清单。

客户与用户

当事件被更快地诊断、变更更不容易破坏依赖服务时,用户受益。他们很少看到 CMDB,但看到它的效果:沟通中正确地点出受影响的服务,以及变更之后更少的意外。他们在事件之后的反馈,显示影响图景是否正确。

实践:一个敏捷 ITIL 示例

一家国家航空公司的技术小组运行约 300 个应用和一个客户订票平台。以下数字是示意数字。

CMDB 持有 180,000 个 CI,由一个发现工具在五年前填充。服务管理负责人想知道它是否值得保留。她请一个小团队来检验。对于质量,他们审计 150 个抽样的 CI,发现在五个必填属性上的准确率为 71%。对于地图,他们评审最近 20 起重大事件,并把实际受影响的服务与 CMDB 预测的比较:它在 20 起中的 6 起预测出了所有受影响的服务,命中率为 30%。对于使用,上个季度有 12% 的事件引用了一个 CI,在一次简短的响应者调查中,大多数人说他们依赖的是另一个维基页面。重复的 CI 占总数的 9%。

团队与服务负责人一起作出四项决定。它把范围缩小到承载客户最多的 40 项服务,五个 CI 类别和四种关系类型。它请每个服务团队在与代码一起保存的一个简短文件中声明负责人、依赖和运行位置,流水线在每次发布时将其发布到 CMDB。它每周运行发现,并向负责人报告差异。它在事件评审中增加一个字段"CMDB 的预测对吗?",并在两周内修复每一次遗漏。

两个季度后,限定范围的 CMDB 有 14,000 个 CI,抽样集合上的准确率为 92%,流水线中服务从发布到记录的更新延迟不到一小时,最近 12 起事件的命中率为 75%。事件中的 CMDB 使用率升到了 58%,响应者说不再需要那个维基页面。首席运营官要求制定一个计划,一次性纳入其余的 260 个应用。服务管理负责人提议每季度增加十项服务,在每项服务于一次测试事件中赢得高于约定水平的命中率之后,并解释说先前宽泛的记录从未被信任过。该决定被记录下来,每季度评审。

行业视角

初创企业。除了服务目录和基础设施代码之外,几乎不需要 CMDB。把服务负责人和依赖保存在代码库中,并由此生成地图。只有当问题超出文件的能力时,才增加数据库。

小型企业。一张简单的图加上一份带负责人和厂商的系统清单可能就够了。在每次重大变更之后更新它。抵制为小型资产购买平台,但要保持图表最新,因为它在中断时无价。

大型企业。规模需要模型、联合所有权,以及与若干来源的集成,包括收购。标准化标识符和核心模型,让团队在规则内扩展它,并按领域度量使用和准确性。预期要运行一项持续的匹配和清洗职能。

政府与公共部门。服务往往建立在长期存在的系统、承包商和共享基础设施之上,事件的影响可能波及公众。明确映射对供应商和共享平台的依赖,保存审计记录,并与连续性计划对齐(见主题 5.6,服务连续性指标)。

商业论证:动机、投资回报与总拥有成本

成本是建模和治理的工作量、流水线和发现的集成、一些工具,以及审计和修复的工作量。许多组织已经拥有这个平台。一旦模板存在,通过流水线填充就很便宜。试图一次性填充一切的大型项目代价高昂,而且往往失败。

回报是更短的事件、更安全的变更,以及更少花在寻找信息上的时间。用你自己的证据建立论证:响应者在一次典型事件中花在寻找依赖上的时间、缺失的依赖信息延误诊断的事件占比,以及造成意外影响的变更。影响预测命中率是衡量记录是否本会有帮助的直接度量。避免关于由变更引起的事件占比或中断成本的已发布说法,除非你能追溯其来源。把保持一份庞大而可疑的记录的成本,与一份小而被信任的记录的价值相比较。

反模式与陷阱

  • 先填充一切。一份庞大而陈旧的记录摧毁信任。从关键服务开始。
  • 发现作为唯一来源。它无法告诉你某物为何存在或谁拥有它。与声明结合。
  • 审计完整性却称之为质量。完整而错误,比不完整而正确更糟。抽样检查准确性。
  • 中央团队拥有所有数据。他们不了解这些数据。把所有权交给服务团队。
  • 带默认值的必填字段。它们看起来完整,却不带任何信息。移除或自动化它们。
  • 用 CI 的数量来度量。多不等于好。度量准确性、命中率和使用。
  • 忽视关系。没有依赖,CMDB 只是清单。投资于关键服务的地图。
  • 因遗漏而责备人。他们会不再报告。把遗漏的依赖视为发现。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
范围与模型 发现工具发现了什么就是什么 定义了模型;范围宽泛 由问题驱动的模型;映射了关键服务 当命中率和使用有依据时才扩大范围 跨团队和供应商的联合模型;共享标识符
填充与质量 手工或一次性加载 计划内的发现和导入 流水线从代码发布;发现作为检查;抽样审计 度量准确性、延迟和重复并形成趋势 实时数据流,带自动核对和负责人确认
使用 很少被查阅 少数团队使用 作为标准做法在事件和变更中被引用 对照事件检验影响预测;跟踪使用和有帮助程度 记录为自动化决策和共享的供应商地图提供依据

检查清单

  • 已写下 CMDB 必须回答的问题。
  • 范围限于关键服务,并有明确的增长规则。
  • 模型有一小组类别、属性和关系类型。
  • 每项关键服务都有在上个季度确认过其记录的负责人。
  • 流水线为以代码构建的服务发布 CI 变更。
  • 将发现结果与记录比较,并评审差异。
  • 每季度从两个方向审计一份随机的准确性样本。
  • 事件评审记录预测的影响是否正确。
  • 跟踪事件和变更中的 CMDB 使用,并附有关于是否有帮助的问题。
  • 按计划让未使用的类别和属性退役。

AI 提示词

定义问题和范围。

我们运行[组织类型和服务]。我们需要配置信息的典型情形:[列出事件、变更、审计]。请起草
我们的 CMDB 应当回答的问题清单、每个问题所需的 CI 类别、属性和关系,以及一个以最关键
服务为主的最小起始范围。不要编造工具。列出你的假设,以及应当与服务负责人确认的事项。

分析一次影响预测的遗漏。

在事件[描述]之后,CMDB 预测的受影响服务是:[清单],实际受影响的服务是:[清单]。请解释
每一处差异的可能原因(缺失的依赖、错误的关系、陈旧的数据、间接依赖),建议如何验证每一个,
并提出在源头的修复。不要假定信息无法支持的原因。列出你的假设。

为服务团队设计声明文件。

请提出一份简短的、人可读的声明,服务团队将其与代码一起保存,为 CMDB 描述该服务:负责人、
支持联系人、层级、依赖、运行位置和数据分类。包括流水线可以应用的验证规则,以及一个针对
[服务类型]的最小示例。把它限于[粘贴问题]中的问题所要求的内容。列出你的假设,以及应当与
安全部门一起评审的字段。

规划季度准确性审计。

我们的 CMDB 在这些类别中持有[数量]个 CI:[清单]。请设计一次季度审计,用从两个方向抽取的
随机样本(从 CMDB 到现实,以及从现实到 CMDB),说明每个类别要检查什么、如何诚实地报告
准确率和错误来源,以及如何避免给自己的作业打分。不要夸大统计精确度。列出你的假设。

AI 技能

关键要点

  • 构建 CMDB,以回答关于最重要服务的有名有姓的问题,并随信任的增长而扩大它。
  • 从流水线和代码填充,把发现用作第二意见,并让服务团队拥有自己的记录。
  • 对照事件检验质量:把预测的影响与事件中实际发生的比较。
  • 度量使用和有帮助程度,而不是 CI 的数量。
  • 从两个方向、依据独立证据抽样检查准确性。
  • 让无人使用的东西退役,并在源头修复错误。

参考文献与延伸阅读

  1. AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Configuration Management, TSO, 2020.
  2. Wang, R. Y., and Strong, D. M., "Beyond accuracy: what data quality means to data consumers," Journal of Management Information Systems, 12(4), 1996.
  3. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd ed., Technics Publications, 2017.
  4. Morris, K., Infrastructure as Code, 2nd ed., O'Reilly, 2020.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, Configuration item.
  7. Wikipedia, Configuration management database.
  8. Wikipedia, Infrastructure as code.
  9. Wikipedia, Data integrity.
  10. Wikipedia, Entity resolution.
  11. Wikipedia, Goodhart's law.
  12. Wikipedia, Service discovery.
  13. Wikipedia, Graph database.