容量与性能指标
度量服务有多满、最慢的请求有多慢、在用户察觉之前还剩多少余地,然后用范围来预测需求,使容量在需要之前到位,而不是在投诉之后。
概述与动因
可用性告诉你服务是否有应答。容量和性能告诉你它应答得有多好,以及随着需求增长它还能这样持续多久。一个需要八秒才响应的结账页面,按大多数可用性定义是"在线"的,按每位客户的定义却是"坏了"。一个存储用到 95% 的数据库今天是健康的,下个月就是一次中断。本主题涵盖弥合这些缺口的度量。
容量规划是确定服务为满足变化的需求所需资源的实践。在 ITIL 4 中,它属于容量与性能管理实践,其目的是确保服务达到约定的和预期的性能,并以具有成本效益的方式满足当前和未来的需求。这项实践在三个层面上描述它:业务(组织将向其服务提出什么要求)、服务(服务在负载下如何表现),以及组件(每台服务器、数据库、网络链路或队列如何表现)。本主题中的度量大多在服务和组件层面工作,它们需要来自业务层面的输入才能预测任何东西。
站点可靠性工程(SRE)把延迟、流量、错误和饱和度视为任何面向用户的系统上值得观察的四个信号,并把性能目标与服务级别目标相联(见主题 5.2,SLI、SLO 与错误预算)。敏捷团队把容量当作交付问题来对待:下一个版本能否承载预期的负载,谁拥有这个答案?把性能当作在流水线中检查的验收标准,会使这场交谈提前。
本主题中有几个术语反复出现。利用率是一种资源的容量在某个间隔内被使用的占比,例如处理器忙碌时间的占比。饱和度是因为某资源已被完全使用而在等待的工作量,例如运行队列或请求积压的长度。利用率说明一种资源有多忙。饱和度说明工作是否在为它排队,而队列才是用户所感受到的。延迟是请求与其响应之间的时间。吞吐量是服务完成工作的速率,例如每秒请求数。余量是当前峰值负载与服务不再满足其目标的负载之间的差距。需求是用户和业务向服务提出的工作,它与服务完成的工作不是一回事:过载的服务完成的少于所要求的。
等待队列的一个性质解释了这些度量为何表现如此。排队论表明,对于到达随机的服务,在利用率适中时等待时间增长缓慢,然后在利用率接近满负荷时陡然上升。利特尔定律把系统中请求的平均数量与到达率及每个请求在其中停留的平均时间联系起来。平均利用率很高的资源,离悬崖不远了。曲线的确切形状取决于服务,所以要通过负载测试你自己的系统来找到它,而不是从一般文章中借用阈值。
延迟需要特别小心,因为平均值隐藏了真正重要的体验。百分位数说明有给定比例的观测值落在其下方的那个值:第 95 百分位数(p95)是 95% 的请求都优于的延迟。在一个用户动作会扇出成许多内部调用的系统中,尾部延迟往往占主导。报告百分位数,而不是只报告平均值(见主题 1.6,服务指标的统计素养,以及主题 3.3,事件响应与解决时间,后者对解决时间提出了同样的论点)。
最后,容量取决于对需求的预测,而需求有模式:每日周期、每周周期,以及与日历、活动和产品发布相联的季节性。自动伸缩改变了这种感受,因为云平台可以在几分钟内增加资源,但它并没有消除这个主题。自动伸缩有极限、有滞后、有成本,也有无法伸缩的依赖,比如数据库或第三方接口。成本一面属于 FinOps(见主题 7.6,FinOps 与云成本指标)。
相邻的主题涵盖可用性算术(见主题 5.3,可用性指标)、告警设计(见主题 5.5,监控与告警质量指标)和轮班负荷(见主题 5.7,琐务与值班指标)。这里的主题是服务自己的资源和响应时间。
关键原则
- 既度量饱和度,也度量利用率。利用率显示一种资源有多忙,饱和度显示工作是否在等待。用户体验到的是等待。
- 把延迟报告为分布。对每个面向用户的操作使用百分位数,并让缓慢的长尾保持可见。偏态分布的平均值几乎不描述任何人。
- 把目标与用户体验相联。当阈值能追溯到用户或业务所关心的东西,而不是某个工具碰巧画出的图表时,它才有意义。
- 用范围来计划并评审它们。预测是带有说明假设的一个范围。把它与实际发生的比较,并从误差中学习。
- 通过测试了解你的极限。在真实的负载测试确认之前,容量只是假设。在重要的变更之后重复测试。
- 描述系统,绝不描述人。这些度量属于服务、组件和团队。它们绝不是个人的记分卡。
- 权衡成本与风险。富余的容量花钱,缺少容量则丢客户。让这一取舍可见,使它是被选择的,而不是随波逐流的。
指标定义
下表列出七项度量。时钟和边界在每个公式中说明。基于百分位数的度量使用固定的窗口,写在登记册中,并从原始观测值或直方图计算,绝不是平均值的平均值。
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 资源利用率 | 一种资源的容量在某个间隔内被使用的占比,报告为间隔序列的高百分位数 | 忙碌容量 / 总容量,按 1 到 5 分钟的间隔;报告评审窗口内的中位数和第 95 百分位数;资源被排空的维护窗口被排除 | 百分比 | 基础设施监控和云平台度量 | 容量与性能管理;监控与事件管理 | 完成定义中的运营验收标准;SRE 的资源信号 | 每周 |
| 饱和度 | 因某资源已被完全使用而在等待它的工作量 | 队列长度、运行队列、待处理请求或被限流的请求,按间隔;报告第 95 百分位数,以及有任何等待的间隔占比;没有需求的间隔被排除 | 计数,或间隔的百分比 | 应用和基础设施遥测 | 容量与性能管理;监控与事件管理 | SRE 的饱和度信号;服务队列上的在制品限制 | 每周 |
| 延迟百分位数 | 回答一个面向用户的操作的请求所花的时间,以中位数、p95 和 p99 报告 | 每个成功请求,从边缘收到请求到发出最后一个字节的响应时间;失败的请求报告为错误,不报告为快速响应;在滚动窗口内度量 | 毫秒 | 负载均衡器或网关日志、追踪、真实用户监控 | 服务级别管理;容量与性能管理 | SRE 的延迟指示器和服务级别目标 | 持续,每周评审 |
| 余量 | 服务在突破其目标之前还能承载的剩余负载 | (经测试或建模的极限负载 - 当前峰值负载)/ 当前峰值负载;峰值是窗口内最繁忙的一小时;极限负载是测试中延迟目标首次被突破时的负载,不是硬件最大值 | 百分比,或按当前增长速度的天数 | 负载测试结果和流量遥测 | 容量与性能管理;服务级别管理 | 流水线中的非功能需求和性能测试 | 每月,以及重大发布之前 |
| 预测误差 | 某一期间的预测需求与实际需求之间的差异 | 绝对值(预测峰值 - 实际峰值)/ 实际峰值,针对规定的时间跨度;预测在跨度开始时冻结,之后不修订;未预测的一次性事件被列出,而不是被去掉 | 百分比 | 预测登记册和流量遥测 | 容量与性能管理;服务财务管理中与需求相关的计划 | 发布和路线图预测;SRE 的需求预测 | 每季度 |
| 容量前置时间 | 需求被接受后,使新容量投入服务所需的时间 | 时钟在容量请求获批时启动,在该容量承载生产流量时停止;报告中位数和第 85 百分位数;被取消的请求被排除 | 天 | ITSM 工具中的请求记录、变更记录、供应日志 | 容量与性能管理;服务请求管理;变更赋能 | 平台待办项的前置时间(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 |
| 性能测试覆盖率 | 有近期、真实的负载测试的关键服务占比 | 在代表性环境和工作负载上,有通过的负载测试且测试年限小于规定年限的关键服务数 / 登记册中的关键服务数;年限限制被写下 | 百分比 | 测试结果存储和服务登记册 | 容量与性能管理;发布管理 | 持续交付流水线中的非功能测试 | 每季度 |
这些度量合在一起回答四个问题:它有多满,它有多慢,还剩多少余地,以及答案变化时我们能多快响应。
建议
从用户开始,然后是资源
1. 选择用户关心的少数几个操作,并度量它们。一项服务有数百个端点,却只有少数几个重要的旅程,比如登录、搜索、付款和下载账单。与产品负责人和客户一起约定这些,并为每一个设定延迟期望。这些自然地与服务级别指示器相联(见主题 5.2,SLI、SLO 与错误预算)。
2. 把每张资源图与一张饱和度图配对。只显示处理器使用率,会招致"才达到 70%"的虚假安慰。在旁边加上队列、等待的请求或限流计数。当饱和度在利用率看上去还不令人担忧时就出现,你就找到了真正的约束,而这个约束往往不是你一直在观察的那种资源,比如连接池、线程限制,或合作伙伴接口上的速率限制。
3. 偏好繁忙的尾部,而不是安静的平均值。一天内的平均值把深夜与午餐时的高峰混在一起。查看最繁忙的时段,并记录最糟间隔的日期和原因。计划的问题是服务在预期最糟的那个小时表现如何。
诚实地报告延迟
4. 按操作公布百分位数,并说明窗口。对每个重要操作,在滚动窗口内说明中位数、p95 和 p99,并说明包括了哪些请求。绝不要跨服务器或跨操作对百分位数取平均,因为结果不对应于任何真实用户的体验;改为合并直方图或原始观测值。如果样本很小,就说明这一点,因为来自几百个请求的 p99 是一个嘈杂的数字(见主题 1.6,服务指标的统计素养)。
5. 既在服务器所在之处度量,也在用户所在之处度量。服务端的计时遗漏了网络、浏览器和设备。加入真实用户监控或合成检查,使你能分辨缓慢的后端和缓慢的最后一公里。
6. 把错误和超时与延迟一起统计,而不是取代它。快速失败的服务在延迟图上看起来很快,而超时的服务则因错误的原因看起来很慢。把错误率与延迟百分位数一起报告,使快速失败无法美化结果。
找出极限,然后留出余地
7. 有意地测试断裂点。运行重放真实操作组合的负载测试,逐步加大负载,并记录延迟目标首次被突破的位置,以及哪种资源最先饱和。在一个在重要方面与生产环境相似的环境中测试,并写下它不相似的地方。在安全的地方失败的测试,是你将会有的最便宜的事件(关于把检查放进流水线,见主题 4.5,发布与部署指标)。
8. 把余量设为政策,并把它作为一项取舍来评审。决定服务在预期峰值之上保留多少余量,以及原因。关键的面向客户的服务值得更多,内部批处理服务则更少。这个数字是关于成本和风险的业务选择,所以记录理由,并在中断的代价或容量的价格变化时重新审视。不要抄其他组织的数字。
与了解需求的人一起预测需求
9. 询问业务将发生什么,并把预测写下来。营销活动、新客户、监管截止日期和季节性事件,在流量显示出来之前很久就改变了需求。保留一份简短的预测登记册,包含日期、假设、范围、负责人,以及每项输入的来源。以范围给出的预测,比如低、预期和高三种情形,比单一数字更诚实,也更有助于决定买多少。
10. 给预测打分,并用误差改进它。每个期间之后,用预测误差把冻结的预测与实际发生的比较,并列出大偏差的原因。常见原因有:未宣布的活动、用户行为的变化,以及某个依赖发生了变动。目标不是零误差,那是做不到的,而是了解哪些输入可靠,并在不可靠之处放宽范围。
让增加容量变得容易
11. 在追求准确性之前先缩短容量前置时间。如果新容量需要数周才到位,你就必须提前很久预测,并多备富余。如果只需几分钟,你就可以更贴近需要地运行。查看"获批"与"承载流量"之间的步骤,比如采购、批准、供应、配置和测试,并先消除最长的等待(见主题 4.3,变更赋能指标)。用 ITIL 的话说,这是一个容量策略选择,即领先于需求、匹配需求,还是滞后于需求;按服务有意识地选择。
12. 把自动伸缩当作一个要度量的系统。记录伸缩触发的频率、新容量变得有用要多久、它触及配置的最大值的频率,以及它的成本。停在极限上的自动伸缩器,是一份已经失败的容量计划。连同成本视图一起评审这些,使性能和开销被一并讨论(见主题 7.5,服务成本与单位经济)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 资源利用率 | 在长间隔上取平均以隐藏峰值;把闲置的预留容量算作"已使用";只报告最安静的资源 | 平均值旁边的高峰时段第 95 百分位数;饱和度度量;对照服务地图评审范围内的资源清单 |
| 饱和度 | 提高队列限制,使没有东西被报告为被拒绝或被限流;把等待移到另一个未被度量的队列 | 同一操作的延迟百分位数和错误率;端到端的队列时间,而不是单个阶段;评审路径中的所有队列 |
| 延迟百分位数 | 只报告平均值或中位数;从样本中去掉缓慢或失败的请求;从快速的内部位置度量;排除"异常值" | 始终显示 p95 和 p99;错误和超时率显示在延迟旁边;真实用户监控与服务端计时比较;显示原始样本量 |
| 余量 | 选择温和的测试工作负载;测试比生产更大的环境;把断裂点定义为硬件最大值 | 对照生产流量形态评审测试工作负载;测试与生产差异的书面清单;在相关变更之后重新测试余量 |
| 预测误差 | 事后修订预测;设定非常宽的范围,使每个结果都"在范围内";把有意外的月份作为"未预测事件"去掉 | 预测在登记册中冻结并注明日期;连同误差一起报告范围宽度;列出并评审每个被排除的事件 |
| 容量前置时间 | 通过延迟批准记录来推迟时钟起点;在下单时而不是在容量承载流量时关闭请求;拆分请求 | 时钟定义为从批准到承载流量;把已关闭请求的样本与供应日志比较;重开请求的计数 |
| 性能测试覆盖率 | 运行一个琐碎的测试以宣称覆盖;缩短关键服务的清单;把一个旧的通过的测试一直留在账上 | 记录测试的年限和工作负载的真实性;对照服务目录和事件历史评审关键服务清单;既报告失败的测试,也报告通过的 |
健康的读数显示:利用率有可见的日周期和余量,饱和度很少出现且短暂,延迟百分位数在最繁忙的时段稳定或改善,预测误差是已知的并缓慢缩小。健康的迹象是,意外连同其原因被讨论。完美的数字应当引起怀疑,因为它们通常意味着度量是温和的。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 保留充裕的余量 | 吸收意外;保护延迟和可用性 | 成本更高;掩盖低效和薄弱的预测 |
| 精益运行,配快速自动伸缩 | 成本更低;容量跟随需求 | 依赖伸缩的速度和限制;依赖可能无法伸缩;事件中更难推理 |
| 百分位数延迟目标 | 反映缓慢请求的感受;抵制平均值的把戏 | 需要更多数据和更大样本;对低流量服务,高百分位数很嘈杂 |
| 只用平均或中位数延迟 | 简单而稳定 | 隐藏驱动投诉和流失的尾部 |
| 合成负载测试 | 受控、可重复、安全 | 只和工作负载模型及环境一样真实 |
| 以生产遥测为基础 | 反映真实的行为和真实的组合 | 只在触及极限之后才显示极限;无法探测超出当前需求的情形 |
| 详细的预测模型 | 捕捉季节性和增长 | 需要数据和技能;输入薄弱时有虚假的精确感 |
| 与业务约定的简单范围 | 易于解释和更新;聚焦于假设 | 较粗糙;依赖业务的诚实输入 |
选择能支持决定的最轻量的方法。对大多数服务,每周查看高峰时段的利用率、饱和度和延迟百分位数,在重大变更之前做一次负载测试,并每季度评审一次预测,就足够了。在判断错误的代价很大之处,再加上建模。
与团队讨论的问题
1. 哪三个用户旅程最重要?用户对每一个期望什么样的响应时间? 请小组说出这些旅程,然后与仪表板上绘制的内容比较。主持人应推动形成能追溯到用户或客户的期望,而不是工程偏好。
2. 我们的服务在哪里接近悬崖?我们怎么知道? 寻找连接池、线程限制或合作伙伴速率限制之类的资源。问每一个上次测试到断裂点是什么时候。如果没人知道,这就是第一项工作。
3. 我们今天如何报告延迟?最慢的百分之一用户会说什么? 把一个操作的平均值、中位数、p95 和 p99 并排显示,并讨论其间的差距。问哪些请求被排除、为什么,以及失败的请求是否被计入。
4. 我们保留多少余量?谁选择的?我们上次重新审视这个选择是什么时候? 讨论余量的成本和最繁忙一天里一次中断的成本。约定评审日期,以及会改变余量的证据。
5. 我们最近三次需求预测有多好?我们学到了什么? 把注明日期的预测与实际和大偏差的原因比较。问业务知道什么、而运维没有收到。决定要在预测登记册中增加的一项输入,比如营销日历或发布计划。
6. 如果下个月我们需要两倍的容量,什么会阻止我们? 列出从请求到生产流量的每一步,并标出在哪里等待。包括采购、批准、许可,以及无法伸缩的依赖。主持人应寻找最长的非技术等待,因为它往往是批准或合同。约定缩短一个步骤,并通过容量前置时间度量效果。
四种视角
产品与交付团队
在触及繁忙路径的功能的验收标准中包括性能期望,在可行之处在流水线中运行负载测试,并尽早告知运维即将发布。要警惕把性能当作之后的"加固"任务的习惯,那会变成计划外工作(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队拥有遥测、容量计划,以及触及极限时的响应。他们需要在自己实际使用的仪表板上有饱和度和尾部延迟、与业务共享的预测登记册,以及被信任的测试结果。他们应当连同原因记录每起与容量相关的事件(见主题 4.1,问题管理指标,以及主题 3.4,重大事件指标)。
领导层与治理
领导层决定组织接受多少风险和成本,而余量政策就是这个决定显现之处。要每项关键服务的延迟百分位数和余量,旁边附预测误差,并把对容量的请求视为带证据的投资决定。治理机构应当抵制全组织统一的利用率目标,那会把每项服务推到悬崖上的同一个点。
客户与用户
客户把缓慢感受为不可靠,远早于任何可用性数字发生变化。用在规定负载下的百分位数来陈述性能,并分享服务如何处理高峰期(见主题 5.1,SLA、OLA 与 XLA 指标,以及主题 6.2,体验级别协议)。
实践:一个敏捷 ITIL 示例
一家中型在线零售商运营着一个店面、一个支付服务和一个订单服务,每个都由一个产品团队拥有,平台团队提供共享基础设施。本示例中的所有数字都是示意数字。
平台团队的每周评审显示,店面搜索的延迟中位数为 180 毫秒,p95 为 420 毫秒,均在目标之内,高峰时段处理器使用率的第 95 百分位数为 58%。在一次计划中的促销前三周,一位支持负责人报告说,客户称网站在晚间活动期间"爬行"。仪表板是绿色的。
团队查看上次促销最繁忙时段搜索的 p99,发现是 3.1 秒,而 p99 目标是 1.5 秒。饱和度讲述了其余的故事:在高峰期间,通往商品数据库的连接池在 14% 的一分钟间隔里出现了等待的请求,而处理器使用率从未超过 60%。约束从来不在处理器。它是一个在流量只有今天三分之一时设定的连接池限制。
产品负责人和平台负责人以去年峰值的 1.5 倍运行一次负载测试,使用生产的操作组合。测试显示,在去年峰值的 1.15 倍时 p99 目标即被突破,所以余量是 15%,而针对面向客户的服务的政策是 40%。营销日历显示,开幕日的需求是去年峰值的 1.6 倍。冻结在登记册中的旧预测,把范围定在 1.2 到 1.4,而对照去年促销的误差是 22%,主要来自一次未宣布的邮件活动。
记录在决策日志中的决定有四个部分。第一,提高连接池限制并增加只读副本,然后重新测试。第二,在发布流程中增加一份促销就绪检查清单,使活动至少提前六周进入预测登记册。第三,把 p99 和连接池饱和度加入每周评审。第四,与财务就促销窗口所需额外容量的成本达成一致,使用定时伸缩,而不是全年留有富余。
改变之后,第二次测试显示 p99 目标可维持到去年峰值的 1.8 倍。操纵风险在评审期间浮现。一位外包人员曾建议一个"速赢"做法:在延迟报告中排除慢于 5 秒的请求,理由是它们是异常值。团队拒绝了:被排除的请求恰恰是投诉的客户。护栏是在每个延迟百分位数旁边保留错误和超时率,并记录样本量。促销期间,p99 的峰值为 1.2 秒,连接池饱和度保持在间隔的 1% 以下,预测误差为 9%,连同剩余偏差的原因一起记录在登记册中。
行业视角
初创企业。流量小,增长不确定,所以廉价的度量胜过精细的度量。为赚钱的两三个旅程跟踪延迟百分位数,观察数据库上的饱和度,并在发布前运行一次简单的负载测试。设置一个开销告警,使缺陷或流量激增不会变成一张账单。
小型企业。服务往往是托管或购买的,所以容量是供应商的事。向供应商索要书面的性能和容量报告,了解合同对高峰期的规定,并用几个合成检查观察客户的视角。在企业不能没有的那一个系统上跟踪余量。
大型企业。许多服务共享基础设施,所以容量问题会出现在错误的地方。投资于把服务与其使用的组件联系起来的服务地图、与业务单元共同的预测流程,以及跨团队通用的延迟百分位数定义。依据服务的关键程度设定余量政策。
政府与公共部门。需求由法律规定的截止日期塑造,比如纳税申报日期、福利申请和选举,在这些日子失败是公开的。预测应使用法定日历,高峰期的容量可能需要提前数月签约。采购前置时间拉长了容量前置时间,所以要度量它们并围绕它们做计划。公开的服务表现报告应当说明百分位数和负载条件(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本有四个部分。第一是埋点:遥测及其存储。第二是测试:一个有代表性的环境和需要维护的工作负载模型。第三是计划例程:保持预测登记册,并每季度评审误差。第四是富余的容量本身,它往往是最大的成本,也最值得使之明确。
回报来自更少的与容量相关的事件、关于何时购买和何时不买的更好决定,以及避免在数据显示不必要的容量上花钱。不要预先承诺百分比的节省。相反,度量你自己的模式:每季度以容量为原因的事件数、需要紧急行动的高峰占比、相对于约定余量政策的闲置容量开销,以及预测误差的趋势。Google 的 SRE 一书把可靠性视为一个经济决定。
总拥有成本以人员和测试环境为主。小团队可以从现有的监控、每周评审和对最重要旅程的一次负载测试开始。
反模式与陷阱
- 把平均利用率报告为容量的全部故事。平均值隐藏了峰值和悬崖。报告高峰时段的高百分位数和饱和度度量。
- 高管仪表板上的平均延迟。尾部驱动投诉。显示 p95 和 p99,附错误率和样本量。
- 从延迟中排除"异常值"。最慢的请求就是真实的用户。保留它们,并调查原因,而不是修剪数据。
- 跨服务器对百分位数取平均。结果描述不了任何人。在计算百分位数之前,先合并直方图或原始观测值。
- 只依据去年的流量建立容量计划。需求取决于业务事件。纳入业务日历,并评审预测误差。
- 在与生产不同的环境中测试。通过的结果带来虚假的信心。记录差异并加以校正,或在生产环境中安全地测试。
- 用容量指标给工程师或团队排名。利用率和延迟描述的是系统。依据服务设计和需求来评审它们,并让个人退出画面。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 利用率、饱和度和延迟的度量 | 来自少数服务器的平均值;对高处理器使用率的告警 | 部分团队绘制延迟百分位数和队列 | 共享定义:每个关键操作的百分位数、利用率旁边的饱和度、写下的窗口 | 对照目标形成趋势,与错误率配对,每周评审 | 定义与供应商和客户共同修订;用户侧与服务端视图被核对 |
| 极限与余量 | 极限在失败之前未知 | 在大型发布之前偶尔做负载测试 | 对照书面的余量政策,对关键服务做负载测试 | 按服务跟踪余量,并在相关变更之后重新测试 | 余量政策依据成本、风险和事件数据,在团队和供应商之间调整 |
| 预测 | 在收到请求时临时猜测 | 各团队把预测记在脑子里或电子表格里 | 共享的预测登记册,含范围和负责人,由业务日历提供输入 | 给预测误差打分并评审,附偏差的原因 | 预测与业务和供应商共同构建;输入被例行改进 |
| 容量交付 | 事件之后才增加容量 | 针对常见情形的标准请求 | 从批准到生产流量的文档化路径,度量容量前置时间 | 针对最长的等待,并有获得资助的改进 | 在政策范围内自动增加容量;一并评审伸缩行为和成本 |
检查清单
- 已为关键用户旅程命名,每个都与其负责人约定了延迟期望。
- 延迟按操作报告为中位数、p95 和 p99,说明窗口和样本量。
- 百分位数从直方图或原始观测值计算,绝不跨服务器取平均。
- 每张利用率图表旁边都有一张饱和度图表。
- 错误和超时率显示在每个延迟百分位数旁边。
- 每项关键服务都有一次负载测试,并写下工作负载和环境的差异。
- 针对每种服务关键程度存在余量政策,并记录理由。
- 一份注明日期的预测登记册保存范围、假设和负责人,并由业务日历提供输入。
- 每季度评审预测误差,并记录大偏差的原因。
- 容量前置时间从批准度量到承载流量。
- 与服务负责人一起评审自动伸缩的限制、滞后和成本。
- 没有任何容量或性能度量按个人报告。
AI 提示词
评审一份延迟报告中隐藏的扭曲。
这是我们报告[操作或服务]延迟的方式:[度量点、窗口、所显示的统计量,以及包括或排除
哪些请求的描述]。我们的用户关心[用户旅程或期望]。请找出这份报告可能低估最慢用户
体验的方式,比如平均、排除规则、抽样或度量位置。建议应当改为显示什么,以及我还需要
哪些额外的数据。不要编造基准值或阈值;需要时请向我询问。列出你的假设。
为一项服务起草负载测试计划。
我需要为[服务名称]制定负载测试计划。它的主要用户旅程是[旅程],依赖是[依赖],生产
流量的组合大致是[组合描述]。测试环境与生产环境的差异有:[差异]。请提出工作负载
模型、加压方式、要记录的度量(延迟百分位数、错误率、利用率、饱和度)、停止条件,以及
结果应当回答的问题。不要假定工具的功能,也不要编造目标值。列出你的假设和测试的风险。
与业务一起构建需求预测。
我正在为[服务]准备涵盖[时间跨度]的容量预测。已知的输入:[历史流量描述]、[业务事件
和日期],以及[计划中的变更]。请起草一份预测登记册的布局,含低、预期和高三种情形、
每种背后的假设、每项输入的负责人,以及给预测误差打分的评审例程。建议要向[业务利益
相关方]提出的问题。不要编造增长率或季节性因子。列出你的假设。
从症状中找出真正的约束。
某项服务在高峰负载期间显示这些症状:[症状,例如缓慢的 p99、队列增长、错误类型]。
利用率数据:[资源利用率摘要]。饱和度数据:[队列、连接池、限流的摘要]。架构说明:
[简短描述]。请列出可能是约束的资源和限制、能区分它们的证据,以及每一个最便宜的下一步
测试。不要声称数据不支持的原因。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找定义某项容量或性能度量的主题、它的时钟,以及属于它旁边的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查被编辑的容量或性能主题是否使每项指标都与一个操纵途径和护栏配对。
关键要点
- 把饱和度与利用率一起度量,因为用户感受到的是队列,而不是百分比。
- 把延迟报告为每个操作的百分位数,附错误率和样本量,并绝不对百分位数取平均。
- 通过测试找出极限,并把余量设为权衡成本与风险的、有记录的政策。
- 与业务一起把需求预测为范围,冻结预测,并从误差中学习。
- 缩短容量前置时间并度量自动伸缩,使容量跟随需要。
- 描述服务和系统,绝不描述人,并把看起来完美的数字当作检查度量本身的提示。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
- Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
- Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
- Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
- Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
- Wikipedia, Capacity planning.
- Wikipedia, Site reliability engineering.
- Wikipedia, Latency (engineering).
- Wikipedia, Throughput.
- Wikipedia, Queueing theory.
- Wikipedia, Little's law.
- Wikipedia, Load testing.
- Wikipedia, Percentile.
- Wikipedia, Tail latency.
- Wikipedia, Forecasting.
- Wikipedia, Seasonality.
- Wikipedia, Autoscaling.