FinOps 与云成本指标
云开支是由工程师每天决定的,所以要把成本数据、背景和据此行动的权限交给构建和运行服务的人,并以对待可靠性同样的细致来度量浪费、分摊和单位成本。
概述与动因
在数据中心里,开支由采购订单决定,以几个大的台阶到来。在云上,开发人员只需几行配置,就能让组织承担一笔经常性费用,而被遗忘的测试环境可以连续数月花钱。云计算提供对计算资源的按需访问,随之而来的按用量付费模式意味着账单跟随使用量。这既强大又有风险。让团队在几分钟内扩展的同一种灵活性,也让成本以快于任何人注意到的速度增长。
FinOps 是财务(finance)与运营(operations)的缩合,是管理云成本的实践和文化。FinOps 基金会把它描述为一个运营框架,其中工程、财务、采购和业务团队就数据驱动的开支决定展开协作。它的核心思想是:使用云资源的人应当看到并拥有自己的成本,而财务提供结构、预测和承诺。这符合敏捷中利益相关方之间持续协作、以及团队拥有自己服务的目标,也符合 ITIL 对服务财务管理的关切。本主题涵盖使这项实践具体化的度量。它建立在上一个主题的一般成本核算思想之上(见主题 7.5,服务成本与单位经济)。
云成本有需要自己度量的特点。
- 弹性。自动伸缩根据需求调整资源,这使成本可变,有时令人意外。无服务器计算按每次执行收费,把注意力从服务器转向请求。
- 许多小决定。每一次对实例规格、存储层级、区域和架构的选择,都会改变成本。开支分布在许多人作出的数百个决定中,没有标签和良好的报告就很难看清。
- 定价模式。按需价格灵活而最高。以换取批量折扣的承诺,比如预留容量或节省计划,以对使用的承诺换取更低的单价。竞价或可抢占容量便宜,但可能被收回。每种模式都有风险,正确的组合取决于工作负载有多可预测。具体条款因提供商而异,且常常变化,所以在依赖任何细节之前,请查阅当前的提供商文档。
- 共享和未标记的成本。没有负责人或用途标签的资源无法归属。共享平台把成本分摊给使用方式不同的团队。
- 环境成本。云工作负载消耗能源并造成排放,一项工作负载的碳足迹越来越多地成为必须报告的要求。估计它的方法仍在发展,数字应当附上其方法。
云中的成本度量很容易通过捷径来"取得"。通过关闭监控或把资源缩小到服务垮掉来削减开支,显示的是更低的账单和更糟的服务。古德哈特定律的护栏适用:这里的每项成本度量都放在可靠性或质量度量旁边,并且没有团队因其账单而被排名(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 成本是工程指标。构建和运行服务的团队,看到并拥有它的成本。
- 分摊给负责人。每一块钱都应当映射到某个团队或一个声明的共享池。
- 把成本与质量和可靠性配对。破坏服务的节省不是节省。
- 以小步持续优化。定期评审浪费,并作为正常工作的一部分采取行动。
- 以范围预测。可变的需求使单一数字的预测变得脆弱。
- 跨职能协作。工程、财务、采购和业务共同决定。
- 不要按账单给团队排名。服务各不相同,增长不是浪费。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 分摊覆盖率 | 被归属到所属团队或声明的共享池的云开支占比 | 带有有效负责人和服务标签、或位于声明的共享池中的开支 / 云总开支 | 百分比 | 云账单导出、标签政策 | 服务财务管理;IT 资产管理 | 团队对其所运行之物的所有权 | 每周 |
| 云单位成本 | 用户所看重的每个单位的云资源成本 | 该期间该服务的云成本 / 该期间交付的单位数 | 每单位的货币金额 | 与服务数量连接的账单数据 | 服务财务管理;服务级别管理 | 每项成果的服务成本 | 每月 |
| 浪费率 | 花在闲置或明显过大的资源上的开支占比 | 依据约定规则,花在闲置或过大资源上的开支 / 范围内资源的总开支 | 百分比 | 利用率度量和账单 | 容量与性能管理;财务管理 | 工具链中的浪费削减 | 每周 |
| 承诺覆盖率 | 被折扣承诺覆盖的合格稳定使用占比 | 被承诺覆盖的合格使用量 / 合格使用量 | 百分比 | 账单和承诺报告 | 服务财务管理;供应商管理 | 对可预测需求的规划 | 每月 |
| 承诺利用率 | 所购买的承诺中被使用的占比 | 已使用的承诺小时数 / 已购买的承诺小时数 | 百分比 | 承诺报告 | 服务财务管理;供应商管理 | 来自计划投资的价值 | 每月 |
| 预测偏差 | 按团队和总体,预测与实际云开支之间的差异 | (实际 减去 预测)/ 预测 | 百分比 | 预测日志和账单数据 | 服务财务管理 | 预测准确性 | 每月 |
| 异常确认时间 | 从成本异常告警到负责人记录决定的时间 | 从告警到负责人响应的小时数的中位数和第 85 百分位数 | 小时 | 异常告警和工单记录 | 监控与事件管理;事件管理 | 对生产信号的响应能力 | 每月 |
定义资源的范围、标签规则,以及什么算闲置或过大,并予以记录。承诺覆盖率只针对稳定的基线使用量计算,而不是峰值。单位成本使用与服务负责人约定、并在趋势期间固定的单位。成本数据应当说明是否包括抵扣额、折扣、税和支持费用,以及适用哪种货币和汇率。
建议
使成本可见且有主
1. 强制执行一小套必填标签。要求每个资源都带有负责人、服务和环境标签,在创建时由政策强制执行,而不是事后清理。分摊覆盖率度量它的效果如何。未能打标签的资源可以被阻止,或在一天之内向账户负责人标出。保持标签集合小,使人们遵守。
2. 给团队他们自己的成本视图。为每个团队提供按服务和环境划分的每日或每周的开支视图,附趋势和异常。人们对他们能看到并理解的数据作出反应。每月才到达、且只发给财务的报告,几乎改变不了什么。
3. 定义共享成本池及其动因。共享平台、网络和支持费用,需要一条分摊规则(见主题 7.5,服务成本与单位经济)。公布规则,与团队一起评审,并保持池子小。人们能跟得上的规则,比无人理解的公平规则赢得更多信任。
4. 举行简短的定期成本交谈。以稳定的节奏召集工程、财务和产品负责人,对大额开支方每周或每两周一次,对其他人每月一次,每次三十分钟。评审趋势、异常和优化待办。这是实践中的持续协作,使成本保持在议程上而无需繁重的流程。
度量价值,而不只是开支
5. 以每单位表达成本。云总开支随成功而上升。重要的是每个活跃客户、每笔交易或每次构建的成本。选择对服务有意义的单位,随时间跟踪,并注明变化。单位成本下降而总开支上升,是健康的模式,单位成本上升而使用量持平,则是调查的提示。
6. 把可靠性和质量显示在成本旁边。把成本与同一服务的可用性、延迟和错误率一起显示(见主题 5.2,SLI、SLO 与错误预算)。提高错误率的成本节省,是把成本转嫁给用户。错误预算的做法可以使这种取舍明确:当服务远好于所需时少花钱,当不是这样时投入。
7. 用明确的规则跟踪浪费。定义闲置(例如,在一段时期内没有有意义的使用)和过大(例如,利用率始终远低于所供应的容量),并报告各自的开支。规则需要小心:为弹性而设的备用系统按设计看起来是闲置的,应当被排除并标注。当规则产生误报时,重新审视它们。
对所发现的采取行动
8. 在正常工作中调整规格和清理。让消除浪费成为团队待办中的常设项目,作为持续改进的一部分以小步解决。安排非生产环境在工作时间之外停止,删除未挂载的存储,选择合适的存储层级,并先评审最大的项目。小而定期的改变,胜过罕见的英雄式清理,后者在压力上升时往往被遗忘。
9. 让定价模式与工作负载匹配。对稳定的基线使用量使用承诺,对可变的负载使用按需,对能容忍中断的工作使用可中断容量。逐步承诺,每次少量,并跟踪覆盖率和利用率。过度承诺浪费金钱,承诺不足则要付溢价。让财务和采购参与,并与提供商重新核对条款,因为它们会变化。
10. 检测异常并响应。对开支使用异常检测,它标出相对于基线的突然变化。异常检测工具从简单的阈值到统计模型不等。向所属团队告警,并度量确认和决定花了多久。配置错误的作业可以在几小时内累积起一笔大账单,所以速度很重要(见主题 5.5,监控与告警质量指标)。
预测与规划
11. 用动因和范围预测。依据需求的动因,比如预期的用户或交易,连同单位成本,构建预测。使用差异分析解释预测与实际之间的差异,并把由数量、价格和构成造成的分开。给出范围并说明假设。预测偏差应随模型改进而缩小。
12. 把可持续性纳入图景。使用有文档的方法(比如提供商报告或已发布的方法学)估计主要工作负载相关的排放,并说明估计的局限。在成本和排放两方面比较区域、实例类型和日程的选择。把每单位排放视为每单位成本的伴侣,不要宣称方法无法支持的精确度。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 分摊覆盖率 | 把一切都标给一个笼统的负责人;把大量金额宣布为共享 | 笼统负责人所拥有的开支占比;共享池的规模和评审;负责人确认抽样 |
| 云单位成本 | 选择廉价增长的单位;削减可靠性以削减成本 | 固定的单位定义;可靠性和质量伴侣 |
| 浪费率 | 收窄闲置的定义;把浪费转移到范围之外的账户 | 登记册中的规则;扫描所有账户;抽样规则所排除的资源 |
| 承诺覆盖率 | 对夸大的基线作出承诺以追逐高百分比 | 承诺利用率;对照使用历史检查基线 |
| 承诺利用率 | 加入不需要的合格使用量来填满承诺 | 与真实需求的增长比较;单位成本 |
| 预测偏差 | 给预测加水分;晚些时候修订它们 | 在期初记录预测;跟踪范围宽度和命中率 |
| 异常确认时间 | 不看就确认告警;自动关闭告警 | 记录决定和结果;抽样告警检查响应质量 |
健康的读数是:几乎所有开支都有主且可见,单位成本依有解释的原因而变动,浪费在不造成中断的情况下缩小,承诺被使用,预测的误差随时间收窄。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 中央云团队控制开支 | 一致,有谈判力 | 缓慢;远离工程决定 |
| 团队拥有自己的云成本 | 快速、知情的决定 | 需要数据、培训和护栏 |
| 仅按需 | 灵活 | 单价最高 |
| 大量承诺 | 单价更低 | 需求下降时锁定和浪费 |
| 严格的预算上限 | 防止超支 | 可能造成中断或阻碍有效的工作 |
| 告警与评审 | 保持速度 | 取决于及时的响应 |
| 激进地调整规格 | 节省金钱 | 做过头则有性能风险 |
| 附 SLO 的适度调整规格 | 平衡 | 需要可靠性数据和细心 |
文字化的答案是,给团队数据和所有权,在服务关键之处设定告警和预算等护栏而不是硬性停止,向稳定的基线逐步承诺,并始终把成本与可靠性配对。
与团队讨论的问题
1. 我们今天能把多少云账单归属到负责人?找不到负责人的是什么? 查看带有有效标签的开支占比,以及最大的未标记项目。问各自该由谁拥有。主持人应记下有多少项目无人认领。约定一项在创建时强制执行的标签政策步骤。
2. 过去六个月里,我们的每单位成本怎么变化?为什么? 绘制单位成本,并标注架构、价格和数量的变化。问哪些变化是有意的。如果趋势出人意料,讨论缺少什么数据。在图表上加一项质量度量。
3. 如果敢的话,明天我们会关掉哪些资源? 列出候选:闲置的环境、过大的数据库、被遗忘的存储。对每一个,问风险是什么,由谁决定。约定一种安全地测试移除其中一个的办法,比如先排期或做快照。
4. 如果某个作业开始花费十倍的成本,我们怎么在一天内知道? 走一遍从账单到负责人的告警路径。用一个过去的例子测试它。交谈应当揭示延迟和所有权中的缺口。约定确认和决定的目标时间,以及谁负责。
5. 我们可以安全地承诺多少基线使用量?什么会让我们判断错误? 检查使用历史中稳定的下限,以及对它的风险:产品变更、迁移、价格变化。决定第一笔适度的承诺和一个评审日期。让财务参与讨论。
6. 我们在不经意间作出了什么样的成本与可靠性的取舍? 评审近期的节省和事件。其中有相关的吗?讨论如何使这一取舍明确,例如把成本评审与错误预算联系起来。决定谁可以批准影响可靠性的削减。
四种视角
产品与交付团队
交付团队作出驱动成本的决定,最适合减少它。他们应当在创建时打标签,定期查看自己的成本视图,把成本纳入设计讨论,并把消除浪费视为正常工作。他们应当能在作出变更后不久就看到它对成本的影响,这支持快速学习。
服务与运维团队
运维和平台团队运行共享服务、执行政策并运营异常告警。他们应当保持标签合规简单,提供自助服务报告,并公布共享成本的清晰规则。他们应当同时观察所提供平台的成本和可靠性,帮助团队行动而不成为关卡。
领导层与治理
领导层和财务想要可预测的开支和良好的价值。他们应当为成本工作的工具和时间出资,接受预测中的范围,避免团队排行榜,并要求单位成本附质量。治理应当检查承诺是否依据数据作出,以及可持续性的主张是否说明其方法。
客户与用户
用户间接地感受云成本,通过价格、功能或服务的稳定性。当节省为改进出资时,他们受益,当削减降低质量时,他们受害。在用户按消耗付费之处,他们想要清晰的账单,以及影响账单的能力。
实践:一个敏捷 ITIL 示例
一家区域在线零售商在公有云上运行其商店和订单平台,有六个工程团队。以下数字是示意数字。
云开支在一年里稳步上升,财务总监要求削减。FinOps 负责人拉取账单数据。分摊覆盖率为 68%,未标记开支的三分之一在测试账户中。每笔完成订单的成本为 0.31 美元,高于六个月前的 0.27 美元,而订单量增长了 15%。依团队规则,浪费率为范围内开支的 14%,主要是夜间和周末运行的非生产环境,以及几个过大的数据库。承诺覆盖率为稳定基线的 20%,所购买部分的利用率为 97%。上个季度的预测偏差为正 18%,起因是一次没人告诉平台团队的营销活动。某个账户中一个失控的数据作业,在被人注意到之前运行了两天。
负责人与工程团队约定四项改变。一项标签政策阻止没有负责人和服务标签的新资源,有两周的宽限期。每个团队收到每周的成本视图,并在每两周一次的成本交谈中获得一个简短的发言时段。非生产环境被安排在工作时间之外停止,三个过大的数据库在对照服务级别目标检查其性能之后被调整规格。第一笔承诺覆盖稳定基线的 60%,三个月后评审。异常告警发给所属团队,预期在四小时内记录决定,规划日历现在包括营销活动。
一个季度后,分摊覆盖率为 93%,浪费率降到 6%,每笔订单的成本降到 0.26 美元,结账延迟和错误率没有变化,预测偏差为正 5%。承诺覆盖率为 55%,利用率为 96%。异常确认时间的中位数为 2 小时,第 85 百分位数为 6 小时。财务总监要求一份显示每个团队成本的排行榜。FinOps 负责人拒绝了,解释说各团队运行不同的服务、增长也不同,并提议改为提供每个团队的单位成本趋势及其可靠性度量。该决定被记录下来,并设定下次评审日期。
行业视角
初创企业。抵扣额和低账单可能掩盖在规模扩大后变得昂贵的坏习惯。从第一天就打标签,为非生产资源排期,并尽早跟踪每位客户的成本。仅在需求可预测时才承诺。
小型企业。单一账户和少数几项服务,使打标签和评审变得简单。每月与构建系统的人一起评审账单,移除被遗忘的资源,并对长期承诺保持警惕。预算告警是最有价值的单一控制。
大型企业。许多账户、团队和提供商,要求有一个赋能团队而不是控制团队的中央 FinOps 职能。跨提供商标准化标签和账单导出,集中谈判承诺,并把数据交给团队。为多云报告的差异做计划。
政府与公共部门。采购框架、数据驻留和固定的年度预算限制了选择。记录成本和区域的决定,对可变开支对拨款的影响建模,并保留审计轨迹。关于可持续性的公开承诺,可能要求连同方法一起报告排放(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
FinOps 实践的成本是少数几个人运行报告、标签政策和定期交谈的时间;工具(可能由云平台提供或购买);以及对发现采取行动的工程时间。一个小型实践可以从账单导出和电子表格开始。
回报来自减少的浪费、通过承诺获得的更好价格、更少的意外,以及关于架构的更好决定。用你自己的数字建立论证:第一次评审中的浪费率及其成本、为非生产环境排期所节省的开支、已承诺部分的承诺折扣,以及及早发现的异常所避免的成本。避免在没有可追溯来源和方法的情况下,引用全行业的浪费百分比或节省数字。计入这项实践的成本以及过度承诺的风险。关于改进的一般财务论证,见下一个主题(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 一个说不的中央团队。它拖慢工作,团队绕过它。用数据和护栏赋能团队。
- 削减成本却不留意可靠性。节省会以事件的形式回来。把成本与服务级别度量配对。
- 追逐承诺覆盖率。高百分比而低利用率是浪费。两者都跟踪。
- 只给财务的月度报告。工程师从不看到。给团队每日或每周的视图。
- 把打标签当作清理项目。它会衰减。在创建时强制执行标签。
- 按开支给团队排名。增长看起来像浪费。连同背景显示单位成本趋势。
- 预测单一数字。可变的需求会使其失效。使用范围和动因。
- 宣称精确的排放。估计方法是不确定的。说明方法和局限。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 可见性与所有权 | 财务评审月度账单 | 部分团队使用标签 | 必填标签;团队看到每周成本视图 | 管理分摊覆盖率;评审共享池 | 成本数据近乎实时地流入跨提供商的产品决定 |
| 优化 | 偶尔的清理 | 部分团队排期和调整规格 | 浪费规则和常设的优化待办 | 浪费、承诺和单位成本与可靠性伴侣一起管理 | 在人类监督下的持续、自动化优化和共享学习 |
| 规划 | 年度预算 | 粗略的预测 | 带范围的、由动因驱动的预测 | 分析偏差并反馈;逐步管理承诺 | 与业务、供应商和可持续发展目标联合预测 |
检查清单
- 在创建资源时强制执行一小套必填标签(负责人、服务、环境)。
- 每周报告分摊覆盖率,并列出最大的未标记项目。
- 每个团队都有带趋势和异常的每周成本视图。
- 日历上有定期的工程与财务成本交谈。
- 云单位成本与可用性、延迟和错误率一起跟踪。
- 浪费规则已写下并得到应用,排除项被标注。
- 针对稳定的基线使用量逐步作出承诺,并跟踪覆盖率和利用率。
- 预测使用动因和范围,并分析偏差。
- 异常告警送达负责人,并有预期的决定时间。
- 如果报告排放估计,则说明其方法和局限。
AI 提示词
分析成本趋势。
这是我们[服务]在[期间]内的云成本和使用情况摘要:[粘贴月度成本、数量和任何已知的变化]。
请在数据允许的范围内,把成本的变化分解为数量、价格和构成的影响,建议下一步该检查什么,
并提出一个附质量伴侣的单位成本。不要编造价格或折扣。列出你的假设,以及为更有把握你
需要的数据。
起草标签政策。
请为使用[云提供商]的[组织类型]起草一份标签政策。包括一套最少的必填标签、允许的取值、
如何在创建时强制执行、如何向负责人报告违规,以及宽限期。保持简短,足以让工程师遵循。
列出你的假设,以及任何取决于我应当在当前文档中核对的提供商功能的事项。
定义浪费规则。
请为[环境类型]提出把云资源分类为闲置或过大的规则,包括所用的度量、时间窗口、排除项
(例如弹性备用)以及对误报的评审流程。描述如何避免损害可靠性。不要在没有说明我们应如何
依据自己的数据校准的情况下设定数字阈值。列出你的假设。
规划第一笔承诺。
我们过去[期间]的稳定基线使用量是[摘要],需求风险是[清单]。请概述第一笔承诺的谨慎计划:
如何估计基线、承诺多少、如何评审利用率,以及什么会使我们停止。不要假定具体的提供商折扣
或条款。列出你的假设,以及给财务和采购的问题。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项云成本指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查云成本指标条目是否带有其操纵途径、护栏和可靠性伴侣。
关键要点
- 使成本可见且有主:在创建时强制执行标签,并给每个团队其自己的每周视图。
- 把每单位成本与可靠性和质量一起度量,绝不单独度量。
- 在书面规则的指引下,把消除浪费作为正常工作的一部分。
- 向稳定的基线逐步承诺,并同时跟踪覆盖率和利用率。
- 用动因和范围预测,并以快速的响应留意异常。
- 不要按开支给团队排名,并说明任何排放估计的方法和局限。
参考文献与延伸阅读
- Storment, J. R., and Fuller, M., Cloud FinOps, 2nd ed., O'Reilly, 2023.
- FinOps Foundation, FinOps Framework, https://www.finops.org/framework/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Cloud computing.
- Wikipedia, Pay as you go.
- Wikipedia, Autoscaling.
- Wikipedia, Serverless computing.
- Wikipedia, Volume discount.
- Wikipedia, Carbon footprint.
- Wikipedia, Goodhart's law.
- Wikipedia, Anomaly detection.
- Wikipedia, Variance analysis.