交付预测与规划指标
持续交付软件、同时运行线上服务的团队,需要的是诚实的预测,而不是从估算中挤出来的承诺,所以要依据已完成工作的流动来规划,给出范围而不是日期,并让任何团队本地的规划数字远离比较和目标。
概述与动因
利益相关方会向每个交付团队提两个问题:"什么时候能完成?"以及"你们能接多少?"敏捷的回答,始于敏捷宣言原则中的那些宗旨:持续交付有价值的软件,每天与利益相关方协作,定期反思和改进,并围绕受到信任、能把事情做好的积极投入的人来安排工作。服务于这些宗旨的预测,是利益相关方之间关于可能结果和风险的一场交谈。它不是在压力下被榨取出来的承诺。
运行线上服务的团队还有额外的困难。他们的容量在计划变更、计划外的事件工作、服务请求和改进之间共享。无视运营负荷的计划,会因为没人计划过的原因而失败(见主题 2.9,运维工作与计划外工作)。由 ITIL 规范化的 IT 服务管理(ITSM),把这视为容量与需求的问题。容量规划是确定组织为应对变化的需求所需要的容量的过程。依据团队实际能完成的工作来规划,这一敏捷实践在团队层面是同一个思想。
预测交付有两大类办法:
- 依据估算。团队用某种单位给项目定大小,把大小加起来,再除以一个速率。许多团队使用故事点这样的相对规模估算,速率则称为速度(velocity)。它起步快,取决于团队的估算习惯,并且只在一个团队内部才有意义。
- 依据流动数据。团队使用自己已完成工作的记录:每周完成多少项目(吞吐量),以及项目从开始到完成耗时多久(周期时间)。因为这些是计数和经过时间,而不是意见,它们抵抗漂移,并且可以结合模拟,给出一系列结果的范围。这种办法来自包括看板指南在内的流动传统,适用于任何组织工作的方式,包括没有任何固定规划期、持续交付的团队。
本主题倾向于第二种办法,因为持续的软件交付产生稳定的已完成项目流,流动数据直接描述它(见主题 2.1,流动度量,以及主题 2.2,前置时间、周期时间与流动效率)。它仍然涵盖第一种,因为许多团队使用估算,也因为对速度的误用是交付度量出错最常见的方式之一。
预测是对不确定的未来的预测,而不确定性正是关键。不确定性锥的思想说,早期的估算最不确定。规划谬误说,人们即使知道类似的计划曾经延误,仍会低估自己计划所需的时间。好的预测度量会点明这一点,并度量预测命中的频率。
来自古德哈特定律的护栏在这里很重要,因为预测和计划很容易变成承诺,再变成目标。一旦团队因是否按日期交付而被评判,它就会隐藏风险、削减质量,或者在估算上放水(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 依据已完成的工作来预测。团队已经交付的东西,比任何人相信它将会交付的东西更好地充当证据。
- 给出带概率的范围。"很可能在下个月底之前,非常可能在再下个月底之前"胜过单个日期。
- 依据真实容量来规划。把运维工作包括在内,为改进留出时间,不要按满负荷利用率来规划。
- 让估算保持在本地。任何规模估算单位都是一个团队私有的规划工具,绝不是比较的依据。
- 度量预测的质量,而不只是交付。因错误原因而正确的预测只是运气。
- 把预测当作共同的。利益相关方和团队一起构建它,并在事实变化时修订。
- 信任团队。受到信任和支持的人,才会给出诚实的预测。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 预测命中率 | 实际结果落在所述范围内的预测所占比例 | 实际结果在所述范围内的预测数 / 作出的预测数 | 百分比 | 预测日志和交付记录 | 容量与性能管理;持续改进 | 规划交谈中的预测准确度 | 每月 |
| 预测范围宽度 | 所述范围相对于预测中位数有多宽 | (上界减下界)/ 预测中位数 | 比率 | 预测日志 | 容量与性能管理 | 不确定性锥的收窄 | 每月 |
| 交付目标成功率 | 该期间所述交付目标中已达成的所占比例,依据成果来判断 | 达成的目标数 / 设定的目标数 | 百分比 | 与利益相关方约定的目标记录 | 服务级别管理;持续改进 | 与利益相关方的成果评审 | 每月,或在一个目标每次发布时 |
| 范围变更率 | 在作出预测之后,被增加、移除或重新估算大小的已承诺工作所占比例 | 预测后被增加或移除的项目数 / 原始预测中的项目数 | 百分比 | 工作跟踪系统的变更历史 | 变更赋能;服务级别管理 | 根据反馈调整待办 | 每月 |
| 容量分配 | 团队容量花在变更、运维工作和改进上的占比 | 各类别中已完成的项目数或工时 / 全部已完成的项目数或工时 | 百分比 | 带工作类型的工作跟踪系统 | 容量与性能管理;事件管理 | 工作类型分布 | 每月 |
| 吞吐量稳定性 | 每周吞吐量的变异 | 每周吞吐量的标准差 / 每周吞吐量的平均值 | 比率 | 工作跟踪系统 | 容量与性能管理 | 流动的可预测性 | 每月 |
| 本地速度 | 单个团队在每个规划期内以自己规模单位计的已完成工作 | 满足完成定义的项目在该期间的估算之和 | 团队自定义的点数 | 工作跟踪系统 | 容量与性能管理 | 团队容量规划辅助 | 每个规划期 |
定义时钟。预测在被记录并与利益相关方分享时即为"已作出",在结果发布并投入使用时即为"已达成",而不是在代码合并时。吞吐量统计满足完成定义的项目,大小差别很大的不同类型的项目,则在不同的序列中计数。本地速度只展示给拥有它的团队。
建议
依据流动来预测
1. 依据吞吐量和周期时间来构建预测。统计最近 12 到 26 周每周完成的项目数。用这段历史预测到某个日期时将会完成多少项目,或一组项目很可能何时完成。蒙特卡洛方法的模拟,即从团队自己的历史中抽样数千次,把历史转化为概率范围。简单的电子表格或小脚本就能做好这件事。说明历史窗口和预测的日期。
2. 报告结果的百分位数。说"3 月 14 日之前有 50% 的可能,4 月 4 日之前有 85% 的可能,4 月 18 日之前有 95% 的可能"。每个百分位数都是对风险的诚实陈述,利益相关方可以选择自己需要多少余量。单个日期则隐藏了这个选择(见主题 1.6,服务指标的统计素养)。
3. 对单个项目使用周期时间百分位数。对单个项目,过往周期时间的第 85 百分位数,比任何估算都更好地回答"这可能花多长时间?"把它显示在看板上,作为一条线,用来与进行中项目的年龄比较(见主题 2.1,流动度量)。
4. 让项目大小大致均匀。当项目足够小且相似、可以计数时,基于吞吐量的预测效果最好。团队通过把工作切成仍能交付价值的最小块来达到这一点,这本身就是持续软件交付的习惯。如果项目差异很大,就为不同的工作类型分别跟踪序列。
5. 事实一变化就刷新预测。预测是一幅活的视图。当范围变化、团队规模变化,或一起大型事件吞掉一周时,重新运行并告诉利益相关方。给预测编版本,以便日后能评判它们。
依据真实容量规划
6. 按工作类型分配容量。记录团队已完成的工作中,有多大占比是计划变更、计划外的运维工作、服务请求和改进。依据经验所示的占比来计划,而不是依据理想。运行线上服务的团队常发现,三分之一或更多的容量花在了运维工作上,这个数字要靠他们自己去度量,而不是借用(见主题 2.9,运维工作与计划外工作)。
7. 为改进预留容量。持续改进是工作中常设的一部分,所以在分配中为它计划时间,并加以保护。在每个忙碌时期都把它挤掉的团队,会发现自己的运维负荷在上升,进而把它挤得更厉害。跟踪改进占比,以及改进对运维占比的影响。
8. 不要按满负荷利用率规划。按 100% 规划的团队,没有容纳变异的余地,而且当利用率接近极限时队列会增长(见主题 2.3,在制品与排队)。为意外留出富余,并把它视为设计选择,而不是浪费。
如果使用估算,要小心使用
9. 把速度当作本地的规划辅助。如果团队用故事点来给工作定大小,它的速度可以帮助它决定在下一次规划交谈中接多少,并且只应与同一团队最近的过去比较。绝不要比较团队、设定速度目标,或把速度作为生产力的度量向上汇报。点数在各团队之间没有共同的单位,而提高这个数字的压力只会虚增估算,并不会交付更多。
10. 偶尔把估算与实际周期时间比较。把估算与项目实际耗时画在一起。如果大估算并不比小估算耗时更长,估算的投入就没有买到多少东西,数项目数可能对团队同样有用。如果它们确实相关,则估算里带有值得保留的信息。让团队依据数据来决定。
度量它是否奏效
11. 记录每一次预测并给它打分。记录预测、范围和实际结果,然后计算命中率。校准良好的第 85 百分位预测,应当大约 85% 的时候成真。如果命中率远高于或远低于此,就调整方法。把日志与利益相关方共享,因为对预测的信任,是由过往记录建立起来的。
12. 依据成果评判交付目标。像"客户可以用发票付款"这样的目标,在客户能这样做时才算达成,而不是在任务被关闭时。用平实的话与利益相关方约定目标,一起评审,并记录结果。这使规划与持续的协作保持联系,也避免交付没人使用的东西(见主题 1.3,结果优先于产出:选择衡量什么)。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 预测命中率 | 给出很宽的范围,使每次预测都命中;事后重新预测 | 预测范围宽度;在日志中保留原始预测;将范围与同行的历史比较 |
| 预测范围宽度 | 缩窄范围以显得自信 | 预测命中率;要求范围由记录的历史构建 |
| 交付目标成功率 | 设定容易的目标;事后重新定义目标;把产出算作成果 | 由利益相关方评判成果;目标措辞保存在日志中;检查所交付变更的使用数据 |
| 范围变更率 | 拒绝正当的变更来冻结范围;通过重新估算项目大小来隐藏范围变更 | 利益相关方对响应能力的满意度;记录变更理由 |
| 容量分配 | 把运维工作错标为改进;通过在看板之外工作来隐藏运维负荷 | 与事件和请求记录对账;抽查项目的类型 |
| 吞吐量稳定性 | 把项目拆成琐碎的碎片以抬高计数;未完成就关闭项目 | 项目大小分布;重开率;抽查所交付的价值 |
| 本地速度 | 虚增估算;拆分故事以获取点数;比较团队 | 保持团队私有;与吞吐量和周期时间比较;绝不设定目标 |
健康的读数是:预测以大约所述的比率成真,利益相关方认可目标已达成,容量情况与团队的实际生活相符,而速度数字(如果有的话)只由团队使用,没有别人使用。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 基于流动的预测 | 使用真实数据,抗虚增,给出范围 | 需要稳定的历史和大小相近的项目 |
| 基于估算的预测 | 起步快,鼓励对工作的讨论 | 主观,在压力下虚增,无法跨团队比较 |
| 单一日期承诺 | 沟通简单 | 隐藏风险;惩罚诚实 |
| 带概率的范围 | 对不确定性诚实 | 起初对一些利益相关方较难读懂 |
| 按满负荷利用率规划 | 看起来高效 | 队列增长;没有应对事件或学习的余地 |
| 计划的富余 | 吸收变异,支持改进 | 对不相信的人来说像是闲置容量 |
文字化的答案是从流动数据开始,只在对团队有帮助之处增加估算,并用范围说话。当合同要求一个日期时,给出第 85 或第 95 百分位数所支持的日期,并说明什么会改变它。
与团队讨论的问题
1. 如果一位利益相关方问"什么时候能完成"并想要一个诚实的回答,我们会怎么说? 请团队针对一项真实的工作来回答,先给一个日期,再给一个范围。注意每种回答让人感觉有多舒服的差别。主持人应记下团队要诚实地给出范围所需要知道的东西,比如历史、项目大小和已知风险。
2. 我们的容量真正有多少花在了计划变更上?我们怎么知道? 查看最近三个月按类型划分的已完成工作。与团队作出的计划比较。这场交谈常会揭示运维工作比计划的大,而改进工作比计划的小。约定分配应该是怎样的,以及什么决定会改变它。
3. 我们的估算在哪里帮了我们,在哪里只是耗费了时间? 把一批估算与实际周期时间画在一起。讨论更大的估算是否真的更慢。如果关联很弱,问如果只数项目数,团队会有什么不同的做法。决定是继续、简化,还是在一段试验期内停止估算。
4. 谁能看到我们团队层面的规划数字?它们在那里会遇到什么? 追踪每个规划数字从团队到其受众的路径。问是否有人用它们比较团队或设定目标。如果有,讨论如何停止,以及改为提供什么。主持人应准备好解释:本地数字一旦流出去,就失去其价值。
5. 我们的预测什么时候失败过?我们学到了什么? 选一次失误,追踪它。是范围变更、一起大型事件、一个依赖,还是一个错误的假设?什么本来能更早发出警示?约定对预测实践的一项改变,例如记录依赖,或每周刷新预测。
6. 上个季度我们达成了哪些目标?是谁说的? 列出交付目标,以及每个由谁评判。如果团队自己评判自己的目标,讨论如何把利益相关方请进来。这场交谈支持持续的协作,也显示目标是关于成果还是关于任务。
四种视角
产品与交付团队
交付团队拥有预测和支持它的流动数据。他们应当发布范围,让项目保持很小,并在事实变化时重新预测。选择用点数来给工作定大小的团队,应让这些数字留在团队内部。目标是稳定的已完成的、有价值的工作之流,以及一个因有过往记录而被利益相关方信任的预测。
服务与运维团队
运维团队承担着打乱计划的需求。他们应当与交付团队分享事件和请求的负荷,使容量计划从真实数字出发。同时也交付变更的运维团队,可以对自己的工作使用同样的基于流动的预测。变更工作与运行工作的联合规划,是跨两个团体持续协作的好地方。
领导层与治理
领导层决定预测是一份风险陈述还是一个承诺。他们应当要求看范围,资助富余和改进,并抵制用速度或吞吐量来比较团队。治理机构应当观察预测命中率随时间的变化以及目标的成果,并把反复出现的失误视为关于系统的信号,例如依赖和运维负荷,而不是关于人的信号。
客户与用户
用户关心的是他们什么时候能看到这项变更,以及它是否有帮助。附有所述置信度的范围,比一个会滑动的日期更好地服务他们。他们应当参与评判目标是否达成,因为是他们感受到成果。在预测变化时告知用户,并说明原因,是把他们当作协作者对待的一部分。
实践:一个敏捷 ITIL 示例
一家地区能源公用事业公司的数字化团队构建客户账单门户并在生产环境中运行它。下面的数字是示意数字。
团队的利益相关方要求为一项由 22 个项目组成的新的分期付款功能给出一个日期。上个季度,团队依据估算给出了一个确定的日期,因为两起重大事件而延误了五周,失去了利益相关方的信任。这次,交付负责人调出过去 20 周的吞吐量,范围是每周 3 到 9 个项目,中位数为 6,并注意到运维工作占了约 35% 的已完成项目。
她依据历史运行了一次模拟。结果显示,22 个项目在 4 周内完成的可能性约一半,6 周内约 85%,8 周内约 95%。她向利益相关方呈现这三个日期,以及各项假设:团队规模不变,运维负荷与过去 20 周相似,没有新增范围。一位产品负责人问能否在八周后的某个特定账单日期上线。团队和利益相关方约定按 85% 的日期来规划,把最后两周作为缓冲,并设置每两周一次的检查点来重新预测。
在第一个检查点,支付网关的一个故障占去了三天,模拟使 85% 的日期推后了一周。团队当天就把理由告知利益相关方,大家同意把一个低价值的项目移出去。该功能在缓冲日期上线。交付目标"客户无需致电就能设置分期付款",在三周后由产品负责人和一个客户小组评判。对大多数客户来说它已达成,评论中的一个主题显示对某个屏幕感到困惑,这个问题进入了待办列表。团队记录下本季度的预测命中率是五次中的四次。利益相关方请交付负责人在下一次规划会议上带来预测范围,而团队放弃了故事点,因为数项目数给出了同样的答案。
行业视角
初创企业。优先级变化很快,所以让预测保持简短和粗略。从一开始就跟踪吞吐量,因为它不花成本,并向创始人给出范围。抵制引入为大型团队构建的规划系统。
小型企业。一两个人可能同时做变更和运行工作,没有富余容量。对两者的划分要明确,并在事件将推迟日期时告诉负责人。简单地每周数一数完成的项目数就足够了。
大型企业。众多团队和依赖使预测取决于其他团队的流动。依据每个团队自己的数据来预测,让依赖可见,并小心地合并范围,因为把最好情形相加会给出误导性的总数。避免按速度比较团队的汇总。
政府与公共部门。固定的预算、采购和法定日期造成了对单一日期承诺的压力。陈述所选百分位数所支持的日期,解释各项假设,并公开记录范围取舍。存在强制性日期时,让范围去适应它(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本很低。吞吐量和周期时间的数据通常已存在于团队的工作跟踪系统中。一张预测电子表格或一个小脚本一天就能构建好,预测只需几分钟更新。经常性的成本是记录预测和结果,以及与利益相关方举行简短检查点交谈的时间。
回报来自更少的意外和更好的决定。理解风险的利益相关方,可以选择缓冲、调整范围,或及早重新排序工作。如果数项目数也同样有效,团队花在估算仪式上的时间就更少。因错过日期而起的冲突,以及它们引发的质量捷径也会减少。请依据你自己的记录构建论证:预测成立的占比、花在估算上的时间,以及及早而不是很晚才作出的范围变更。不要借用其他组织的可预测性数字。
反模式与陷阱
- 把预测当作承诺。这使预测变成目标,诚实变得代价高昂。给出范围并修订它们。
- 按速度比较团队。点数是本地的,比较会使其虚增。只把团队与它自己的过去比较。
- 按满负荷利用率规划。变异会变成延迟。留出富余。
- 忽视运维工作。计划败在没人计划过的负荷上。度量并规划分配。
- 所有事情都用单个日期。使用百分位数,并说明你选了哪一个。
- 估算得比数据所支持的更精确。对遥远工作的详细估算最不可靠。对遥远的工作只做粗略的预测。
- 设定速度或吞吐量目标。数字会上升,价值却不会。
- 从不给预测打分。没有过往记录,信任就无从建立。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 预测方法 | 单个日期的猜测 | 手工汇总估算 | 带百分位数的基于流动的范围 | 预测被记录和打分;依据命中率调优方法 | 预测跨团队和依赖合并,与利益相关方实时共享 |
| 容量规划 | 计划忽视运维工作 | 大致知道运维负荷 | 依据数据按工作类型分配容量 | 对照成果评审分配;改进时间受到保护 | 容量由跨服务的供应商和运维共同规划 |
| 目标与数字的使用 | 目标是任务清单 | 目标被写下 | 目标由利益相关方依据成果评判 | 失误被作为系统信号分析;本地数字保持私有 | 目标与用户协作设定和评判;学习在团队之间共享 |
检查清单
- 预测依据团队自己的吞吐量和周期时间历史构建。
- 预测以带百分位数的范围给出,并说明假设。
- 每次预测都连同其范围和实际结果被记录。
- 每月评审预测命中率和范围宽度。
- 容量按工作类型分配,包括运维工作和改进。
- 计划的利用率为变异和事件留出富余。
- 任何规模单位或速度都对团队私有,不带目标。
- 交付目标写成成果,并与利益相关方一起评判。
- 范围变更连同理由被记录。
- 事实变化时刷新预测,并告知利益相关方。
AI 提示词
构建基于吞吐量的预测。
我们的团队在最近[数量]周每周完成的项目数是:[粘贴每周计数]。我们想知道[数量]个
项目何时可能完成。请解释如何利用我们自己的历史产生概率范围,给出一个简单模拟
方法的实例,并说明它做了哪些假设。不要编造历史或基准值。列出你的假设,以及该
预测不适用的条件。
评审我们如何使用估算。
我们以[单位]给项目定大小,并用[实践]来规划。下面是[数量]个已完成项目的样本,
含估算和以天计的实际周期时间:[粘贴数据]。请描述在这个样本中估算是否预测了
周期时间,这对估算值得投入多少精力意味着什么,以及我们可以尝试什么替代做法。
不要作出超出数据的断言。列出你的假设。
在变更工作与运行工作之间规划容量。
在最近的[期间],我们的团队完成了这些类型的项目:[计划变更、事件、请求、改进]
的[计数]。请为下一个[期间]提出一个留有富余的容量分配,并描述如何向利益相关方
解释。建议如何发现运维工作是否被错标。不要编造行业比例。列出你的假设。
起草与利益相关方的预测评审。
为[一项工作]的预测检查点起草议程和一页纸摘要。数据:原始预测[范围],当前状态
[描述],自上次检查点以来的变化[清单]。包括更新后的范围、什么改变了它、范围或
时间上的选项,以及我们需要利益相关方回答的问题。使用平实的语言。列出你的假设。
AI 技能
- 敏捷 ITIL 指标技能:用于查找预测或规划指标的配套护栏。
- 敏捷 ITIL 指标维护者技能:用于检查修订过的规划指标条目是否保留其操纵途径和护栏。
关键要点
- 依据已完成工作的流动来预测,并给出带概率的范围,而不是单个日期。
- 依据真实容量规划,包括运维工作、改进时间和富余。
- 把任何估算单位或速度当作一个团队的私有辅助,绝不作为目标或比较。
- 给你的预测打分:命中率建立信任。
- 依据成果评判交付目标,与利益相关方和用户一起。
- 信任并支持团队:诚实的预测来自不因不确定性而受罚的人。
参考文献与延伸阅读
- Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Humble, J., and Farley, D., Continuous Delivery, Addison-Wesley, 2010.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Cohn, M., Agile Estimating and Planning, Prentice Hall, 2005.
- Kahneman, D., and Tversky, A., "Intuitive prediction: biases and corrective procedures," TIMS Studies in Management Science, 12, 1979.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Capacity planning.
- Wikipedia, Story point.
- Wikipedia, Velocity (software development).
- Wikipedia, Forecasting.
- Wikipedia, Cone of Uncertainty.
- Wikipedia, Planning fallacy.
- Wikipedia, Goodhart's law.
- Wikipedia, Monte Carlo method.