技能与学习指标
持续学习的团队让其服务保持健康,所以要在可持续的节奏之内保护学习的时间,度量技能是否被传播并被使用,并把证书和课程计数视为线索,而绝不是能力的证明。
概述与动因
服务比构建它的人存活得更久,而其下的技术不断变化。团队跟上变化的能力,取决于它知道什么、学得多快。《敏捷宣言》的原则包括对技术卓越的持续关注,以及对如何变得更有效的定期反思。ITIL 的持续改进和知识管理实践,从组织的一面描述了同样的需要。技能与学习度量问的是:运行和更改这些服务的能力是否存在,是否传播得足够广、足以经受缺勤,以及组织是否给人们成长的时间和支持。
学习很容易计数,却很难好好度量。培训小时数、课程完成数和证书都是可见的,而它们都不能显示是否有人能在工作中做一些新的事情。专业认证显示一个人在某一时间点达到了评估标准。它是有用的证据,尤其对于受监管的角色以及像 ITIL 或敏捷基础这样的入门环节,但它不是对这个人当前技能或判断力的度量。因此,本主题倚重使用中能力的度量:谁能操作和更改什么,新人多快变得有用,以及学习是否在工作中显现出来。
有几个思想塑造这种做法。
- 许多有价值的知识是隐性的。迈克尔·波兰尼(Michael Polanyi)观察到,我们所知道的多于我们所能说的。操作复杂服务涉及难以写下的判断,它主要通过与他人并肩工作来传播。文档有帮助,却无法取代共同的实践,比如结对编程、跟岗和评审。
- 广度和深度都重要。T 型技能描述这样一个人:在一个领域有深度,在其他领域有可用的广度。由 T 型人构成的团队,可以应对缺勤并跨边界协作。交叉培训有意地建立这种广度。
- 学习是社会性的。实践社区是共享一门手艺并相互学习的一群人。师徒指导让经验较少的人与经验较多的人结对。两者都跨团队边界传播知识。
- 组织可以学习。学习型组织是由彼得·圣吉(Peter Senge)推广的术语,指通过其成员的学习而持续转变自身的组织。像对事件作无责评审这样的实践,是组织从经验中学习的办法(见主题 4.2,事后复盘与学习指标)。
学习度量有它自己的扭曲。培训预算被花在无人应用的课程上。学习的时间被承诺,随后被事件吞没。个人被技能清单排名,这使他们隐藏自己不知道的东西。古德哈特定律的护栏适用:当学习小时数成为目标时,人们参加会议;当证书成为目标时,人们收集证书(见主题 1.2,古德哈特定律与指标心理学)。
可持续的节奏在这里同样重要。被挤进晚上和周末的学习是对人的代价,不是健康组织的标志。下面的度量看的是工作周之内受保护的时间。
关键原则
- 度量使用中的能力,而不是课程出席。看人们能做什么、做了什么。
- 在可持续的节奏之内保护学习时间。不要把学习变成无偿的额外事项。
- 有目的地传播知识。知识的单点,既是对服务的风险,也是对个人的负担。
- 把证书视为证据,而不是证明。它们对某些角色很重要,对当前的技能却说明很少。
- 从工作中学习。事件、评审和结对,比大多数课程教得更多。
- 把技能数据保持在团队层面。不应按清单给个人排名。
- 让人们塑造自己的学习。积极投入的人在得到时间和支持时选择得很好。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 受保护的学习时间占比 | 被留出并实际用于学习的团队容量占比 | 团队层面,工作时间内用于学习的小时数或容量份额 / 总工作容量 | 百分比 | 团队容量计划和工作跟踪器的工作类型 | 劳动力与人才管理;持续改进 | 用于反思和技术卓越的时间 | 每月 |
| 交叉培训深度 | 在上一期间由至少两个人执行过的关键任务占比 | 该期间由两人或更多人执行过的关键任务数 / 关键任务数 | 百分比 | 团队的任务与所有权地图,由近期工作验证 | 知识管理;服务连续性管理 | 对工作的集体所有权 | 每季度 |
| 首次贡献的时间 | 新团队成员完成其首个真正的变更或已解决案例所需的时间 | 从开始日期到生产环境中首个已完成的真实工作项的天数的中位数和第 85 百分位数 | 天 | 入职跟踪器和工作跟踪器 | 劳动力与人才管理;知识管理 | 新团队成员做出首个变更的时间 | 每次招聘,每季度评审 |
| 社区参与 | 在该期间参加实践社区(由其自己选择)的团队成员占比 | 团队层面,该期间参加、贡献或介绍过的成员数 / 团队成员数 | 百分比 | 社区记录,自愿 | 知识管理;持续改进 | 实践社区 | 每季度 |
| 培训应用率 | 学习者或其团队在 90 天内报告在工作中使用了所学的培训经历占比 | 被报告为已应用的学习经历数 / 已完成的学习经历数 | 百分比 | 给学习者的简短后续问题,匿名汇总到团队 | 劳动力与人才管理;持续改进 | 应用于工作的学习 | 每季度 |
| 相关认证覆盖率 | 因法律、合同或入门原因而需要认证的角色中,该要求得到满足的占比 | 持有所需认证的角色数 / 需要认证的角色数 | 百分比 | 角色要求登记册、证书记录 | 劳动力与人才管理;治理 | 满足合同或监管的入门要求 | 每年 |
| 跨团队分享的经验教训 | 在原团队之外被分享、并被另一个团队使用的来自事件或改进的经验教训数量 | 该期间有另一个团队使用记录的已分享教训数 | 计数 | 经验教训登记册和评审记录 | 知识管理;持续改进 | 跨团队分享的学习 | 每季度 |
在登记册中定义关键任务、角色和学习类型。受保护的学习时间只统计用于学习的时间,而不是被提供却因紧急工作而丢失的时间,并且排除下班后的学习。交叉培训深度统计的是该期间实际执行过任务的人,而不是理论上能做的人。培训应用率使用自我报告,按团队汇总,并设最小群体规模。认证覆盖率仅针对有真实要求的角色,并绝不用来评判个人的胜任程度。
建议
保护时间并使之成真
1. 把学习时间计划进容量。留出每个团队容量的一部分用于学习,比如每周一个固定时段,并把它写进容量计划。假定每个人都全负荷从事交付的计划,没有学习的空间。跟踪实际使用的份额,并查看它为何不足:事件、截止日期还是文化。这与计划和工作负荷主题相联(见主题 2.5,交付预测与规划指标)。
2. 让人们选择,并给予指导。积极投入的人知道自己需要学什么。提供预算和时间、一份选项菜单,以及关于团队需要的交谈。请人们与团队分享所学,这使价值倍增。避免与工作无关的强制性学习。
3. 让学习成为工作的一部分。结对、轮换、跟岗、代码评审、内部讲座和无责的事件评审,在真实问题的背景中教学。在容量计划中把它们算作学习。边交付边学习的团队,需要离开交付的时间更少。
传播知识
4. 映射关键任务以及谁做过它们。列出必须可靠完成的任务:恢复数据库、轮换密钥、处理重大事件、部署有风险的变更。对每一个,记录近期谁执行过。这张地图显示知识的单点。用近期工作的证据来验证它,因为基于自我评估的技能清单会偏离现实(见主题 9.3,协作与交接指标)。
5. 有意识地交叉培训。计划结对和轮换,使每项关键任务都至少有两个近期做过它的人。在可能之处通过演练和演练日练习。目的是韧性和可持续的值班,并使专家不必成为唯一能帮忙的人。
6. 支持实践社区和师徒指导。鼓励围绕可靠性、测试、安全或服务管理等手艺的自愿小组,并为之留出时间。提供跨团队的师徒指导。以轻量的方式、在团队层面度量参与,并问这些社区产出了什么:共享的实践、工具、经验教训。
好好入职
7. 度量首次贡献的时间。跟踪新成员在生产环境中完成一项真实工作需要多久,以及什么拖慢了他们:访问权限、文档、环境设置或不清楚的所有权。修复原因,并向最近加入的人征求看法。快速而有支持的开始定下基调并降低风险(见主题 6.4,用户与员工体验)。
8. 及早给新人真实的工作,并提供支持。从小而真实的任务和一位指名的伙伴开始。定期评审进展并调整。带着安全网边做边学,比长时间阅读更快。
诚实地评估学习
9. 问培训是否被应用。在一门课程或活动之后几周,问学习者及其团队是否、以及如何使用了它。汇总这些答案。无人应用的课程应当改变或放弃。柯克帕特里克的培训评估四个层次模型,从反应到学习到行为到结果,为此提供了词汇,不过简单的后续问题就是个好的开始。
10. 把认证用于它所擅长的。在法律、合同或某个角色的入门标准要求认证之处,跟踪覆盖。在其他地方,把认证视为努力和知识的一个信号。不要把证书数量设为目标,也不要仅凭它们来加薪或晋升。
11. 跨团队分享经验教训。保留一份轻量的、来自事件、评审和改进的经验教训登记册,并跟踪哪些被原团队之外的团队使用过。留在学到它的团队里的教训,在组织层面只学到了一半。在实践社区中评审这份登记册。
12. 让个人数据远离排名。不要按人公布技能清单,也绝不按培训小时数、证书或自我评估的技能给人排名。汇总到团队层面,并让人们看到自己的数据。如果缺口会对个人不利,人们就会隐藏缺口。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 受保护的学习时间占比 | 把普通工作记录为学习;排定的时间随后被取消 | 只统计已使用的时间;与工作类型记录和团队评论比较 |
| 交叉培训深度 | 列出从未做过该任务的人;把单次观察算作数 | 近期工作的证据;演练结果 |
| 首次贡献的时间 | 统计琐碎的变更;晚启动时钟 | 在登记册中定义"真实"的工作;询问新成员及其伙伴 |
| 社区参与 | 强制出席;统计报名 | 仅限自愿;问社区产出了什么 |
| 培训应用率 | 施压让学习者说他们应用了;只问热心者 | 匿名汇总;在团队层面跟进;查看可观察的变化 |
| 相关认证覆盖率 | 为不需要的角色收集证书;把认证当作胜任 | 范围限于真实的要求;以其他证据检查实际能力 |
| 跨团队分享的经验教训 | 分享琐碎的教训;统计帖子数 | 要求另一个团队有记录的使用;评审质量 |
健康的读数是:受保护且被使用的学习时间、由若干人了解的关键任务、迅速做出真实贡献的新成员、产生共享实践的社区、人们应用的培训,以及在团队之间旅行的经验教训。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 正式课程和认证 | 有结构、被认可、对入门和受监管角色有用 | 成本;可能不迁移到工作中 |
| 在工作中学习 | 相关而即时 | 不均衡;取决于导师和时间 |
| 受保护的时间 | 使学习成真 | 与紧急工作竞争;需要纪律 |
| 在自己的时间里学习 | 对交付没有成本 | 不可持续;不公平;隐藏的加班 |
| 技能清单 | 显示缺口和风险 | 主观;可能变成排名 |
| 近期工作的证据 | 可靠 | 维护需要更多工作量 |
| 集中的培训项目 | 一致 | 缓慢;可能不适合团队 |
| 团队选择的学习 | 相关;积极 | 质量参差;需要指导 |
文字化的答案是,在工作周之内保护学习时间,主要通过工作学习、在有帮助之处辅以一些正式课程,让技能地图基于近期的证据,并避免任何用这些数据给人排名的做法。
与团队讨论的问题
1. 上个季度我们每个人在工作中学到了什么?是怎么学到的? 简短地分享。注意大部分学习是来自课程、工作还是同事。主持人应问是什么使之成为可能,又是什么妨碍了它。约定一项能增加有用学习的改变。
2. 哪些关键任务只有我们中的一两个人能做?他们不在时会发生什么? 列出它们。选择风险最大的,并计划如何传播知识:结对、演练、运行手册、轮换。确认计划不会给专家增加隐藏的加班。
3. 我们最近的一位新同事花了多久才做成真实的事?是什么拖慢了他们? 去问他们。从他们的第一天追溯各步骤。讨论访问权限、环境、文档和支持。约定能帮助下一个人的两项修复。
4. 一门课程或一张证书什么时候改变了我们的工作方式? 回想例子。问是什么造成了差别。如果想不出几个,讨论原因。决定哪些学习值得继续,哪些放弃。
5. 最近一起事件的哪条经验教训,被另一个团队实际使用了? 查看经验教训登记册。如果什么也没有旅行出去,问如何更有效地分享:一个社区、一场简短的讲话、对某项标准的改变。选一条在本月分享。
6. 我们的学习时间是真实的吗?是什么在保护它? 把计划与实际发生的比较。讨论是什么接管了它:事件、截止日期、期望。约定一条保护它的规则,比如把紧急请求视为升级给决策者。
四种视角
产品与交付团队
交付团队主要通过构建来学习。他们应当计划学习时间,在关键工作上结对和轮换,分享所学,并参加实践社区。他们应当要求所需的时间和工具,并把学习视为做好交付的一部分。
服务与运维团队
运维团队需要广度,因为他们在任何时刻都要应对缺勤和事件。他们应当在关键任务上交叉培训,使用演练和演练日,并把所学记录在运行手册和评审中。他们的值班节奏必须为休息和学习留出空间。
领导层与治理
领导层决定学习是优先事项还是事后想到的事。他们应当在计划中保护学习时间,为入职所揭示的问题出资,避免针对培训小时数或证书的目标,并支持社区。治理应当只在要求的地方跟踪认证,并查看使用中能力的证据。
客户与用户
用户受益于对其服务了解很深且跟得上变化的团队:更快的修复、更少的重复错误和更好的建议。他们注意到帮助他们的人似乎对系统很陌生,或同样的问题再次出现。他们也可以就自己的工作教导团队,他们的参与是学习的一种形式。
实践:一个敏捷 ITIL 示例
一家区域银行的技术运营小组有六个团队,运行核心银行、支付和数字渠道。以下数字是示意数字。
该小组的培训仪表板显示,去年人均 24 小时培训,获得 70 张证书,培训总监很满意。运营负责人问了一个不同的问题:当关键人员不在时,团队能应付吗?她请每个团队映射其关键任务,以及过去六个月里谁执行过每一项。在 46 项关键任务中,只有 19 项被两个或更多人执行过,交叉培训深度为 41%。有 14 项任务只由一个人做过。最近八位新员工的首次贡献时间,中位数为 41 天,第 85 百分位数为 67 天,主要花在等待访问权限和寻找文档上。对完成课程的 38 人所做的简短跟进发现,31% 的人说他们在 90 天内应用了所学。团队报告说,在繁忙的一周,学习时间通常是最先被取消的东西,实际使用的受保护时间约占容量的 3%。
该小组与团队作出四项改变。每个团队计划一个约占容量 8% 的固定学习时段,并规定取消必须经团队负责人同意并记录。结对和轮换计划针对 14 项单人任务,从最关键的五项开始,每季度做演练。一份入职检查清单和一位指名的伙伴削减了访问延迟,第一周的计划包括一项小的真实变更。课程由团队从一份候选清单中选择,60 天后发出一个跟进问题。一个跨团队的可靠性社区每月聚会,来自事件评审的经验教训在那里分享,并注明谁使用了它们。
一年后,交叉培训深度为 78%,首次贡献时间的中位数为 19 天,培训应用率为 64%,使用的受保护学习时间约占容量的 7%。来自评审的六条经验教训被其他团队采纳。培训总监要求设定人均 40 小时培训的目标。运营负责人转而提供交叉培训深度、应用和首次贡献时间的度量,解释说小时数可以靠无人使用的会议来满足。该决定被记录下来,仪表板去掉了人均培训小时数。认证覆盖率只针对监管者要求的角色来跟踪。
行业视角
初创企业。人们身兼多职,在压力下学得很快。保护一些学习时间,让结对成为默认,并留意由一个人掌握的知识。招聘通才有帮助。不要过早建立培训部门。
小型企业。预算紧张,一个人可能承担很多。使用低成本的学习:厂商文档、社区活动、受信任的外部顾问的师徒指导,以及在可能之处的交叉培训。确保至少还有一个人能处理关键任务,哪怕只是大致的。
大型企业。规模允许正式的项目、社区和职业路径。它也招致不适合任何人的统一要求。提供通用的学习预算和平台,让团队选择,支持内部社区,并按团队度量能力。使认证与真实的需要对齐。
政府与公共部门。技能短缺、采购规则和公务员框架塑造发展。认证对某些角色可能是正式要求。投资于学徒制和内部流动,在合同结束时保留知识,并利用跨机构的社区分享实践(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是时间本身,这是主要成本,外加课程和活动的预算、维护技能地图的工作量、师徒指导的时间,以及一些用于社区的工具。结对和轮换在短期内要付出吞吐量的代价。
回报是对缺勤和人员更替的韧性、更快的入职、更少的重复错误、更快的问题解决,以及对正在成长的人更好的留任。用你自己的数据建立论证:只有一个人知道的关键任务数量、新员工变得有产出所需的天数及这段时间的成本、因专家缺席而延长的事件,以及说自己没有成长空间的员工的离职。避免引用关于培训回报的已发布估计,除非你能追溯其方法和适用性。不学习的代价出现得晚,表现为过时的技能和脆弱的服务(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 把培训小时数当作目标。它买来的是出席。度量应用和能力。
- 把证书当作技能的证明。它们显示的是某一时间点的评估。使用其他证据。
- 在自己的时间里学习。它隐藏加班,也不公平。在工作周之内保护时间。
- 用自我评估的技能清单排名。人们会夸大或隐瞒。让地图基于近期的工作,并保持在团队层面。
- 英雄式的专家。无所不知的一个人是风险也是负担。传播知识。
- 为所有人集中选择课程。它们适合的人很少。让团队在指导下选择。
- 最先取消学习。它教会人们学习是可选的。保护它,并把例外视为决定。
- 留在本地的经验教训。组织重复错误。分享它们并跟踪使用。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 时间与支持 | 在自己的时间里学习 | 偶尔的培训预算 | 容量计划中受保护的时间;团队选择的学习 | 跟踪使用的时间;取消是一种决定;预算跟随团队需要 | 跨团队和伙伴协调学习时间和成长路径 |
| 传播知识 | 专家扛起工作 | 存在文档 | 依据近期证据映射关键任务;结对和演练 | 管理交叉培训深度;度量并改进入职 | 知识在团队、供应商和社区之间自由流动 |
| 评估学习 | 统计出席 | 课程的满意度评分 | 应用的后续跟进;在要求之处认证 | 经验教训跨团队分享并使用;培训依据结果改变 | 学习成果与服务成果相联并与伙伴分享 |
检查清单
- 学习时间被计划进团队容量,并跟踪其使用。
- 列出关键任务,以及近期谁执行过每一项。
- 每项关键任务都有一个让至少两个经过练习的人达到的计划。
- 度量新成员的首次贡献时间并据此行动。
- 支持实践社区和师徒指导,且是自愿的。
- 培训之后用一个关于应用的问题跟进。
- 认证仅针对有真实要求的角色来跟踪。
- 经验教训登记册记录跨团队的分享和使用。
- 技能数据保持在团队层面,绝不用来给个人排名。
- 学习从不依赖无偿的小时数。
AI 提示词
构建关键任务地图。
我们的团队运行[服务]。请列出必须可靠完成的关键任务(例如从备份恢复、轮换凭据、重大
事件协调、有风险的部署),并建议我们可以用来记录过去六个月里谁做过每一项的证据。提出
一张简单的表,以及在不给人排名的情况下与团队一起评审它的办法。不要在我所描述的之外
编造我们的任务。列出你的假设。
设计入职计划。
请为加入运行[服务]的团队的新[角色],设计一份头 30 天的入职计划。包括访问设置、一位指名的
伙伴、第一周结束时的一项小的真实变更、定期的检查,以及要度量什么(首次贡献的时间以及
什么拖慢了它)。保持支持性且现实。列出你的假设,以及要依据我们的背景调整的项目。
跟进培训。
请起草一组简短的跟进问题,在人们完成[课程或活动]60 天后发送。询问他们是否、以及如何应用
了它、什么妨碍了他们、什么会有帮助,方式要能汇总到团队层面而不识别个人。建议如何阅读
答案,以及改变什么。列出你的假设。
规划知识传播的工作。
任务[描述]在我们团队里只有[一两个人]做。请提出一个用结对、演练和文档来传播它的计划,
附现实的时间安排,保护这些人的工作负荷。建议我们将如何得知计划奏效了,使用近期工作的
证据。列出你的假设和风险。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项技能或学习指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查学习指标条目是否度量使用中的能力,并带有其操纵途径和护栏。
关键要点
- 度量使用中的能力:近期谁做过关键任务,以及新人多快做出贡献。
- 在工作周之内、在可以持续的节奏之内保护学习时间。
- 通过结对、轮换、演练和社区有目的地传播知识。
- 跟进培训是否被应用,并把证书视为证据,而不是证明。
- 跨团队分享经验教训并跟踪其使用。
- 把技能数据保持在团队层面,绝不给个人排名。
参考文献与延伸阅读
- Senge, P. M., The Fifth Discipline: The Art and Practice of the Learning Organization, Doubleday, 1990.
- Wenger, E., Communities of Practice: Learning, Meaning, and Identity, Cambridge University Press, 1998.
- Polanyi, M., The Tacit Dimension, Doubleday, 1966.
- Ericsson, K. A., Krampe, R. T., and Tesch-Römer, C., "The role of deliberate practice in the acquisition of expert performance," Psychological Review, 100(3), 1993.
- Kirkpatrick, D. L., and Kirkpatrick, J. D., Evaluating Training Programs: The Four Levels, 3rd ed., Berrett-Koehler, 2006.
- Skelton, M., and Pais, M., Team Topologies, IT Revolution, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Professional certification.
- Wikipedia, Tacit knowledge.
- Wikipedia, Pair programming.
- Wikipedia, T-shaped skills.
- Wikipedia, Cross-training (business).
- Wikipedia, Community of practice.
- Wikipedia, Mentorship.
- Wikipedia, Learning organization.
- Wikipedia, Goodhart's law.