度量 AI 辅助工作
依据 AI 辅助的工作在评审、生产环境和用户下一次联系之后还剩下什么来评判它,而不是它出现得有多快,并持续关注做这项工作的人是否仍在学习。
概述与动因
一旦团队每天都使用 AI 工具,核心问题就从"我们该不该用"变成"我们得到了什么"。上一个主题阐述了基础:基线、比较和完整成本(见主题 10.1,服务管理中的 AI 度量)。本主题进入工作本身。你如何判断 AI 辅助的代码、工单、文档和决定,与它们所取代的工作相比是同样好、更好还是更差,以及做这项工作的人会怎样?
AI 辅助触及许多种工作。在软件交付中,工具建议或生成代码、测试、提交信息和评审意见。在服务运维中,它们对事件作摘要、提出原因、起草回复并撰写知识文章。在分析中,它们产生报告和查询。共同的特点是,产出一个看似合理的初稿变得廉价。成本转移到了别处:阅读和判断输出、修复错误之处、维护所生成之物,以及学到足以分辨差别的知识。
有几种效应使度量变得棘手。
- 产出计数会误导。代码行数向来是衡量生产率的糟糕度量,而生成的代码使之更糟。更多的代码意味着更多要阅读、测试和维护的东西。生成行数、被接受的建议数或草稿数,几乎说明不了价值。
- 评审成为瓶颈。代码评审以及对其他生成工作的评审需要时间,而更大、更频繁的变更之流可能使评审者超载。大型拉取请求更难好好评审,超载的评审者更可能批准自己没有理解的东西。较早的评审和流动度量仍然至关重要(见主题 2.7,拉取请求与代码评审指标)。
- 质量问题来得晚。生成的代码今天可能通过测试,却带着重复代码、不清晰的结构或隐藏的缺陷,它们以维护成本的形式浮现,这是技术债务的一种形式。创建那一刻所作的度量会漏掉它。要看工作之后发生了什么。
- 技能可能改变。对过去自己做的任务依赖工具,是认知卸载的一种形式,它可以为更难的问题腾出注意力,也可能在底层理解消退时导致技能退化。两者都有可能,结果取决于工具如何使用。这对相关的人以及团队处理工具无法应对之情形的能力都很重要。
关于 AI 辅助对生产率之影响的证据仍在发展,并随任务、用户的经验、工具和环境而变。一些关于编码任务的对照研究发现,在定义明确的任务上完成得更快;另一些研究和报告则发现,对在自己熟悉的复杂系统上工作的有经验的人,收益较小或没有,或带来额外成本。本书不提供数字。团队负责任的立场是,以基线和比较度量自己的工作,并把任何已发布的数字视为特定背景下的一项研究。
古德哈特定律的护栏在这里尤其重要,因为展示收益的压力很强,而容易得到的数字正是误导性的数字。下面的度量追踪的是什么留存下来,而不是产出了什么(见主题 1.2,古德哈特定律与指标心理学)。
关键原则
- 度量留存下来的东西。留存、返工和逃逸缺陷,说明的比产出更多。
- 留意评审。AI 辅助工作的流动,受限于人们阅读它的能力。
- 同类相比。辅助和非辅助的工作,在种类和难度上必须相似。
- 既看现在,也看以后。质量问题和维护成本在创建数周或数月之后才出现。
- 让理解留在回路里。交付该工作的人必须能够解释它。
- 保护技能和学习。留意人们没有工具时仍能做什么。
- 汇总;不要监视个人。关于谁使用 AI 及如何使用的数据,用于改进流程,而不是给人排名。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 留存率 | 在规定期间之后基本保持不变的 AI 辅助变更占比 | 30 天后被修改或回退的比例低于设定值的 AI 辅助变更数 / 30 天前合并的 AI 辅助变更数 | 百分比 | 与辅助标签相联的版本控制历史,在团队层面 | 发布与部署管理;变更赋能 | 站得住的工作;低返工 | 每月 |
| 合并后返工 | 在短期内需要后续修复的变更占比,分辅助和对照变更 | 14 天内有关联的后续修复的变更数 / 合并的变更数,按组 | 百分比 | 版本控制、问题跟踪器、变更记录 | 变更赋能;问题管理 | 逃逸缺陷;返工 | 每月 |
| 评审负荷 | 每项变更的评审者工作量,分辅助和对照变更 | 每项变更的评审时间和评审轮数的中位数和第 85 百分位数,按组 | 小时;轮 | 评审工具时间戳,按团队汇总 | 发布与部署管理 | 评审作为反馈与学习 | 每月 |
| 逃逸缺陷率 | 每项变更在生产环境中发现的缺陷,分辅助和对照变更 | 发布后发现并归因于某项变更的缺陷数 / 发布的变更数,按组 | 每变更缺陷数 | 与变更相联的缺陷跟踪器 | 事件管理;问题管理 | 所发布之物的质量 | 每季度 |
| 解释检查通过率 | 其作者能在评审中解释做法及其权衡的、抽样的 AI 辅助变更占比 | 作者向评审者解释到其满意的抽样变更数 / 抽样的变更数 | 百分比 | 抽样的评审笔记 | 知识管理;变更赋能 | 对代码的共同理解 | 每季度 |
| 辅助支持质量 | AI 辅助的支持回复与非辅助回复相比的重开率和用户满意度 | 重开的辅助工单数 / 辅助工单数,以及好评数 / 评分数,按组 | 百分比 | ITSM 工具、调查 | 服务台;事件管理 | 服务成果的质量 | 每月 |
| 无辅助信心评分 | 团队对不用工具完成关键任务之信心的评分 | 按团队,在约定量表上的平均评分和离散度 | 量表分 | 匿名团队脉搏调查 | 劳动力与人才管理;知识管理 | 团队能力与学习 | 每季度 |
在团队层面,通过工具日志或轻量的约定可靠地给 AI 辅助打标签,并说明如何选择对照变更:在规模、领域和风险上相似。留存度量的是实质性变化,阈值设在登记册中。合并后返工依据规定的规则,把后续修复与原变更相联。评审负荷是评审者的工作量,而不是作者的,并且只包括可度量之处的主动评审时间。绝不报告个人层面的数据。解释检查的样本随机选取,检查是一次支持学习的交谈,而不是对某个人的测验。
建议
在工作创建之后追踪它
1. 追踪辅助工作随时间的变化。对代码,在合并后追踪变更数周:它们是留下来、被修复,还是被回退?对支持,在回复之后追踪工单:它们是否被重开,或被重复联系跟随?对文档,查看它们是被使用、被更正,还是被忽略。留存和返工是简单而难以伪造的质量信号。
2. 与类似的非辅助工作比较。从同一期间选取规模、风险和领域相似的对照工作。难度很重要:人们可能把 AI 用于容易的任务,这会抬高工具的表现,或用于困难的任务,这会拉低它。说明任务是如何变成辅助的,并据此调整或加注意事项。一个小而诚实的比较,胜过一个大而混淆的比较(见主题 6.5,价值实现与业务成果)。
3. 把下游度量放入标准集。任何速度度量都要与变更失败率、逃逸缺陷和已在使用的稳定性度量配对(见主题 2.8,DORA 指标)。速度提高而稳定性下降,是把成本转嫁给运维和用户。把这一对放在一起报告。
让评审保持有意义
4. 留意评审负荷和规模。度量辅助和非辅助工作的评审时间、评审轮数和变更规模。如果辅助的变更更大或更多,评审者可能已超载。为变更规模设定规范,并限制可以进入一次评审的生成材料的数量。评审容量是系统容量的一部分(见主题 2.3,在制品与排队)。
5. 请作者解释。养成习惯,让变更的作者能解释它做什么、为什么用这种做法,以及权衡是什么。在评审中进行一次简短而支持性的交谈就够了。每季度抽样做解释检查,看理解是否跟得上产出。当作者无法解释时,把它视为放慢并学习的信号,而不是这个人的失败。
6. 防范自动化偏见。鼓励评审者像阅读任何其他工作一样批判地阅读辅助的工作。轮换评审者,偶尔在测试变更中植入已知问题以检验检测能力,并让独立评审者对输出的抽样持续进行。很高的接受率伴随上升的返工,是一个警告(见主题 10.1,服务管理中的 AI 度量)。
照看质量和维护
7. 监控代码和系统的结构。在辅助较多的领域,追踪重复、复杂度、测试覆盖率和变更速率。使用你已有的关于软件测试和代码健康的度量,并查看趋势。上升的重复或下降的测试有效性,可能表明生成的代码在没有融入设计的情况下被接受。回归测试的覆盖是一张安全网,当变更数量上升时,它的强度更加重要。
8. 谨慎对待生成的测试。AI 能快速写出许多测试,而测试可能在没有检查任何有意义之物的情况下通过。抽样检查生成的测试的价值,并用诸如"故意破坏行为时测试是否失败"之类的方法度量测试有效性。不要把写出的测试数量当作质量度量。
9. 留意辅助支持的质量。对服务台和运维,度量辅助与非辅助回复的重开率、重复联系、满意度和抽样回复的准确率。让用户再回头的更快回复,总体上更慢。阅读用户对辅助回复的评论,并查看在重要之处用户是否知道自己正在与 AI 打交道(见主题 6.1,客户满意度指标)。
保护人和技能
10. 留意人们仍能做什么。询问团队在没有工具的情况下完成关键任务有多大信心,并追踪趋势。利用偶尔的无辅助练习、结对和对底层设计的评审,让技能保持鲜活。尤其要保护较新团队成员的学习,他们可能在建立起有经验的同事用来判断工具的心智模型之前,就已使用工具(见主题 9.4,技能与学习指标)。
11. 让关于人的数据远离评价。汇总到团队层面。不要报告哪些个人最多使用 AI,也不要在绩效评审中使用使用量、接受率或生成数量。让规则为人所知。诚实报告什么有效、什么无效,需要信任。
12. 定期重新审视。工具、模型和实践在几个月内就会变化。当工具或工作方式变化时,重新运行比较。分享发现,包括某款工具在这里没有帮助,并让不再配得上其位置的使用退役。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 留存率 | 为了保持数字而避免必要的变更;只把成功的变更标记为辅助 | 按工具日志而不是作者选择来打标签;与逃逸缺陷和返工配对 |
| 合并后返工 | 在另一张工单或未关联的新变更中修复;把修复推迟到窗口之外 | 登记册中的关联规则;查看更长的窗口;生产缺陷 |
| 评审负荷 | 仓促的评审降低度量的时间;没有评论的批准 | 评审深度抽样;逃逸缺陷;评审者调查 |
| 逃逸缺陷率 | 不把缺陷归因于变更;把缺陷重新分类为增强 | 归因规则;对缺陷分类的独立抽样 |
| 解释检查通过率 | 作者为检查排练;宽松的评审者 | 随机、不预先通知的抽样;轮换评审者;聚焦设计理由 |
| 辅助支持质量 | 只辅助容易的工单;辅导用户给高分 | 按类型和难度匹配工单;回复率和构成;阅读评论 |
| 无辅助信心评分 | 夸大评分以避免审视;压低评分以争取更多工具 | 匿名;与演练中观察到的实践比较;阅读评论 |
健康的读数是:与非辅助工作一样经常留在原位的辅助工作、与对照相当或更好的返工和逃逸缺陷、仍然深入的评审、能解释自己所交付之物的作者、不会回头的辅助支持,以及对自己的技能保持信心的团队。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 度量产出数量 | 容易 | 奖励数量;对价值什么也没说 |
| 度量留存和返工 | 反映随时间的质量 | 滞后;需要关联记录 |
| 受控比较 | 可信 | 需要工作量;可能不切实际 |
| 观察性比较 | 廉价 | 被任务选择混淆 |
| 强制的解释检查 | 维持理解 | 可能感觉像测验;增加工作量 |
| 轻量的抽样检查 | 负担低 | 可能漏掉模式 |
| 对 AI 使用的严格限制 | 控制风险 | 失去收益;影子使用 |
| 开放使用并度量 | 学习和收益 | 需要信任和纪律 |
文字化的答案是,在清晰规则之内允许使用,度量留存下来的东西,为理解而抽样,保护评审容量和技能,并让关于人的数据远离评价。
与团队讨论的问题
1. 上个季度 AI 帮助我们产出的东西,有多少仍然原封不动地在原位?我们怎么知道? 把辅助变更的留存和返工,与一个可比的集合比较。主持人应记录回答它有多困难。约定如何标记和关联记录,使下个季度的回答变得容易。
2. 评审跟得上吗?跟不上时会发生什么? 查看评审时间、轮数和规模。问评审者对辅助的变更感觉如何。讨论规模的限制和分担负荷的办法。约定一条要试的规范。
3. 我们每个人能解释自己上一次在 AI 帮助下交付的变更及其权衡吗? 两人一组试一试。注意解释在哪里容易、在哪里困难。讨论这告诉我们关于我们使用工具的什么,以及如何保持理解。
4. 没有工具时我们还能做好什么?我们正在失去哪些窍门? 列出关键任务,诚实地评估信心,并计划一些无辅助的练习或结对。这场交谈也会浮现人们在工作中看重并想保留的东西。
5. AI 在哪里帮我们最多、最少?这些地方有什么共同点? 比较例子。寻找诸如定义明确的任务、良好的测试或熟悉的领域等特征。利用这些发现指导在哪里使用工具。
6. 如果我们不信任第一印象,我们会度量什么? 请小组说出会让他们对这款工具改变看法的证据,无论朝哪个方向。利用这些答案定义下一次比较。
四种视角
产品与交付团队
交付团队拥有日常体验和质量成果。他们应当给辅助工作打标签,留意留存和返工,让评审保持有意义,并维持自己的理解。当生成变更的数量超出他们评审的能力时,他们应当发声。
服务与运维团队
运维团队把 AI 用于摘要、诊断和回复,并继承漏过的质量问题。他们应当抽样输出,比较重开率和重复联系率,并对生产环境中的行动保持清晰的人的责任。他们应当帮助界定 AI 在哪些地方没有真人就不得行动。
领导层与治理
领导者面临展示收益的压力,可能被使用量和产出指标所诱惑。他们应当坚持在速度之外还要有留存、返工和稳定性度量,为评审容量出资,保护技能发展,并抵制给人排名。治理应当期望 AI 收益报告中有比较和注意事项。
客户与用户
用户收到结果:运行其服务的代码、对其请求的回复、他们所依赖的文档。当质量保持时他们受益,当质量下降时他们受损。他们应当能够接触到真人,他们对辅助交互的反馈是质量的关键证据。
实践:一个敏捷 ITIL 示例
一家欧洲航空公司的数字小组有六个产品团队,构建并运行预订和运营软件。团队一年前开始使用 AI 编码助手,小组的仪表板报告 38% 的合并行是 AI 生成的。以下数字是示意数字。
工程卓越负责人对那块仪表板感到不安。她请三个团队通过工具日志、仅在团队层面给辅助变更打标签,并选取规模和领域相似的对照变更。在一个季度里,辅助变更从首次提交到合并的时间中位数更短,为 1.4 天,对照为 2.0 天。辅助变更 30 天后的留存率为 81%,对照变更为 90%;12% 的辅助变更在 14 天内需要后续修复,而对照为 7%。评审负荷讲述同样的故事:辅助变更每项的评审时间中位数高出 35%,变更规模的第 85 百分位数也在增长。辅助变更每 100 项的逃逸缺陷略高,不过样本很小,差异在正常变异之内。对 40 项辅助变更的抽样显示,其中 31 项作者能很好地解释做法及其权衡,6 项只能部分解释,3 项完全不能,大多在作者不熟悉的代码领域。在服务台,辅助回复的重开率为 7%,非辅助的为 6%,满意度相近。在一次团队脉搏调查中,较新的工程师对不用工具实现核心功能的信心评分为 2.6 分(满分 5 分),而在小组中工作超过三年的工程师为 4.1 分。
工程卓越负责人把结果带给团队,并不给他们排名。团队约定四项改变。变更规模的限制和评审轮值保护评审者。作者在评审中简要解释辅助的变更。较新的工程师在核心功能上与有经验的工程师结对,每月一次的无辅助练习让技能保持实践。仪表板去掉生成行的占比,展示留存、返工、评审负荷和逃逸缺陷,辅助对照比较。三个月后,留存差距缩小到 4 个百分点,后续修复降到 8%,解释检查有所改善。一位副总裁要求把生成行占比作为每个团队的目标。工程卓越负责人解释了这些发现,并提议继续追踪成果,补充说收益在一些任务中是真实的,在另一些中则不然,并且团队将决定在哪里使用这款工具。该决定被记录下来。
行业视角
初创企业。小团队可能从辅助中获益很多,也会快速积累隐藏的债务。从早期就追踪留存和返工,保持测试有意义,并确保将维护系统的人理解它。当心交付无人能解释的代码。
小型企业。辅助可以使一个很小的团队的能力得到延伸。在小样本上度量:辅助的工作以后需要修复的频率。保留备份、测试和对任何面向客户内容的人工评审,并保护所有者对其所依赖系统的理解。
大型企业。规模放大收益,也放大问题。提供关于打标签、评审限制和度量的共享指导,谨慎地跨团队比较而不排名,并投资于评审和测试容量。在流水线中包含对生成代码的安全和许可证评审(见主题 7.2,软件资产与许可证指标)。
政府与公共部门。公共系统寿命长、问责严格、出错后果严重。要求可追溯的人的责任、仔细的测试,以及对 AI 如何被使用的文档。在变更记录中记录辅助的工作,并评估对公平和安全的风险(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是工具和使用费、打标签和关联记录的工作量、评审和修复的时间、额外的测试,以及培训。比较研究需要时间,但相对于一个错误的扩大或禁止的决定,它是廉价的。
在辅助减少工作量而不降低质量之处,回报是真实的;在它把工作量转移到评审、返工和维护之处,回报就丢失了。用你自己的度量建立论证:到达已合并并留存的变更的时间、相对于对照的返工和逃逸缺陷、评审负荷,以及用户和员工的满意度。避免把已发布的生产率数字用作你的估计。记住隐藏的成本:理解的减少、技能的丧失和技术债务。对不确定性保持诚实(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 统计生成行数或被接受的建议数。它们奖励数量。度量留存下来的东西。
- 把容易任务上的辅助工作与困难任务上的非辅助工作比较。结果抬高或拉低工具。匹配任务。
- 让评审容量落后。质量悄悄下降。限制变更规模并保护评审者。
- 跳过下游度量。成本后来才出现。追踪返工、缺陷和稳定性。
- 把生成的测试当作质量。它们可以在没有检查任何东西的情况下通过。测试这些测试。
- 忽视技能。理解在不知不觉中消退。追踪无辅助信心并练习。
- 监视个人。它滋生恐惧并隐藏问题。让数据停留在团队层面。
- 基于短期的小研究宣告胜利。随着工具和实践的变化重新运行。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 度量留存下来的东西 | 产出计数 | 对质量的非正式印象 | 辅助工作被打标签;对照比较留存和返工 | 一并管理下游缺陷、稳定性和评审负荷 | 跨团队证据指导在哪里使用辅助;结果被广泛分享 |
| 评审与理解 | 评审一如既往 | 对超载的担忧 | 变更规模规范;抽样解释检查 | 规划评审容量;对抗自动化偏见 | 评审与理解内置于所有团队与 AI 共事的方式 |
| 人与技能 | 未予考虑 | 轶事 | 脉搏调查无辅助信心;一些练习 | 规划技能发展;管理趋势 | 在整个组织中保护学习与手艺;与员工共同设计 AI 的使用 |
检查清单
- 通过工具日志或轻量的约定,在团队层面给 AI 辅助的工作打标签。
- 定义规模、领域和风险相似的对照工作。
- 对辅助和对照工作追踪留存和合并后返工。
- 在任何速度度量旁边报告逃逸缺陷和变更失败率。
- 监控评审时间、轮数和变更规模,并设有规模规范。
- 作者能解释辅助的变更,每季度检查一个样本。
- 抽样检查生成测试的价值。
- 比较辅助支持的重开率、重复联系和满意度。
- 脉搏调查无辅助信心,并规划无辅助的练习。
- 个人的使用和接受数据不用于评价。
AI 提示词
规划辅助与非辅助变更的比较。
我们想为[团队和系统]比较 AI 辅助和非辅助的变更。我们的数据包括:[列出字段]。请提出如何在
不依赖作者记忆的情况下给辅助变更打标签、如何选择规模和风险相似的对照变更、要比较哪些度量
(留存、返工、评审负荷、缺陷)、期间,以及如何为发现加注意事项。不要陈述预期结果。列出你的
假设和对有效性的威胁。
设计解释检查。
请为[语言和领域]中抽样的 AI 辅助变更,设计一个简短而支持性的解释检查。包括如何抽样、评审者
问的问题、好的解释涵盖什么、如何在团队层面记录结果,以及如何在不给人打分的情况下把发现用于
学习。列出你的假设和该检查的风险。
评审下游度量。
这是我们[期间]的度量:速度[数值]、留存[数值]、返工[数值]、评审负荷[数值]、逃逸缺陷[数值],
分辅助和对照工作。请描述这个模式暗示了什么、没有暗示什么,哪些差异在正常变异之内,以及接下来
要检查什么。不要声称因果。列出你的假设,以及我应当补充的数据。
规划无辅助练习。
请为每天使用 AI 工具的团队,提出一个让核心技能保持鲜活的轻量项目:每月的无辅助练习、较新
成员与有经验成员之间的结对,以及设计讨论。建议如何把它纳入工作周而不增加压力,以及如何用
无辅助信心脉搏调查追踪其效果。列出你的假设和权衡。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项 AI 辅助工作度量配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查 AI 辅助工作指标是否度量留存下来的东西,并带有其操纵途径和护栏。
关键要点
- 度量留存下来的东西:相对于可比的非辅助工作的留存、返工、逃逸缺陷和稳定性。
- 保护评审容量并保持评审深入,因为它限制辅助工作能多快安全地流动。
- 检查作者能否解释自己所交付之物,并留意技能在增长还是消退。
- 抽样检查生成的测试和输出的真实价值。
- 把已发布的生产率主张读作单项研究,并度量你自己的工作。
- 让个人使用数据远离评价。
参考文献与延伸阅读
- Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Lines of code.
- Wikipedia, Code review.
- Wikipedia, Pull request.
- Wikipedia, Duplicate code.
- Wikipedia, Technical debt.
- Wikipedia, Cognitive offloading.
- Wikipedia, Deskilling.
- Wikipedia, Goodhart's law.
- Wikipedia, Software testing.
- Wikipedia, Regression testing.