概述与动因

一旦团队每天都使用 AI 工具,核心问题就从"我们该不该用"变成"我们得到了什么"。上一个主题阐述了基础:基线、比较和完整成本(见主题 10.1,服务管理中的 AI 度量)。本主题进入工作本身。你如何判断 AI 辅助的代码、工单、文档和决定,与它们所取代的工作相比是同样好、更好还是更差,以及做这项工作的人会怎样?

AI 辅助触及许多种工作。在软件交付中,工具建议或生成代码、测试、提交信息和评审意见。在服务运维中,它们对事件作摘要、提出原因、起草回复并撰写知识文章。在分析中,它们产生报告和查询。共同的特点是,产出一个看似合理的初稿变得廉价。成本转移到了别处:阅读和判断输出、修复错误之处、维护所生成之物,以及学到足以分辨差别的知识。

有几种效应使度量变得棘手。

  • 产出计数会误导。代码行数向来是衡量生产率的糟糕度量,而生成的代码使之更糟。更多的代码意味着更多要阅读、测试和维护的东西。生成行数、被接受的建议数或草稿数,几乎说明不了价值。
  • 评审成为瓶颈。代码评审以及对其他生成工作的评审需要时间,而更大、更频繁的变更之流可能使评审者超载。大型拉取请求更难好好评审,超载的评审者更可能批准自己没有理解的东西。较早的评审和流动度量仍然至关重要(见主题 2.7,拉取请求与代码评审指标)。
  • 质量问题来得晚。生成的代码今天可能通过测试,却带着重复代码、不清晰的结构或隐藏的缺陷,它们以维护成本的形式浮现,这是技术债务的一种形式。创建那一刻所作的度量会漏掉它。要看工作之后发生了什么。
  • 技能可能改变。对过去自己做的任务依赖工具,是认知卸载的一种形式,它可以为更难的问题腾出注意力,也可能在底层理解消退时导致技能退化。两者都有可能,结果取决于工具如何使用。这对相关的人以及团队处理工具无法应对之情形的能力都很重要。

关于 AI 辅助对生产率之影响的证据仍在发展,并随任务、用户的经验、工具和环境而变。一些关于编码任务的对照研究发现,在定义明确的任务上完成得更快;另一些研究和报告则发现,对在自己熟悉的复杂系统上工作的有经验的人,收益较小或没有,或带来额外成本。本书不提供数字。团队负责任的立场是,以基线和比较度量自己的工作,并把任何已发布的数字视为特定背景下的一项研究。

古德哈特定律的护栏在这里尤其重要,因为展示收益的压力很强,而容易得到的数字正是误导性的数字。下面的度量追踪的是什么留存下来,而不是产出了什么(见主题 1.2,古德哈特定律与指标心理学)。

关键原则

  • 度量留存下来的东西。留存、返工和逃逸缺陷,说明的比产出更多。
  • 留意评审。AI 辅助工作的流动,受限于人们阅读它的能力。
  • 同类相比。辅助和非辅助的工作,在种类和难度上必须相似。
  • 既看现在,也看以后。质量问题和维护成本在创建数周或数月之后才出现。
  • 让理解留在回路里。交付该工作的人必须能够解释它。
  • 保护技能和学习。留意人们没有工具时仍能做什么。
  • 汇总;不要监视个人。关于谁使用 AI 及如何使用的数据,用于改进流程,而不是给人排名。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
留存率 在规定期间之后基本保持不变的 AI 辅助变更占比 30 天后被修改或回退的比例低于设定值的 AI 辅助变更数 / 30 天前合并的 AI 辅助变更数 百分比 与辅助标签相联的版本控制历史,在团队层面 发布与部署管理;变更赋能 站得住的工作;低返工 每月
合并后返工 在短期内需要后续修复的变更占比,分辅助和对照变更 14 天内有关联的后续修复的变更数 / 合并的变更数,按组 百分比 版本控制、问题跟踪器、变更记录 变更赋能;问题管理 逃逸缺陷;返工 每月
评审负荷 每项变更的评审者工作量,分辅助和对照变更 每项变更的评审时间和评审轮数的中位数和第 85 百分位数,按组 小时;轮 评审工具时间戳,按团队汇总 发布与部署管理 评审作为反馈与学习 每月
逃逸缺陷率 每项变更在生产环境中发现的缺陷,分辅助和对照变更 发布后发现并归因于某项变更的缺陷数 / 发布的变更数,按组 每变更缺陷数 与变更相联的缺陷跟踪器 事件管理;问题管理 所发布之物的质量 每季度
解释检查通过率 其作者能在评审中解释做法及其权衡的、抽样的 AI 辅助变更占比 作者向评审者解释到其满意的抽样变更数 / 抽样的变更数 百分比 抽样的评审笔记 知识管理;变更赋能 对代码的共同理解 每季度
辅助支持质量 AI 辅助的支持回复与非辅助回复相比的重开率和用户满意度 重开的辅助工单数 / 辅助工单数,以及好评数 / 评分数,按组 百分比 ITSM 工具、调查 服务台;事件管理 服务成果的质量 每月
无辅助信心评分 团队对不用工具完成关键任务之信心的评分 按团队,在约定量表上的平均评分和离散度 量表分 匿名团队脉搏调查 劳动力与人才管理;知识管理 团队能力与学习 每季度

在团队层面,通过工具日志或轻量的约定可靠地给 AI 辅助打标签,并说明如何选择对照变更:在规模、领域和风险上相似。留存度量的是实质性变化,阈值设在登记册中。合并后返工依据规定的规则,把后续修复与原变更相联。评审负荷是评审者的工作量,而不是作者的,并且只包括可度量之处的主动评审时间。绝不报告个人层面的数据。解释检查的样本随机选取,检查是一次支持学习的交谈,而不是对某个人的测验。

建议

在工作创建之后追踪它

1. 追踪辅助工作随时间的变化。对代码,在合并后追踪变更数周:它们是留下来、被修复,还是被回退?对支持,在回复之后追踪工单:它们是否被重开,或被重复联系跟随?对文档,查看它们是被使用、被更正,还是被忽略。留存和返工是简单而难以伪造的质量信号。

2. 与类似的非辅助工作比较。从同一期间选取规模、风险和领域相似的对照工作。难度很重要:人们可能把 AI 用于容易的任务,这会抬高工具的表现,或用于困难的任务,这会拉低它。说明任务是如何变成辅助的,并据此调整或加注意事项。一个小而诚实的比较,胜过一个大而混淆的比较(见主题 6.5,价值实现与业务成果)。

3. 把下游度量放入标准集。任何速度度量都要与变更失败率、逃逸缺陷和已在使用的稳定性度量配对(见主题 2.8,DORA 指标)。速度提高而稳定性下降,是把成本转嫁给运维和用户。把这一对放在一起报告。

让评审保持有意义

4. 留意评审负荷和规模。度量辅助和非辅助工作的评审时间、评审轮数和变更规模。如果辅助的变更更大或更多,评审者可能已超载。为变更规模设定规范,并限制可以进入一次评审的生成材料的数量。评审容量是系统容量的一部分(见主题 2.3,在制品与排队)。

5. 请作者解释。养成习惯,让变更的作者能解释它做什么、为什么用这种做法,以及权衡是什么。在评审中进行一次简短而支持性的交谈就够了。每季度抽样做解释检查,看理解是否跟得上产出。当作者无法解释时,把它视为放慢并学习的信号,而不是这个人的失败。

6. 防范自动化偏见。鼓励评审者像阅读任何其他工作一样批判地阅读辅助的工作。轮换评审者,偶尔在测试变更中植入已知问题以检验检测能力,并让独立评审者对输出的抽样持续进行。很高的接受率伴随上升的返工,是一个警告(见主题 10.1,服务管理中的 AI 度量)。

照看质量和维护

7. 监控代码和系统的结构。在辅助较多的领域,追踪重复、复杂度、测试覆盖率和变更速率。使用你已有的关于软件测试和代码健康的度量,并查看趋势。上升的重复或下降的测试有效性,可能表明生成的代码在没有融入设计的情况下被接受。回归测试的覆盖是一张安全网,当变更数量上升时,它的强度更加重要。

8. 谨慎对待生成的测试。AI 能快速写出许多测试,而测试可能在没有检查任何有意义之物的情况下通过。抽样检查生成的测试的价值,并用诸如"故意破坏行为时测试是否失败"之类的方法度量测试有效性。不要把写出的测试数量当作质量度量。

9. 留意辅助支持的质量。对服务台和运维,度量辅助与非辅助回复的重开率、重复联系、满意度和抽样回复的准确率。让用户再回头的更快回复,总体上更慢。阅读用户对辅助回复的评论,并查看在重要之处用户是否知道自己正在与 AI 打交道(见主题 6.1,客户满意度指标)。

保护人和技能

10. 留意人们仍能做什么。询问团队在没有工具的情况下完成关键任务有多大信心,并追踪趋势。利用偶尔的无辅助练习、结对和对底层设计的评审,让技能保持鲜活。尤其要保护较新团队成员的学习,他们可能在建立起有经验的同事用来判断工具的心智模型之前,就已使用工具(见主题 9.4,技能与学习指标)。

11. 让关于人的数据远离评价。汇总到团队层面。不要报告哪些个人最多使用 AI,也不要在绩效评审中使用使用量、接受率或生成数量。让规则为人所知。诚实报告什么有效、什么无效,需要信任。

12. 定期重新审视。工具、模型和实践在几个月内就会变化。当工具或工作方式变化时,重新运行比较。分享发现,包括某款工具在这里没有帮助,并让不再配得上其位置的使用退役。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
留存率 为了保持数字而避免必要的变更;只把成功的变更标记为辅助 按工具日志而不是作者选择来打标签;与逃逸缺陷和返工配对
合并后返工 在另一张工单或未关联的新变更中修复;把修复推迟到窗口之外 登记册中的关联规则;查看更长的窗口;生产缺陷
评审负荷 仓促的评审降低度量的时间;没有评论的批准 评审深度抽样;逃逸缺陷;评审者调查
逃逸缺陷率 不把缺陷归因于变更;把缺陷重新分类为增强 归因规则;对缺陷分类的独立抽样
解释检查通过率 作者为检查排练;宽松的评审者 随机、不预先通知的抽样;轮换评审者;聚焦设计理由
辅助支持质量 只辅助容易的工单;辅导用户给高分 按类型和难度匹配工单;回复率和构成;阅读评论
无辅助信心评分 夸大评分以避免审视;压低评分以争取更多工具 匿名;与演练中观察到的实践比较;阅读评论

健康的读数是:与非辅助工作一样经常留在原位的辅助工作、与对照相当或更好的返工和逃逸缺陷、仍然深入的评审、能解释自己所交付之物的作者、不会回头的辅助支持,以及对自己的技能保持信心的团队。

权衡:利弊

做法 优势 劣势
度量产出数量 容易 奖励数量;对价值什么也没说
度量留存和返工 反映随时间的质量 滞后;需要关联记录
受控比较 可信 需要工作量;可能不切实际
观察性比较 廉价 被任务选择混淆
强制的解释检查 维持理解 可能感觉像测验;增加工作量
轻量的抽样检查 负担低 可能漏掉模式
对 AI 使用的严格限制 控制风险 失去收益;影子使用
开放使用并度量 学习和收益 需要信任和纪律

文字化的答案是,在清晰规则之内允许使用,度量留存下来的东西,为理解而抽样,保护评审容量和技能,并让关于人的数据远离评价。

与团队讨论的问题

1. 上个季度 AI 帮助我们产出的东西,有多少仍然原封不动地在原位?我们怎么知道? 把辅助变更的留存和返工,与一个可比的集合比较。主持人应记录回答它有多困难。约定如何标记和关联记录,使下个季度的回答变得容易。

2. 评审跟得上吗?跟不上时会发生什么? 查看评审时间、轮数和规模。问评审者对辅助的变更感觉如何。讨论规模的限制和分担负荷的办法。约定一条要试的规范。

3. 我们每个人能解释自己上一次在 AI 帮助下交付的变更及其权衡吗? 两人一组试一试。注意解释在哪里容易、在哪里困难。讨论这告诉我们关于我们使用工具的什么,以及如何保持理解。

4. 没有工具时我们还能做好什么?我们正在失去哪些窍门? 列出关键任务,诚实地评估信心,并计划一些无辅助的练习或结对。这场交谈也会浮现人们在工作中看重并想保留的东西。

5. AI 在哪里帮我们最多、最少?这些地方有什么共同点? 比较例子。寻找诸如定义明确的任务、良好的测试或熟悉的领域等特征。利用这些发现指导在哪里使用工具。

6. 如果我们不信任第一印象,我们会度量什么? 请小组说出会让他们对这款工具改变看法的证据,无论朝哪个方向。利用这些答案定义下一次比较。

四种视角

产品与交付团队

交付团队拥有日常体验和质量成果。他们应当给辅助工作打标签,留意留存和返工,让评审保持有意义,并维持自己的理解。当生成变更的数量超出他们评审的能力时,他们应当发声。

服务与运维团队

运维团队把 AI 用于摘要、诊断和回复,并继承漏过的质量问题。他们应当抽样输出,比较重开率和重复联系率,并对生产环境中的行动保持清晰的人的责任。他们应当帮助界定 AI 在哪些地方没有真人就不得行动。

领导层与治理

领导者面临展示收益的压力,可能被使用量和产出指标所诱惑。他们应当坚持在速度之外还要有留存、返工和稳定性度量,为评审容量出资,保护技能发展,并抵制给人排名。治理应当期望 AI 收益报告中有比较和注意事项。

客户与用户

用户收到结果:运行其服务的代码、对其请求的回复、他们所依赖的文档。当质量保持时他们受益,当质量下降时他们受损。他们应当能够接触到真人,他们对辅助交互的反馈是质量的关键证据。

实践:一个敏捷 ITIL 示例

一家欧洲航空公司的数字小组有六个产品团队,构建并运行预订和运营软件。团队一年前开始使用 AI 编码助手,小组的仪表板报告 38% 的合并行是 AI 生成的。以下数字是示意数字。

工程卓越负责人对那块仪表板感到不安。她请三个团队通过工具日志、仅在团队层面给辅助变更打标签,并选取规模和领域相似的对照变更。在一个季度里,辅助变更从首次提交到合并的时间中位数更短,为 1.4 天,对照为 2.0 天。辅助变更 30 天后的留存率为 81%,对照变更为 90%;12% 的辅助变更在 14 天内需要后续修复,而对照为 7%。评审负荷讲述同样的故事:辅助变更每项的评审时间中位数高出 35%,变更规模的第 85 百分位数也在增长。辅助变更每 100 项的逃逸缺陷略高,不过样本很小,差异在正常变异之内。对 40 项辅助变更的抽样显示,其中 31 项作者能很好地解释做法及其权衡,6 项只能部分解释,3 项完全不能,大多在作者不熟悉的代码领域。在服务台,辅助回复的重开率为 7%,非辅助的为 6%,满意度相近。在一次团队脉搏调查中,较新的工程师对不用工具实现核心功能的信心评分为 2.6 分(满分 5 分),而在小组中工作超过三年的工程师为 4.1 分。

工程卓越负责人把结果带给团队,并不给他们排名。团队约定四项改变。变更规模的限制和评审轮值保护评审者。作者在评审中简要解释辅助的变更。较新的工程师在核心功能上与有经验的工程师结对,每月一次的无辅助练习让技能保持实践。仪表板去掉生成行的占比,展示留存、返工、评审负荷和逃逸缺陷,辅助对照比较。三个月后,留存差距缩小到 4 个百分点,后续修复降到 8%,解释检查有所改善。一位副总裁要求把生成行占比作为每个团队的目标。工程卓越负责人解释了这些发现,并提议继续追踪成果,补充说收益在一些任务中是真实的,在另一些中则不然,并且团队将决定在哪里使用这款工具。该决定被记录下来。

行业视角

初创企业。小团队可能从辅助中获益很多,也会快速积累隐藏的债务。从早期就追踪留存和返工,保持测试有意义,并确保将维护系统的人理解它。当心交付无人能解释的代码。

小型企业。辅助可以使一个很小的团队的能力得到延伸。在小样本上度量:辅助的工作以后需要修复的频率。保留备份、测试和对任何面向客户内容的人工评审,并保护所有者对其所依赖系统的理解。

大型企业。规模放大收益,也放大问题。提供关于打标签、评审限制和度量的共享指导,谨慎地跨团队比较而不排名,并投资于评审和测试容量。在流水线中包含对生成代码的安全和许可证评审(见主题 7.2,软件资产与许可证指标)。

政府与公共部门。公共系统寿命长、问责严格、出错后果严重。要求可追溯的人的责任、仔细的测试,以及对 AI 如何被使用的文档。在变更记录中记录辅助的工作,并评估对公平和安全的风险(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本是工具和使用费、打标签和关联记录的工作量、评审和修复的时间、额外的测试,以及培训。比较研究需要时间,但相对于一个错误的扩大或禁止的决定,它是廉价的。

在辅助减少工作量而不降低质量之处,回报是真实的;在它把工作量转移到评审、返工和维护之处,回报就丢失了。用你自己的度量建立论证:到达已合并并留存的变更的时间、相对于对照的返工和逃逸缺陷、评审负荷,以及用户和员工的满意度。避免把已发布的生产率数字用作你的估计。记住隐藏的成本:理解的减少、技能的丧失和技术债务。对不确定性保持诚实(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 统计生成行数或被接受的建议数。它们奖励数量。度量留存下来的东西。
  • 把容易任务上的辅助工作与困难任务上的非辅助工作比较。结果抬高或拉低工具。匹配任务。
  • 让评审容量落后。质量悄悄下降。限制变更规模并保护评审者。
  • 跳过下游度量。成本后来才出现。追踪返工、缺陷和稳定性。
  • 把生成的测试当作质量。它们可以在没有检查任何东西的情况下通过。测试这些测试。
  • 忽视技能。理解在不知不觉中消退。追踪无辅助信心并练习。
  • 监视个人。它滋生恐惧并隐藏问题。让数据停留在团队层面。
  • 基于短期的小研究宣告胜利。随着工具和实践的变化重新运行。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
度量留存下来的东西 产出计数 对质量的非正式印象 辅助工作被打标签;对照比较留存和返工 一并管理下游缺陷、稳定性和评审负荷 跨团队证据指导在哪里使用辅助;结果被广泛分享
评审与理解 评审一如既往 对超载的担忧 变更规模规范;抽样解释检查 规划评审容量;对抗自动化偏见 评审与理解内置于所有团队与 AI 共事的方式
人与技能 未予考虑 轶事 脉搏调查无辅助信心;一些练习 规划技能发展;管理趋势 在整个组织中保护学习与手艺;与员工共同设计 AI 的使用

检查清单

  • 通过工具日志或轻量的约定,在团队层面给 AI 辅助的工作打标签。
  • 定义规模、领域和风险相似的对照工作。
  • 对辅助和对照工作追踪留存和合并后返工。
  • 在任何速度度量旁边报告逃逸缺陷和变更失败率。
  • 监控评审时间、轮数和变更规模,并设有规模规范。
  • 作者能解释辅助的变更,每季度检查一个样本。
  • 抽样检查生成测试的价值。
  • 比较辅助支持的重开率、重复联系和满意度。
  • 脉搏调查无辅助信心,并规划无辅助的练习。
  • 个人的使用和接受数据不用于评价。

AI 提示词

规划辅助与非辅助变更的比较。

我们想为[团队和系统]比较 AI 辅助和非辅助的变更。我们的数据包括:[列出字段]。请提出如何在
不依赖作者记忆的情况下给辅助变更打标签、如何选择规模和风险相似的对照变更、要比较哪些度量
(留存、返工、评审负荷、缺陷)、期间,以及如何为发现加注意事项。不要陈述预期结果。列出你的
假设和对有效性的威胁。

设计解释检查。

请为[语言和领域]中抽样的 AI 辅助变更,设计一个简短而支持性的解释检查。包括如何抽样、评审者
问的问题、好的解释涵盖什么、如何在团队层面记录结果,以及如何在不给人打分的情况下把发现用于
学习。列出你的假设和该检查的风险。

评审下游度量。

这是我们[期间]的度量:速度[数值]、留存[数值]、返工[数值]、评审负荷[数值]、逃逸缺陷[数值],
分辅助和对照工作。请描述这个模式暗示了什么、没有暗示什么,哪些差异在正常变异之内,以及接下来
要检查什么。不要声称因果。列出你的假设,以及我应当补充的数据。

规划无辅助练习。

请为每天使用 AI 工具的团队,提出一个让核心技能保持鲜活的轻量项目:每月的无辅助练习、较新
成员与有经验成员之间的结对,以及设计讨论。建议如何把它纳入工作周而不增加压力,以及如何用
无辅助信心脉搏调查追踪其效果。列出你的假设和权衡。

AI 技能

关键要点

  • 度量留存下来的东西:相对于可比的非辅助工作的留存、返工、逃逸缺陷和稳定性。
  • 保护评审容量并保持评审深入,因为它限制辅助工作能多快安全地流动。
  • 检查作者能否解释自己所交付之物,并留意技能在增长还是消退。
  • 抽样检查生成的测试和输出的真实价值。
  • 把已发布的生产率主张读作单项研究,并度量你自己的工作。
  • 让个人使用数据远离评价。

参考文献与延伸阅读

  1. Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
  4. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Lines of code.
  8. Wikipedia, Code review.
  9. Wikipedia, Pull request.
  10. Wikipedia, Duplicate code.
  11. Wikipedia, Technical debt.
  12. Wikipedia, Cognitive offloading.
  13. Wikipedia, Deskilling.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Software testing.
  16. Wikipedia, Regression testing.