概述与动因

许多组织如今在用户与服务台之间放置一个会话式助手,有些还赋予 AI 智能体行动的能力:重置密码、订购设备、重启服务、更改配置。聊天机器人是进行对话的软件应用,虚拟助手则增加了代表用户执行任务的能力。智能体这一更宽泛的概念,是指感知环境并朝着目标采取行动的系统。现代语言模型使这些系统在开放式对话上远比其基于规则的前辈强大,而第一个会话程序,即 1960 年代约瑟夫·魏泽鲍姆(Joseph Weizenbaum)的 ELIZA,早已显示出人们是多么容易把理解归于一台仅仅产生看似合理回复的机器。

吸引力显而易见。用户在任何时刻都能得到帮助,无需等待。团队在例行请求上花的时间更少。自助服务长期以来是 ITSM 的目标,而左移,即把解决移到更早、更廉价的环节,是服务台的核心思想(见主题 3.7,自助服务与自动化指标)。度量的问题在于,显而易见的数字奖励了错误的东西。结束一次对话的机器人,无论用户是得到了帮助还是放弃了,都算作"遏制"了它。从不提供真人的机器人使遏制最大化。自信地给出错误回答的机器人,造成一种悄无声息的失败,几天后以一次愤怒的联系浮现出来。

两种系统需要不同的度量。

  • 会话式助手回答问题、引导用户并收集信息。它们的风险是错误或无益的回答,以及把用户困在循环里。度量聚焦于解决、准确率和通往真人的路径。
  • 会行动的智能体改变世界上的事物:账户、系统、工单、资金。它们的风险是带有真实后果的错误行动。度量聚焦于行动的正确性、可逆性、权限边界和审计轨迹。这些用途要求更强的治理,并且常常要求对有后果的步骤进行人工批准(见主题 10.5,AI 治理与风险指标)。

几个设计问题塑造你要度量的东西。

  • 对用户正在与什么交谈保持诚实。许多司法辖区已有或正在制定义务,要求在人们与 AI 系统交互时告知他们,截至 2026 年 10 月这些规则仍在演变,所以要核对适用于你的规定。无论如何,良好的做法是明确说明。
  • 一条出路。用户必须能够毫不费力地接触到真人。隐藏通往真人之路的机器人是一种暗模式,即一种欺骗或困住用户、使其得到他们不会选择的结果的设计。
  • 无障碍。会话界面必须适用于使用辅助技术的人、语言能力有限的人,以及需要另一种语言或渠道的人。
  • 自动化决策。当助手的输出影响一个人的权利或获取服务的机会时,适用自动化决策这一主题及其相关义务。让这类决定留给人,或附以强有力的保障措施。

古德哈特定律的护栏在这里十分鲜明:如果遏制或分流是目标,满足它最廉价的办法就是让真人更难接触(见主题 1.2,古德哈特定律与指标心理学)。下面的度量把解决和用户成果放在首位。

关键原则

  • 度量的是解决,而不是遏制。结束了的对话不等于被解决的问题。
  • 验证,并检查是否回头。只有当用户确认、或没有回来时,才把一次联系算作已解决。
  • 始终提供通往真人的途径。使这条路径容易、快速且可见,并带着上下文传递过去。
  • 对系统保持诚实。说明它是 AI、它能做什么、不能做什么。
  • 限制智能体可以做的事。授予最小权限,对有后果的行动要求批准,并保留审计轨迹。
  • 通过抽样度量回答的质量。流畅的回复可能是错的。
  • 倾听用户,也倾听收拾残局的员工。他们看到了指标所遗漏的东西。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
经验证的解决率 用户确认问题已解决、或在规定期间内未回来的机器人对话占比 有确认的解决、或 7 天内无回头联系的对话数 / 以可解决意图开始的对话数 百分比 对话日志、用户确认、工单和联系数据 服务台;知识管理 对用户可工作的成果 每周
回头联系率 机器人结束的对话之后,通过任何渠道就同一问题再次联系的占比 7 天内有相关联系跟随的对话数 / 未经移交而结束的对话数 百分比 与工单和联系记录相联的对话日志 服务台;事件管理 逃逸缺陷 每周
移交上下文完整度 向真人的移交中,该人无需请用户重复就掌握了所需信息的占比 经接收座席判断为完整的抽样移交数 / 抽样的移交数 百分比 抽样的移交、座席反馈 服务台;知识管理 跨越边界的顺畅协作 每月
到达真人的时间 从用户要求真人、或机器人决定移交,到真人接手的时间 分钟数的中位数和第 85 百分位数 分钟 对话日志、队列数据 服务台;事件管理 用户需要帮助时的响应性 每周
回答准确率 经合格评审者判断为正确、完整且安全的机器人抽样回答占比 被判断为正确的回答数 / 抽样的回答数 百分比 抽样评审 知识管理;质量保证 回答的完成定义 每月
机器人满意度与费力程度 用户在对话之后对满意度和轻松程度的评分,附评论 好评数 / 评分数;平均费力评分 百分比;量表分 对话之后的简短调查 服务台;客户体验 对可工作软件的反馈 每周
智能体行动撤销率 AI 智能体所采取的行动中,必须被更正、撤销或升级的占比 被撤销或更正的行动数 / 采取的行动数,按行动类型和风险类别 百分比 行动审计日志、变更记录 变更赋能;事件管理 返工与回滚 每周

定义机器人处理的意图,并把它应当始终移交的意图排除在遏制之外。经验证的解决,仅当问题在范围之内、并且用户要么确认、要么没有回头联系时,才计入该对话。到达真人的时间从用户的请求开始,而不是从菜单结束开始。回答准确率,由一位没有构建机器人的人依据知识库和政策判断。智能体行动撤销按行动类型和风险类别拆分,任何有害的行动都作为事件另行报告。

建议

把成功定义为解决

1. 定义意图和你想要的成果。列出助手应当处理的问题,比如密码重置、访问状态、操作方法类问题,以及每一项的成果:已回答、已完成或已移交。决定哪些意图必须始终交给真人:投诉,任何涉及困扰、安全、法律权利或资金的事。试图处理一切的机器人,会在边缘处失败得很糟。

2. 度量经验证的解决和回头联系。在结束时询问用户其问题是否已解决,同时也查看之后的相关联系。两者单独都不够:放弃了的用户不会回答,有些得到帮助的人仍会打电话。合起来,它们近似真实的解决。把回头联系率视为任何遏制数字的关键护栏(见主题 3.1,服务台指标)。

3. 避免把遏制作为目标。仅把遏制作为描述性数字来报告,并始终放在经验证的解决、回头联系和满意度旁边。遏制上升而回头联系也上升,意味着机器人在拒人于门外。不要设定遏制目标,也不要把任何人的绩效与之挂钩。

使通往真人的路径容易且良好

4. 让用户在任何时刻都能接触到真人。提供一种清晰、平实的方式来请求真人,并兑现它。度量到达真人的时间,以及用户不止一次提出请求的对话占比。定期自己测试这条路径。在没有真人可用之处,说明何时会有,并提供回电。

5. 带着上下文移交。当机器人把对话交给真人时,包括摘要、尝试过什么、用户的原话以及相关的账户细节,使用户不必重复自己的话。请接收的座席评价移交是否完整,并抽样结果。糟糕的移交使用户对机器人和服务的信任都减少(见主题 9.3,协作与交接指标)。

6. 为所有用户设计。与使用辅助技术、用其他语言书写、匆忙或处于困扰中、以及不习惯技术的用户一起测试助手。提供其他渠道。在安全且合法之处,按用户群体度量经验证的解决和满意度。平均数隐藏了机器人最让其失望的人。

检查它所说和所做的质量

7. 抽样回答,检查准确性和安全性。每月随机抽取对话样本,让一位合格的人判断回答:正确、完整、安全,并对不确定性诚实。按类型记录错误:过时的、编造的、违反政策的或被误解的。把错误反馈给知识库和配置。为敏感话题,以及试图把助手推到其范围之外的尝试,增加有针对性的测试。

8. 保持知识的时效性。助手的好坏,取决于它所依赖的内容和工具。把回答错误与知识文章相联,并度量它所使用知识的新鲜度(见主题 3.6,知识管理指标)。在系统使用从知识库检索之处,包括检查它是否引用其来源,以及来源是否正确。

9. 对用户诚实。在开始时说明他们正在与 AI 交谈,以及它能做什么、不能做什么。不要给它一个暗示相反情形的人名或举止。在它不确定之处,应当说出来并提供真人。核对关于披露的适用法律。

治理会行动的智能体

10. 按风险对行动分类,并设置相应的权限。对智能体能够采取的每项行动,定义其风险类别:信息性的、可逆且影响低的,或有后果的。授予所需的最小权限。对有后果的行动要求人工批准。保留每项行动的审计轨迹,包括原因、用户和结果。这些控制与较早部分的变更和安全度量相联(见主题 8.1,安全事件与漏洞指标,以及主题 8.2,风险与控制指标)。

11. 度量行动的正确性和可逆性。按行动类型追踪撤销率,并把每一项有害的行动作为事件、以无责的方式评审。在授予访问权限之前,在安全的环境中测试智能体,并在模型或工具变化时重新测试。新的模型版本可能改变行为,所以把它视为需要控制的变更(见主题 4.3,变更赋能指标)。

12. 倾听收拾残局的人。服务台员工看到机器人失败的后果:愤怒的用户、重复的联系,以及要清理的烂摊子。定期问他们机器人做错了什么、什么让事情更难。他们的反馈和用户的评论是任何指标都无法完整捕获的证据,它应当塑造下一轮变更。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
经验证的解决率 把任何对话结束都算作已解决;提出引导性的确认问题 中立地定义确认;回头联系率;抽样对话
回头联系率 只通过一个渠道度量;窗口太短 联接所有渠道;用更长的窗口作为检查;抽样回头联系
移交上下文完整度 传递冗长的记录而不是摘要;抽样容易的移交 接收座席的评价;随机抽样;移交之后到解决的时间
到达真人的时间 在菜单之后才开始计时;把队列确认算作接手 时钟从请求开始;接手意味着有真人在对话中处于活动状态
回答准确率 抽样容易的对话;宽松的评审者 由独立评审者随机抽样;对抗性测试用例
机器人满意度与费力程度 只调查已完成的对话;把调查放在只有满意用户才能到达之处 也调查被放弃的对话;回复率和构成;阅读评论
智能体行动撤销率 不记录撤销;把更正重新分类为新工作 防篡改的审计日志;把撤销与行动相联;事件评审

健康的读数是:高的经验证的解决率配低的回头联系、通往真人的容易且快速的路径配完整的移交、抽样评审上准确的回答、跨群体满意的用户,以及其行动很少需要撤销、也从不在不被看到的情况下造成危害的智能体。

权衡:利弊

做法 优势 劣势
基于规则的机器人 可预测,易于测试 狭窄;脆弱;脚本之外令人沮丧
语言模型助手 灵活、流畅 可能自信地出错;更难测试
从经批准的知识中检索 有依据的回答,更易更正 依赖内容质量
开放式生成 覆盖广 编造的风险更高
对行动的人工批准 安全 较慢;评审者疲劳
自主行动 速度 出错时影响面更大
严格范围并及早移交 安全 遏制较低
宽泛范围 遏制较高 边缘处错误更多

文字化的答案是,从狭窄、被充分理解的意图开始,把回答建立在经批准的知识之上,使真人帮助变得容易,并且仅在度量足以证明时才扩大范围和自主性。

与团队讨论的问题

1. 如果用户现在想要一个真人,需要几步?我们自己试过吗? 一起测试这条路径。数一数步骤和等待。主持人应记下每一个障碍。约定改变,使路径变短,并度量到达真人的时间。

2. 我们的机器人结束的对话中,实际解决了问题的占多少? 对一个样本检查回头联系和确认。与遏制数字比较。讨论差距。决定领导者应当看到哪个数字。

3. 我们的机器人做错了什么?谁发现了? 询问服务台。评审抽样的对话。寻找模式:过时的文章、含糊的问题、敏感话题。约定一条从错误到修复的路径,附负责人。

4. 智能体可以自行采取哪些行动,哪些需要真人? 列出行动及其风险类别和权限。问每一项最坏的现实失败会是什么。约定批准规则和审计轨迹,以及由谁评审有害的案例。

5. 机器人在悄悄辜负谁? 想想匆忙的、处于困扰中的、有无障碍需求的或语言有限的用户。在安全之处,按群体查看解决和满意度。约定与这类用户进行一次测试。

6. 什么会让我们关掉机器人或收窄它的范围? 定义证据:回头联系高于某个水平、有害的行动、准确率低于某个标准。决定由谁来决定。事先有一条停止规则,会使采取行动更容易。

四种视角

产品与交付团队

构建助手的团队拥有它的质量。他们应当定义意图,把回答建立在经批准的知识之上,用对抗性案例测试,在控制之下发布变更,并阅读失败。他们应当抵制奖励困住用户的遏制目标。

服务与运维团队

服务台员工与助手共事,并继承它的失败。他们应当评价移交,标记错误回答,保持知识的时效性,并在被要求时迅速接手。他们是助手是否帮到用户的最佳裁判,他们的工作量和压力也是全局的一部分。

领导层与治理

领导者发起助手,并想要节省。他们应当在遏制之外要求经验证的解决、回头联系和满意度,要求有停止规则,为真人路径出资,并评审智能体的风险类别。治理应当检查披露、无障碍和法律义务。

客户与用户

用户想要毫不费力、没有花招的帮助。他们应当知道自己在与 AI 交谈,能够轻松接触到真人,并相信系统不会无缘无故地行动。他们的体验,尤其是失败的体验,是助手是否值得拥有的主要证据。

实践:一个敏捷 ITIL 示例

一所国立大学运行学生与员工服务台,每月处理约 30,000 次联系。它为常见请求推出一个聊天机器人,供应商仪表板报告遏制率为 74%。以下数字是示意数字。

学生服务负责人进行了核查。在上个月机器人结束的对话中,29% 在七天内被通过电子邮件或电话的相关联系所跟随。使用用户的确认和没有回头联系来计算,范围内意图的经验证的解决率为 49%。要求真人之后到达真人的时间中位数为 6 分钟,第 85 百分位数为 22 分钟,部分原因是这条路径需要三步菜单。由两位有经验的顾问评审的 100 次对话样本发现,88 个回答正确,12 个有缺陷:7 个过时,3 个编造了关于截止日期的细节,2 个错误处理了涉及困难学生的敏感案例。接收的座席评价 54% 的移交是完整的。使用屏幕阅读器的学生,以及用英语以外语言书写的学生,对机器人的满意度较低。服务台团队报告说,许多联系是以"聊天机器人帮不上忙"开头的。

学生服务负责人与团队一起作出改变。敏感意图,如福利、投诉和学费争议,被直接转给真人,机器人也这样说明。每个屏幕上都出现"与真人交谈"选项,并追踪到达真人的时间,目标是在有人值守的时段内几分钟内应答。移交包括自动摘要和用户自己的话。知识库负责人修复过时的文章,每月一次的抽样评审为他们提供输入。助手被限制为从经批准的内容中回答,并被要求在不知道时说明。第二个试点让一个智能体在身份验证之后重置密码,每项行动都被记录,并在一个时限内可撤销,同时追踪撤销率。仪表板用经验证的解决、回头联系率、准确率、到达真人的时间和按群体的满意度取代了遏制。

三个月后,范围内意图的经验证的解决率达到 66%,回头联系率降到 14%,到达真人的时间中位数降到 2 分钟,完整移交的占比升到 86%,抽样回答的准确率升到 95%,样本中没有被错误处理的敏感案例。密码试点中智能体行动撤销率为 1.2%。副校长办公室要求设定 85% 的遏制目标。学生服务负责人解释说,更高的遏制目标会奖励隐藏通往真人的路径,并提议以经验证的解决和回头联系作为度量,同时评审接下来扩展什么。该决定被记录下来。

行业视角

初创企业。助手能以低成本覆盖支持,而一个糟糕的回答可能让你失去一位客户。保持狭窄的范围,把回答建立在你的文档之上,使真人选项显而易见,并阅读每一次升级。对让智能体对账户或支付采取行动要小心。

小型企业。网站上现成的助手能处理常见问题。像客户那样测试它,确保电话号码或电子邮件容易找到,并每周评审对话。核对供应商如何处理数据。

大型企业。规模既带来节省,也带来风险。针对风险类别、批准和审计运行治理流程,按意图和用户群体度量,并确保在每个渠道都能接触到真人。在支持、安全、法务和无障碍之间协调。

政府与公共部门。公民可能没有替代的提供者,无障碍、语言可及和公平对待的义务强烈适用。保持真人可达,避免在没有保障措施的情况下对权益作自动化决定,公布助手如何被使用,并核对披露和行政法义务(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本是许可证或使用费、集成、内容准备、持续的抽样和评审、知识库的维护、测试和治理。良好的真人路径也要花钱,因为它必须有人值守。

潜在的回报是简单问题更短的等待、重复联系的减轻,以及非工作时间的覆盖。风险一面包括回头联系、信任的丧失、错误回答或行动带来的危害,以及法律风险。用你自己的数字建立论证:经验证的解决和回头联系、包括移交在内的每次已解决联系的成本、员工用于修复机器人失败的时间,以及按群体的满意度。避免把供应商的遏制或分流主张用作你的估计。计入真人路径和治理的成本(见主题 7.7,投资回报与商业论证)。

反模式与陷阱

  • 把遏制作为目标。它奖励把人们挡在帮助之外。报告经验证的解决和回头联系。
  • 隐藏或缓慢的通往真人之路。这是一种暗模式,用户会注意到。使之简短并加以测试。
  • 不带上下文地移交。用户重复自己的话,信任下降。传递摘要。
  • 让机器人处理敏感案例。福利、投诉和权利需要真人。直接转给他们。
  • 没有审计或批准的自主行动。一个错误可能被放大。分类、限制并记录。
  • 只度量供应商仪表板所显示的东西。它讨好你。联接你自己的数据。
  • 忽视机器人辜负的群体。平均数隐藏了他们。在安全之处测试并分段。
  • 没有停止规则。失败的机器人继续在线。定义会收窄它或关掉它的证据。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
成果 报告遏制 调查满意度 按意图追踪经验证的解决和回头联系 按用户群体分段;定义停止规则;每月抽样准确率 助手、员工和知识利用共享证据共同改进
通往真人的路径 难以找到 有该选项 路径简短;追踪到达真人的时间;移交带着上下文 评价并改进移交质量;人员配置与需求匹配 机器人与员工跨渠道顺畅协作,尊重用户的选择
会行动的智能体 临时的自动化 脚本化的行动 按风险分类的行动、最小权限、批准和审计 评审撤销率和危害;控制变更 跨组织和供应商治理智能体的行为,附独立保证

检查清单

  • 列出助手的意图,包括必须始终交给真人的那些。
  • 在遏制旁边报告经验证的解决和回头联系率。
  • 每个屏幕上都有一条可见、简短的通往真人的路径,并度量到达真人的时间。
  • 移交包括摘要和用户的原话,并由接收座席评价。
  • 回答每月由合格、独立的评审者抽样。
  • 告知用户他们正在与 AI 交谈,以及它能做什么。
  • 与真实用户一起进行无障碍和其他语言的测试。
  • 智能体行动按风险分类、按最小权限授权,并记入审计日志。
  • 以无责的方式评审撤销率和有害行动。
  • 一条停止规则定义何时收窄或关闭助手。

AI 提示词

定义意图和移交规则。

我们为[组织类型]运行服务台。最常见的联系原因是:[列表,附数量]。请提出聊天机器人应当
完全处理哪些意图、只应协助然后移交哪些意图、必须始终交给真人哪些意图,并附理由。包括要
一并传递的移交信息。不要编造统计数字。列出你的假设,以及敏感案例的风险。

检查一项遏制的主张。

我们的聊天机器人仪表板显示遏制率为[数值]。我们还有:七天内的回头联系[数值]、调查结果
[数值],以及一个对话样本[描述]。请解释经验证的解决可能是什么、如何用我们的数据计算它、
遏制与解决之间的差距暗示了什么,以及接下来要检查什么。不要声称数据无法支持的原因。列出
你的假设。

为智能体行动设计风险分类。

AI 智能体可能采取这些行动:[列表]。请对每一项提出风险类别(信息性、可逆低影响、有后果)、
它应当需要的权限、是否必须由真人批准、要记录什么、如何撤销它,以及启用之前要运行的测试。
不要假定具体的工具。列出你的假设,以及需要安全和法务输入的决定。

规划对机器人对话的评审。

请设计一个每月的机器人对话评审:样本量和选择(包括一些被放弃的对话,以及一些来自服务
可能不佳的用户群体的对话)、评审者资格、关于正确性、安全性和对不确定性诚实的简短评分标准、
如何记录错误并修复其来源,以及如何在不识别用户的情况下报告。列出你的假设和隐私注意事项。

AI 技能

关键要点

  • 度量经验证的解决和回头联系,并仅把遏制视为描述性数字。
  • 使通往真人的路径简短而可见,并带着上下文移交。
  • 抽样回答检查准确性和安全性,并保持助手所用知识的时效性。
  • 诚实告知用户他们正在与 AI 交谈,并与最可能被辜负的用户一起测试。
  • 对会行动的智能体,分类风险、限制权限、对有后果的行动要求批准,并保留审计轨迹。
  • 事先定义一条停止规则。

参考文献与延伸阅读

  1. Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
  2. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  3. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  4. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Chatbot.
  8. Wikipedia, Virtual assistant.
  9. Wikipedia, Intelligent agent.
  10. Wikipedia, Self-service.
  11. Wikipedia, Dark pattern.
  12. Wikipedia, Automated decision-making.
  13. Wikipedia, Goodhart's law.