概述与动因

服务级别协议(SLA)记录提供方承诺交付什么,通常以提供方可以计数的术语表达:可用性、响应时间、解决时间。这些度量有用,但也不完整。团队可以达到仪表板上的每个目标,而用户却整周都在绕开缓慢的登录、向服务台重复自己的话,以及等待批准。这种绿色报告与不满意用户之间的缺口,有时被称为西瓜效应:外面是绿色,里面是红色(见主题 5.1,SLA、OLA 与 XLA 指标)。

体验级别协议(XLA)是提供方与使用服务的人之间关于服务应当给予何种体验的协议。它陈述期望的成果和感受,比如"我到达之后几分钟内就能开始工作"或"我相信我的请求会得到处理",并指明将显示它们是否被满足的度量。这个术语在 IT 服务管理(ITSM)社区中被使用,其确切定义因作者和厂商而异。在把 XLA 描述为 ITIL 的一部分之前,请核对框架所有者的现行出版物,并说明你遵循哪种用法。本主题把 XLA 当作一个实用的思想:一份把体验度量放在运营度量旁边的协议。

这个思想的根源在 IT 之外。用户体验是一个人使用某种产品、系统或服务的整体体验,客户体验是客户随时间与一个组织的所有互动的总和。可用性(usability)关乎人们能多有效、多高效、多满意地达成目标。敏捷团队从设计思维和用户研究,以及用户对可工作软件作出反应的利益相关方评审中,熟悉这片领域。XLA 把同样的关注带给运行时的服务。

体验难以度量,也容易被扭曲。只触达满意用户的调查、被调高以求上升的情绪分数,或没人能解释的单一"体验指数",与被操纵的工单时间一样肯定地会误导。古德哈特定律的护栏完全适用:体验度量是话题的起点,不是配额(见主题 1.2,古德哈特定律与指标心理学)。

本主题建立在上一个主题的调查度量之上(见主题 6.1,客户满意度指标),并增加不依赖于询问的行为度量和基于旅程的度量。

关键原则

  • 从人们关心的成果开始。问用户美好的一天是什么样子,并用他们的话撰写协议。
  • 把体验与运营配对。XLA 与 SLA 并列,不是取代它。
  • 从不同角度使用少量度量。把人们所说的、所做的和系统所记录的结合起来。
  • 既度量旅程,也度量接触点。体验是从需求到成果的整条路径。
  • 对不确定性保持诚实。体验数据有噪声,小群体需要保护。
  • 与用户约定目标,并修订它。XLA 是一份鲜活的协议,与它所描述的人一起评审。
  • 绝不用体验数据给个人排名。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
体验分数 针对某项服务和受众,对约定体验陈述的平均评分 在固定量表上,对一条陈述的有效回答的平均评分 量表点数 按日程发送的简短脉搏调查 服务级别管理;持续改进 利益相关方评审反馈;产品成果评审 每月
情绪趋势 针对某项服务,自由文本评论中语气的方向 每个期间被编码为正面的评论占比 减去 被编码为负面的占比 百分点 已编码的调查评论和工单评论 持续改进 回顾会议的主题 每月
每用户摩擦事件 表明用户遇到麻烦的信号计数,按活跃用户归一化 (重复联系 + 被重开的项目 + 超出设定次数的登录失败 + 被放弃的请求)/ 活跃用户数 每用户事件数 工单系统、身份日志、请求门户 服务台;事件管理 使用中发现的缺陷 每月
因 IT 问题损失的时间 用户在一个期间内因服务问题而损失的估计时间 自我报告的每用户损失分钟数,或按受影响用户加权的处于降级状态的实测时间 每用户分钟数 脉搏调查;与用户计数连接的监控 可用性管理;事件管理 因阻碍而损失的周期时间 每季度
旅程完成率 完成已定义旅程、没有放弃也没有寻求帮助的用户占比 完成旅程而没有帮助联系的用户数 / 开始旅程的用户数 百分比 门户分析;工单链接 服务请求管理;服务目录管理 可用性测试中的任务成功率 每月
XLA 达成率 该期间达成的约定体验目标占比 达成的目标数 / 约定的目标数 百分比 XLA 登记册 服务级别管理 交付目标的达成 每季度
体验缺口 同一服务的 SLA 达成率与体验分数之间的差异 各服务间 SLA 达成率的排名 减去 体验分数的排名,或一份书面比较 排名差或说明 SLA 报告和脉搏调查 服务级别管理 完成定义与用户反馈的对照 每季度

为每项度量定义受众和期间。说明如何保护小群体:例如,任何少于十人的群体都不显示结果。摩擦事件统计的是信号,不是责备,所以一个事件附着在服务和用户群体上,绝不附着在具名个人的绩效评估上。

建议

与用户一起设计协议

1. 在度量之前先访谈。花时间与每个重要群体的一份用户样本相处,并问:使用这项服务的美好一天是什么样子?它在哪里浪费了你的时间?如果它正常工作,你会不再做什么?运用以人为本的设计的习惯:观察真实的工作,并用用户的话写下你听到的。由此产生的陈述成为协议的体验目标。

2. 把体验陈述写成成果。"我能让一位新员工在第一天上午就产生效率"比"新员工访问请求在两天内解决"说明得更多。保持每条陈述简短,用第一人称,并与一项服务相联。每项服务争取三到五条陈述,使人们能够记住。

3. 从三个角度选择度量。对每条陈述,从人们所说的(一个脉搏问题或评论主题)中选一个度量,从人们所做的(旅程完成、重复联系、被放弃的请求)中选一个,在可能之处从系统所记录的(旅程各步骤的延迟)中选一个。当三者不一致时,你就找到了值得调查的东西。

4. 轻度地约定目标。起初,设定一个方向("减少损失的时间")和一个评审日期,而不是一个硬数字。对新体验度量设定硬目标,会在度量被理解之前就招致操纵。当目标确实出现时,把它做成一个范围,并说明谁同意了它。

收集并阅读数据

5. 使用简短、定期的脉搏问题。一个关于一条陈述的问题,按固定间隔询问,比一份冗长的年度调查更容易回答。轮换陈述,保持措辞稳定,并避免在规定期间内多次询问同一个人。把脉搏的设计与上一个主题中的调查原则联系起来(见主题 6.1,客户满意度指标)。

6. 用方法阅读评论。情绪分析工具可以整理大量文本,但会误读讽刺、行话和语境。把工具的输出视为初步筛选,每月由人检查一份样本,并保留一份你手工编码的简短主题清单。分析的目的是找出可以与用户讨论的话题,而不是产生一个分数。

7. 增加来自旅程的行为信号。在用户知情的情况下,为他们关心的旅程埋点:他们在哪里开始,在哪里退出,在哪里寻求帮助?对页面加载时间、错误和步骤的真实用户监控,给出调查无法提供的视图。告诉用户你收集什么,将其限制在你需要的范围内,并在分享之前汇总。

8. 保护小群体和个人。体验数据可能揭示谁在挣扎。汇总结果,抑制低于约定规模的群体,并绝不在绩效评估中使用这些数据。决定谁可以看到原始评论,并据此存储。在受监管的环境中,收集行为数据之前,先与隐私专家核实。

使用协议

9. 并排显示 SLA 和 XLA。在同一页上,显示每项服务的运营达成率和体验度量。配对就是要点:绿色的 SLA 加下降的体验分数,是展开一场对话的提示,而绿色的体验分数加失败的 SLA,则值得查看用户没有被告知什么。

10. 与用户举行定期的体验评审。每季度与用户群体的代表会面,展示数据,问它意味着什么,并约定一两项要尝试的改进。让服务台和产品团队参加,因为糟糕体验的原因往往在产品里,而不在支持里。

11. 为修复出资。一份识别了摩擦却又放任其存在的协议,会教会用户这些度量是作秀。把头两三个体验问题连同负责人和日期放进待办,并在下次评审时报告。参见本书后面的持续改进指标(见主题 9.5,持续改进指标)。

12. 随服务和用户的变化修订协议。让不再重要的陈述退役,并增加新的。记录变更并标在趋势图上,就像对任何指标定义那样。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
体验分数 只调查满意的用户;把调查时机放在好事件之后;重新措辞陈述,使其更容易同意 回复率和回答者构成;稳定的措辞日志;阅读评论
情绪趋势 调整工具或主题清单,直到趋势上升;排除负面渠道 每月由人检查一份样本;保持固定的编码指南并记录变更
每用户摩擦事件 重新定义事件使计入的更少;通过使服务台难以联系来劝阻重复联系 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台指标)
因 IT 问题损失的时间 以锚定低估计的方式提问;只统计重大事件 把自我报告的时间与实测的降级时间比较;评审调查措辞
旅程完成率 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 登记册中的旅程定义;帮助联系率和升级
XLA 达成率 设定已经达成的目标;定义一个很小的目标集合 与用户一起评审目标设定;连同趋势和目标历史显示达成率
体验缺口 选择看起来最好的服务或期间;改变被比较的 SLA 事先约定固定的比较集合;显示所有服务

健康的读数是一幅与评论和用户评审交谈相符的体验图景、一小组缓慢变化且团队能解释原因的度量,以及一份越来越短的体验修复待办。

权衡:利弊

做法 优势 劣势
仅有 SLA 清晰、可计数、合同性的 漏掉用户的感受;可能在用户不满意时呈绿色
仅有 XLA 接近用户所看重的 更难度量和比较;作为与供应商合同的基础较弱
SLA 加 XLA 给出两种视图并暴露缺口 工作量更大;阅读分歧时需要信任和判断
基于调查的体验度量 用户的直接声音 回复偏差;对回答者的负担
行为度量 没有调查负担;客观 需要埋点和隐私上的小心;显示发生了什么,而不是为什么
单一体验指数 易于作为头条 隐藏细节;易被操纵且难以解释

文字化的答案是,把 XLA 作为一种补充,在运营与体验之间的缺口已经可见的少数几项服务上引入。不要用供应商无法控制的体验度量来取代合同性的 SLA。把法律和商业承诺保留在 SLA 中,用 XLA 来推动改进和交谈。

与团队讨论的问题

1. 对我们最重要的服务,用户用自己的话说,美好的一天是什么样子? 召集两三位用户,或重用近期的访谈,写下他们的陈述。主持人应抵制把它们改写成运营术语。把陈述与当前的 SLA 比较,问它涵盖了哪些陈述,忽略了哪些。这些缺口是体验度量的候选。

2. 我们的绿色仪表板与用户的故事在哪里不一致? 请团队举一个近期的案例,其中服务达到了目标而用户却抱怨。沿着数据追溯这个案例:我们度量了什么,又漏掉了什么?交谈常常会浮现出缺失的步骤、一次交接,或过早停止的时钟。把这个案例记录下来,作为下次与用户评审的例子。

3. 我们会用哪三项度量来了解这条体验陈述是否成立? 挑一条陈述,从人们所说的、所做的和系统所记录的中各选一项度量。问每一项可能漏掉什么,又可能如何被操纵。约定能说服一位持怀疑态度的用户的最小集合。

4. 我们收集了哪些用户可能意想不到的东西?他们会对此感到自在吗? 列出行为数据来源及各自的目的。请一位用户代表作出反应。主持人应把不适视为关于设计的信息,而不是障碍。决定停止收集什么、汇总什么,以及谁可以看到原始数据。

5. 如果体验分数下降而每项 SLA 仍保持绿色,我们会怎么做? 演练这种响应。谁先看,检查什么,与谁交谈?决定团队会信任体验分数,还是寻找办法把它驳回。答案显示团队对这份协议有多认真。

6. 我们承诺过哪些体验修复?它们后来怎样了? 回顾与用户的最近两次评审会议。对每项承诺,显示日期、负责人和结果。如果清单是空的或已陈旧,讨论原因。约定在下次评审之前交付一项修复,并约定一种告诉用户它已完成的办法。

四种视角

产品与交付团队

产品团队掌握着糟糕体验的大部分原因:令人困惑的屏幕、缓慢的步骤、不清晰的错误。体验度量给他们来自真实使用的证据,并直接为细化提供输入。团队应当在每次计划会议之前阅读评论主题,并把旅程度量与待办联系起来。他们不应把体验分数当作团队目标。它是关于他们与运维共享的服务的信息。

服务与运维团队

运维团队最先看到摩擦:重复联系、变通办法和愤怒的来电者。体验度量给他们一个显示 SLA 所隐藏之物的办法,以及修复原因而不是更快关闭工单的理由。他们应当坚守定义和抽样,避免把用户引导到看起来更好的渠道,并完整阅读不满意的评论(见主题 3.1,服务台指标)。

领导层与治理

领导层选择 XLA 是一场对话还是一块记分牌。他们应当问体验数据说明了该往哪里投资,避免把薪酬与体验指数挂钩,并保护员工数据的隐私。治理机构应当要定义、抽样和变更的历史,并把体验度量中无法解释的跳变,视为检查方法的理由。

客户与用户

用户是协议的作者。他们应当被邀请描述美好是什么样子,被展示结果,并被告知改变了什么。他们应当知道收集了关于他们的什么、为什么,并有办法说不。经常被询问、却看不到任何改善的用户会停止回答,而这种沉默会使数据看起来好于现实。

实践:一个敏捷 ITIL 示例

一家中型专业服务公司为 1,800 名员工运营一项内部 IT 服务。以下数字是示意数字。

月度 SLA 报告显示协作平台的可用性为 99.8%,96% 的事件在目标内解决。IT 总监很满意,而在客户现场的顾问们却不断抱怨登录缓慢。服务经理提议为协作平台开展一次 XLA 试点。

在对 12 位顾问的访谈中,浮现出三条陈述:"我决定加入客户通话后,两分钟之内就能加入"、"我不必打电话给 IT 才能重新进入我的账户",以及"出问题时,我知道正在发生什么"。团队为每一条选择度量。对第一条,他们取该陈述的脉搏评分,以及来自客户端真实用户监控的、从登录开始到加入通话的实测时间,按地区汇总。对第二条,他们统计每个活跃用户每月的密码重置联系数。对第三条,他们跟踪状态信息在 30 分钟内得到更新的事件占比,并就此提出脉搏问题。

前两个月的数据显示,从登录到加入通话的时间中位数在总部地区还不错,但在另外两个地区很长,而且使用托管笔记本电脑的员工,每用户的密码重置联系数是其他人的三倍。第一条陈述的体验分数是 5 分中的 3.1 分,而办公室员工是 4.2 分。SLA 在两者上都是绿色的。服务经理把这一发现带到用户评审。团队同意两项改进:为偏远地区调整单点登录配置,并更改托管笔记本电脑上的令牌刷新设置。三个月后,时间中位数下降,每用户的重置联系数下降,体验分数升到 3.8。总监同意对这项服务保留 XLA,再把它加到另一项服务上,并且在下次评审之前不设数字目标。

行业视角

初创企业。与用户的密切接触,使访谈很容易。抵制构建框架:为核心服务写三条体验陈述,每月就它们询问用户,并增加一项行为度量。正式协议以后再说。

小型企业。员工很少,并且常与 IT 共享一位经理。使用交谈和非常简短的月度脉搏。要小心行为数据,因为小群体很容易被识别。

大型企业。规模带来众多用户群体和供应商。按服务和用户画像定义体验陈述,按服务保留仪表板,并避免全公司统一的体验指数。使 XLA 与供应商合同对齐,使供应商贡献数据,而不被要求达到它们无法影响的度量。

政府与公共部门。服务往往既面向公众也面向员工,并有关于无障碍、平实语言和平等获取的职责。把无障碍纳入体验陈述和度量,与依赖辅助技术的用户一起测试,并依法保护个人数据。在要求公开报告之处,连同结果一起报告方法(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

成本适中。用户访谈每项服务需要几天。月度脉搏调查需要一个调查工具,许多组织已经有了。行为度量需要一些埋点,可能来自现有的监控和门户分析。与用户的评审每季度花几个小时。为评论编码每月花一两个小时。

回报在于发现 SLA 没有显示的问题,比如特定地区或设备上缓慢的旅程,以及把改进的资金导向用户所看重的东西。如果你仔细度量,因 IT 问题损失的时间可以用你自己的员工费率转化为成本。避免关于生产力提升的笼统说法。从你自己的基线建立论证:每用户损失的时间、每用户摩擦事件,以及修复前后的重复联系。还要计入避免的变通办法成本,比如因官方服务别扭而采用的影子工具。

反模式与陷阱

  • 用 XLA 取代 SLA。合同需要可计数的承诺。两者都保留,并一起展示。
  • 单一的复合体验指数。它隐藏原因并招致操纵。显示几项独立的度量。
  • 没有用户参与就定义体验。在会议室里写出的陈述描述的是提供方的视角。与用户一起访谈和测试。
  • 调查到人们不再回答为止。保持脉搏简短,并轮换话题。
  • 不告诉任何人就收集行为数据。它破坏信任,也可能触犯法律。对收集什么以及为什么保持公开。
  • 在绩效评估中使用体验数据。它把学习工具变成监视,并摧毁诚实的报告。
  • 修复度量,而不是原因。不要为改善数字而把用户转到更友好的渠道。修复旅程。
  • 把发现留在幻灯片上。为体验修复出资并跟踪它们。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
体验目标 隐含或缺失 由提供方为部分服务撰写 为关键服务与用户一起撰写陈述 每季度与用户群体一起评审和修订陈述 在服务和供应商之间共享,与用户共同拥有
度量 偶尔的调查 针对一项服务的脉搏调查 每条陈述有三个角度(说、做、系统)的度量 度量形成趋势,保护小群体,并与 SLA 比较 数据跨提供方合并,用户控制隐私选择
行动 逐个处理投诉 临时作出修复 头几个体验问题在待办中,有负责人 修复获得资助、被跟踪,并向用户反馈 改进在团队、供应商和用户之间协调,学习被分享

检查清单

  • 每项 XLA 服务都有与用户一起撰写的三到五条体验陈述。
  • 每条陈述都有来自至少两个角度(说、做、系统)的度量。
  • 每项服务的 SLA 和体验度量出现在同一页上。
  • 脉搏调查简短、定期,且措辞稳定。
  • 评论依据稳定的指南编码,并由人每月检查一份样本。
  • 报告中抑制低于约定规模的群体。
  • 所收集的行为数据向用户披露,并限于需要。
  • 没有任何体验度量被用于个人绩效评估。
  • 日历上有每季度与用户代表的评审。
  • 头几个体验问题在待办中有负责人和日期。

AI 提示词

依据访谈笔记起草体验陈述。

这是对[组织类型]中[服务]的[数量]位用户的访谈的匿名笔记:[粘贴笔记]。请提出三到五条第一人称
的体验陈述,每条与用户关心的一项成果相联,尽可能使用他们的措辞。对每条,建议一个来自
人们所说的度量、一个来自人们所做的度量,以及一个来自系统所记录的度量。不要编造数字。
列出你的假设,以及你无法从笔记中判断的内容。

找出 SLA 与体验之间的缺口。

对于[服务]在[期间],我们的 SLA 结果是:[粘贴结果]。我们的体验数据(脉搏分数、评论主题、
摩擦计数)是:[粘贴数据]。请描述两者在哪里不一致,为每处不一致提出三种可能的解释,并
建议下一步该检查什么。不要假定数据无法支持的原因。列出你的假设,以及什么额外数据会有帮助。

评审行为度量的隐私做法。

我们计划为体验度量收集这些行为信号:[清单]。用户是[员工、公众或两者],位于[司法辖区或
行业]。请评审该计划对隐私、信任和公平的风险,并建议最低限度的汇总、保留和披露做法。标出
我应当交给隐私专家的任何事项。不要给出法律结论。列出你的假设。

准备一次与用户的季度体验评审。

请为[服务]与[用户群体]代表的季度体验评审,起草议程和一页纸摘要。包括并排的 SLA 和体验
结果、头几个评论主题、上个季度的承诺及其状态,以及给用户的两个问题。数据:[粘贴数据]。
保持语气平实,避免行话。列出你的假设,并标出任何需要核实的主张。

AI 技能

关键要点

  • XLA 把体验目标和度量加到运营目标之上,并补充 SLA。
  • 与用户一起、用他们的话撰写体验陈述,并把每条与来自人们所说、所做和系统所记录的度量相联。
  • 一起显示 SLA 和体验结果,并把分歧视为调查的提示。
  • 保护用户:披露你收集什么,汇总它,抑制小群体,并让它远离绩效评估。
  • 避免单一的体验指数,并在度量被理解之前避免硬目标。
  • 为数据所揭示的修复出资,并告诉用户改变了什么。

参考文献与延伸阅读

  1. ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
  2. Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
  5. Wikipedia, Service-level agreement.
  6. Wikipedia, User experience.
  7. Wikipedia, Customer experience.
  8. Wikipedia, Usability.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Human-centered design.
  11. Wikipedia, Sentiment analysis.
  12. Wikipedia, Real user monitoring.