体验级别协议
体验级别协议在"服务是否达到了目标?"之外,又加上了"使用起来感觉如何?",只有当体验度量是与用户一起选择、并与运营度量放在一起时,它才有效。
概述与动因
服务级别协议(SLA)记录提供方承诺交付什么,通常以提供方可以计数的术语表达:可用性、响应时间、解决时间。这些度量有用,但也不完整。团队可以达到仪表板上的每个目标,而用户却整周都在绕开缓慢的登录、向服务台重复自己的话,以及等待批准。这种绿色报告与不满意用户之间的缺口,有时被称为西瓜效应:外面是绿色,里面是红色(见主题 5.1,SLA、OLA 与 XLA 指标)。
体验级别协议(XLA)是提供方与使用服务的人之间关于服务应当给予何种体验的协议。它陈述期望的成果和感受,比如"我到达之后几分钟内就能开始工作"或"我相信我的请求会得到处理",并指明将显示它们是否被满足的度量。这个术语在 IT 服务管理(ITSM)社区中被使用,其确切定义因作者和厂商而异。在把 XLA 描述为 ITIL 的一部分之前,请核对框架所有者的现行出版物,并说明你遵循哪种用法。本主题把 XLA 当作一个实用的思想:一份把体验度量放在运营度量旁边的协议。
这个思想的根源在 IT 之外。用户体验是一个人使用某种产品、系统或服务的整体体验,客户体验是客户随时间与一个组织的所有互动的总和。可用性(usability)关乎人们能多有效、多高效、多满意地达成目标。敏捷团队从设计思维和用户研究,以及用户对可工作软件作出反应的利益相关方评审中,熟悉这片领域。XLA 把同样的关注带给运行时的服务。
体验难以度量,也容易被扭曲。只触达满意用户的调查、被调高以求上升的情绪分数,或没人能解释的单一"体验指数",与被操纵的工单时间一样肯定地会误导。古德哈特定律的护栏完全适用:体验度量是话题的起点,不是配额(见主题 1.2,古德哈特定律与指标心理学)。
本主题建立在上一个主题的调查度量之上(见主题 6.1,客户满意度指标),并增加不依赖于询问的行为度量和基于旅程的度量。
关键原则
- 从人们关心的成果开始。问用户美好的一天是什么样子,并用他们的话撰写协议。
- 把体验与运营配对。XLA 与 SLA 并列,不是取代它。
- 从不同角度使用少量度量。把人们所说的、所做的和系统所记录的结合起来。
- 既度量旅程,也度量接触点。体验是从需求到成果的整条路径。
- 对不确定性保持诚实。体验数据有噪声,小群体需要保护。
- 与用户约定目标,并修订它。XLA 是一份鲜活的协议,与它所描述的人一起评审。
- 绝不用体验数据给个人排名。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 体验分数 | 针对某项服务和受众,对约定体验陈述的平均评分 | 在固定量表上,对一条陈述的有效回答的平均评分 | 量表点数 | 按日程发送的简短脉搏调查 | 服务级别管理;持续改进 | 利益相关方评审反馈;产品成果评审 | 每月 |
| 情绪趋势 | 针对某项服务,自由文本评论中语气的方向 | 每个期间被编码为正面的评论占比 减去 被编码为负面的占比 | 百分点 | 已编码的调查评论和工单评论 | 持续改进 | 回顾会议的主题 | 每月 |
| 每用户摩擦事件 | 表明用户遇到麻烦的信号计数,按活跃用户归一化 | (重复联系 + 被重开的项目 + 超出设定次数的登录失败 + 被放弃的请求)/ 活跃用户数 | 每用户事件数 | 工单系统、身份日志、请求门户 | 服务台;事件管理 | 使用中发现的缺陷 | 每月 |
| 因 IT 问题损失的时间 | 用户在一个期间内因服务问题而损失的估计时间 | 自我报告的每用户损失分钟数,或按受影响用户加权的处于降级状态的实测时间 | 每用户分钟数 | 脉搏调查;与用户计数连接的监控 | 可用性管理;事件管理 | 因阻碍而损失的周期时间 | 每季度 |
| 旅程完成率 | 完成已定义旅程、没有放弃也没有寻求帮助的用户占比 | 完成旅程而没有帮助联系的用户数 / 开始旅程的用户数 | 百分比 | 门户分析;工单链接 | 服务请求管理;服务目录管理 | 可用性测试中的任务成功率 | 每月 |
| XLA 达成率 | 该期间达成的约定体验目标占比 | 达成的目标数 / 约定的目标数 | 百分比 | XLA 登记册 | 服务级别管理 | 交付目标的达成 | 每季度 |
| 体验缺口 | 同一服务的 SLA 达成率与体验分数之间的差异 | 各服务间 SLA 达成率的排名 减去 体验分数的排名,或一份书面比较 | 排名差或说明 | SLA 报告和脉搏调查 | 服务级别管理 | 完成定义与用户反馈的对照 | 每季度 |
为每项度量定义受众和期间。说明如何保护小群体:例如,任何少于十人的群体都不显示结果。摩擦事件统计的是信号,不是责备,所以一个事件附着在服务和用户群体上,绝不附着在具名个人的绩效评估上。
建议
与用户一起设计协议
1. 在度量之前先访谈。花时间与每个重要群体的一份用户样本相处,并问:使用这项服务的美好一天是什么样子?它在哪里浪费了你的时间?如果它正常工作,你会不再做什么?运用以人为本的设计的习惯:观察真实的工作,并用用户的话写下你听到的。由此产生的陈述成为协议的体验目标。
2. 把体验陈述写成成果。"我能让一位新员工在第一天上午就产生效率"比"新员工访问请求在两天内解决"说明得更多。保持每条陈述简短,用第一人称,并与一项服务相联。每项服务争取三到五条陈述,使人们能够记住。
3. 从三个角度选择度量。对每条陈述,从人们所说的(一个脉搏问题或评论主题)中选一个度量,从人们所做的(旅程完成、重复联系、被放弃的请求)中选一个,在可能之处从系统所记录的(旅程各步骤的延迟)中选一个。当三者不一致时,你就找到了值得调查的东西。
4. 轻度地约定目标。起初,设定一个方向("减少损失的时间")和一个评审日期,而不是一个硬数字。对新体验度量设定硬目标,会在度量被理解之前就招致操纵。当目标确实出现时,把它做成一个范围,并说明谁同意了它。
收集并阅读数据
5. 使用简短、定期的脉搏问题。一个关于一条陈述的问题,按固定间隔询问,比一份冗长的年度调查更容易回答。轮换陈述,保持措辞稳定,并避免在规定期间内多次询问同一个人。把脉搏的设计与上一个主题中的调查原则联系起来(见主题 6.1,客户满意度指标)。
6. 用方法阅读评论。情绪分析工具可以整理大量文本,但会误读讽刺、行话和语境。把工具的输出视为初步筛选,每月由人检查一份样本,并保留一份你手工编码的简短主题清单。分析的目的是找出可以与用户讨论的话题,而不是产生一个分数。
7. 增加来自旅程的行为信号。在用户知情的情况下,为他们关心的旅程埋点:他们在哪里开始,在哪里退出,在哪里寻求帮助?对页面加载时间、错误和步骤的真实用户监控,给出调查无法提供的视图。告诉用户你收集什么,将其限制在你需要的范围内,并在分享之前汇总。
8. 保护小群体和个人。体验数据可能揭示谁在挣扎。汇总结果,抑制低于约定规模的群体,并绝不在绩效评估中使用这些数据。决定谁可以看到原始评论,并据此存储。在受监管的环境中,收集行为数据之前,先与隐私专家核实。
使用协议
9. 并排显示 SLA 和 XLA。在同一页上,显示每项服务的运营达成率和体验度量。配对就是要点:绿色的 SLA 加下降的体验分数,是展开一场对话的提示,而绿色的体验分数加失败的 SLA,则值得查看用户没有被告知什么。
10. 与用户举行定期的体验评审。每季度与用户群体的代表会面,展示数据,问它意味着什么,并约定一两项要尝试的改进。让服务台和产品团队参加,因为糟糕体验的原因往往在产品里,而不在支持里。
11. 为修复出资。一份识别了摩擦却又放任其存在的协议,会教会用户这些度量是作秀。把头两三个体验问题连同负责人和日期放进待办,并在下次评审时报告。参见本书后面的持续改进指标(见主题 9.5,持续改进指标)。
12. 随服务和用户的变化修订协议。让不再重要的陈述退役,并增加新的。记录变更并标在趋势图上,就像对任何指标定义那样。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 体验分数 | 只调查满意的用户;把调查时机放在好事件之后;重新措辞陈述,使其更容易同意 | 回复率和回答者构成;稳定的措辞日志;阅读评论 |
| 情绪趋势 | 调整工具或主题清单,直到趋势上升;排除负面渠道 | 每月由人检查一份样本;保持固定的编码指南并记录变更 |
| 每用户摩擦事件 | 重新定义事件使计入的更少;通过使服务台难以联系来劝阻重复联系 | 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台指标) |
| 因 IT 问题损失的时间 | 以锚定低估计的方式提问;只统计重大事件 | 把自我报告的时间与实测的降级时间比较;评审调查措辞 |
| 旅程完成率 | 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 | 登记册中的旅程定义;帮助联系率和升级 |
| XLA 达成率 | 设定已经达成的目标;定义一个很小的目标集合 | 与用户一起评审目标设定;连同趋势和目标历史显示达成率 |
| 体验缺口 | 选择看起来最好的服务或期间;改变被比较的 SLA | 事先约定固定的比较集合;显示所有服务 |
健康的读数是一幅与评论和用户评审交谈相符的体验图景、一小组缓慢变化且团队能解释原因的度量,以及一份越来越短的体验修复待办。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 仅有 SLA | 清晰、可计数、合同性的 | 漏掉用户的感受;可能在用户不满意时呈绿色 |
| 仅有 XLA | 接近用户所看重的 | 更难度量和比较;作为与供应商合同的基础较弱 |
| SLA 加 XLA | 给出两种视图并暴露缺口 | 工作量更大;阅读分歧时需要信任和判断 |
| 基于调查的体验度量 | 用户的直接声音 | 回复偏差;对回答者的负担 |
| 行为度量 | 没有调查负担;客观 | 需要埋点和隐私上的小心;显示发生了什么,而不是为什么 |
| 单一体验指数 | 易于作为头条 | 隐藏细节;易被操纵且难以解释 |
文字化的答案是,把 XLA 作为一种补充,在运营与体验之间的缺口已经可见的少数几项服务上引入。不要用供应商无法控制的体验度量来取代合同性的 SLA。把法律和商业承诺保留在 SLA 中,用 XLA 来推动改进和交谈。
与团队讨论的问题
1. 对我们最重要的服务,用户用自己的话说,美好的一天是什么样子? 召集两三位用户,或重用近期的访谈,写下他们的陈述。主持人应抵制把它们改写成运营术语。把陈述与当前的 SLA 比较,问它涵盖了哪些陈述,忽略了哪些。这些缺口是体验度量的候选。
2. 我们的绿色仪表板与用户的故事在哪里不一致? 请团队举一个近期的案例,其中服务达到了目标而用户却抱怨。沿着数据追溯这个案例:我们度量了什么,又漏掉了什么?交谈常常会浮现出缺失的步骤、一次交接,或过早停止的时钟。把这个案例记录下来,作为下次与用户评审的例子。
3. 我们会用哪三项度量来了解这条体验陈述是否成立? 挑一条陈述,从人们所说的、所做的和系统所记录的中各选一项度量。问每一项可能漏掉什么,又可能如何被操纵。约定能说服一位持怀疑态度的用户的最小集合。
4. 我们收集了哪些用户可能意想不到的东西?他们会对此感到自在吗? 列出行为数据来源及各自的目的。请一位用户代表作出反应。主持人应把不适视为关于设计的信息,而不是障碍。决定停止收集什么、汇总什么,以及谁可以看到原始数据。
5. 如果体验分数下降而每项 SLA 仍保持绿色,我们会怎么做? 演练这种响应。谁先看,检查什么,与谁交谈?决定团队会信任体验分数,还是寻找办法把它驳回。答案显示团队对这份协议有多认真。
6. 我们承诺过哪些体验修复?它们后来怎样了? 回顾与用户的最近两次评审会议。对每项承诺,显示日期、负责人和结果。如果清单是空的或已陈旧,讨论原因。约定在下次评审之前交付一项修复,并约定一种告诉用户它已完成的办法。
四种视角
产品与交付团队
产品团队掌握着糟糕体验的大部分原因:令人困惑的屏幕、缓慢的步骤、不清晰的错误。体验度量给他们来自真实使用的证据,并直接为细化提供输入。团队应当在每次计划会议之前阅读评论主题,并把旅程度量与待办联系起来。他们不应把体验分数当作团队目标。它是关于他们与运维共享的服务的信息。
服务与运维团队
运维团队最先看到摩擦:重复联系、变通办法和愤怒的来电者。体验度量给他们一个显示 SLA 所隐藏之物的办法,以及修复原因而不是更快关闭工单的理由。他们应当坚守定义和抽样,避免把用户引导到看起来更好的渠道,并完整阅读不满意的评论(见主题 3.1,服务台指标)。
领导层与治理
领导层选择 XLA 是一场对话还是一块记分牌。他们应当问体验数据说明了该往哪里投资,避免把薪酬与体验指数挂钩,并保护员工数据的隐私。治理机构应当要定义、抽样和变更的历史,并把体验度量中无法解释的跳变,视为检查方法的理由。
客户与用户
用户是协议的作者。他们应当被邀请描述美好是什么样子,被展示结果,并被告知改变了什么。他们应当知道收集了关于他们的什么、为什么,并有办法说不。经常被询问、却看不到任何改善的用户会停止回答,而这种沉默会使数据看起来好于现实。
实践:一个敏捷 ITIL 示例
一家中型专业服务公司为 1,800 名员工运营一项内部 IT 服务。以下数字是示意数字。
月度 SLA 报告显示协作平台的可用性为 99.8%,96% 的事件在目标内解决。IT 总监很满意,而在客户现场的顾问们却不断抱怨登录缓慢。服务经理提议为协作平台开展一次 XLA 试点。
在对 12 位顾问的访谈中,浮现出三条陈述:"我决定加入客户通话后,两分钟之内就能加入"、"我不必打电话给 IT 才能重新进入我的账户",以及"出问题时,我知道正在发生什么"。团队为每一条选择度量。对第一条,他们取该陈述的脉搏评分,以及来自客户端真实用户监控的、从登录开始到加入通话的实测时间,按地区汇总。对第二条,他们统计每个活跃用户每月的密码重置联系数。对第三条,他们跟踪状态信息在 30 分钟内得到更新的事件占比,并就此提出脉搏问题。
前两个月的数据显示,从登录到加入通话的时间中位数在总部地区还不错,但在另外两个地区很长,而且使用托管笔记本电脑的员工,每用户的密码重置联系数是其他人的三倍。第一条陈述的体验分数是 5 分中的 3.1 分,而办公室员工是 4.2 分。SLA 在两者上都是绿色的。服务经理把这一发现带到用户评审。团队同意两项改进:为偏远地区调整单点登录配置,并更改托管笔记本电脑上的令牌刷新设置。三个月后,时间中位数下降,每用户的重置联系数下降,体验分数升到 3.8。总监同意对这项服务保留 XLA,再把它加到另一项服务上,并且在下次评审之前不设数字目标。
行业视角
初创企业。与用户的密切接触,使访谈很容易。抵制构建框架:为核心服务写三条体验陈述,每月就它们询问用户,并增加一项行为度量。正式协议以后再说。
小型企业。员工很少,并且常与 IT 共享一位经理。使用交谈和非常简短的月度脉搏。要小心行为数据,因为小群体很容易被识别。
大型企业。规模带来众多用户群体和供应商。按服务和用户画像定义体验陈述,按服务保留仪表板,并避免全公司统一的体验指数。使 XLA 与供应商合同对齐,使供应商贡献数据,而不被要求达到它们无法影响的度量。
政府与公共部门。服务往往既面向公众也面向员工,并有关于无障碍、平实语言和平等获取的职责。把无障碍纳入体验陈述和度量,与依赖辅助技术的用户一起测试,并依法保护个人数据。在要求公开报告之处,连同结果一起报告方法(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本适中。用户访谈每项服务需要几天。月度脉搏调查需要一个调查工具,许多组织已经有了。行为度量需要一些埋点,可能来自现有的监控和门户分析。与用户的评审每季度花几个小时。为评论编码每月花一两个小时。
回报在于发现 SLA 没有显示的问题,比如特定地区或设备上缓慢的旅程,以及把改进的资金导向用户所看重的东西。如果你仔细度量,因 IT 问题损失的时间可以用你自己的员工费率转化为成本。避免关于生产力提升的笼统说法。从你自己的基线建立论证:每用户损失的时间、每用户摩擦事件,以及修复前后的重复联系。还要计入避免的变通办法成本,比如因官方服务别扭而采用的影子工具。
反模式与陷阱
- 用 XLA 取代 SLA。合同需要可计数的承诺。两者都保留,并一起展示。
- 单一的复合体验指数。它隐藏原因并招致操纵。显示几项独立的度量。
- 没有用户参与就定义体验。在会议室里写出的陈述描述的是提供方的视角。与用户一起访谈和测试。
- 调查到人们不再回答为止。保持脉搏简短,并轮换话题。
- 不告诉任何人就收集行为数据。它破坏信任,也可能触犯法律。对收集什么以及为什么保持公开。
- 在绩效评估中使用体验数据。它把学习工具变成监视,并摧毁诚实的报告。
- 修复度量,而不是原因。不要为改善数字而把用户转到更友好的渠道。修复旅程。
- 把发现留在幻灯片上。为体验修复出资并跟踪它们。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 体验目标 | 隐含或缺失 | 由提供方为部分服务撰写 | 为关键服务与用户一起撰写陈述 | 每季度与用户群体一起评审和修订陈述 | 在服务和供应商之间共享,与用户共同拥有 |
| 度量 | 偶尔的调查 | 针对一项服务的脉搏调查 | 每条陈述有三个角度(说、做、系统)的度量 | 度量形成趋势,保护小群体,并与 SLA 比较 | 数据跨提供方合并,用户控制隐私选择 |
| 行动 | 逐个处理投诉 | 临时作出修复 | 头几个体验问题在待办中,有负责人 | 修复获得资助、被跟踪,并向用户反馈 | 改进在团队、供应商和用户之间协调,学习被分享 |
检查清单
- 每项 XLA 服务都有与用户一起撰写的三到五条体验陈述。
- 每条陈述都有来自至少两个角度(说、做、系统)的度量。
- 每项服务的 SLA 和体验度量出现在同一页上。
- 脉搏调查简短、定期,且措辞稳定。
- 评论依据稳定的指南编码,并由人每月检查一份样本。
- 报告中抑制低于约定规模的群体。
- 所收集的行为数据向用户披露,并限于需要。
- 没有任何体验度量被用于个人绩效评估。
- 日历上有每季度与用户代表的评审。
- 头几个体验问题在待办中有负责人和日期。
AI 提示词
依据访谈笔记起草体验陈述。
这是对[组织类型]中[服务]的[数量]位用户的访谈的匿名笔记:[粘贴笔记]。请提出三到五条第一人称
的体验陈述,每条与用户关心的一项成果相联,尽可能使用他们的措辞。对每条,建议一个来自
人们所说的度量、一个来自人们所做的度量,以及一个来自系统所记录的度量。不要编造数字。
列出你的假设,以及你无法从笔记中判断的内容。
找出 SLA 与体验之间的缺口。
对于[服务]在[期间],我们的 SLA 结果是:[粘贴结果]。我们的体验数据(脉搏分数、评论主题、
摩擦计数)是:[粘贴数据]。请描述两者在哪里不一致,为每处不一致提出三种可能的解释,并
建议下一步该检查什么。不要假定数据无法支持的原因。列出你的假设,以及什么额外数据会有帮助。
评审行为度量的隐私做法。
我们计划为体验度量收集这些行为信号:[清单]。用户是[员工、公众或两者],位于[司法辖区或
行业]。请评审该计划对隐私、信任和公平的风险,并建议最低限度的汇总、保留和披露做法。标出
我应当交给隐私专家的任何事项。不要给出法律结论。列出你的假设。
准备一次与用户的季度体验评审。
请为[服务]与[用户群体]代表的季度体验评审,起草议程和一页纸摘要。包括并排的 SLA 和体验
结果、头几个评论主题、上个季度的承诺及其状态,以及给用户的两个问题。数据:[粘贴数据]。
保持语气平实,避免行话。列出你的假设,并标出任何需要核实的主张。
AI 技能
- 敏捷 ITIL 指标技能:用于在你把某项体验度量加入仪表板之前,查找它的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查 XLA 指标条目是否带有其操纵途径和护栏。
关键要点
- XLA 把体验目标和度量加到运营目标之上,并补充 SLA。
- 与用户一起、用他们的话撰写体验陈述,并把每条与来自人们所说、所做和系统所记录的度量相联。
- 一起显示 SLA 和体验结果,并把分歧视为调查的提示。
- 保护用户:披露你收集什么,汇总它,抑制小群体,并让它远离绩效评估。
- 避免单一的体验指数,并在度量被理解之前避免硬目标。
- 为数据所揭示的修复出资,并告诉用户改变了什么。
参考文献与延伸阅读
- ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
- Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Wikipedia, Service-level agreement.
- Wikipedia, User experience.
- Wikipedia, Customer experience.
- Wikipedia, Usability.
- Wikipedia, Goodhart's law.
- Wikipedia, Human-centered design.
- Wikipedia, Sentiment analysis.
- Wikipedia, Real user monitoring.