概述与动因

运营度量说明服务做了什么。满意度度量说明接受它是什么感觉。一张工单可以在目标时间内关闭,却仍让用户陷在原地,而一项恢复了的服务,仍可能让人觉得是糟糕的一周。敏捷团队在每个增量结束时问同样的问题:这对它所服务的人有帮助吗?由 ITIL 编纂的 IT 服务管理(ITSM),则通过服务与其客户共同创造的价值来提出这个问题。满意度度量是这两个问题交汇之处。

客户满意度是衡量产品和服务满足或超出客户期望程度的度量。在服务工作中,它通常通过调查来收集,本主题涵盖其三种常见形式:

  • 客户满意度分数(CSAT):对某次具体互动或服务的评分,通常采用五分制,报告为满意回答的占比。
  • 净推荐值(NPS):基于一个关于受访者推荐某公司、产品或服务的可能性有多大的问题。回答 9 或 10 的受访者是推荐者,回答 0 到 6 的是贬损者,分数是推荐者的百分比减去贬损者的百分比。净推荐值由弗雷德·赖克哈尔德在 2003 年一篇《哈佛商业评论》的文章中推广开来。
  • 客户费力度分数(CES):对完成某事花了多少力气、或有多容易的评分。其作者主张,减少费力程度比取悦人们能更好地预测忠诚度。把这一主张当作需要在你自己的背景中检验的假设,而不是定论。

在内部 IT 的环境中,"客户"是同事,调查是在工单或发布之后的一个简短问题。原则是相同的,而伦理义务更大,因为你所询问的人明天还要与你共事。

调查是调查方法学的一种形式,这个领域关于问题措辞、时机和抽样如何改变答案,有数十年的发现。跳过它的团队,往往产生因与服务质量无关的原因而变动的分数。古德哈特定律的护栏在这里格外有力:当员工因高分而受到奖励时,他们就学会了索要它(见主题 1.2,古德哈特定律与指标心理学)。

本主题给出使满意度度量保持诚实的定义、数据卫生和习惯。下一个主题把它们扩展为对体验更完整的视图(见主题 6.2,体验级别协议)。

关键原则

  • 针对具体的某一刻提问。与一张已关闭的工单或一次发布相联的调查,比一般性的年度问题给出更清晰的答案。
  • 保持简短。一个评分加一条开放评论,胜过大多数人会跳过的十个问题。
  • 阅读评论。分数告诉你有多少,文字告诉你为什么。
  • 报告谁回答了。没有回复率和回答者构成的分数,只是传闻。
  • 闭合回路。报告了糟糕体验的人应当得到回复。
  • 与自己随时间比较。跨公司的基准隐藏了方法、受众和文化的差异。
  • 保护回答者。只收集你需要的,说明将如何使用,并且不依据它给个人排名。

指标定义

指标 定义 公式 单位 数据来源 ITIL 实践 敏捷对应 频率
CSAT 针对已定义互动类型,满意的回答占比 在五分制中评为 4 或 5 的回答数 / 有效回答数 百分比 与工单或发布相联的互动后调查 服务台;事件管理;服务级别管理 利益相关方评审反馈 每周或每月
NPS 针对已定义服务和受众,推荐者减去贬损者 回答 9 或 10 的百分比 减去 回答 0 到 6 的百分比 点,范围 -100 到 100 按固定间隔发送的关系调查 持续改进;服务级别管理 产品成果评审 每季度
CES 对完成某事有多容易的平均评分或偏正面评分的占比 偏正面的回答数 / 有效回答数,或平均评分 百分比或均值 与工单、请求或发布相联的互动后调查 服务请求管理;服务台 细化中的可用性反馈 每月
调查回复率 受邀用户中作出回复的占比 收到的回答数 / 送达的调查数 百分比 调查工具和工单系统 度量与报告 评审中的反馈参与度 每月
回答者覆盖 回答者构成在约定维度上与用户总体的吻合程度 每个群体中回答者的占比,与该群体在用户中的占比比较,按群体 百分点 与用户目录或工单数据连接的调查工具 度量与报告 利益相关方地图 每季度
评论主题占比 自由文本评论被分配到各个主题的占比 主题中的评论数 / 已编码的评论数 百分比 已编码的调查评论 持续改进 回顾会议的主题 每月
贬损者跟进时间 从低评分到与用户有记录的联系之间的时间 跟进记录的时间戳 减去 低评分的时间戳,取中位数和第 85 百分位数 小时或天 调查工具和工单系统 事件管理;持续改进 工作协议中的反馈回路 每月

时钟和边界很重要。CSAT 和 CES 只统计对具体互动的回答,绝不统计一般的情绪。贬损者跟进时间从低评分被记录的那一刻开始,而不是从有人第一次读到它开始。排除测试记录,以及来自被度量团队成员的回答。

建议

设计工具

1. 每个目的选一个问题。在互动之后用 CSAT 了解该互动进行得如何,在用户必须做某事之后用 CES 了解摩擦在哪里,并按固定间隔用 NPS 了解整体关系。把三者混在一张表单里,会招致调查疲劳和混乱的结果。如果你只能负担其中一个,就选与你需要作出的决定相符的那个。

2. 使用中性、具体的措辞。"您对您的请求处理得如何感到满意?"比"我们的服务有多棒?"更好。避免同时问速度和友好程度的双重问题。提供一致的量表,标出两端,并保持每次答案的顺序相同。李克特量表是一种常见的设计,标签的微小变化可能改变结果,所以不要随意更改。

3. 增加一个开放问题。"您给出这个评分的主要原因是什么?"对回答者成本很低,却给团队提供最丰富的数据。评论解释分数,暴露数字无法揭示的问题,并给坐席可以学习的东西。在定期评审中阅读它们,可能的话大声朗读。

4. 让调查时间靠近事件。在工单解决或发布落地之后不久就发送问题,那时记忆犹新。不要在坐席希望得高分的关闭时刻发送。由系统设定的短暂延迟,消除了辅导答案的诱惑。

使数字值得信任

5. 在每个分数旁边报告回复率和回答者构成。来自 4% 用户的满意度分数,是关于回答者的陈述。用你已有的属性,比如地区、服务或请求类型,比较谁回答了与谁被邀请。差距很大,意味着分数需要一个警示标签。代表性是回复偏差研究的核心主题,而对服务团队来说,要点只是去看一看。

6. 显示不确定性。小样本摆动很大。在月度 CSAT 旁边显示误差范围或置信区间,可以防止团队对噪声作出反应(见主题 1.6,服务指标的统计素养)。如果一个团队在一个期间内的回答少于几十个,就报告计数并阅读评论,而不是报告百分比。

7. 避免选择谁被询问。如果关闭工单的人决定是否发送调查,分数会因错误的原因而上升。自动向每个合格的互动发送调查,或在数量大时向随机样本发送。把规则,包括任何排除项,记录在指标登记册中。

8. 把一个人的满意度与一个人的表现分开。满意度取决于个别坐席无法控制的因素:产品的质量、队列、政策、用户的心情。不要按 CSAT 给坐席排名。在团队和服务层面使用它,并把评论用于坐席乐于接受的辅导交谈。

对所听到的采取行动

9. 与不满意的用户闭合回路。联系报告了糟糕体验的人,问什么本可以有帮助,并记录你所了解到的。为跟进时间设定目标,并让跟进成为一场对话,而不是要求改变分数的请求。应要求改变分数是一种扭曲,所以跟进应当以修复问题和学习为目标。

10. 把评论编码为主题并跟踪它们。约定一份简短的主题清单,比如"不得不重复自己的话"、"响应缓慢"、"修复没有持续"、"沟通不清"和"友好且有帮助"。每月手工或借助工具编码一份样本,并由人检查结果。主题的趋势往往在分数变动之前就显示问题。

11. 把满意度与运营数据联系起来。把 CSAT 与解决时间、重开率和每个问题的联系次数比较。这些配对告诉你,速度是在买来满意度,还是团队又快又错。用它们找出值得调查的故事,而不是证明一条规则。

12. 谨慎对待基准。公布的或厂商提供的满意度分数数字,取决于方法、受众和地区,你自己的历史是更好的比较对象。如果你使用外部比较,说明其来源、方法和日期,并且在没有检验你的方法是否相符之前,不要据此设定目标。绝不编造基准。

操纵途径与护栏

指标 被操纵的方式 配套的护栏指标或实践
CSAT 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单不发调查就关闭 向每张合格工单自动发送调查;回复率和回答者构成;重开率
NPS 只调查友好的用户;把调查时机放在一次好事件之后;当面询问;重新标记量表的点 登记册中固定的受众和日程;回答者覆盖;阅读贬损者的评论
CES 以把工作转移到别处的方式去掉表单中的步骤;只在顺利的请求之后询问 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行指标)
调查回复率 只邀请可能回答的人;每次向不同的名单发送调查 写下邀请规则;把受邀者与用户总体比较
回答者覆盖 把难以触达的群体从比较中去掉;不说明就重新加权 公布维度和方法;在加权结果旁边显示未加权结果
评论主题占比 为避开糟糕的主题而对评论编码;合并主题使没有一个显得大 由第二个人对一份样本编码;保持主题清单稳定并记录变更
贬损者跟进时间 记录一条备注却不联系用户;联系用户要求更好的分数 检查跟进记录的内容;在下一次调查中问用户是否有人联系过他们

健康的读数是:稳定的回复率,接近用户构成的回答者构成,随用户在评论中所描述的体验而变动的分数,以及说有人回复了他们的不满意用户。

权衡:利弊

度量 优势 劣势
CSAT 简单、快速、与某个具体时刻相联 容易被夸大;对整体关系说明很少
NPS 一个问题,易于随时间跟踪 隐藏原因;一个数字压缩了很宽的分布;文化差异影响量表
CES 直接指向团队能消除的摩擦 较少被广泛理解;证据有争议
年度长调查 内容丰富,涵盖许多服务 缓慢、回复率低、难以据此行动
只用评论 具体、令人难忘 难以随时间比较;易受嗓门最大者影响
行为信号 没有调查负担;客观 无法捕捉感受;可能误读原因

文字化的答案是,把简短的互动调查、偶尔的关系调查和评论结合起来,并连同运营数据一起阅读这三者。满意度度量作为用户与团队之间的一场对话才有效。作为记分牌,它们就失败了。

与团队讨论的问题

1. 对于低分和高分,我们怎么处理? 请团队描述,在实践中,上一次低分导致变更是什么时候。然后对高分问同样的问题。如果答案含糊,调查就是一种仪式。主持人应寻找从数据到行动的具体链接,并约定一个记录这一链接的地方。

2. 谁回答我们的调查,谁不回答? 请团队说出他们听到最少的用户群体。与邀请名单和用户目录比较。交谈常揭示,最安静的用户有最难的问题。约定本季度触达一个安静群体的一种办法,比如一次简短的电话或另一个渠道。

3. 我们在互动的哪个环节提问?谁来决定? 走一遍从解决到调查的路径。找出每一个人可以影响调查是否、何时或如何发送的点。约定其中哪些点应当自动化。主持人可以把坐席可能为保护分数做什么,作为设计问题而不是指控来提问。

4. 贬损者在回应之后从我们这里听到什么? 查看几个近期的低评分,并阅读跟进记录。问用户是否会觉得被听到了。讨论如何使跟进有用,而不要求更改评分。决定由谁负责跟进,以及目标时间是多少。

5. 上个月的哪些评论改变了我们的做法? 随机打印或展示十条评论。问团队哪些得到了行动,哪些没有,以及原因。这把焦点保持在文字上,并建立阅读它们的习惯。约定下个月为主题编码,并评审趋势。

6. 我们被诱惑去与哪个公布的数字比较?这种比较公平吗? 说出这个数字、它的来源、方法和受众,然后把每一项与你自己的比较。问它是否会改变一项决定。如果不会,就把它放在一边,使用你自己的趋势。主持人应把答案记录在指标登记册中。

四种视角

产品与交付团队

产品团队用满意度反馈来决定接下来修复或构建什么,发布之后的简短调查比下一次季度评审给出更快的读数。交付团队应当把评论与待办项联系起来,向用户展示改变了什么,并避免把分数当作交付目标。发布之后关于费力或困惑的评论增加,是去查看发布而不是查看调查的信号。

服务与运维团队

服务台收集大部分互动数据,也最能感受到分数的压力。运维团队应当自动发送调查,公布抽样规则,并把评论用于团队学习。他们应当把 CSAT 与重开率和重复联系放在一起,使快速关闭不会看起来像好的成果(见主题 3.1,服务台指标)。

领导层与治理

领导层为操纵营造气候。"年底达到 95% 的满意度"这样的要求,教会员工保护数字。领导层应当要回复率、回答者构成和头几个评论主题,为评论所揭示的修复出资,并让满意度远离个人薪酬和排名。治理机构对其对外报告的任何数字,都应当期望有说明的方法。

客户与用户

用户付出他们的时间和坦率。他们应当得到一份简短的调查、询问的明确理由、关于其答案将如何使用的承诺,以及在他们报告问题时的回复。在调查不是匿名之处,要说明这一点。看不到任何变化的用户会停止回答,而这种沉默看起来就像满意。

实践:一个敏捷 ITIL 示例

一家地区医院的 IT 部门运营着一个服务台和一个构建临床应用的小团队。以下数字是示意数字。

服务台的月度 CSAT 为 92%,由约 3,100 张已关闭工单中的 140 个回答计算得出,回复率为 4.5%。领导层很高兴。服务经理阅读评论,注意到许多正面的回答来自行政部门的员工,而夜班护士几乎没有出现。她把回答者构成与用户目录比较,发现夜班员工约占用户的 18%,却只占回答者的 3%。

团队作出三项改变。调查变成一份含评分和一条评论的两问表单,由工单系统在解决四小时后自动发送给每一张工单。为轮班员工提供短信版本。月度报告现在显示 CSAT,附回复率、置信区间、回答者构成与用户构成的对比,以及前五个评论主题。

两个月内,回复率升到约 11%,CSAT 降到 84%。评论主题显示"不得不回电话"和"修复没有持续"是排前两位的抱怨,集中在临床系统中。IT 负责人告诉董事会,旧的分数反映的是谁回答了,而新的分数是更好的指南。产品团队增加了一个待办项,修复回电背后反复出现的故障,服务台开始在一个工作日内联系每位给出 1 或 2 分的用户。在下一个季度,临床系统的重复联系率下降了,"不得不回电话"的评论占比随之下降。团队把这项决定记录在日志中,并且不设 CSAT 目标。

行业视角

初创企业。与用户的密切联系,使简短的交谈起初比调查更好。当数量增长后,增加一个单问题的调查,并继续阅读每一条评论。抵制在回答足够多、足以有意义之前就公布分数的冲动。

小型企业。一位不满意的客户可能比一个分数更重要。把调查用作与人交谈的提示,并保存跟进的记录。对厂商提供的满意度报告,应对其方法保持怀疑。

大型企业。规模带来细分,以及汇总的诱惑。按服务和受众保存分数,公布方法,避免把不同的服务平均成一个数字。使用带自动发送的稳定调查平台,并对任何跨团队的排名保持谨慎。

政府与公共部门。公共机构往往有收集用户反馈并公布结果的正式义务,也有关于无障碍和隐私的职责。提供无障碍的调查渠道,保护回答者的身份,并连同结果一起公布方法。在合同或法定报告中出现满意度数字之处,精确定义它,并在旁边显示护栏(见主题 8.5,受监管与政府报告)。

商业论证:动机、投资回报与总拥有成本

直接成本是调查工具(许多工单系统已经包含)、每月一两个小时用于评审评论和为主题编码,以及与不满意用户跟进的时间。更大的成本是对所听到的采取行动的纪律。开始时不需要新平台。

回报表现为用户看重的修复和避免的浪费。评论告诉你摩擦在哪里,使你可以消除重复联系和失败修复的原因,而不是增加人手去处理它们。对谁没有回答有更好的了解,保护你免于依据自我选择的少数人作出决定。依据发现并消除的问题来描述收益,并在前后度量你自己的基线:重复联系率、重开率和首次有用响应的时间。不要用编造的百分比来为这个项目辩护。如果你需要数字,就用你自己的数据构建。

反模式与陷阱

  • 把分数当作目标。它会靠选择谁被询问或辅导答案而被达成。把它当作一个问题,并与评论和运营度量配对。
  • 只在容易的工单之后调查。自动发送给每个合格的互动。
  • 按 CSAT 给坐席排名。它惩罚那些接下困难案例的人。使用团队和服务的视图,并从评论中学习。
  • 索要更好的分数。对低评分的跟进应当以修复问题为目标。不要要求更改。
  • 报告没有回复率的分数。始终显示谁回答了、有多少人。
  • 改变问题却保留趋势。记录变更,并在图表上标出断点。
  • 不带方法地引入基准。先与你自己的历史比较。
  • 收集评论却从不阅读。把评审放进日历,并指定负责人。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
工具与抽样 偶尔的临时调查 部分服务有调查,手工发送 简短的调查自动发送给所有合格的互动 抽样规则、措辞变更和排除项被记录并评审 工具在团队和供应商之间对齐,并与用户一起修订
数据质量 只有分数 报告回复率 报告回复率、回答者构成和不确定性 管理回答者覆盖;编码由第二个人检查 跨服务共享的体验视图,用户参与解读
行动与跟进 报告分数,什么也没改变 偶尔依据评论修复 带目标时间的贬损者跟进;跟踪主题 主题驱动获得资助的改进工作,并与运营数据相联 闭合回路跨越团队和供应商;用户看到改变了什么

检查清单

  • 每份调查都有一个说明的目的,以及它所依据的一个决定。
  • 问题简短、中性,并包括一条开放评论。
  • 调查自动发送给每个合格的互动,或发送给有记录的随机样本。
  • 回复率和回答者构成显示在每个分数旁边。
  • 显示不确定性,小样本报告为计数。
  • 没有任何个别坐席按满意度排名。
  • 指名的人在约定时间内跟进低评分。
  • 评论被编码为稳定的主题清单,并每月评审。
  • 措辞和抽样的变更被记录并标在图表上。
  • 告知回答者其答案如何使用,并保护个人数据。

AI 提示词

评审一份调查工具。

我为[组织类型]运行[服务或团队]。我们在[事件]之后用这种措辞调查[受众]:[粘贴问题和量表]。
请评审其中的引导性语言、双重问题、不清晰的量表,以及对回答者的负担。建议一个更短的版本,
保留一个评分和一条开放评论。不要编造基准值,也不要声称你无法引用的研究结果。列出你的
假设,以及你无法根据文本判断的内容。

把调查评论编码为主题。

这是[服务]在[期间]的[数量]条匿名调查评论:[粘贴已去除个人数据的评论]。请提出一份简短的
主题清单(不超过八个),并把每条评论分配到一个主题,在含糊之处附一个置信度说明。报告
每个主题的计数,以及每个主题三条有代表性的引文。不要识别个人。告诉我在依赖这个编码之前
人应当检查什么,并列出你的假设。

检查代表性。

我们从[邀请数]次邀请中收到[回答数]个回答。按[维度,例如地区或班次]划分的回答者:[计数]。
按同一维度划分的用户总体:[计数]。请比较两者,描述回答者构成在哪里不同,并说明我们应当
给满意度分数附上什么警示。建议两种触达代表性不足群体的实际办法。不要推断数据之外的原因,
并列出你的假设。

规划闭合回路的跟进。

请起草一份简短的流程,用于跟进在[服务]中给出[阈值]或更低评分的用户。包括由谁联系他们、
在多长时间内、说什么、记录什么,以及如何避免要求更改评分。背景:[团队规模、工具、时间]。
列出你的假设,以及任何取决于我没有描述的工具的步骤。

AI 技能

关键要点

  • 满意度分数描述一刻服务的感受,所以把调查与具体事件相联,并保持简短。
  • 始终连同分数一起报告回复率、回答者构成和不确定性。
  • 评论解释数字,所以每月阅读它们,并把它们编码为主题。
  • 自动发送调查,绝不要求用户更改评分。
  • 在团队和服务层面使用满意度,绝不用来给人排名,并谨慎对待外部基准。
  • 闭合回路:报告了糟糕体验的人应当得到回复,并看到变化。

参考文献与延伸阅读

  1. Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
  2. Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
  5. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
  6. Wikipedia, Customer satisfaction.
  7. Wikipedia, Net promoter score.
  8. Wikipedia, Survey methodology.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Likert scale.
  11. Wikipedia, Response bias.
  12. Wikipedia, Margin of error.
  13. Wikipedia, Confidence interval.