客户满意度指标
满意度分数告诉你人们对某一刻服务的感受,所以要在合适的时间提出简短而诚实的问题,先读评论再看数字,并且绝不让分数变成配额。
概述与动因
运营度量说明服务做了什么。满意度度量说明接受它是什么感觉。一张工单可以在目标时间内关闭,却仍让用户陷在原地,而一项恢复了的服务,仍可能让人觉得是糟糕的一周。敏捷团队在每个增量结束时问同样的问题:这对它所服务的人有帮助吗?由 ITIL 编纂的 IT 服务管理(ITSM),则通过服务与其客户共同创造的价值来提出这个问题。满意度度量是这两个问题交汇之处。
客户满意度是衡量产品和服务满足或超出客户期望程度的度量。在服务工作中,它通常通过调查来收集,本主题涵盖其三种常见形式:
- 客户满意度分数(CSAT):对某次具体互动或服务的评分,通常采用五分制,报告为满意回答的占比。
- 净推荐值(NPS):基于一个关于受访者推荐某公司、产品或服务的可能性有多大的问题。回答 9 或 10 的受访者是推荐者,回答 0 到 6 的是贬损者,分数是推荐者的百分比减去贬损者的百分比。净推荐值由弗雷德·赖克哈尔德在 2003 年一篇《哈佛商业评论》的文章中推广开来。
- 客户费力度分数(CES):对完成某事花了多少力气、或有多容易的评分。其作者主张,减少费力程度比取悦人们能更好地预测忠诚度。把这一主张当作需要在你自己的背景中检验的假设,而不是定论。
在内部 IT 的环境中,"客户"是同事,调查是在工单或发布之后的一个简短问题。原则是相同的,而伦理义务更大,因为你所询问的人明天还要与你共事。
调查是调查方法学的一种形式,这个领域关于问题措辞、时机和抽样如何改变答案,有数十年的发现。跳过它的团队,往往产生因与服务质量无关的原因而变动的分数。古德哈特定律的护栏在这里格外有力:当员工因高分而受到奖励时,他们就学会了索要它(见主题 1.2,古德哈特定律与指标心理学)。
本主题给出使满意度度量保持诚实的定义、数据卫生和习惯。下一个主题把它们扩展为对体验更完整的视图(见主题 6.2,体验级别协议)。
关键原则
- 针对具体的某一刻提问。与一张已关闭的工单或一次发布相联的调查,比一般性的年度问题给出更清晰的答案。
- 保持简短。一个评分加一条开放评论,胜过大多数人会跳过的十个问题。
- 阅读评论。分数告诉你有多少,文字告诉你为什么。
- 报告谁回答了。没有回复率和回答者构成的分数,只是传闻。
- 闭合回路。报告了糟糕体验的人应当得到回复。
- 与自己随时间比较。跨公司的基准隐藏了方法、受众和文化的差异。
- 保护回答者。只收集你需要的,说明将如何使用,并且不依据它给个人排名。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| CSAT | 针对已定义互动类型,满意的回答占比 | 在五分制中评为 4 或 5 的回答数 / 有效回答数 | 百分比 | 与工单或发布相联的互动后调查 | 服务台;事件管理;服务级别管理 | 利益相关方评审反馈 | 每周或每月 |
| NPS | 针对已定义服务和受众,推荐者减去贬损者 | 回答 9 或 10 的百分比 减去 回答 0 到 6 的百分比 | 点,范围 -100 到 100 | 按固定间隔发送的关系调查 | 持续改进;服务级别管理 | 产品成果评审 | 每季度 |
| CES | 对完成某事有多容易的平均评分或偏正面评分的占比 | 偏正面的回答数 / 有效回答数,或平均评分 | 百分比或均值 | 与工单、请求或发布相联的互动后调查 | 服务请求管理;服务台 | 细化中的可用性反馈 | 每月 |
| 调查回复率 | 受邀用户中作出回复的占比 | 收到的回答数 / 送达的调查数 | 百分比 | 调查工具和工单系统 | 度量与报告 | 评审中的反馈参与度 | 每月 |
| 回答者覆盖 | 回答者构成在约定维度上与用户总体的吻合程度 | 每个群体中回答者的占比,与该群体在用户中的占比比较,按群体 | 百分点 | 与用户目录或工单数据连接的调查工具 | 度量与报告 | 利益相关方地图 | 每季度 |
| 评论主题占比 | 自由文本评论被分配到各个主题的占比 | 主题中的评论数 / 已编码的评论数 | 百分比 | 已编码的调查评论 | 持续改进 | 回顾会议的主题 | 每月 |
| 贬损者跟进时间 | 从低评分到与用户有记录的联系之间的时间 | 跟进记录的时间戳 减去 低评分的时间戳,取中位数和第 85 百分位数 | 小时或天 | 调查工具和工单系统 | 事件管理;持续改进 | 工作协议中的反馈回路 | 每月 |
时钟和边界很重要。CSAT 和 CES 只统计对具体互动的回答,绝不统计一般的情绪。贬损者跟进时间从低评分被记录的那一刻开始,而不是从有人第一次读到它开始。排除测试记录,以及来自被度量团队成员的回答。
建议
设计工具
1. 每个目的选一个问题。在互动之后用 CSAT 了解该互动进行得如何,在用户必须做某事之后用 CES 了解摩擦在哪里,并按固定间隔用 NPS 了解整体关系。把三者混在一张表单里,会招致调查疲劳和混乱的结果。如果你只能负担其中一个,就选与你需要作出的决定相符的那个。
2. 使用中性、具体的措辞。"您对您的请求处理得如何感到满意?"比"我们的服务有多棒?"更好。避免同时问速度和友好程度的双重问题。提供一致的量表,标出两端,并保持每次答案的顺序相同。李克特量表是一种常见的设计,标签的微小变化可能改变结果,所以不要随意更改。
3. 增加一个开放问题。"您给出这个评分的主要原因是什么?"对回答者成本很低,却给团队提供最丰富的数据。评论解释分数,暴露数字无法揭示的问题,并给坐席可以学习的东西。在定期评审中阅读它们,可能的话大声朗读。
4. 让调查时间靠近事件。在工单解决或发布落地之后不久就发送问题,那时记忆犹新。不要在坐席希望得高分的关闭时刻发送。由系统设定的短暂延迟,消除了辅导答案的诱惑。
使数字值得信任
5. 在每个分数旁边报告回复率和回答者构成。来自 4% 用户的满意度分数,是关于回答者的陈述。用你已有的属性,比如地区、服务或请求类型,比较谁回答了与谁被邀请。差距很大,意味着分数需要一个警示标签。代表性是回复偏差研究的核心主题,而对服务团队来说,要点只是去看一看。
6. 显示不确定性。小样本摆动很大。在月度 CSAT 旁边显示误差范围或置信区间,可以防止团队对噪声作出反应(见主题 1.6,服务指标的统计素养)。如果一个团队在一个期间内的回答少于几十个,就报告计数并阅读评论,而不是报告百分比。
7. 避免选择谁被询问。如果关闭工单的人决定是否发送调查,分数会因错误的原因而上升。自动向每个合格的互动发送调查,或在数量大时向随机样本发送。把规则,包括任何排除项,记录在指标登记册中。
8. 把一个人的满意度与一个人的表现分开。满意度取决于个别坐席无法控制的因素:产品的质量、队列、政策、用户的心情。不要按 CSAT 给坐席排名。在团队和服务层面使用它,并把评论用于坐席乐于接受的辅导交谈。
对所听到的采取行动
9. 与不满意的用户闭合回路。联系报告了糟糕体验的人,问什么本可以有帮助,并记录你所了解到的。为跟进时间设定目标,并让跟进成为一场对话,而不是要求改变分数的请求。应要求改变分数是一种扭曲,所以跟进应当以修复问题和学习为目标。
10. 把评论编码为主题并跟踪它们。约定一份简短的主题清单,比如"不得不重复自己的话"、"响应缓慢"、"修复没有持续"、"沟通不清"和"友好且有帮助"。每月手工或借助工具编码一份样本,并由人检查结果。主题的趋势往往在分数变动之前就显示问题。
11. 把满意度与运营数据联系起来。把 CSAT 与解决时间、重开率和每个问题的联系次数比较。这些配对告诉你,速度是在买来满意度,还是团队又快又错。用它们找出值得调查的故事,而不是证明一条规则。
12. 谨慎对待基准。公布的或厂商提供的满意度分数数字,取决于方法、受众和地区,你自己的历史是更好的比较对象。如果你使用外部比较,说明其来源、方法和日期,并且在没有检验你的方法是否相符之前,不要据此设定目标。绝不编造基准。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| CSAT | 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单不发调查就关闭 | 向每张合格工单自动发送调查;回复率和回答者构成;重开率 |
| NPS | 只调查友好的用户;把调查时机放在一次好事件之后;当面询问;重新标记量表的点 | 登记册中固定的受众和日程;回答者覆盖;阅读贬损者的评论 |
| CES | 以把工作转移到别处的方式去掉表单中的步骤;只在顺利的请求之后询问 | 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行指标) |
| 调查回复率 | 只邀请可能回答的人;每次向不同的名单发送调查 | 写下邀请规则;把受邀者与用户总体比较 |
| 回答者覆盖 | 把难以触达的群体从比较中去掉;不说明就重新加权 | 公布维度和方法;在加权结果旁边显示未加权结果 |
| 评论主题占比 | 为避开糟糕的主题而对评论编码;合并主题使没有一个显得大 | 由第二个人对一份样本编码;保持主题清单稳定并记录变更 |
| 贬损者跟进时间 | 记录一条备注却不联系用户;联系用户要求更好的分数 | 检查跟进记录的内容;在下一次调查中问用户是否有人联系过他们 |
健康的读数是:稳定的回复率,接近用户构成的回答者构成,随用户在评论中所描述的体验而变动的分数,以及说有人回复了他们的不满意用户。
权衡:利弊
| 度量 | 优势 | 劣势 |
|---|---|---|
| CSAT | 简单、快速、与某个具体时刻相联 | 容易被夸大;对整体关系说明很少 |
| NPS | 一个问题,易于随时间跟踪 | 隐藏原因;一个数字压缩了很宽的分布;文化差异影响量表 |
| CES | 直接指向团队能消除的摩擦 | 较少被广泛理解;证据有争议 |
| 年度长调查 | 内容丰富,涵盖许多服务 | 缓慢、回复率低、难以据此行动 |
| 只用评论 | 具体、令人难忘 | 难以随时间比较;易受嗓门最大者影响 |
| 行为信号 | 没有调查负担;客观 | 无法捕捉感受;可能误读原因 |
文字化的答案是,把简短的互动调查、偶尔的关系调查和评论结合起来,并连同运营数据一起阅读这三者。满意度度量作为用户与团队之间的一场对话才有效。作为记分牌,它们就失败了。
与团队讨论的问题
1. 对于低分和高分,我们怎么处理? 请团队描述,在实践中,上一次低分导致变更是什么时候。然后对高分问同样的问题。如果答案含糊,调查就是一种仪式。主持人应寻找从数据到行动的具体链接,并约定一个记录这一链接的地方。
2. 谁回答我们的调查,谁不回答? 请团队说出他们听到最少的用户群体。与邀请名单和用户目录比较。交谈常揭示,最安静的用户有最难的问题。约定本季度触达一个安静群体的一种办法,比如一次简短的电话或另一个渠道。
3. 我们在互动的哪个环节提问?谁来决定? 走一遍从解决到调查的路径。找出每一个人可以影响调查是否、何时或如何发送的点。约定其中哪些点应当自动化。主持人可以把坐席可能为保护分数做什么,作为设计问题而不是指控来提问。
4. 贬损者在回应之后从我们这里听到什么? 查看几个近期的低评分,并阅读跟进记录。问用户是否会觉得被听到了。讨论如何使跟进有用,而不要求更改评分。决定由谁负责跟进,以及目标时间是多少。
5. 上个月的哪些评论改变了我们的做法? 随机打印或展示十条评论。问团队哪些得到了行动,哪些没有,以及原因。这把焦点保持在文字上,并建立阅读它们的习惯。约定下个月为主题编码,并评审趋势。
6. 我们被诱惑去与哪个公布的数字比较?这种比较公平吗? 说出这个数字、它的来源、方法和受众,然后把每一项与你自己的比较。问它是否会改变一项决定。如果不会,就把它放在一边,使用你自己的趋势。主持人应把答案记录在指标登记册中。
四种视角
产品与交付团队
产品团队用满意度反馈来决定接下来修复或构建什么,发布之后的简短调查比下一次季度评审给出更快的读数。交付团队应当把评论与待办项联系起来,向用户展示改变了什么,并避免把分数当作交付目标。发布之后关于费力或困惑的评论增加,是去查看发布而不是查看调查的信号。
服务与运维团队
服务台收集大部分互动数据,也最能感受到分数的压力。运维团队应当自动发送调查,公布抽样规则,并把评论用于团队学习。他们应当把 CSAT 与重开率和重复联系放在一起,使快速关闭不会看起来像好的成果(见主题 3.1,服务台指标)。
领导层与治理
领导层为操纵营造气候。"年底达到 95% 的满意度"这样的要求,教会员工保护数字。领导层应当要回复率、回答者构成和头几个评论主题,为评论所揭示的修复出资,并让满意度远离个人薪酬和排名。治理机构对其对外报告的任何数字,都应当期望有说明的方法。
客户与用户
用户付出他们的时间和坦率。他们应当得到一份简短的调查、询问的明确理由、关于其答案将如何使用的承诺,以及在他们报告问题时的回复。在调查不是匿名之处,要说明这一点。看不到任何变化的用户会停止回答,而这种沉默看起来就像满意。
实践:一个敏捷 ITIL 示例
一家地区医院的 IT 部门运营着一个服务台和一个构建临床应用的小团队。以下数字是示意数字。
服务台的月度 CSAT 为 92%,由约 3,100 张已关闭工单中的 140 个回答计算得出,回复率为 4.5%。领导层很高兴。服务经理阅读评论,注意到许多正面的回答来自行政部门的员工,而夜班护士几乎没有出现。她把回答者构成与用户目录比较,发现夜班员工约占用户的 18%,却只占回答者的 3%。
团队作出三项改变。调查变成一份含评分和一条评论的两问表单,由工单系统在解决四小时后自动发送给每一张工单。为轮班员工提供短信版本。月度报告现在显示 CSAT,附回复率、置信区间、回答者构成与用户构成的对比,以及前五个评论主题。
两个月内,回复率升到约 11%,CSAT 降到 84%。评论主题显示"不得不回电话"和"修复没有持续"是排前两位的抱怨,集中在临床系统中。IT 负责人告诉董事会,旧的分数反映的是谁回答了,而新的分数是更好的指南。产品团队增加了一个待办项,修复回电背后反复出现的故障,服务台开始在一个工作日内联系每位给出 1 或 2 分的用户。在下一个季度,临床系统的重复联系率下降了,"不得不回电话"的评论占比随之下降。团队把这项决定记录在日志中,并且不设 CSAT 目标。
行业视角
初创企业。与用户的密切联系,使简短的交谈起初比调查更好。当数量增长后,增加一个单问题的调查,并继续阅读每一条评论。抵制在回答足够多、足以有意义之前就公布分数的冲动。
小型企业。一位不满意的客户可能比一个分数更重要。把调查用作与人交谈的提示,并保存跟进的记录。对厂商提供的满意度报告,应对其方法保持怀疑。
大型企业。规模带来细分,以及汇总的诱惑。按服务和受众保存分数,公布方法,避免把不同的服务平均成一个数字。使用带自动发送的稳定调查平台,并对任何跨团队的排名保持谨慎。
政府与公共部门。公共机构往往有收集用户反馈并公布结果的正式义务,也有关于无障碍和隐私的职责。提供无障碍的调查渠道,保护回答者的身份,并连同结果一起公布方法。在合同或法定报告中出现满意度数字之处,精确定义它,并在旁边显示护栏(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
直接成本是调查工具(许多工单系统已经包含)、每月一两个小时用于评审评论和为主题编码,以及与不满意用户跟进的时间。更大的成本是对所听到的采取行动的纪律。开始时不需要新平台。
回报表现为用户看重的修复和避免的浪费。评论告诉你摩擦在哪里,使你可以消除重复联系和失败修复的原因,而不是增加人手去处理它们。对谁没有回答有更好的了解,保护你免于依据自我选择的少数人作出决定。依据发现并消除的问题来描述收益,并在前后度量你自己的基线:重复联系率、重开率和首次有用响应的时间。不要用编造的百分比来为这个项目辩护。如果你需要数字,就用你自己的数据构建。
反模式与陷阱
- 把分数当作目标。它会靠选择谁被询问或辅导答案而被达成。把它当作一个问题,并与评论和运营度量配对。
- 只在容易的工单之后调查。自动发送给每个合格的互动。
- 按 CSAT 给坐席排名。它惩罚那些接下困难案例的人。使用团队和服务的视图,并从评论中学习。
- 索要更好的分数。对低评分的跟进应当以修复问题为目标。不要要求更改。
- 报告没有回复率的分数。始终显示谁回答了、有多少人。
- 改变问题却保留趋势。记录变更,并在图表上标出断点。
- 不带方法地引入基准。先与你自己的历史比较。
- 收集评论却从不阅读。把评审放进日历,并指定负责人。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 工具与抽样 | 偶尔的临时调查 | 部分服务有调查,手工发送 | 简短的调查自动发送给所有合格的互动 | 抽样规则、措辞变更和排除项被记录并评审 | 工具在团队和供应商之间对齐,并与用户一起修订 |
| 数据质量 | 只有分数 | 报告回复率 | 报告回复率、回答者构成和不确定性 | 管理回答者覆盖;编码由第二个人检查 | 跨服务共享的体验视图,用户参与解读 |
| 行动与跟进 | 报告分数,什么也没改变 | 偶尔依据评论修复 | 带目标时间的贬损者跟进;跟踪主题 | 主题驱动获得资助的改进工作,并与运营数据相联 | 闭合回路跨越团队和供应商;用户看到改变了什么 |
检查清单
- 每份调查都有一个说明的目的,以及它所依据的一个决定。
- 问题简短、中性,并包括一条开放评论。
- 调查自动发送给每个合格的互动,或发送给有记录的随机样本。
- 回复率和回答者构成显示在每个分数旁边。
- 显示不确定性,小样本报告为计数。
- 没有任何个别坐席按满意度排名。
- 指名的人在约定时间内跟进低评分。
- 评论被编码为稳定的主题清单,并每月评审。
- 措辞和抽样的变更被记录并标在图表上。
- 告知回答者其答案如何使用,并保护个人数据。
AI 提示词
评审一份调查工具。
我为[组织类型]运行[服务或团队]。我们在[事件]之后用这种措辞调查[受众]:[粘贴问题和量表]。
请评审其中的引导性语言、双重问题、不清晰的量表,以及对回答者的负担。建议一个更短的版本,
保留一个评分和一条开放评论。不要编造基准值,也不要声称你无法引用的研究结果。列出你的
假设,以及你无法根据文本判断的内容。
把调查评论编码为主题。
这是[服务]在[期间]的[数量]条匿名调查评论:[粘贴已去除个人数据的评论]。请提出一份简短的
主题清单(不超过八个),并把每条评论分配到一个主题,在含糊之处附一个置信度说明。报告
每个主题的计数,以及每个主题三条有代表性的引文。不要识别个人。告诉我在依赖这个编码之前
人应当检查什么,并列出你的假设。
检查代表性。
我们从[邀请数]次邀请中收到[回答数]个回答。按[维度,例如地区或班次]划分的回答者:[计数]。
按同一维度划分的用户总体:[计数]。请比较两者,描述回答者构成在哪里不同,并说明我们应当
给满意度分数附上什么警示。建议两种触达代表性不足群体的实际办法。不要推断数据之外的原因,
并列出你的假设。
规划闭合回路的跟进。
请起草一份简短的流程,用于跟进在[服务]中给出[阈值]或更低评分的用户。包括由谁联系他们、
在多长时间内、说什么、记录什么,以及如何避免要求更改评分。背景:[团队规模、工具、时间]。
列出你的假设,以及任何取决于我没有描述的工具的步骤。
AI 技能
- 敏捷 ITIL 指标技能:用于在发布满意度指标之前,查找与之配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查修订后的调查指标条目是否保留了它的操纵途径和护栏。
关键要点
- 满意度分数描述一刻服务的感受,所以把调查与具体事件相联,并保持简短。
- 始终连同分数一起报告回复率、回答者构成和不确定性。
- 评论解释数字,所以每月阅读它们,并把它们编码为主题。
- 自动发送调查,绝不要求用户更改评分。
- 在团队和服务层面使用满意度,绝不用来给人排名,并谨慎对待外部基准。
- 闭合回路:报告了糟糕体验的人应当得到回复,并看到变化。
参考文献与延伸阅读
- Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
- Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
- Wikipedia, Customer satisfaction.
- Wikipedia, Net promoter score.
- Wikipedia, Survey methodology.
- Wikipedia, Goodhart's law.
- Wikipedia, Likert scale.
- Wikipedia, Response bias.
- Wikipedia, Margin of error.
- Wikipedia, Confidence interval.