服务采用与目录指标
没有人选择、找到或完成请求的服务,没有交付价值,所以要度量人们如何发现并使用你所提供的东西,并让目录像待办一样保持诚实。
概述与动因
团队在服务上投入,然后发现人们并不使用它们。新的自助服务门户被电子邮件绕开。一个精心设计的软件访问目录项一年只收到两个请求,而每月却有一百个请求通过聊天到来。一项监控服务上线了,而它所面向的团队有一半从未接入。采用是交付缺失的另一半:只有当预期的用户开始、持续并完成对它的使用时,服务才有价值。
服务目录(ITIL 自己的拼写是 service catalogue)是一个组织提供的服务和可请求项目的清单,以其用户能够理解的语言描述。服务目录通常有面向客户的视图和技术视图,前者列出用户可以请求什么以及如何请求,后者记录每项服务如何构建和支持。敏捷团队会认出它的形状:目录是一种反过来的产品待办。待办列出你打算构建什么。目录列出你已经提供什么,两者需要同样的照料:排序、修剪、清晰的措辞,以及来自用户的持续反馈(见主题 2.6,待办事项与细化指标)。
采用是预期用户采纳并持续使用一项服务的程度。关于新实践如何传播的研究有着悠久的历史;创新扩散理论把采用描述为随时间展开的过程,其中有早期采用者、大多数人和落后者。对于内部服务,实际的教训是:采用很少因为一则公告而发生。它发生在服务易于找到、易于使用、并明显好于变通办法的时候。
采用度量很容易被变成目标。强制规定一个渠道,会使使用数字看起来很好,而用户却心怀怨恨并构建变通办法。把每个请求都推入目录项,会使目录覆盖率上升,而完成率下降。古德哈特定律的护栏适用,所以这里的每项度量都与一项检查配对,确认上升的是真实的价值,而不仅仅是使用(见主题 1.2,古德哈特定律与指标心理学)。
本主题涵盖四件事:人们是否使用一项服务(采用)、他们能否找到并完成他们为之而来的事(目录和请求流程)、目录是否是最新且诚实的(卫生),以及使用是否集中在少数几个项目上(形状)。它与请求履行(见主题 3.5,服务请求履行指标)和自助服务(见主题 3.7,自助服务与自动化指标)相联,后两者涵盖请求提出之后发生的事。
关键原则
- 采用是成果,所以要问用户想做什么。统计完成的目标,而不是页面浏览。
- 度量漏斗,而不只是总数。人们在哪里退出,告诉你该修复什么。
- 与替代方案比较。一项服务与电子邮件、聊天、一通电话和一个变通办法竞争。
- 让目录尽可能小、尽可能新。陈旧的项目教会用户不再去看。
- 在下结论之前先细分。对所有用户的平均值,隐藏了服务对其不起作用的群体。
- 绝不强制使用来提高数字。强制产生数字,不产生采用。
- 把低使用率视为向负责人和用户提出的问题。这可能意味着该服务并不需要。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| 采用率 | 在该期间至少使用过一次某项服务的合格用户占比 | 至少有一次完成使用的不同合格用户数 / 合格用户数 | 百分比 | 与用户目录连接的服务使用日志 | 服务目录管理;服务级别管理 | 功能采用;产品成果评审 | 每月 |
| 活跃使用率 | 仍随时间持续使用服务的采用者占比 | 在该期间活跃、且在上一期间也使用过该服务的用户数 / 上一期间活跃的用户数 | 百分比 | 使用日志;队列表 | 持续改进 | 产品分析中的留存 | 每月 |
| 目录覆盖率 | 通过目录而不是临时渠道到达的请求占比 | 通过目录创建的请求数 / 所有渠道的全部请求数 | 百分比 | 请求管理工具;邮箱和聊天标签 | 服务请求管理;服务目录管理 | 带有书面定义的待办项 | 每月 |
| 请求放弃率 | 用户开始但未提交的请求占比 | 开始后 24 小时内未提交的请求数 / 开始的请求数 | 百分比 | 门户分析 | 服务请求管理 | 可用性测试中的任务放弃 | 每月 |
| 搜索成功率 | 以一次请求或一次查看答案而告终的目录搜索占比 | 在会话内之后有请求或知识查看的搜索数 / 搜索数 | 百分比 | 门户搜索日志 | 知识管理;服务目录管理 | 用户研究中的可查找性 | 每月 |
| 陈旧项目占比 | 超过评审日期、或在规定期间内无使用的目录项占比 | 逾期未评审或 12 个月内请求数为零的项目数 / 目录中的项目数 | 百分比 | 目录登记册 | 服务目录管理 | 待办项年龄与修剪 | 每季度 |
| 请求集中度 | 被请求最多的几个项目所占的请求占比 | 前五个项目的请求数 / 全部目录请求数 | 百分比 | 请求管理工具 | 服务请求管理 | 按类型的工作帕累托图 | 每季度 |
为每项度量说明用户基数。"合格用户"必须在度量之前定义,例如担任能够使用某项服务的角色的员工,并把名单记录在指标登记册中。只有当使用以完成的成果告终,比如交付了访问授权,才算一次使用,而不是页面加载时。排除测试账户和自动化流量。
建议
了解你的服务和你的用户
1. 为每项服务定义预期的受众。在度量采用之前,写下服务是为谁准备的,以及他们为什么会使用它而不是替代方案。如果只打算让财务人员使用,那么一项为财务人员构建的新分析服务,并不是"低采用"。没有定义的受众,采用率就是一个关于无人的数字。
2. 记录替代方案。对每项主要服务,列出人们在不使用它时现在做什么:问同事、发邮件、买工具、运行电子表格。从重要的意义上把替代方案视为竞争者:它是你的服务更难用时用户去的地方。在设计和评审期间,比较两条路径的力气。
3. 用用户的语言描述项目。像"软件访问,标准"和"笔记本电脑更换,损坏"这样的标题,比内部名称更容易找到。让几位用户依据一个简短的场景去找一个项目,以此测试标题。措辞问题很快就会在搜索日志中显现出来。
4. 为每个项目保留负责人。每个目录项都有指名的负责人、评审日期、受众描述和预期数量。没有负责人的项目会漂移。如果没人说得出谁使用某个项目以及为什么,它就是移除的候选。
度量旅程
5. 为漏斗埋点。对每项重要服务,记录从发现到完成成果的各步骤:找到项目、开始请求、填写表单、提交、收到结果。转化漏斗视图显示用户在哪里离开。先修复最大的流失。检查修复使表单更短或更清晰,而不只是让数据更好看。
6. 用队列看留存。队列分析按用户首次使用服务的时间分组,并跟踪每个组。它把留住用户的服务,与只吸引他们一次却又失去他们的服务区分开来。把它用于应当被重复使用的服务,比如服务台门户或部署流水线。
7. 阅读搜索日志,了解人们找不到什么。没有结果的搜索,或用不同词语重复的搜索,指向命名、内容或目录本身的缺口。每月评审排前的零结果搜索,并对每一个决定:重命名一个项目、增加一个同义词、写一篇文章,或创建一个新项目。网络分析工具可以提供这些,门户自己的日志也可以。
8. 按群体细分。在你有合法且合乎伦理地获取这些信息的权限之处,按角色、地点、设备和无障碍需求细分采用和放弃。汇总数字可能看起来健康,而夜班员工或移动设备上的用户失败率是其两倍。抑制小群体以保护人,并与前面主题中的体验度量结合(见主题 6.2,体验级别协议)。
保持目录诚实
9. 按计划修剪。每季度评审目录。移除或合并没有使用的项目,让已停用服务的项目退役,并修复放弃率高的项目。小而准确的目录,比完整而陈旧的目录更好地服务用户。把移除视为正常,并记录原因。
10. 观察需求的形状。在大多数目录中,少数几个项目占据大部分请求,这种模式常通过帕累托原理来描述。用它把设计精力集中在频繁的项目上,并把例行的项目自动化(见主题 3.7,自助服务与自动化指标)。不要不看一眼就丢弃长尾,因为罕见的项目对需要它们的人可能非常重要。
11. 不要强制采用。如果一项服务是需要的,一旦它变得容易,用户就会来。在组织出于控制或审计原因要求某个渠道之处,要说明这一点,并公开表示这个数字反映的是规则,不是偏好。避免暗黑模式,比如隐藏电话号码或使替代方案更难,因为它们提高使用,却降低信任。
12. 与负责人和用户闭合回路。每月与项目负责人分享漏斗、搜索缺口和陈旧清单。在调查和评审中,问用户为什么使用或回避某项服务(见主题 6.1,客户满意度指标)。在登记册中记录你改变了什么,并告诉用户它已发生。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| 采用率 | 强制使用;把登录或页面浏览算作使用;把"合格用户"收窄到已经在使用它的人 | 完成成果的定义;与满意度和费力评分比较;公布合格用户的规则 |
| 活跃使用率 | 自动注册用户,使其显得活跃;发送计入活动的通知 | 只统计由用户发起、已完成的操作;对流失用户做抽样访谈 |
| 目录覆盖率 | 把每个请求都强塞进通用目录项;用"请使用门户"关闭邮件请求 | 请求放弃率和满意度;统计有多少请求通过另一个渠道重新提出 |
| 请求放弃率 | 去掉需要的表单字段,这把工作转移到履行;只在很长的窗口之后才统计被放弃的请求 | 履行时的返工和澄清率(见主题 3.5,服务请求履行指标) |
| 搜索成功率 | 把任何点击算作成功;添加匹配每个查询的无关文章 | 检查结果是否被使用(提出了请求、文章被评为有帮助);阅读零结果搜索 |
| 陈旧项目占比 | 不阅读就把项目标为已评审;批量重置评审日期 | 抽样已评审的项目检查准确性;显示最近一次真正变更的日期 |
| 请求集中度 | 把热门项目拆成许多个;把不相关的项目合并以隐藏长尾需求 | 带变更日志的固定项目分类法;按类别查看长尾 |
健康的读数是这样一份目录:使用最多的项目运转良好并越来越容易,用户选择该服务是因为它好于替代方案,而让一个项目退役是常规之事。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 强制的渠道 | 数量可预测,易于审计 | 怨恨、变通办法、夸大的数字 |
| 自愿采用 | 价值的诚实信号 | 较慢;有些服务可能永远不会被采用 |
| 大目录 | 完整,涵盖罕见需求 | 难以搜索;变得陈旧 |
| 小目录 | 易于查找和维护 | 罕见的需求落在范围之外;用户转向电子邮件 |
| 漏斗度量 | 精准定位用户在哪里退出 | 需要埋点;可能鼓励以牺牲成果为代价来优化表单 |
| 询问原因的调查 | 解释行为 | 受谁回答的影响而有偏差;难以扩展 |
文字化的答案是,偏好有明确质量优势支撑的自愿采用,只在控制或合规要求时才使用强制,并相应地标注数字。让目录小到可以维护,并把长尾放进可搜索的知识库,而不是一百个半被使用的项目。
与团队讨论的问题
1. 我们的每项主要服务是为谁准备的?我们怎么知道他们在使用它? 列出你的团队花最多时间的五项服务,并为每一项写下预期的受众。然后问如何为它们度量采用。主持人应寻找没人说得出受众的服务,因为它们很可能没有采用计划。
2. 人们不使用我们的服务时做什么?为什么? 对一项低采用的服务,访谈或调查几位回避它的用户。替代方案通常很有启发:它可能更快、更熟悉或更灵活。决定是改进服务、改变替代方案,还是接受该服务并不需要。
3. 用户在我们被请求最多的项目的哪里退出? 展示排前的项目从第一次查看到提交的漏斗。请团队猜最大的流失在哪里,然后比较。约定一项要测试的改变,并说明如何检查它是否有帮助,而不是把问题移到别处。
4. 如果敢的话,我们会从目录中移除什么? 打印一年内没有请求的项目清单。问每一个如果消失会发生什么。交谈常常发现,某个项目之所以存在,只因为有人曾经要求过它。约定一个日期,移除或合并前五个,并附一份给用户的说明。
5. 我们在哪里诱导或强迫用户?这值得付出代价吗? 列出每一处由规则或设计把用户推入某个渠道之处。问哪些是真正需要的,哪些是习惯。主持人应探究用户如何体验每一个,以及由此产生的数字是否意味着领导层认为它们所意味着的东西。
6. 人们在搜索什么而我们没有? 评审排前的零结果搜索。对每一个,决定是增加一个项目、写一篇文章,还是解释该服务并不存在。问谁负责这项评审,以及多频繁进行。
四种视角
产品与交付团队
交付团队构建需要被采用才有意义的服务和功能。他们应当在一开始就定义受众,把使用度量构建进服务,并在上线后评审漏斗。采用数据是对工作的反馈,它属于细化和评审。团队应当避免在发布时就宣布完成。完成意味着预期用户正在得到益处。
服务与运维团队
运维团队运行目录,并看到通过每个渠道到达的请求。他们应当保持目录最新,给绕过它的请求打标签,并问为什么。他们不应通过重定向来关闭请求,因为那会隐藏信号。搜索缺口和放弃是他们改进门户的最佳来源。
领导层与治理
领导层决定采用是一场对话还是一份配额。他们应当问这项服务是干什么的、帮助了谁,以及人们为什么选择它。他们应当避免为个别团队设定采用目标,支持让未使用的服务退役,并期望看到采用与满意度和费力程度并列。在强制有正当理由之处,领导层应当向用户解释。
客户与用户
用户想以很小的力气得到所需。他们注意到门户难以搜索、表单询问组织已经知道的东西,以及老办法更快。他们的行为以及他们所说的,是最诚实的采用信号。应当问他们为什么回避某项服务,并告诉他们因此改变了什么。
实践:一个敏捷 ITIL 示例
一家国家交通机构的 IT 部门运营着一个服务台、一个拥有约 140 个目录项的自助服务门户,以及几个产品团队。以下数字是示意数字。
门户一年前上线,领导层设定了 80% 的请求通过它的目标。月度报告显示覆盖率为 78%,服务管理负责人很高兴,直到她读到用户调查中的评论。区域办事处的员工说门户很慢,表单很长。她请目录经理查看漏斗和搜索日志。
"新员工设备"的漏斗显示,每季度有 1,100 次开始、640 次提交,放弃率为 42%。该表单有 23 个字段。搜索日志显示,"笔记本电脑"这个词返回八个项目,而"VPN"这个词没有返回任何结果,尽管它是被搜索最多的词。在 140 个目录项中,有 38 个在 12 个月内没有请求,21 个已过评审日期。前五个项目占请求的 61%,另有 15% 的请求通过电子邮件到达,并被手工登记。
团队作出四项改变。它利用人力资源系统已有的数据,把新员工表单削减到九个字段。它增加一篇 VPN 文章和一个带同义词的项目。它把八个笔记本电脑项目合并为两个。并让 19 个未使用的项目退役,附一份给负责人的说明。它还改变了月度报告的读法:覆盖率与放弃率以及调查问题"得到您所需的东西有多容易?"一起显示。三个月后,新员工项目的放弃率降到 24%,门户的覆盖率是 74%,区域办事处的费力评分上升。总监问覆盖率为什么下降了。服务管理负责人解释说,邮件请求先前被强制关闭,较低的数字更诚实,体验也更好。决策日志记录,目标被一个方向取代:减少放弃并提高费力评分,覆盖率被评审,但不设目标。
行业视角
初创企业。往往没有目录。一个简单的"如何获得 X"页面和一个共享渠道就够了。观察人们要什么,把前五项请求变成简短的指南。通过询问用户来度量内部工具的采用,并跳过正式的漏斗。
小型企业。提供 IT 的人很少,请求通过每个渠道到达。由 10 到 20 个项目组成的适度目录涵盖大多数需求。不要强迫用户使用一个维护成本高于其所处理请求的门户。每年评审两次清单。
大型企业。规模给你一个大到需要治理的目录:负责人、评审日期和分类法。按业务单元和地区细分采用,并避免忽视本地需求的全企业范围的强制。留意那些目录项被计数却不被使用的供应商。
政府与公共部门。服务既面向公众也面向员工,并有关于无障碍、语言和平等获取的职责。在度量中包括有协助的渠道(电话、当面),使数字化采用不会隐藏排斥。在法律或政策规则要求某个渠道之处,在报告中说明这一点(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本是适度的。使用日志和请求数据通常已经存在。漏斗和搜索分析需要访问门户分析,大多数平台都提供。主要的时间成本是每季度的目录评审,以及每月对搜索缺口和流失的查看,每次几个小时。修复表单和合并项目花费设计和配置时间。
回报来自被使用的服务、完成的请求,以及履行中更少的浪费。更短的表单减少放弃,就减少了重复联系和手工处理。修剪未使用的项目减少维护。用你自己的数字建立论证:放弃率、每个邮件请求的手工处理时间,以及维护一个未使用项目的成本,在变更前后比较。避免你无法追溯的、关于门户投资回报的已发布说法,因为它们取决于组织和方法。
反模式与陷阱
- 把上线算作采用。只有当预期用户用它完成成果时,服务才算被采用。度量使用,而不是公告。
- 强制一个渠道来提高数字。用户会绕开它。改进服务,让数字随之而来。
- 增加项目却从不移除。目录变得无法搜索。每季度修剪。
- 只看总数。按群体细分,并查看漏斗。
- 用重定向关闭邮件请求。它隐藏需求,并惹恼用户。处理请求并修复路径。
- 把页面浏览当作使用。统计完成的成果。
- 把低使用率视为用户的失败。问服务是否需要、是否易用。
- 让项目负责人失职。为每个项目指定负责人和评审日期。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 目录设计 | 随请求而增长的清单 | 目录存在,措辞不一致 | 用户语言的项目,带负责人和评审日期 | 每季度修剪;管理分类法 | 目录在团队和供应商之间共享;项目与用户共同设计 |
| 采用度量 | 传闻 | 按项目的请求计数 | 采用以合格用户和完成的成果来定义 | 每月评审漏斗、队列和细分 | 采用与跨服务的体验和成果相联 |
| 改进 | 临时修复 | 投诉之后才修复 | 每月评审搜索缺口和流失 | 修复被排定优先级并在待办上跟踪 | 与用户协调改进,公开报告退役的服务 |
检查清单
- 每项主要服务都有书面的预期受众和一条替代路径。
- 采用被定义为合格用户完成的成果。
- 目录项有负责人、用户语言的描述和评审日期。
- 为被请求最多的项目埋了漏斗。
- 每月评审零结果搜索。
- 采用和放弃按群体细分,小群体被抑制。
- 在目录之外到达的请求被标记并计数。
- 每季度修剪目录,并记录原因。
- 采用显示在满意度或费力度量旁边。
- 没有为个别团队或个人设定采用目标。
AI 提示词
分析一个请求漏斗。
对于[组织类型]中的目录项[项目名称],我们[期间]的门户数据是:查看[数量]、开始[数量]、
提交[数量]、已履行[数量]。该表单有[数量]个字段:[清单]。请描述用户可能在哪里遇到困难,
建议三项要测试的改变,并说明我如何检查每项改变是否有帮助,而没有把问题转移到履行中。
不要编造基准值。列出你的假设,以及你需要的额外数据。
评审搜索日志中的目录缺口。
这是[期间]内排前[数量]的目录搜索及其结果数:[粘贴数据]。请把它们分组为主题,标出不返回
任何结果或返回太多项目的搜索,并建议每个需要新项目、重命名、同义词还是知识文章。不要
猜测我们可能并不提供的服务。列出你的假设,以及我应当向项目负责人提出的问题。
规划一次目录修剪评审。
我管理着一个有[数量]个项目的目录。对这些项目,我有 12 个月的请求计数、评审日期和负责人:
[粘贴摘要]。请提出移除、合并或保留一个项目的标准、一份给负责人的简短说明,以及避免丢掉
罕见但关键的项目的办法。包括一项检查,确认我们不是仅仅把请求转移到电子邮件。列出你的假设。
为一项服务起草采用定义。
服务:[名称]。预期用户:[角色]。当前的替代路径:[他们现在做什么]。请起草一份一页纸的
采用定义,涵盖合格用户、什么算一次完成的使用、数据来源、如何排除测试和自动化流量、
该度量可能如何被操纵,以及一个护栏。不要编造目标。列出你的假设,以及我需要确认的任何事项。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项采用或目录指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查新的目录指标条目是否带有其操纵途径和护栏。
关键要点
- 采用意味着预期用户用一项服务完成成果,所以定义受众并统计完成数。
- 度量漏斗、搜索缺口和用户的留存,并按群体细分。
- 把服务与用户今天拥有的替代方案比较。
- 让目录保持小巧、有负责人,并每季度修剪。
- 不要强制使用来提高数字,并把采用与满意度和费力程度配对。
- 把低使用率视为关于需要和易用程度的问题,而不是用户的失败。
参考文献与延伸阅读
- Rogers, E. M., Diffusion of Innovations, 5th ed., Free Press, 2003.
- Hunnebeck, L., ITIL Service Design (service catalogue management), The Stationery Office, 2011.
- Hunt, A. and Thomas, D., The Pragmatic Programmer, Addison-Wesley, for the habit of removing what is no longer useful.
- Wikipedia, Service catalog.
- Wikipedia, Product backlog.
- Wikipedia, Diffusion of innovations.
- Wikipedia, Goodhart's law.
- Wikipedia, Conversion funnel.
- Wikipedia, Cohort analysis.
- Wikipedia, Web analytics.
- Wikipedia, Pareto principle.
- Wikipedia, Dark pattern.