Результаты важнее выпуска: что выбрать для измерения
Хорошая метрика услуги или поставки описывает изменение в жизни клиента или в состоянии услуги, поэтому выбирайте показатели, спрашивая, что изменилось для конкретного человека, а счётчики активности и выпуска считайте в лучшем случае вспомогательным свидетельством.
Обзор и мотивация
Большинство дашбордов начинается с того, что легко посчитать: закрытые обращения, развёрнутые изменения, завершённые истории, принятые звонки. Всё это уже снабжено метками времени в каком-нибудь инструменте и находится под контролем команды. Но ни один из этих счётчиков не говорит, стало ли кому-то лучше.
Четыре слова помогают не путаться. Активность это затраченные усилия: отработанные часы, проведённые встречи, сделанные звонки. Выпуск это то, что создала работа: релиз, решённое обращение, опубликованная статья. Результат это изменение, которое выпуск сделал возможным для кого-то: клиент выполняет задачу вдвое быстрее, клиника открывается по графику, повторяющаяся проблема перестаёт возвращаться. Влияние это более долгосрочный эффект на цели организации, например удержание клиентов или снижение стоимости обслуживания. В ITIL 4 (редакция 2019 года, опубликованная AXELOS, которой теперь владеет PeopleCert) выпуск определяется как материальный или нематериальный продукт деятельности, а результат как итог для заинтересованной стороны, ставший возможным благодаря одному или нескольким выпускам.
ITIL добавляет вторую идею, которая служит проверкой для любой метрики: ценность создаётся совместно поставщиком и потребителем услуги, а не передаётся одним другому. Это следует из сервис-доминантной логики, маркетингового подхода, по которому ценность возникает в использовании, когда клиент применяет возможности поставщика к своим целям. Метрика, измеренная целиком на стороне поставщика, не может доказать ценность. Команда может закрыть каждое обращение и вовремя выпустить каждый релиз, а пользователям работать при этом легче не станет.
Гибкий подход приходит к тому же другим путём. Принципы, лежащие в основе Манифеста гибкой разработки программного обеспечения, говорят, что работающее программное обеспечение является главной мерой прогресса, а простота, то есть искусство минимизировать объём ненужной работы, существенна. Ни один из принципов не поощряет увеличение груды выпуска. Оба указывают на создание того, что работает для пользователей, и на отказ от создания того, что никому не нужно.
Метрики выпуска и активности не ошибочны. Они помогают управлять потоком, ёмкостью и стоимостью, и последующие темы активно ими пользуются (см. тему 2.1, Показатели потока). Ошибка в том, чтобы позволить им подменять ценность. Тщеславная метрика это число, которое легко сообщить и которое почти всегда растёт: общее число зарегистрированных пользователей, накопленное число обработанных обращений, выпущенные на сегодня функции. Оно создаёт у команды вид занятости и никому не подсказывает, что делать дальше. Проверка такая: может ли это число расти, пока положение клиента ухудшается?
Метрики результата труднее. Они движутся медленно, зависят от факторов вне контроля команды и шумны. Изменение процесса сброса пароля может проявиться в объёме обращений лишь через недели, а на этот объём влияет и маркетинговая кампания. Ответ состоит в том, чтобы выбирать результаты тщательно, сочетать их с показателями выпуска, по которым команда ежедневно ориентируется, и честно говорить, какую часть изменения команда может приписать себе.
Опережающий показатель это показатель, который движется раньше интересующего вас итога и на который можно повлиять заранее, например доля новых услуг с проверенным руководством по поддержке. Запаздывающий показатель сообщает об итоге постфактум, например число серьёзных инцидентов или отток клиентов. Экономисты используют ту же пару, относя экономический индикатор к опережающим, совпадающим или запаздывающим. Командам нужны оба вида: запаздывающие показатели говорят, были ли вы правы, а опережающие дают то, на что можно воздействовать, пока ещё есть время. Опережающий показатель остаётся лишь гипотезой, пока вы не проверили на протяжении нескольких периодов, что он действительно движется раньше результата.
Метрики результата частично защищают от подгонки (см. тему 1.2, Закон Гудхарта и психология метрик). Показатель, близкий к тому, что переживает клиент, труднее улучшить, не помогая ему, а подгонка живёт в отдалении от результата. Рамки, помогающие с выбором, рассмотрены отдельно (см. тему 1.7, Рамки измерения).
Ключевые принципы
- Начинайте с результата и двигайтесь в обратном направлении. Назовите изменение, которое вы хотите для клиента, услуги или организации, затем спросите, какое свидетельство его покажет, затем спросите, какие опережающие признаки появятся раньше.
- Ценность создаётся совместно, поэтому включайте сторону потребителя. В каждом наборе должен быть хотя бы один показатель от тех, кто пользуется услугой: их успех, усилия или опыт, а не только записи поставщика.
- Держите цепочку на виду. Показывайте активность, выпуск, результат и влияние как цепочку. Команды ориентируются по выпуску и опережающим показателям, а оценивают себя по результатам.
- Сочетайте, но не подменяйте. Показатель результата объясняет, почему важен показатель выпуска, а показатель выпуска объясняет, что делать с показателем результата. Порознь они не работают.
- Предпочитайте показатели, которые могут и падать, и расти. Число, которое только растёт, это счётчик, а не сигнал.
- Относитесь к опережающим показателям как к гипотезам. Проверяйте, что они предсказывают результат, и отказывайтесь от них, если это не так.
- Будьте честны в отношении причинности. У результатов много причин. Говорите, на что команда влияет, а за чем только наблюдает.
Определения метрик
Пять метрик ниже подобраны так, чтобы сдвигать набор измерений к результатам. Это примеры нужной формы, а последующие темы определяют показатели услуг и поставки, которые наполняют эту форму. Иллюстративные пороговые значения в этой теме не являются эталонами.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват результатами | Доля сообщаемых метрик, связанных в реестре метрик с записанным результатом для названного клиента или услуги | метрики с записанной связью с результатом / метрики, сообщаемые за период. Учитываются только метрики, показанные в регулярном отчёте; исключаются рабочие показатели, которые ведёт одна команда | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Цель продукта и цель поставки | Ежеквартально |
| Доля внедрения функции | Доля подходящих пользователей, которые используют новую или изменённую возможность в заданное окно после выпуска | различные подходящие пользователи, использовавшие возможность в течение 30 дней после выпуска / различные подходящие пользователи за этот период. Отсчёт начинается с общей доступности; исключаются внутренние тестовые учётные записи и пользователи, которые не могли получить доступ к возможности | процент | Продуктовая аналитика, журналы использования каталога услуг | Проектирование услуг; управление релизами | Обратная связь на обзоре для заинтересованных сторон; продуктовый показатель результата | Ежемесячно в течение 3 месяцев после выпуска, затем ежеквартально |
| Доля повторных обращений | Доля обращений пользователя по той же услуге в заданное окно после закрытия предыдущего обращения | новые обращения того же пользователя по той же услуге в течение 14 дней после закрытого обращения / закрытые обращения за период. Отсчёт начинается с закрытия; исключаются обращения, открытые как плановое продолжение | процент | История обращений и заявок в инструменте ITSM | Служба поддержки; управление инцидентами | Просочившиеся дефекты; критерии готовности | Ежемесячно |
| Доля подтверждённых опережающих показателей | Доля используемых опережающих показателей, движение которых предшествовало движению связанного запаздывающего показателя в периоде обзора | опережающие показатели с подтверждённым опережением запаздывающего / используемые опережающие показатели. Оценивается командой в документированном обзоре не менее чем по четырём периодам данных; исключаются показатели с менее чем четырьмя периодами | процент | Реестр метрик и история трендов | Непрерывное улучшение | Действия ретроспективы по экспериментам | Дважды в год |
| Доля завершённых обзоров выгод | Доля профинансированных изменений или улучшений, у которых намеченный результат был сопоставлен со своим показателем после согласованной задержки | изменения с завершённым обзором результата в течение 90 дней после запланированной даты обзора / изменения, у которых дата обзора пришлась на период. Исключаются изменения, отозванные до выпуска | процент | Запись об изменении, реестр улучшений, заметки обзора | Непрерывное улучшение; управление изменениями | Обзор для заинтересованных сторон; обзор продуктового приращения | Ежеквартально |
Охват результатами и доля завершённых обзоров выгод измеряют саму практику измерения, и их легко удовлетворить бумажной работой. Доля внедрения функции и доля повторных обращений ближе к клиенту, и именно они чаще всего меняют решения.
Рекомендации
Начинайте с результатов
1. Запишите результат как предложение о человеке или об услуге. «Сотрудники могут сбросить свой пароль, не звоня в службу поддержки» это результат. «Развернуть новый портал идентификации» это выпуск. Поставьте это предложение в начало записи метрики в реестре, а затем выбирайте показатель. Если вы не можете написать такое предложение, вы не готовы выбирать число.
2. Нарисуйте цепочку от активности до влияния. Для каждой цели изобразите четыре блока: что делает команда, что она производит, что меняется для пользователя и что это меняет для организации. Поместите каждую метрику-кандидата в один из блоков. Если слева набор заполнен, а справа пусто, это сигнал искать свидетельства результата.
3. Применяйте к каждой метрике проверку совместного создания ценности. Спросите: чью точку зрения на ценность это показывает и появляется ли точка зрения потребителя где-либо в наборе? В терминах ITIL у отношения по услуге есть поставщик и потребитель, а ценность реализуется в использовании потребителем. Показателю времени реакции по часам поставщика нужен напарник со стороны потребителя, например смог ли пользователь продолжить работу (см. тему 6.2, Соглашения об уровне опыта).
4. Просите решение, а не отчёт. Для каждой метрики-кандидата запишите решение, которое кто-то примет, если она изменится. Отказывайтесь от любого показателя, к которому не привязано решение. Это самый быстрый фильтр против тщеславных метрик, и он не даёт дашборду расти сам по себе.
Сочетайте выпуск с результатами
5. Выбирайте один показатель результата на каждый крупный показатель выпуска. Если вы сообщаете о развёртываниях, сочетайте их с показателем того, что развёртывания изменили для услуги, например с отказами изменений или инцидентами, заметными пользователям (см. тему 2.8, Метрики DORA). Если вы сообщаете о решённых обращениях, сочетайте их с долей повторных обращений. Пара должна быть на одной странице. Команда, которая видит только выпуск, будет оптимизировать выпуск.
6. Выбирайте показатели результата, на которые команда может влиять, и называйте те, за которыми она только наблюдает. Команда может влиять на повторные обращения по своей услуге и на внедрение своих функций. За выручкой компании она может лишь наблюдать. Обе группы относятся к общей картине, но цели и работа по улучшению привязываются к тем показателям, на которые можно влиять. Явное различие предотвращает обвинения за изменения, которых команда не могла вызвать.
7. Открыто используйте заместители. Многие результаты нельзя измерить напрямую. Выберите заместитель, скажите, что это заместитель, и скажите, что он упускает. Доля повторных обращений является заместителем показателя «проблема действительно решена», а короткий опрос или чтение открытых комментариев позволяет проверить, что он по-прежнему говорит правду (см. тему 6.1, Метрики удовлетворённости клиентов).
Стройте пары опережающих и запаздывающих показателей
8. Сочетайте каждый запаздывающий показатель хотя бы с одним опережающим, на который вы можете воздействовать. Серьёзные инциденты это запаздывающий показатель, а доля услуг с проверенными руководствами по восстановлению может их опережать. Опережающий показатель даёт команде дело на этот месяц. Выбирайте опережающие показатели, в которые вы верите по причине, которую можете записать, и затем проверяйте это убеждение.
9. Проверяйте опережающие показатели взглядом назад. Дважды в год наносите каждый опережающий показатель на график вместе с его запаздывающим партнёром не менее чем за четыре периода и спрашивайте, шло ли движение первым. Если связь слабая, замените или отбросьте опережающий показатель.
10. Используйте цели уровня обслуживания там, где у результата есть понятный показатель для пользователя. Хорошо выбранный индикатор уровня обслуживания (SLI) служит опережающим сигналом удовлетворённости пользователей, а цель уровня обслуживания (SLO) задаёт, насколько хорошим он должен быть (см. тему 5.2, SLI, SLO и бюджеты ошибок). Они работают лучше всего, когда индикатор выбран с точки зрения пользователя, а не машины.
Сохраняйте честность выбора
11. Замыкайте цикл обзорами результатов. Когда изменение или улучшение финансируется, записывайте результат, который оно должно дать, показатель и дату, когда кто-то на него посмотрит. Проводите обзор, даже если ответ неприятен. Без обзоров разговоры о результатах остаются украшением (см. тему 6.5, Реализация ценности и бизнес-результаты).
12. Держите показатели выпуска в рабочем представлении и говорите, для чего они нужны. Показатели потока, ёмкости и стоимости это инструменты команды, а не её табель. Время цикла показывает, где работа ждёт (см. тему 2.2, Время выполнения, время цикла и эффективность потока). Если сообщать их наверх без результата рядом, они приглашают к подгонке.
Способы подгонки и ограждения
Движение к результатам не устраняет подгонку. Оно меняет её форму: результаты можно переопределить, заместителями можно управлять, а обзоры можно пропускать.
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Охват результатами | Написание расплывчатого предложения о результате («улучшить услугу») для каждой метрики, чтобы связь существовала на бумаге | Выборочная проверка реестра: предложение должно называть человека или услугу и изменение; проверьте, что из-за показателя было принято решение |
| Доля внедрения функции | Учёт принудительного или автоматического первого использования как внедрения; сужение группы подходящих пользователей; превращение возможности в используемую по умолчанию, чтобы её «использовали» без выбора | Выполнение задач или удовлетворённость среди пользователей возможности; сохранение использования через 30 и 90 дней; чтение открытых комментариев |
| Доля повторных обращений | Просьба к пользователям создать новый запрос по другому каналу; закрытие обращения как дубликата несвязанного; растягивание закрытия, чтобы избежать повторного обращения внутри окна | Обращения по каналам для той же услуги; выборочная проверка заметок о закрытии; доля обращений, где пользователь сообщил «проблема решена» |
| Доля подтверждённых опережающих показателей | Признание опережающих показателей действующими после неформального взгляда; выбор показателей, которые тривиально движутся вместе с результатом | Письменная запись обзора с нанесёнными данными; приглашение кого-то вне команды оспорить один результат за цикл |
| Доля завершённых обзоров выгод | Проведение обзора лишь по названию или назначение намеченного результата задним числом, чтобы он всегда достигался | Сравнение результата в обзоре с формулировкой, сделанной при финансировании изменения; отслеживание доли обзоров, приведших к изменению плана |
Здоровая картина показывает показатели результата, которые порой разочаровывают, обзоры, которые порой прекращают изменение, и опережающие показатели, от которых порой отказываются. Набор, где каждый результат достигнут и каждый опережающий показатель подтверждён, скорее всего был подогнан под такой вид.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Показатели выпуска и активности | Быстрые, дешёвые и под контролем команды; хороши для решений о потоке и ёмкости | Легко завысить; ничего не говорят о том, получил ли кто-нибудь пользу |
| Показатели результата | Остаются близки к тому, что ценят клиенты и организация; труднее улучшить, не помогая | Медленные, шумные и зависят от факторов вне контроля команды |
| Опережающие показатели | Дают раннее предупреждение и повод для действий | Могут вводить в заблуждение, если связь с результатом предполагается, а не проверена |
| Запаздывающие показатели | Сообщают о том, что действительно произошло | Приходят слишком поздно, чтобы изменить результат этого периода |
| Заместители результатов | Делают трудноизмеримые результаты видимыми | Могут отойти от того, что обозначают, и приглашают к подмене цели показателем |
| Небольшой набор, ведомый результатами | Легко запомнить и обсудить; фокусирует усилия | Может упустить проблему вне выбранных результатов |
| Широкий сбалансированный набор | Охватывает больше услуги | Рассеивает внимание; каждый показатель получает меньше проверки |
Держите небольшое число показателей результата, которое вся группа может назвать наизусть, подкрепляйте каждый показателями выпуска и опережающими показателями, которые его объясняют, и пересматривайте набор при смене стратегии. Сбалансированные подходы, связанные со сбалансированной системой показателей и с целями и ключевыми результатами, пытаются соединить повседневную работу с важными результатами. Они терпят неудачу одинаково, когда ключевые результаты превращаются в список выпусков с процентом рядом.
Вопросы для обсуждения с командой
1. Какие из наших пяти самых заметных метрик могут расти, пока нашим клиентам хуже? Запишите пять метрик на доске и задайте вопрос по каждой. Число закрытых обращений, например, может расти, пока растёт и число повторных обращений. Ведущему стоит записывать случаи, где ответ «да», потому что это и есть тщеславные метрики. Закончите вопросом, какой показатель результата стоял бы рядом с каждой из них.
2. Как выглядит хорошая неделя для клиента этой услуги, его словами? Спросите тех, кто разговаривает с клиентами, и избегайте словаря самой команды. Ответы станут предложениями о результатах и часто выявляют то, чего никто не измеряет, например отсутствие необходимости объяснять проблему дважды. Запишите три предложения и спросите, какие из них можно измерить, хотя бы через заместитель.
3. Какие из наших опережающих показателей мы когда-либо сверяли с результатом, который они должны предсказывать? Выберите один показатель и нанесите его на график вместе с запаздывающим партнёром за последние несколько периодов. Спросите, что вы видите и насколько уверены. Если связь слабая, обсудите, чем её заменить. Считайте отказ от показателя нормальным итогом обучения, а не неудачей.
4. Где наша команда приписывает себе заслугу за результат, за которым только наблюдает? Просмотрите метрики в отчётах для руководства. Какие зависят от факторов вне контроля команды, таких как сезонность, кампания или поставщик? Договоритесь о простом способе сказать, на что команда влияет, а за чем наблюдает. Это готовит команду к дню, когда результат изменится по причинам, которые она не вызывала.
5. Что мы выпустили или изменили за последние два квартала, и проверял ли кто-нибудь, сработало ли это? Перечислите изменения на доске и отметьте те, у которых есть запись об обзоре. По остальным спросите, какой результат ожидался и как это можно выяснить сейчас. Сопротивляйтесь поиску виноватых. Цель в том, чтобы начать привычку, даже если первые обзоры запоздают.
6. Какие показатели выпуска стоит вернуть в наше рабочее представление? Некоторые показатели полезны команде и вводят в заблуждение в отчёте. Спросите, какие из них какие и что понадобилось бы поставить рядом с каждым, чтобы он остался в отчёте для руководства. Договоритесь перенести один показатель в этом квартале. Перенос показателя признак зрелости, а не отступление от прозрачности.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки склонны к выпуску, потому что их инструменты сообщают его по умолчанию. Средство в том, чтобы сделать свидетельства внедрения и результата частью критериев готовности и обзора для заинтересованных сторон. Функция, которой никто не пользуется, это урок, и ранее его обнаружение является преимуществом гибкой практики. Команды держат показатели потока в рабочем представлении и сочетают их с показателями внедрения и отказов (см. тему 2.5, Метрики прогнозирования и планирования поставки).
Команды услуг и эксплуатации
Команды услуг оцениваются по обработке: принятые звонки, закрытые обращения, время решения. Это важно для планирования и стоимости, но мало говорит о том, исчезла ли проблема пользователя. Командам эксплуатации стоит добавить рядом с показателями скорости долю повторных обращений, повторение той же причины и сообщаемое пользователями решение, а растущее число лёгких обращений встречать с подозрением (см. тему 3.1, Метрики службы поддержки). Опережающие показатели, такие как использование статей базы знаний и проверенные руководства по восстановлению, дают команде над чем работать между инцидентами.
Руководство и управление
То, что руководители просят показать, учит организацию тому, что важно. Просите результаты, принимайте, что они медленнее и шумнее, и финансируйте обзоры, которые их проверяют. Органам управления стоит искать короткий стабильный набор показателей результата, у каждого из которых назван владелец и есть запись о решениях, которые он обосновал (см. тему 1.4, Управление метриками и ответственность за них). Руководитель, спрашивающий «чему мы научились?», получает лучшие данные, чем тот, кто спрашивает «почему здесь красное?»
Клиенты и пользователи
Клиенты переживают результаты напрямую и редко видят счётчики выпуска. Они служат итоговой проверкой набора: позволяет ли услуга им заниматься тем, ради чего они пришли? Короткие опросы, открытые комментарии и наблюдение за реальными задачами лучше как свидетельства, чем любой показатель на стороне поставщика. У клиентов есть и роль в совместном создании ценности, а значит, то, насколько они информированы, имеют возможности и услышаны, влияет на результаты (см. тему 6.3, Метрики внедрения услуг и каталога).
На практике: пример гибкого ITIL
Интернет-ритейлер среднего размера содержит внутреннюю платформенную команду, которая предлагает услугу самообслуживаемого предоставления сред примерно 40 продуктовым командам при поддержке небольшой службы поддержки. Все числа в этом примере иллюстративны.
Ежемесячный отчёт показывает 310 выполненных запросов (было 240), медианное время выполнения 6 часов и 12 выпущенных за квартал функций. Руководство довольно. Руководитель платформы замечает, что обращения в службу поддержки по предоставлению сред тоже выросли, и просит команду сопоставить выпуск с результатом, на который они надеялись: продуктовые команды получают среду без ожидания и без просьб о помощи.
Упражнение с цепочкой показывает, что команда измеряла активность и выпуск, но не результат. Она добавляет три показателя. Первый это доля повторных обращений: за 22 процентами обращений по предоставлению следует ещё одно обращение по той же услуге в течение 14 дней. Второй это доля внедрения функции для трёх новейших функций, которая через 30 дней составляет 9, 14 и 61 процент подходящих команд. Третий, опережающий, это доля запросов, завершающихся без шага человека, сейчас 48 процентов. Команда предполагает, что рост этой доли должен снижать долю повторных обращений.
Команда решает приостановить две запланированные функции, похожие на две функции с низким внедрением, и посвятить квартал самой частой причине повторных обращений: неясному сообщению об ошибке при превышении квоты. Она записывает намеченный результат, долю повторных обращений ниже 15 процентов, и назначает дату обзора через 90 дней.
Риск подгонки появляется на втором месяце. Доля повторных обращений падает до 11 процентов, что выглядит великолепно. Выборка из 25 закрытых обращений показывает, что служба поддержки начала просить пользователей задавать последующие вопросы в чате, а чат не учитывается в инструменте ITSM. Команда добавляет в отчёт обращения по каналам, включает в выборку расшифровки чатов и обнаруживает, что совокупная доля составляет 17 процентов. Это настоящее улучшение, но меньшее, чем показало первое чтение. На обзоре руководитель сообщает 17 процентов, отмечает, что опережающий показатель вырос с 48 до 57 процентов синхронно, и записывает, что гипотеза подтвердилась в двух из четырёх периодов, необходимых, чтобы считать её проверенной.
Отраслевой взгляд
Стартап. Результаты рядом: основатели могут разговаривать с клиентами и видеть, остаются ли те. Риск в том, чтобы измерять только рост числа пользователей и функций, которые остаются тщеславными метриками, пока не видны удержание и успешность задач. Выберите один показатель результата, который клиенты узнали бы, и проверяйте его еженедельно.
Малый бизнес. Числа слишком малы для статистики, поэтому предпочитайте прямые разговоры, несколько отслеживаемых случаев и короткий список заместителей. Остерегайтесь дашбордов поставщиков, которые выдают собственную активность за ваш результат.
Крупное предприятие. Масштаб приглашает к отчётности по выпуску, потому что выпуски сопоставимы между многими командами, а результаты нет. Сопротивляйтесь навязыванию одного определения результата непохожим услугам. Договоритесь о небольшом наборе общих предложений о результатах, позвольте каждой услуге выбрать свои показатели и поддерживайте реестр в актуальном состоянии.
Государственный сектор. Законные обязанности, правила финансирования и уровни обслуживания заранее фиксируют часть показателей, часто это выпуски, например число обработанных дел. Выполняйте их и добавляйте рядом показатели результата для граждан и сотрудников, например получил ли человек ту помощь, за которой пришёл. Публичная отчётность делает честные данные о результатах и ценнее, и чувствительнее, поэтому заранее договоритесь, как будут объясняться исправленные цифры (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость сдвига к результатам в основном состоит из усилий и терпения: написание предложений о результатах, добавление нескольких показателей, таких как короткий опрос или событие внедрения, и проведение обзоров результатов. Затраты на инструменты скромны, так как большинство заместителей можно построить из уже собираемых данных. Основные затраты это задержка, потому что данные о результатах приходят медленно и руководителям приходится ждать.
Отдача идёт от лучших решений о том, куда тратить. Работа, которой никто не пользуется, дорога, как и улучшение показателя обработки, пока лежащая в основе причина повторных обращений остаётся. Стоит ожидать картину, где создаётся меньше неиспользуемых функций, больше внимания уделяется повторяющимся причинам, а доводы в пользу финансирования становятся убедительнее. Не обещайте процент. Измерьте собственные исходные уровни, например внедрение недавних релизов и повторные обращения, и сравните через несколько кварталов (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Подсчёт того, что легко. Счётчики обращений и развёртываний есть в каждом инструменте, поэтому они становятся значением по умолчанию. Добавьте хотя бы один показатель результата для каждой услуги, прежде чем добавлять ещё один счётчик выпуска.
- Театр результатов. Написание предложения о результате для каждой метрики без последующей проверки. Проверьте выборку реестра и спросите, какое решение обосновал каждый показатель.
- Непроверенные опережающие показатели. Принятие правдоподобного сигнала за доказательство. Наносите его на график вместе с запаздывающим итогом не реже двух раз в год и отказывайтесь от тех, что не опережают.
- Результаты как личные цели. Назначение показателя результата одному человеку приглашает к поведению, описанному в теме 1.2. Привязывайте результаты к командам и услугам.
- Измерение только стороны поставщика. Набор из внутренних часов и счётчиков упустит то, что чувствуют клиенты. Включайте показатель со стороны потребителя для каждой услуги.
- Отсутствие обзоров. Финансирование изменений под обещанные выгоды без последующей их проверки. Ставьте дату обзора в записи об изменении при её утверждении.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Выбор показателей | Счётчики, доступные в инструментах | Некоторые команды пишут предложения о результатах | У каждой сообщаемой метрики есть записанный результат и решение, которое она обосновывает | Наборы результатов и выпуска пересматриваются вместе каждый квартал | Предложения о результатах согласованы между командами, поставщиками и клиентами и пересматриваются при смене стратегии |
| Опережающие и запаздывающие показатели | Только запаздывающие итоги, сообщаемые поздно | Несколько опережающих показателей, выбранных по интуиции | Опережающие и запаздывающие показатели сочетаются и записываются в реестр | Опережающие показатели проверяются по итогам дважды в год | Показатели разделяются с поставщиками и клиентами; набор развивается вместе со свидетельствами |
| Обзоры результатов | Нет обзора того, сработали ли изменения | Редкие обзоры после крупных изменений | Дата обзора записана для каждого профинансированного изменения | Обзоры завершаются, их итоги идут в следующий план | Обзоры регулярны, межкомандны и включают мнение клиентов |
| Свидетельства со стороны потребителя | Анекдоты | Опрос по некоторым услугам | Показатель со стороны потребителя для каждой услуги | Данные потребителей отслеживаются во времени и читаются вместе с эксплуатационными | Клиенты помогают определять и толковать показатели результата |
Контрольный список
- У каждой услуги есть хотя бы одно предложение о результате, называющее человека или услугу и изменение.
- Каждая сообщаемая метрика размещена в цепочке от активности до влияния.
- У каждой метрики названо решение, которое она обосновывает; те, у которых его нет, выведены из употребления.
- Рядом с каждым показателем выпуска в отчёте стоит показатель результата.
- У каждой услуги есть хотя бы один показатель со стороны потребителя.
- У каждого запаздывающего показателя есть опережающий с письменным обоснованием связи.
- Опережающие показатели сверяются с итогами не реже двух раз в год.
- Заместители помечены как заместители с указанием того, что они упускают.
- У каждого профинансированного изменения есть намеченный результат, показатель и дата обзора.
- Показатели результата привязаны к командам и услугам, но не к отдельным людям.
Промпты для ИИ
Превратите показатель выпуска в набор, ведомый результатами.
Наша команда это [название команды], которая предоставляет [услуга или продукт]
для [клиенты или пользователи]. Сейчас мы сообщаем [список показателей выпуска
или активности]. Мы хотим перейти к результатам. Для каждой метрики предложите
предложение о результате для клиента или услуги, которое она может
поддерживать, и предложите один показатель результата и один опережающий
показатель, которые мы могли бы рассмотреть. Для каждого предложения скажите,
что показатель упустит и как его можно подогнать. Не придумывайте эталонные
значения или источники. Перечислите свои допущения и факты, которые нужны вам
от меня.
Проверьте, заслуживает ли доверия опережающий показатель.
Мы используем [опережающий показатель] как опережающий показатель для
[запаздывающий показатель результата]. Ниже вставлены данные за [число] периодов
по обоим показателям с заметками о том, что менялось за это время: [данные и
заметки]. Опишите, движется ли опережающий показатель раньше запаздывающего и
какие другие объяснения согласуются с данными. Не утверждайте причинность.
Перечислите свои допущения, ограничения такого объёма данных и то, какие
дополнительные данные помогли бы.
Составьте обзор результата недавнего изменения.
Мы внесли такое изменение: [описание], утверждённое [дата], с намеченным
результатом [предложение о результате] и показателем [показатель]. Текущие
данные: [данные]. Составьте повестку обзора результата и краткую структуру
итогов, которая сопоставляет намеченный результат с тем, что мы видим, отделяет
то, на что команда влияла, от того, за чем только наблюдала, и перечисляет
вопросы к пользователям. Не оценивайте успех шире, чем поддерживают данные.
Перечислите свои допущения и пробелы в данных.
Навыки ИИ
- Навык Agile ITIL Metrics: используйте, чтобы найти тему и парный показатель результата для показателя выпуска, о котором вы собираетесь сообщить.
- Навык сопровождающего Agile ITIL Metrics: используйте, чтобы проверить, что новая тема о метрике сочетает показатели выпуска с результатами и ограждениями.
Ключевые выводы
- Активность, выпуск, результат и влияние это разные вещи, и дашборд из первых двух не может показать ценность.
- В ITIL ценность создаётся совместно с потребителем, поэтому каждому набору нужен показатель со стороны потребителя.
- Сочетайте выпуски с результатами, а запаздывающие показатели с проверенными опережающими.
- Чётко различайте то, на что команда влияет, и то, за чем только наблюдает.
- Сверяйте профинансированные изменения с намеченными результатами и позволяйте итогам менять план.
- Показатели результата уменьшают подгонку, но не прекращают её, поэтому каждому по-прежнему нужно ограждение.
Источники и дополнительное чтение
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.