Закон Гудхарта и психология метрик
Любое число, которое поощряют, по которому ранжируют или которым угрожают, начнёт менять работу, которую оно должно было описывать, поэтому каждая метрика в этой книге используется как вопрос для обсуждения командой и снабжена ограждением, которое выявляет её подгонку.
Обзор и мотивация
Закон Гудхарта: старейшее предупреждение об измерениях. Экономист Чарльз Гудхарт в 1975 году, рассуждая о британской денежной политике, заметил, что статистическая закономерность, как правило, перестаёт работать, как только власти начинают давить на неё ради управления. Популярная формулировка появилась позже. Антрополог Мэрилин Стратерн в 1997 году выразила её так: «Когда показатель становится целью, он перестаёт быть хорошим показателем». Два предложения говорят одно и то же: как только число используется, чтобы направлять людей, люди начинают направлять число.
У той же идеи есть и другие названия. Закон Кэмпбелла, принадлежащий социологу Дональду Кэмпбеллу, гласит: чем чаще количественный показатель используется для принятия решений, тем сильнее он подвержен давлению в сторону искажения и тем больше искажает процессы, которые должен отслеживать. Эффект кобры: история о премии, которая привела к росту того, что она должна была уничтожить. Каждый из этих случаев служит примером превратного стимула: награды, которая толкает поведение в сторону от того, чего хотел награждающий.
Команды, которые создают и эксплуатируют ИТ-услуги, подвержены этому необычно сильно. Непрерывная поставка и управление ИТ-услугами (ITSM), как оно изложено в ITIL, порождают постоянный поток меток времени, счётчиков и статусов. Система обращений записывает, когда обращение открыто, когда назначено, когда остановлены часы и когда оно закрыто. Инструмент поставки записывает, когда работа началась и когда закончилась. Эти числа дёшево собирать, легко выводить на графики и легко превращать в целевые показатели. Их также легко сдвинуть, никому не помогая.
В этой теме и дальше в книге повторяются три термина. Показатель что-то описывает. Целевой показатель: число, которого от кого-то ожидают. Ограждение: второй показатель или практика, выбранные заранее, которые изменились бы, если бы первый показатель подгоняли. Шаг от показателя к целевому показателю: то место, где начинаются неприятности, а ограждение помогает их заметить.
Эта тема задаёт правило, которое управляет всеми остальными. Каждое семейство метрик в книге приходит со своим способом подгонки (как его обычно подгоняют) и своим ограждением. Если в одной из последующих тем это пропущено, считайте тему незавершённой.
Почему люди подгоняют числа
Подгонка: обычно не нечестность. Это обычная реакция способных людей на стимулы, которые перед ними стоят. Действуют четыре силы.
- Давление. От числа зависят чья-то премия, оценка, продление контракта или репутация. Даже без формальной связи люди делают вывод о том, что важно руководству, по тому, что руководство выводит на графики.
- Суррогация. Суррогация: склонность считать показатель тем самым, что он обозначает. Исследователи, изучавшие её в организациях, обнаружили, что оплата, привязанная к показателю, делает её вероятнее. Команда, которая отслеживает «закрытые обращения», начинает верить, что цель: закрытые обращения, а не решённые проблемы.
- Страх. Когда плохое число влечёт обвинения, люди скрывают плохие новости. Инциденты понижают в приоритете, сбои переименовывают в «плановое обслуживание», а дефекты записывают как запросы на функции.
- Локальная оптимизация. Команда улучшает ту часть системы, по которой её оценивают, и перекладывает затраты на ту часть, по которой не оценивают. Служба поддержки быстро закрывает обращения, а вторая линия получает в наследство повторы.
Понимать эти силы важно, потому что средство не в более строгом надзоре. Оно в изменении условий, которые делают подгонку рациональной.
Ключевые принципы
- Измеряйте, чтобы учиться, а не чтобы судить. Сначала показывайте числа команде, которая выполняет работу, и используйте их, чтобы задавать вопросы.
- Сопровождайте каждую метрику ограждением. Скорость с качеством, объём с результатом, стоимость с впечатлением.
- Описывайте команды и системы, никогда не ранжируйте людей. Личные рейтинги: самый быстрый способ испортить источник данных.
- Предпочитайте результаты и тренды целевым показателям. Направление и разговор лучше порога.
- Записывайте определение, включая часы. Нечёткие определения: то место, где прячется подгонка.
- Ожидайте перемен. Выводите метрику из употребления или перерабатывайте её, когда она перестаёт помогать решениям.
- Сделайте плохие новости безопасными. Если за честную отчётность наказывают, данные будут лгать.
Определения метрик
Приведённые ниже метрики не являются показателями услуг или поставки. Это показатели здоровья самой практики метрик, и они демонстрируют форму, которую принимает каждая таблица метрик в этой книге. Первые три: примеры ограждений, которые встречаются в последующих темах.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват ограждениями | Доля отчётных метрик, у которых есть названное отслеживаемое ограждение | метрики с ограждением / метрики в отчёте | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Ретроспектива рабочих соглашений | Раз в квартал |
| Доля повторно открытых обращений | Доля закрытых обращений или рабочих элементов, повторно открытых в течение заданного окна | элементы, повторно открытые в течение 14 дней / элементы, закрытые за период | процент | История статусов в инструменте ITSM или трекере задач | Управление инцидентами; управление проблемами | Критерии готовности; дефекты, дошедшие до продакшена | Раз в месяц |
| Число изменений определений | Число изменений определений метрик или рабочих процессов статусов за период, с указанием причин | число записей в журнале изменений определений | число | Журнал изменений реестра метрик | Измерение и отчётность | Рабочие соглашения | Раз в квартал |
| Доля используемых метрик | Доля отчётных метрик, на которые ссылались при принятии решения в течение периода | метрики, упомянутые в записанном решении / метрики в отчёте | процент | Журнал решений или заметки обзоров | Непрерывное улучшение | Действия ретроспектив | Раз в квартал |
| Разрыв восприятия | Разница между результатом опроса удовлетворённости и уровнем услуги, полученным из обращений, для одной и той же услуги | показатель из опроса минус показатель из трекера | процентных пунктов | Инструмент опросов и инструмент ITSM | Управление уровнями услуг | Обратная связь на обзорах с заинтересованными сторонами | Раз в квартал |
Доля повторно открытых обращений учитывает только элементы, повторно открытые в той же записи. Элемент, закрытый и затем заведённый заново как новое обращение, в неё не попадает. Часть смысла следующего раздела в том, что у ограждения должно быть своё ограждение, например связывание дубликатов обращений с исходными.
Рекомендации
Проектируйте систему измерения
1. Начинайте с вопроса, а не с числа. Прежде чем добавлять метрику, напишите вопрос, на который она отвечает, и решение, которое она поддерживает. «Получают ли пользователи решение проблемы с первого раза?» это вопрос. «Сократить среднее время обработки»: целевой показатель, притворяющийся вопросом. Метрика без привязанного решения: кандидат на вывод из употребления.
2. Выбирайте метрики в напряжении друг с другом. Одно число провоцирует чрезмерную оптимизацию, поэтому берите пары, которые тянут в разные стороны: время выполнения изменения с долей неудачных изменений, скорость закрытия обращений с долей повторно открытых, доступность с впечатлением пользователей. Пара не обязана быть формулой. Её нужно показывать вместе, на одной странице.
3. Определите часы и исключения. Для каждого показателя времени запишите, где часы запускаются, где останавливаются и когда могут быть поставлены на паузу. Большая часть подгонки в данных об услугах прячется в этих границах: обращение, переведённое в «ожидание клиента», останавливает часы уровня услуги, а изменение, записанное только после применения, ускользает от времени выполнения изменения. Если существует состояние паузы, сообщайте, как часто оно используется.
4. Используйте распределения и процентили. Среднее время решения обращений может улучшиться из-за того, что несколько простых обращений закрыли быстро, пока трудные стареют. Показывайте медиану и высокий процентиль (например, 85-й или 95-й), а также самые старые открытые элементы. Возраст рабочего элемента и самое старое открытое обращение трудно подогнать, не выполнив работу по-настоящему (см. тему 2.1, Показатели потока).
5. Ведите реестр метрик. В коротком реестре перечислены метрика, её владелец, определение, источник данных, способ подгонки, ограждение и дата последнего пересмотра. Это скучно, и это самая эффективная привычка в данной теме (см. тему 1.4, Управление метриками и ответственность за них).
Вводите метрики безопасно
6. Сначала покажите команде и покажите сырые данные. Команды, которые видят числа раньше руководства, охотнее ставят под сомнение их точность. Начинайте с лежащих в основе элементов, а не с графика. Если данные не выдерживают разговора с людьми, которые их породили, они не выдержат и панели.
7. Разделяйте обучающие и отчётные представления. Рабочее представление команды может содержать много показателей, в том числе неприглядных. Руководству должен уходить небольшой устойчивый набор. Если руководство запрашивает рабочее представление, ожидайте, что оно изменится так, чтобы выглядеть лучше.
8. Не привязывайте к метрике личную оплату, дисциплинарные меры или рейтинг. Командам можно предложить объяснить свои числа и улучшить их. Личные целевые показатели по количеству обращений, очкам историй или коммитам учат людей максимизировать счёт. Подход с ключевыми показателями эффективности может работать, когда показатели выбраны для всей системы и регулярно пересматриваются. Он терпит неудачу, когда превращается в личную оценочную карту.
9. Сделайте честную отчётность безопасной. Психологическая безопасность: уверенность, что вас не накажут за то, что вы заговорили об ошибке или опасении. Разбор инцидента без поиска виноватых: пример этого на практике. Без неё количество инцидентов падает по неверной причине: люди перестают о них сообщать.
Сохраняйте честность системы
10. Проводите обзор подгонки. Раз в квартал задавайте команде один вопрос о каждой отчётной метрике: «Если бы мы хотели, чтобы это число выглядело хорошо, никому не помогая, что бы мы сделали?» Запишите ответы, затем проверьте, поймало ли бы их ограждение. Упражнение дешёвое, даёт полезные идеи и переводит разговор от подозрения к проектированию.
11. Сверяйте определения с реальностью. Возьмите небольшую выборку закрытых элементов и прочитайте их. Действительно ли они были решены? Честно ли расставлен приоритет? Означало ли состояние «ожидание клиента», что клиента действительно ждали? Пятнадцатиминутная выборка часто говорит больше, чем месяц панелей.
12. Выводите метрики из употребления. Метрика, на которую не ссылались ни в одном решении два квартала,: накладные расходы. Уберите её и скажите об этом. Меньше метрик, каждой из которых доверяют, лучше, чем много.
Способы подгонки и ограждения
В таблице рассмотрены метрики из раздела выше. Последующие темы применяют ту же форму к показателям услуг и поставки.
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Охват ограждениями | Называют ограждение на бумаге, но никогда его не отслеживают | Просмотреть реестр: ограждение засчитывается, только если его последнее значение отображается на той же панели |
| Доля повторно открытых обращений | Закрывают обращение и заводят новое вместо повторного открытия; удлиняют окно, пока повторные открытия не выйдут за его пределы | Доля дубликатов и связанных обращений; повторяемость одной и той же причины в разных обращениях |
| Число изменений определений | Не фиксируют изменения, чтобы счёт оставался низким; меняют рабочий процесс, никому не сказав | Сверять модель статусов в инструменте с реестром на каждом обзоре |
| Доля используемых метрик | Формально упоминают каждую метрику в журнале решений | Спросить, что изменилось благодаря упоминанию; выборочно проверить журнал |
| Разрыв восприятия | Опрашивают только довольных пользователей; подгадывают опросы к моментам после удачного взаимодействия | Доля ответивших и состав респондентов; открытые комментарии, зачитываемые вслух на обзоре |
Здоровое чтение это практика метрик, которая меняется: определения корректируются по записанным причинам, метрики приходят и уходят, а команда может рассказать историю о решении, которое изменило число.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Измерение без целевых показателей | Снижает подгонку; поощряет честное обсуждение | Может скатиться в отчётность, по которой никто не действует |
| Целевые показатели с ограждениями | Задают направление и срочность; пара ограничивает подгонку | Сложнее поддерживать; ограждение со временем тоже подгоняют |
| Личные метрики | Легко понять; кажутся справедливыми | Портят данные; вредят сотрудничеству |
| Метрики команд и услуг | Соответствуют тому, как работа происходит на самом деле | Труднее приписать; скрывают потребности отдельных людей в поддержке |
| Мало метрик | Легче доверять и запоминать | Слепые зоны; можно пропустить новую проблему |
| Много метрик | Широкий охват | Размывают внимание; каждая метрика слабо управляется |
Практический ответ: использовать целевые показатели экономно, для условий, которые хорошо понятны и трудно подгоняются, например для целевого уровня услуги, о котором просили пользователи. Но и тогда лучше привязывать цель к услуге, а не к оценке человека. Цель не в том, чтобы убрать числа из принятия решений. Она в том, чтобы сохранять связь чисел с реальностью, удерживая на своей стороне людей, которые их производят.
Вопросы для обсуждения с командой
1. Какое число на нашей текущей панели мы больше всего хотели бы улучшить, не улучшая работу? Начните с метрики, на которую люди смотрят первой, затем перейдите к той, о которой спрашивает руководство. Просите конкретные приёмы: что мы сделали бы с данными, если бы оказались под давлением? Ведущий должен записывать каждый ответ без оценки, потому что список станет способами подгонки для реестра. Закончите вопросом, какие из этих приёмов поймали бы наши ограждения, а какие пропустили бы.
2. Где в нашем самом важном показателе времени часы запускаются и останавливаются, и кто это решил? Попросите группу нарисовать на доске жизненный цикл обращения или рабочего элемента и отметить каждое состояние. Найдите состояния, в которых время может исчезнуть, например ожидание клиента или приостановка. Подсчитайте, как часто каждое состояние используется и кем. Разговор часто показывает, что две команды по-разному употребляют одно и то же слово.
3. Когда в последний раз число заставило нас сделать что-то бесполезное? Просите истории, а не поиск виноватых. Типичные примеры: закрыть обращения до проверки, дробить изменения, чтобы увеличить число развёртываний, или переклассифицировать инцидент, чтобы избежать отчёта о нарушении. Ведущему стоит спросить, что человек пытался защитить. Ответ обычно показывает стимул, который нужно изменить.
4. Кто видит наши метрики и что с ними там происходит? Проследите каждую метрику от команды до её аудитории. Спросите, используется ли какая-либо её версия для сравнения команд или людей. Спросите, что показала бы команда, если бы аудитория была другой. Там, где команда изменила бы показываемые числа, есть разрыв доверия, о котором стоит поговорить с аудиторией.
5. Какое ограждение у каждой из пяти самых важных наших метрик, и находится ли оно на той же странице? Составьте на доске список из двух столбцов. Если у метрики нет ограждения, согласуйте одного кандидата и владельца, который испытает его в течение квартала. Если ограждение есть, но на него редко смотрят, обсудите почему. Избегайте ограждения, которое просто обратно метрике, потому что оно не говорит ничего нового.
6. Какую метрику нам вывести из употребления в этом квартале? Попросите доказательства: когда её в последний раз использовали в решении? Если никто не помнит, выведите её на пробный период и посмотрите, заметит ли кто-нибудь. Ведущий должен относиться к выводу из употребления как к обычному событию. Команды, которые никогда не отказываются от метрик, в итоге получают отчёты, которым никто не доверяет и которые никто не читает.
Четыре точки зрения
Команды продукта и поставки
Команды поставки сталкиваются с подгонкой через скорость, пропускную способность и число развёртываний. Скорость команды в частности: инструмент планирования для одной команды, а не показатель продуктивности, и сравнение команд по ней ведёт к завышенным оценкам. Командам поставки следует оставлять рабочие показатели себе, публиковать наружу небольшой набор и сочетать каждый показатель скорости с показателем качества (см. тему 2.5, Метрики прогнозирования и планирования поставки).
Команды услуг и эксплуатации
Команды услуг сталкиваются с подгонкой через время решения, решение с первого обращения и соблюдение уровней услуг. Обычные места дрейфа: состояния, останавливающие часы, и поля приоритета. Командам эксплуатации следует регулярно проверять переходы статусов, сообщать об использовании состояний паузы и следить за повторными обращениями и долей повторно открытых рядом со скоростью. Дежурным командам нужно особенно осторожно относиться к показателям, которые вознаграждают отсутствие вызовов, поскольку они наказывают за честное оповещение (см. тему 3.3, Время реагирования на инциденты и их устранения).
Руководство и управление
Руководители задают стимулы, часто не желая этого. Вопрос, заданный на обзоре («почему это красное?»), учит команду тому, что скрывать. Руководителям стоит спрашивать, чему команда научилась из числа, не допускать в комнату рейтинги, защищать откровенную отчётность и финансировать работу по улучшению, которую выявляет плохое число. Органы управления должны ожидать реестр метрик и обзор подгонки как часть отчётности и считать оформленное изменение метрики обычным делом.
Заказчики и пользователи
Пользователи ощущают результат подгонки как услугу, которая хорошо выглядит на бумаге и плоха на практике: закрытое обращение, которое не исправили, сбой, названный плановым, опрос, который до них не дошёл. Пользователи также лучшее ограждение. Их обратная связь в виде опросов, жалоб и комментариев должна стоять рядом с операционными числами и читаться полностью, а не сводиться к оценке (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
ИТ-отдел региональной больницы содержит службу поддержки и несколько продуктовых команд, которые создают клинические приложения. Числа в этом примере иллюстративные.
Руководство ставит цель: закрывать 90 процентов инцидентов в согласованное время. Через два месяца на панели 94 процента. Руководитель эксплуатации услуг доволен, но обеспокоен, потому что клинический персонал жалуется не меньше, а больше. Она просит команду провести обзор подгонки этой метрики.
Команда набрасывает жизненный цикл обращения. Они обнаруживают, что обращения переходят в «ожидание клиента» в среднем по два раза, а время в этом состоянии выросло. Выборка из 30 закрытых обращений показывает, что 7 закрыты с пометкой «нет ответа от пользователя» после одной попытки позвонить. Они также обнаруживают, что доля повторно открытых остаётся ровной только потому, что пользователям говорили «заведите новое обращение», когда проблема возвращалась.
Команда вносит три изменения. Во-первых, график времени решения теперь показывает медиану, 90-й процентиль и самое старое открытое обращение, а также долю времени, проведённого в состояниях паузы. Во-вторых, панель получает показатель повторных обращений, определяемый как доля новых обращений от того же пользователя по той же услуге в течение 14 дней. В-третьих, короткий опрос рассылается случайной выборке закрытых обращений, а его открытые комментарии зачитываются на ежемесячном обзоре.
Через три месяца заглавное число соблюдения опускается до 88 процентов, что воспринимается как плохая новость. Однако показатель повторных обращений снизился, а комментарии в опросах о нерешённых проблемах стали реже. Руководитель эксплуатации говорит руководству, что прежнее число было завышено, а новая картина честнее, и просит их принять целевой уровень услуги, основанный на исправленном определении. Решение, записанное в журнале решений, состоит в том, чтобы задать цель после ещё одного квартала данных, а не сразу.
Отраслевой взгляд
Стартап. У небольших команд мало метрик и сильное доверие, что помогает. Опасность: слишком рано перенять большую корпоративную панель. Начните с двух-трёх показателей, которыми основатели действительно пользуются, запишите их определения и держите их подальше от разговоров об индивидуальной результативности.
Малый бизнес. Ресурсов мало, а человек, отвечающий за ИТ, часто подчиняется непосредственно владельцу. Одна жалоба клиента может перевесить любую панель. Держите набор небольшим, отдавайте предпочтение прямой обратной связи от пользователей и осторожно относитесь к отчётам от поставщиков, поскольку у поставщика свои стимулы.
Крупное предприятие. Масштаб умножает и спрос на сопоставимые числа, и давление в сторону их подгонки. Используйте небольшой стандартный набор с письменными определениями, держите рабочие представления команд отдельно от сводных и избегайте сравнения команд, работающих над разными видами услуг. Реестр метрик и ритм обзоров становятся необходимыми.
Государственный сектор. Обязанности по отчётности и контрактные уровни услуг могут сделать некоторые целевые показатели не подлежащими обсуждению. Рассматривайте их как входные данные проектирования: выполняйте их, показывайте рядом ограждение и сообщайте используемые определения. Публичная подотчётность повышает цену сокрытия плохих новостей, поэтому создавайте безопасные внутренние каналы и открыто говорите об исправленных определениях (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость применения этой темы: в основном время: несколько часов, чтобы написать определения и реестр, короткий ежеквартальный обзор подгонки и периодическая выборка закрытых элементов. Затраты на инструменты невелики. Основные затраты: внимание руководства, потому что эта дисциплина работает, только если люди, читающие числа, ведут себя последовательно.
Отдача складывается из предотвращённых потерь и лучших решений. Решения, принятые на искажённых данных, могут направить инвестиции не на ту проблему, например усилить службу поддержки, чтобы быстрее закрывать обращения, когда настоящая проблема в повторных обращениях из-за дефекта. Подгонка также разрушает доверие между командой и людьми, которые на неё полагаются, а его трудно восстановить. Описывайте пользу через закономерность, а не выдуманным процентом: меньше отмен решений, меньше сюрпризов на аудитах и лучшее согласие между операционными числами и впечатлением пользователей. Если для бизнес-обоснования нужны цифры, измерьте собственные базовые значения, например разрыв восприятия и показатель повторных обращений, до изменения и после него.
Антипаттерны и ловушки
- Целевые показатели без ограждений. Одинокая цель достигается любым доступным путём. Добавьте парный показатель до объявления цели.
- Рейтинги людей или команд. Они провоцируют подгонку и отбивают желание помогать друг другу. Показывайте каждой команде её собственный тренд, с контекстом.
- Метрики как наказание. Красное число, влекущее обвинения, позеленеет через сокрытие. Вместо этого спрашивайте, что нужно команде.
- Средние по асимметричным данным. Они скрывают хвост, где страдают пользователи. Используйте процентили и возраст самого старого элемента.
- Молчаливое изменение определений. Линии трендов теряют смысл. Записывайте каждое изменение с причиной и отмечайте его на графике.
- Превращение ограждения в новый целевой показатель. Тогда ограждение тоже подгоняют. Просматривайте обе метрики вместе и меняйте ограждения, когда они теряют силу.
- Показные метрики. Счётчики, которые только растут, например обработанные обращения или сделанные коммиты, ничего не говорят о результатах. Предпочитайте показатели, которые могут как падать, так и расти.
- Игнорирование качественных свидетельств. Одни числа не могут показать, что закрытое обращение осталось ощущаться нерешённым. Читайте комментарии.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизированный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Определения и часы | Неформально; каждый считает по-своему | Записаны для некоторых метрик | Одно письменное определение на метрику, с часами и исключениями | Определения пересматриваются, изменения записываются с причинами | Определения согласованы между командами и поставщиками и пересматриваются, когда перестают помогать решениям |
| Ограждения | Нет | Названы для некоторых метрик | У каждой отчётной метрики есть ограждение на той же странице | Ограждения ежеквартально проверяются на подгонку | Ограждения ротируются и проектируются совместно с теми, кого измеряют |
| Использование и безопасность | Числа используются, чтобы назначать виноватых | Команда видит собственные числа | Команда видит данные первой; нет личных рейтингов | Руководство задаёт вопросы для обучения; отчётность безопасна | Заказчики и поставщики разделяют откровенный взгляд на числа |
Контрольный список
- У каждой отчётной метрики есть письменный вопрос и решение, которое она поддерживает.
- У каждого показателя времени есть письменное правило запуска, остановки и паузы.
- У каждой отчётной метрики есть названное ограждение, показанное рядом.
- Показатели времени показывают процентили и возраст самого старого открытого элемента.
- Существует реестр метрик с владельцем, определением, способом подгонки, ограждением и датой пересмотра.
- Команда видит свои данные раньше руководства.
- Ни личный рейтинг, ни оплата, ни дисциплинарные меры не связаны с метрикой.
- Ежеквартальный обзор подгонки внесён в календарь.
- Выборка закрытых элементов читается на честность каждый квартал.
- Хотя бы одна метрика за последний год была выведена из употребления или переработана.
Промпты для ИИ
Проведите обзор подгонки метрики.
Я руковожу [название команды], которая занимается [тип услуги или работы по
поставке]. Мы сообщаем эту метрику: [название метрики], определяемую как
[определение, включая то, где часы запускаются и останавливаются]. Её
используют [аудитория], чтобы [решение или целевой показатель]. Наши данные
поступают из [инструмент].
Перечисли реалистичные способы улучшить внешний вид этой метрики, не улучшая
услугу для пользователей. Для каждого предложи ограждение (метрику или
практику), которое его выявило бы, и скажи, каким был бы способ подгонки у
самого ограждения. Не придумывай эталонные значения. Перечисли свои допущения
и всё, что не удалось определить по предоставленным данным.
Составьте запись реестра метрик.
Составь запись реестра метрик для [название метрики] для [название команды].
Поля: вопрос, на который она отвечает, решение, которое она поддерживает,
определение, формула, единица, источник данных, роль владельца, периодичность
пересмотра, способ подгонки, ограждение и то, как пользователи или заказчики
заметили бы, что метрика неверна. Опирайся только на это описание: [опиши
метрику и текущий процесс]. Отметь каждое поле, которое тебе пришлось
домысливать, и перечисли вопросы, на которые мне нужно ответить, чтобы
завершить запись.
Проверьте выборку закрытых обращений.
Вот [число] закрытых обращений из [услуга] с полями [перечень полей] и
заметками о решении ниже. Проверь каждое на признаки того, что обращение
закрыли без решения проблемы, что состояние паузы использовали для остановки
часов или что приоритет или категория выглядят скорректированными. Сообщай о
закономерностях, а не об отдельных людях. Не гадай о причинах, не
подтверждённых текстом. Скажи, что ты не смог оценить по данным и какие
дополнительные поля помогли бы.
[вставьте обращения, предварительно удалив персональные данные]
Спланируйте безопасное введение метрики.
Мы планируем ввести [метрика] для [аудитория]. Текущий контекст: [размер
команды, культура, предыдущий опыт с метриками]. Предложи план внедрения,
охватывающий то, кто видит данные первым, как мы объясняем цель, для чего мы
их использовать не будем, какое ограждение мы показываем вместе с метрикой и
когда мы проверим, работает ли она. Укажи риски подгонки или страха и
предложи, как их снизить. Перечисли свои допущения и не придумывай
статистику.
Навыки ИИ
- Навык Agile ITIL Metrics: используйте, чтобы найти тему и парное ограждение для метрики, которую вы собираетесь ввести.
- Навык сопровождения Agile ITIL Metrics: используйте, чтобы проверить, что новая тема о метрике содержит способ подгонки и ограждение.
Ключевые выводы
- Показатель, ставший целью, перестаёт описывать работу, поэтому используйте числа, чтобы задавать вопросы.
- Подгонка: нормальная реакция на давление и страх, и её уменьшают изменением условий, а не надзором.
- Каждой метрике нужно письменное определение с часами и ограждение, показанное рядом.
- Предпочитайте процентили и возраст самого старого элемента средним значениям.
- Описывайте команды и услуги, никогда не ранжируйте людей и позволяйте команде видеть свои данные первой.
- Проверяйте подгонку каждый квартал и выводите из употребления метрики, которые больше не помогают решениям.
Источники и дополнительное чтение
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
- Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Cobra effect.
- Wikipedia, Perverse incentive.
- Wikipedia, Surrogation.
- Wikipedia, ITIL.
- Wikipedia, Key performance indicator.
- Wikipedia, Psychological safety.
- Wikipedia, Velocity (software development).