Рамки измерения
Рамка измерения это способ решить, каким числам место на странице. Лучшие рамки начинаются с цели и вопроса, поэтому выбирайте самую лёгкую рамку, которая удерживает каждую метрику связанной с решением.
Обзор и мотивация
Команда, которая хочет измерять свою работу, быстро сталкивается с проблемой: возможных чисел тысячи, а правила выбора между ними нет. Рамка измерения даёт такое правило. Она задаёт отправную точку (цель, стратегию, несколько критических условий) и описывает путь от неё к небольшому набору показателей, которые люди будут читать и на основе которых будут действовать. Рамки различаются словарём, но преследуют одну цель: связать каждое число с причиной, по которой оно существует.
В этой теме рассматриваются пять идей, которые встречаются почти в каждой организации, предоставляющей услуги. Первая это подход «цель, вопрос, метрика» (Goal-Question-Metric, GQM), разработанный исследователем в области программной инженерии Виктором Базили и его коллегами. Он начинается с цели, затем задаёт вопросы, которые покажут, достигается ли цель, и только после этого выбирает метрики. Вторая это цели и ключевые результаты (OKR), метод постановки целей, получивший известность в Intel благодаря Эндрю Гроуву, а позднее в Google благодаря Джону Дорру. Цель говорит, куда команда хочет прийти, а несколько ключевых результатов говорят, как она поймёт, что пришла. Третья это сбалансированная система показателей, предложенная Робертом Капланом и Дэвидом Нортоном в 1992 году. Она предлагает организациям рассматривать вместе финансовые результаты, клиентов, внутренние процессы, обучение и рост, чтобы ни одна точка зрения не доминировала.
Четвёртая и пятая идеи старше и проще. Критический фактор успеха (CSF) это условие, которое должно выполняться, чтобы цель была достигнута, а ключевой показатель эффективности (KPI) это мера того, насколько хорошо это условие выполняется. ITIL, рамка управления ИТ-услугами (ITSM), опубликованная Axelos, а позднее PeopleCert, использует именно такую пару. В ITIL 4 (версии, широко применяемой на октябрь 2026 года) руководство по измерению и отчётности и по непрерывному улучшению предлагает практикам определять CSF для услуги или практики, а затем выбирать KPI, показывающие прогресс относительно них. Более широкий подход ITIL здесь обобщён, а не воспроизведён.
В этой области взгляды гибкого подхода и ITIL удачно встречаются. Гибкая практика предпочитает короткие циклы обучения: команда формулирует гипотезу, пробует, анализирует результат и корректирует курс. Практика ITIL предпочитает определённые услуги, согласованные уровни обслуживания и управляемый процесс улучшения. Рамка вроде GQM подходит гибкой привычке спрашивать, чему команда хочет научиться. Сбалансированная система показателей подходит потребности ITIL показывать руководителям цельную картину состояния услуг. OKR занимают промежуточное положение: их пересматривают короткими циклами, но пишут на языке результатов, понятном органам управления.
В этой теме повторяются три термина. Цель это формулировка желаемого результата для названной аудитории. Вопрос это то, что нужно знать, чтобы сказать, достигается ли цель. Метрика это определённый способ посчитать или засечь время чего-либо, помогающий ответить на вопрос. Рамки по-разному обращаются с третьим термином, но все настаивают, что он идёт последним, после цели и вопроса. Такой порядок лучше всего защищает от сбоя, описанного в законе Гудхарта (см. тему 1.2, Закон Гудхарта и психология метрик), когда число подменяет цель, ради которой его выбрали.
Ни одна рамка не исправляет неудачный выбор цели, и ни одна не отменяет необходимости в ограждениях. Относитесь к рамке как к лесам для разговора и ожидайте, что она будет меняться вместе с работой. В частности, KPI могут превратиться в тщеславные метрики, то есть счётчики, которые только растут и не помогают принимать решения, например общее число обработанных обращений. Более широкие причины измерять вообще изложены в другом месте (см. тему 1.1, Зачем измерять гибкий ITIL).
Чем различаются рамки
Рамки отвечают на немного разные вопросы, и их часто смешивают. Используйте таблицу ниже как карту.
| Рамка | Отправная точка | Типичный результат | Для чего лучше всего подходит | Типичный горизонт |
|---|---|---|---|---|
| Цель, вопрос, метрика | Конкретная цель для продукта, процесса или услуги | Дерево целей, вопросов и метрик | Проектирование программы измерений для одной команды или услуги | От недель до месяцев |
| OKR | Амбициозная цель на следующий период | Несколько целей, у каждой измеримые ключевые результаты | Согласование команд по результатам и концентрация усилий | Квартал |
| Сбалансированная система показателей | Стратегия организации | Цели и показатели в четырёх проекциях | Цельная картина для руководителей и связь стратегии с операциями | Год |
| CSF и KPI | Услуга, практика или цель | Несколько условий, которые должны выполняться, у каждого показатели | Эксплуатация определённой практики ITIL и отчётность о её состоянии | Постоянно, с регулярным пересмотром |
Ключевые принципы
- Начинайте с цели, затем вопрос, затем метрика. Метрику, выбранную первой, нечем оценить на полезность.
- Явно называйте аудиторию и решение. Каждая цель называет того, кому она приносит пользу, а каждая метрика называет того, кто будет на её основе действовать.
- Держите набор небольшим. Несколько показателей, которые читают и которым доверяют, лучше длинного списка, который пролистывают.
- Балансируйте картину. Соединяйте скорость с качеством, стоимость с опытом, краткосрочный выпуск с долгосрочным обучением, чтобы ни одна рамка не поощряла одно за счёт другого.
- Считайте целевые показатели гипотезами. Цель и её числа это ставка, которая может не сыграть, поэтому пересматривайте их по расписанию и меняйте с записанной причиной.
- Используйте рамки для описания команд и услуг, а не для ранжирования людей. Системы показателей, ключевые результаты и KPI принадлежат команде или услуге.
- Сочетайте рамки намеренно. Скажите, какая рамка владеет каким решением, чтобы одно и то же число не определялось тремя способами.
Определения метрик
Метрики ниже измеряют состояние рамки в действии, а не состояние услуги. Они показывают, остаются ли цели и метрики связанными, и применимы к любой рамке, которую выберет команда. Счёт ведётся по команде или услуге, никогда по человеку.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Прослеживаемость целей | Доля отчётных метрик, которые прослеживаются до записанной цели и вопроса | метрики с записанной целью и вопросом / отчётные метрики | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Цель поставки; цель продукта | Ежеквартально |
| Распределение оценок ключевых результатов | Разброс итоговых оценок ключевых результатов за период, показанный как доля в каждом диапазоне | ключевые результаты в каждом диапазоне оценок (например, от 0,0 до 0,3, от 0,4 до 0,6, от 0,7 до 1,0) / ключевые результаты, оценённые за период; не учитываются ключевые результаты, снятые с записанной причиной | процент на диапазон | Инструмент учёта OKR или документ команды | Непрерывное улучшение; управление уровнем услуг | Квартальное планирование; обзор | Ежеквартально |
| Охват проекций | Доля четырёх проекций сбалансированной системы показателей, у которых есть хотя бы один показатель с актуальным значением | проекции с показателем, отчётным за последний период / четыре | процент | Система показателей или панель | Измерение и отчётность; управление системой создания ценности | Обзор заинтересованных сторон (взгляды клиентов и обучения) | Ежеквартально |
| Возраст пересмотра показателей | Время с последнего пересмотра определения и целевого значения каждого KPI | дата отчёта минус дата последнего пересмотра; отсчёт начинается с последнего записанного пересмотра и останавливается на дате отчёта; сообщайте медиану и самое старое значение | дни | Журнал изменений реестра метрик | Непрерывное улучшение; измерение и отчётность | Действия по итогам ретроспектив | Ежеквартально |
| Охват CSF показателями KPI | Доля критических факторов успеха, у которых есть хотя бы один KPI, который сейчас отчитывается | CSF с актуальным KPI / CSF, определённые для услуги или практики | процент | Документация практики или услуги; реестр метрик | Подход CSF и KPI в руководствах по практикам ITIL | Критерии готовности; рабочие соглашения | Ежеквартально |
Прослеживаемость целей считает метрику прослеженной, только если записаны и цель, и вопрос и названа аудитория; одной цели недостаточно. Распределение оценок ключевых результатов следует читать как разброс, а не как среднее, потому что среднее скрывает и команду, которая занижала планку во всём, и команду, которая провалила всё. Возраст пересмотра показателей не учитывает метрики, выведенные из использования в течение периода.
Рекомендации
Выбирайте и сочетайте рамки
1. Выбирайте самую маленькую рамку, которая справляется с задачей. Одной команде услуги с одной проблемой улучшения редко нужна полная сбалансированная система показателей. Часто достаточно GQM, потому что у него есть ясная точка остановки: дерево из одной цели, нескольких вопросов и нескольких метрик. Добавляйте структуру только тогда, когда её требует решение.
2. Записывайте цели из трёх частей: назначение, предмет и точка зрения. Цели GQM традиционно формулируют как улучшение заданного качества заданного предмета с заданной точки зрения, например улучшение ясности обновлений по инцидентам для тех, кто зависит от службы поддержки. Эта структура заставляет назвать того, кому это выгодно. Если у цели нет точки зрения, это, скорее всего, лозунг.
3. Задавайте вопросы, на которые человек мог бы ответить коротким рассказом. «Как быстро пользователи получают ответ после сообщения о проблеме?» это хороший вопрос, потому что можно представить ответ и свидетельства за ним. «Какова наша производительность?» не хороший. Стремитесь к трём-пяти вопросам на цель и ожидайте, что на некоторые ответят интервью или выборки, а не число.
4. Выбирайте метрики последними, и выбирайте больше одной. Для каждого вопроса назовите кандидатов в метрики, источник данных и способ подгонки (см. тему 1.5, Источники данных и инструментирование). Включайте хотя бы одну метрику, находящуюся в напряжении с остальными, например время реагирования рядом с долей повторно открытых обращений. Если для вопроса нет осуществимой метрики, скажите это и запланируйте качественную проверку.
5. Решите, какая рамка владеет каким решением. Обычное устройство таково: сбалансированная система показателей или её эквивалент хранит немногие показатели, которые просматривают руководители, OKR хранят улучшения, выбранные командой на этот квартал, а CSF и KPI описывают текущее состояние практики. Запишите это устройство в реестр метрик, чтобы у каждого числа было одно определение и один владелец.
Используйте OKR с умом
6. Пишите цели как результаты, а ключевые результаты как свидетельства. Цель вроде «Пользователи решают свои проблемы, не гоняясь за нами» это результат. Ключевой результат вроде «медианное время до полезного первого обновления снижается с [текущего значения] до [целевого значения]» это свидетельство. Ключевые результаты, которые читаются как задачи («запустить новый портал»), это активности, а не результаты. Если вы не можете сказать, что изменится для пользователя, ключевой результат не закончен.
7. Держите OKR на уровне команды и услуги. Постановка их для отдельных людей обычно превращает их в списки задач и входные данные для оценки работы и приглашает подгонку, которую предсказывает закон Гудхарта. Пусть команда пишет свои ключевые результаты открыто, и пусть команды видят результаты друг друга. Избегайте каскадов, в которых каждый уровень обязан переформулировать вышестоящий.
8. Относитесь к оценке как к разговору, а не к отметке. Команды, считающие идеальную оценку целью, пишут робкие ключевые результаты. Распределение оценок, сгущающееся наверху, говорит о занижении планки, а сгущающееся внизу говорит, что цели были фантазией. Пересматривайте разброс каждый квартал и спрашивайте, чему команда научилась на каждом промахе.
Используйте системы показателей, CSF и KPI с умом
9. Определяйте CSF раньше KPI. Критический фактор успеха это утверждение о том, что должно быть истинным, например «пользователи могут найти и использовать нужную статью самообслуживания». KPI затем показывает, истинно ли оно. Начало с KPI приглашает считать то, что легко считать. Для каждого CSF спросите: «Если это перестанет быть истинным, как быстро мы заметим и по чему?» Ответ и есть KPI.
10. Используйте проекции системы показателей, чтобы избежать однобокой картины. Четыре классические проекции это финансы, клиенты, внутренние процессы, обучение и рост. Организации услуг часто переименовывают их, например в стоимость, пользовательский опыт, операционное здоровье и возможности. Важно, чтобы у каждой проекции был хотя бы один показатель с актуальным значением и чтобы ухудшение в одной читалось рядом с остальными (см. тему 6.5, Реализация ценности и бизнес-результаты).
11. Связывайте стратегию с показателями простой картой. Стратегическая карта рисует стрелки от возможностей к процессам, к клиентам и к финансовым результатам. Она полезна для разговора и плоха как калькулятор. Нарисуйте её, поспорьте о стрелках, а затем выберите несколько показателей. Не пытайтесь сделать схему количественно точной.
12. Пересматривайте рамки по календарю. Назначьте квартальный обзор, на котором команда спрашивает о каждой цели, ключевом результате и KPI, важны ли они по-прежнему и по-прежнему ли побуждают людей к правильному действию. Выводите из использования то, что больше не служит, и записывайте причину. Метрики, пережившие свои цели, становятся тщеславными метриками.
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Прослеживаемость целей | Запись цели и вопроса после того, как метрика уже существует, чтобы запись выглядела полной; расплывчатые цели, оправдывающие любую метрику | Каждый квартал выбирайте пять записей и спрашивайте, мог ли вопрос привести к другой метрике; проверяйте, что аудитория и решение названы |
| Распределение оценок ключевых результатов | Написание лёгких ключевых результатов, чтобы оценки сгущались около 1,0; щедрая переоценка; снятие ключевых результатов, идущих плохо, без записи причины | Число снятых ключевых результатов с их причинами; сравнение ключевых результатов с результатами предыдущего периода; обзор медианной амбициозности с руководством |
| Охват проекций | Добавление символического показателя в проекцию, чтобы она считалась покрытой; выбор показателей, которые не могут измениться | Проверка, что значение каждого показателя проекции менялось за последний год и что к нему приложено записанное решение |
| Возраст пересмотра показателей | Запись пересмотра без чтения показателя; изменение одной только даты | Требовать записанный итог (оставлен, изменён, выведен) для каждого пересмотра и проверять журнал выборкой |
| Охват CSF показателями KPI | Назначение KPI, не связанного с CSF, чтобы достичь полного охвата; выбор KPI, который не может выявить сбой | Для каждой пары спрашивать, какое значение покажет, что CSF не выполняется; искать KPI, которые никогда не были красными |
Здоровая картина такова: цели меняются, когда меняется мир, несколько ключевых результатов не достигаются по названным причинам, а число отчётных метрик уменьшается или остаётся прежним, а не растёт. Если всё зелёное, оценки сгущаются наверху и никто не может назвать метрику, выведенную в этом году, рамка стала украшением.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Цель, вопрос, метрика | Привязывает каждую метрику к причине; легко объяснить; работает на масштабе команды | Нужна фасилитируемая сессия; может стать бумажным упражнением; мало говорит о приоритете между целями |
| OKR | Концентрирует квартал на нескольких результатах; видны между командами; подходят коротким циклам планирования | Легко написать ключевые результаты как задачи; оценки можно подогнать; индивидуальные OKR сливаются с оценкой работы |
| Сбалансированная система показателей | Даёт руководителям цельную картину; связывает стратегию с операциями | Тяжело поддерживать; проекции могут превратиться в клетки для заполнения; медленно отражает изменения |
| CSF и KPI | Знакомы по практике ITIL; хорошо подходят для отчётности о работающей услуге | Легко скатиться к тщеславным KPI; показатели устаревают без пересмотра |
| Без рамки | Легко и быстро для очень маленькой команды | Метрики накапливаются без причины; споры о том, что измерять, повторяются |
| Несколько рамок вместе | Каждое решение получает подходящий инструмент | Дублирующие определения; путаница в том, какое число авторитетно |
Выбирайте вес рамки соразмерно ставкам. Небольшой внутренней услуге нужны цель, три вопроса и несколько метрик на одной странице. Услуге, оказываемой по контракту, могут понадобиться KPI, определённые с точностью соглашения об уровне услуг (см. тему 5.1, Метрики SLA, OLA и XLA).
Вопросы для обсуждения с командой
1. Какой цели служит каждая из наших отчётных метрик, и кто заметил бы, если бы мы перестали о ней сообщать? Перечислите метрики на доске и напишите рядом с каждой цель. Там, где цели нет, спросите, кто просил эту метрику и зачем. Некоторые окажутся унаследованными от прежнего проекта и их можно вывести. Фасилитатору следует считать метрику без цели обычной находкой, а не провалом.
2. Если бы мы могли ответить только на три вопроса о нашей услуге, какими они были бы? Это заставляет ранжировать вопросы до метрик. Пусть каждый запишет три, затем сгруппируйте их. Сравните группы с панелью, которая сейчас есть у команды. Расхождения между ними обычно оказываются самым полезным итогом сессии.
3. Какие из наших ключевых результатов описывают результат для пользователей, а какие описывают работу, которую мы планируем? Прочтите каждый ключевой результат вслух и спросите, заметил бы пользователь, если бы он был достигнут. Если ответ «нет», перепишите его как результат или перенесите в план. Фасилитатор может заметить, что задачи это нормально, но им место в бэклоге. Закончите согласованием одного ключевого результата для переписывания в этом квартале.
4. Где наши четыре проекции системы показателей расходятся и что это нам говорит? Попросите группу найти недавний период, когда одна проекция улучшилась, а другая ухудшилась, например стоимость падала, а опыт ухудшался. Обсудите причину и видел ли кто-нибудь это заранее. Это формирует привычку читать показатели вместе. Запишите проекции, у которых нет показателя, и решите, добавить ли его или прямо сказать, что она вне охвата.
5. Какое значение скажет нам, что каждый критический фактор успеха не выполняется? Выберите два CSF и назовите KPI, затем спросите, какое значение должно вызвать разговор. Если команда не может ответить, KPI не выполняет свою работу. Ищите KPI, которые никогда не меняли цвет, что обычно указывает на слишком мягкий порог. Фасилитатору стоит спросить, каким был бы способ подгонки этого KPI.
6. Какая рамка должна владеть каким решением и где мы сейчас определяем одно и то же число дважды? Проследите одну метрику, например время решения инцидента, через все отчёты, где она встречается. Сравните определения. Различия в часах или исключениях обычны и часто объясняют споры между командами. Согласуйте одного владельца и одно определение и запишите их в реестр.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки встречаются с рамками в основном как с OKR и, если повезёт, с GQM. Команда получает больше всего пользы, когда пишет свои цели и ключевые результаты сама, связывая их с нуждами своих пользователей, и когда держит рабочие показатели отдельно от тех, что видят руководители. Команде следует опасаться ключевых результатов, вознаграждающих выпуск, таких как очки истории или число релизов, потому что они приглашают именно то поведение, которое рамки призваны предотвратить (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
Команды услуг и эксплуатации
Команды эксплуатации встречаются с рамками в основном как с CSF и KPI внутри практик ITIL, а также с целевыми уровнями услуг, согласованными с клиентами. Им полезно определять CSF простым языком до выбора KPI, сообщать процентили для показателей времени и держать показатели надёжности, такие как индикаторы и цели уровня услуг, рядом с опытом пользователей (см. тему 5.2, SLI, SLO и бюджеты ошибок). Им также следует противостоять соблазну сохранять KPI, заданные много лет назад и больше не связанные с тем, как используется услуга.
Руководство и управление
Руководители выбирают рамки, обычно запрашивая систему показателей или OKR, и то, что они делают с числами, решает, как рамки себя ведут. Руководитель, наказывающий за невыполненный ключевой результат, учит команды писать лёгкие. Руководитель, спрашивающий, чему команда научилась, учит их писать честные. Органы управления должны ожидать реестр метрик, небольшое число отчётных показателей и регулярный пересмотр того, работает ли сама рамка (см. тему 11.4, Модель зрелости для программ метрик).
Клиенты и пользователи
Клиенты и пользователи редко видят рамку, только её последствия. Хорошо устроенная рамка проявляется в услугах, которые улучшаются так, как они просили, и в честной отчётности о том, что не улучшилось. Плохая проявляется в зелёных отчётах, не совпадающих с опытом. Включайте точку зрения пользователя в каждую цель и позволяйте обратной связи пользователей находиться в клиентской проекции системы показателей рядом с операционными числами (см. тему 6.2, Соглашения об уровне опыта).
На практике: пример гибкого ITIL
Интернет-магазин среднего размера держит платформу поддержки клиентов и портал самообслуживания с несколькими продуктовыми командами и небольшой группой эксплуатации услуг. Все числа иллюстративны.
Руководство просит сбалансированную систему показателей и отдельно квартальные OKR. За квартал у команды набирается 31 отчётный показатель, и никто не может сказать, зачем существует половина из них. Владелец услуги проводит полудневную сессию по GQM на одной цели: «Улучшить ясность помощи для клиентов, которые не могут завершить платёж, с точки зрения клиента».
Сессия порождает четыре вопроса. Находят ли клиенты нужную справочную статью? Нужно ли им обращаться в поддержку после её прочтения? Сколько времени занимает решение проблемы с платежом, когда они всё же обращаются в поддержку? Чувствуют ли они, что ответ был ясным? Из 31 показателя девять соответствуют этим вопросам. Нужны три новых: успешность поиска статьи, доля обращений после просмотра статьи и опрос из одного вопроса после решения. Остальные 22 помечены к выводу из использования с согласия владельца.
OKR квартала записаны как результат. Цель такова: «Клиенты решают проблемы с платежом, не гоняясь за нами». Три ключевых результата это медианное и 90-е процентильное время до решения, доля обращений после просмотра статей и результат опроса по ясности. Система показателей сохраняет клиентскую проекцию, указывающую на те же показатели, так что определение одно, а не два.
В середине квартала возникает риск подгонки. Доля обращений после просмотра статей резко падает, что выглядит как успех. Проверяющий выбирает 20 сеансов и обнаруживает, что редизайн сместил ссылку «связаться с нами» на три экрана глубже. До поддержки доходит меньше людей, а опрос показывает более низкие оценки ясности. Команда добавляет отказы от поиска и комментарии опроса как ограждения и возвращает ссылку.
В конце квартала оценки ключевых результатов составляют 0,6, 0,8 и 0,5, и команда представляет их как есть. Руководство спрашивает, чему команда научилась, а не почему оценки не выше. Решение, записанное в журнале решений, состоит в том, чтобы сохранить цель на второй квартал, заменить долю обращений долей клиентов, решивших проблему с первого визита, и вывести ещё шесть показателей системы показателей.
Отраслевой взгляд
Стартап. Стартапу обычно нужны цель, три вопроса и несколько метрик на одной странице. OKR распространены и хорошо работают, когда их пишет команда, которой предстоит работа. Не спешите добавлять систему показателей, пока её не потребуют инвесторы или клиенты.
Малый бизнес. Ресурсов мало, поэтому выберите одну рамку и используйте её легко. Часто хватает CSF и KPI, написанных для двух-трёх вещей, в которых бизнес не может позволить себе ошибиться. Предпочитайте прямую обратную связь от клиентов сложным оценкам.
Предприятие. Обычно сосуществует несколько рамок, поэтому главной задачей становится владение определениями. Ведите реестр, назначайте, какая рамка хранит какое число, и проводите ежегодный обзор всего устройства. Остерегайтесь каскадов, заставляющих каждую команду пересказывать корпоративные цели своими словами.
Государственный сектор. Обязательная отчётность и договорные уровни услуг действуют как фиксированные KPI. Принимайте их как данность, а GQM или OKR используйте для работы по улучшению вокруг них. Общественная подотчётность повышает ставки вводящего в заблуждение числа, поэтому публикуйте определения и открыто сообщайте об изменениях (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость рамки это в основном время: фасилитируемая сессия по проектированию показателей, короткий квартальный обзор и поддержка реестра. Программное обеспечение для OKR или систем показателей доступно, но в малом масштабе часто достаточно документа или электронной таблицы. Большая статья затрат это внимание руководства, поскольку рамка, которой руководители не пользуются, превращается в отчётность ради отчётности.
Отдача приходит от меньшего числа лучших показателей. Команды, которые могут сказать, зачем существует каждое число, тратят меньше времени на отчёты, которые никто не читает, меньше спорят об определениях и раньше замечают, что показатель перестал информировать решения. Вместо того чтобы приводить цифру, измерьте собственные исходные значения: число отчётных метрик, долю метрик с записанной целью и время, затрачиваемое на подготовку регулярных отчётов, до и после внедрения рамки. Более полное рассмотрение возврата инвестиций приведено в другом месте (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Метрики раньше целей. Начало с имеющихся данных даёт панель того, что легко считать. Сначала запишите цель и вопрос, потом смотрите, какие данные подходят.
- OKR как списки задач. Ключевые результаты, называющие активности, делают каждый квартал занятым на вид и ничего не говорят о результатах. Перепишите каждый как свидетельство, которое заметил бы пользователь.
- OKR и системы показателей как индивидуальные цели. Они приглашают подгонку и отбивают охоту помогать друг другу. Держите их на уровне команды и услуги.
- Система показателей с пустыми или символическими проекциями. Заполнить каждую клетку чем-нибудь не значит увидеть целое. Требуйте для каждой актуальное значение и решение.
- KPI, которые никогда не меняются. Если показатель годами зелёный, его порог, вероятно, неверен или он измеряет то, что не может дать сбой. Спросите, какое значение показало бы проблему, и сбросьте порог.
- Стопка рамок без владельца. Три рамки, определяющие один показатель тремя способами, порождают споры. Назовите владельца и единое определение.
- Награда за оценку. Если идеальная оценка OKR приносит похвалу или оплату, команды будут писать лёгкие ключевые результаты. Вознаграждайте честное обучение и хорошие вопросы.
- Рамка как церемония. День семинаров, итогом которых становится заламинированный плакат, ничего не меняет. Храните результат в реестре и пересматривайте его по календарю.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Цели и вопросы | Метрики выбирают, потому что данные существуют | Некоторые команды пишут цели раньше метрик | Общий формат цели и вопроса; каждая отчётная метрика прослеживается до него | Прослеживаемость пересматривается, а пробелы ведут к финансируемой работе | Цели пишутся совместно с клиентами и поставщиками и пересматриваются при изменении условий |
| Применение рамок | По случаю; заявленной рамки нет | Команды принимают разные рамки с разным словарём | Письменное устройство говорит, какая рамка владеет каким решением | Результаты применения рамок пересматриваются, а неиспользуемые части отбрасываются | Рамки согласованы между командами и поставщиками с единым набором определений |
| Показатели и оценка | KPI заданы однажды и никогда не пересматриваются | У некоторых KPI есть владельцы и пороги | У KPI и ключевых результатов есть владельцы, определения и ограждения | Оценки и показатели анализируются по тренду и каждый квартал проверяются на подгонку | Показатели регулярно выводятся и заменяются, а изменения связываются с результатами |
| Использование в решениях | Отчёты выпускаются и игнорируются | Руководители просят числа, когда что-то идёт не так | Обзоры записывают решения, на которые повлияли числа | Вопросы об обучении стандартны; невыполненные цели обсуждаются без обвинений | Планирование улучшений между командами использует общие цели и показатели |
Контрольный список
- Каждая отчётная метрика прослеживается до записанной цели, вопроса и названной аудитории.
- Реестр метрик фиксирует, какая рамка владеет каждой метрикой, и её единое определение.
- Цели записаны с назначением, предметом и точкой зрения.
- Каждый ключевой результат описывает результат, который кто-то заметил бы, а не задачу.
- OKR, показатели систем показателей и KPI принадлежат командам или услугам, а не отдельным людям.
- У каждого критического фактора успеха есть хотя бы один актуальный KPI и заданное значение, которое показало бы сбой.
- У каждой проекции системы показателей есть показатель с актуальным значением.
- У каждой метрики есть названный способ подгонки и ограждение.
- Квартальный обзор спрашивает, важны ли ещё каждая цель, ключевой результат и KPI.
- Хотя бы одна метрика или показатель выведены из использования или переработаны за последний год с записанной причиной.
Промпты для ИИ
Превратите цель в вопросы и кандидаты в метрики.
Наша команда это [название команды], которая выполняет [тип услуги или работы по
поставке] для [аудитория]. Наша цель: [цель, сформулированная как назначение,
предмет и точка зрения]. Используя подход «цель, вопрос, метрика», предложи от
трёх до пяти вопросов, которые покажут, достигаем ли мы этой цели. Для каждого
вопроса предложи кандидатов в метрики, которые мы могли бы определить, тип
источника данных, который понадобится, вероятный способ подгонки и ограждение.
Не выдумывай эталонные значения и статистику. Перечисли свои допущения и всё, что
не удалось определить из того, что я дал.
Проверьте черновые OKR.
Вот наши черновые цели и ключевые результаты на [период]: [вставьте OKR]. Наша
команда это [название команды], а наши пользователи это [аудитория]. Проверь
каждый ключевой результат и скажи, описывает он результат или активность, можно
ли его достичь, не помогая пользователям, и какое ограждение это покажет.
Предложи переписанные варианты там, где нужно, используя [заполнители] для чисел,
которые мы должны задать сами. Не выдумывай целевые или эталонные значения.
Перечисли свои допущения и вопросы, на которые мне следует ответить.
Сопоставьте критические факторы успеха и KPI.
Для практики ITIL [название практики] в нашей организации, которая обслуживает
[аудитория], вот критические факторы успеха, которые мы набросали: [список CSF].
Предложи для каждого KPI, которые можно собрать из [источники данных]. Для каждого
KPI укажи, где часы запускаются и останавливаются, если это показатель времени,
какое значение показало бы, что фактор не выполняется, и как его можно подогнать.
Не называй эталонные значения и утверждения о соответствии. Перечисли свои
допущения.
Проверьте систему показателей на сбалансированность.
В нашей системе показателей такие показатели, сгруппированные по проекциям:
[вставьте показатели по проекциям]. Мы [тип организации]. Определи проекции,
которые слабы, показатели, которые, по-видимому, дублируют друг друга, и
показатели, которые могут изменяться так, что скрывают проблему в другой
проекции. Предложи ограждения и показатели для вывода из использования. Не
выдумывай цифры или источники. Перечисли свои допущения и то, что ты не смог
оценить по данным, которые я дал.
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти, какая тема владеет метрикой и её парным ограждением, прежде чем помещать её в рамку.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что запись метрики на основе рамки содержит её определение, способ подгонки и ограждение.
Ключевые выводы
- Рамка решает, какие метрики заслуживают места, и общее правило таково: начинать с цели и вопроса, затем выбирать метрику.
- Цель, вопрос, метрика подходит для проектирования показателей одной команды, OKR подходят для концентрации квартала, системы показателей подходят для цельной картины руководства, а CSF с KPI подходят для эксплуатации практики ITIL.
- Используйте самую лёгкую рамку, которая работает, и говорите, какая из них владеет каким числом.
- Любую рамку можно подогнать, поэтому соединяйте каждую метрику с ограждением и пересматривайте набор по календарю.
- Держите рамки на уровне команды и услуги, никогда как индивидуальные цели.
- Выводите из использования цели, ключевые результаты и показатели, которые больше не информируют решения.
Источники и дополнительное чтение
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Victor Basili.
- Wikipedia, OKR.
- Wikipedia, Balanced scorecard.
- Wikipedia, Critical success factor.
- Wikipedia, Key performance indicator.
- Wikipedia, ITIL.
- Wikipedia, Vanity metric.
- Wikipedia, Strategy map.