Гибкие команды и команды по управлению ИТ-услугами (ITSM) одинаково производят поток чисел: закрытые обращения, завершённые истории, выполненные развёртывания, решённые инциденты. Получить числа легко. Получить числа, которые помогают людям принимать решения, гораздо труднее, и именно на этом разрыве спотыкается большинство программ метрик. Эта часть даёт общую основу, на которую опираются все последующие части, прежде чем будет определена хотя бы одна отдельная метрика.

Основа охватывает шесть вопросов по порядку. Зачем вообще измерять и чего стоит отсутствие измерений или измерение не того? Как измерение превращается в целевой показатель и перестаёт говорить правду? Что вообще стоит измерять? Кто определяет, ведёт и выводит из употребления каждую метрику? Откуда берутся данные и насколько им можно доверять? Как читать числа, если данные об обращениях и потоке работ асимметричны и часто скудны? Заключительная тема показывает, как устоявшиеся рамки помогают упорядочить ответы.

Читайте эту часть первой, если вы только знакомитесь с книгой, и возвращайтесь к ней всякий раз, когда какая-либо из последующих метрик начинает вести себя странно. Большинство сбоев метрик в последующих частях восходит к одной из идей, представленных здесь. Метрики в этой книге описывают команды, услуги и системы. Они никогда не используются для ранжирования отдельных людей.

Темы этой части

  • 1.1 Зачем измерять гибкий ITIL: зачем командам, создающим и эксплуатирующим услуги, нужны числа, что вносят в измерение гибкие подходы и ITIL и чего стоит отсутствие измерений или измерение не того.
  • 1.2 Закон Гудхарта и психология метрик: ограждение, лежащее в основе всех остальных тем: как измерение превращается в целевой показатель, как происходит подгонка данных об обращениях и поставке и какие привычки её предотвращают.
  • 1.3 Результаты важнее выпуска: что выбрать для измерения: ценность, результаты, выпуск и активность, опережающие и запаздывающие показатели, а также совместное создание ценности в ITIL как проверка хорошей метрики.
  • 1.4 Управление метриками и ответственность за них: владельцы метрик, определения, периодичность пересмотра, вывод из употребления и вопрос о том, кто что может видеть.
  • 1.5 Источники данных и инструментирование: инструменты ITSM, трекеры задач, системы контроля версий, конвейеры непрерывной интеграции и поставки, мониторинг, база данных управления конфигурациями (CMDB) и опросы как источники, с вниманием к качеству данных, меткам времени и моделям статусов.
  • 1.6 Статистическая грамотность для метрик услуг: процентили вместо средних, асимметричные распределения, малые выборки, контрольные карты и честная неопределённость для данных об обращениях и потоке работ.
  • 1.7 Рамки измерения: Goal-Question-Metric, цели и ключевые результаты (OKR), сбалансированная система показателей, критические факторы успеха и ключевые показатели эффективности, а также то, как они сочетаются с практиками ITIL.

Как эти темы связаны между собой

Темы образуют скорее петлю, чем лестницу. Тема 1.1 (см. тему 1.1, Зачем измерять гибкий ITIL) задаёт цель, а тема 1.3 (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения) превращает эту цель в выбор того, что измерять. Метрике, выбранной за её ориентацию на результат, всё равно нужны определение, владелец и дата пересмотра, и в этом состоит работа темы 1.4 (см. тему 1.4, Управление метриками и ответственность за них). Рамки вроде Goal-Question-Metric, рассмотренные в теме 1.7 (см. тему 1.7, Рамки измерения), дают повторяемый способ перейти от цели к небольшому набору показателей, поэтому они естественно сочетаются с темами 1.3 и 1.4.

Данные и статистика образуют вторую пару. Удачно выбранная метрика хороша лишь настолько, насколько хороши записи, на которых она построена, и тема 1.5 (см. тему 1.5, Источники данных и инструментирование) объясняет, как метки времени, модели статусов и настройка инструментов определяют, что может означать число. Тема 1.6 (см. тему 1.6, Статистическая грамотность для метрик услуг) затем показывает, как читать это число честно, используя процентили, контрольные карты и простые утверждения о неопределённости. Слабые данные сводят на нет хорошую статистику, а слабая статистика расточает хорошие данные, поэтому лучше читать обе темы вместе.

Тема 1.2 (см. тему 1.2, Закон Гудхарта и психология метрик) охватывает все остальные как ограждение. Любую метрику, выбранную по теме 1.3, управляемую по теме 1.4 и построенную на источниках из темы 1.5, всё равно можно подогнать, как только людей начинают оценивать по ней. Управление ограничивает то, кто что видит и как используется метрика. Выбор, ориентированный на результаты, делает подгонку менее выгодной. Парные показатели, представленные здесь и развиваемые на протяжении всей книги, позволяют одному числу проверять другое. Поэтому каждая метрика в последующих частях несёт в себе способ подгонки и ограждение, а эта часть объясняет, почему так.