Управление метриками и ответственность за них
Метрика, у которой нет владельца, определения, пересмотра и выхода из употребления, со временем отдаляется от работы, которую описывает, поэтому дайте каждой сообщаемой метрике названного владельца, письменное определение, дату пересмотра и способ её завершить.
Обзор и мотивация
Управление метриками это набор лёгких решений о том, кто владеет показателем, что он означает, кто может его видеть, как часто его пересматривают и когда его убирают. Оно близко к управлению данными, которое охватывает более широкую работу с доступностью, качеством и безопасностью данных в организации. Управление метриками применяет ту же дисциплину к небольшому, хорошо заметному набору чисел, по которым команды и руководители ведут работу по услугам и поставке.
Потребность проявляется как небольшие повторяющиеся трения. Две команды считают «время решения» по-разному и тратят совещание на согласование цифр. Плитка дашборда месяцами не обновляется, потому что человек, который её собрал, перешёл на другую работу. Показатель, созданный, чтобы помочь одной команде диагностировать свой поток, принимается руководящей группой как целевой, а это ситуация, о которой предупреждает предыдущая тема (см. тему 1.2, Закон Гудхарта и психология метрик). Ни одно из этого не является статистической проблемой. Каждое есть проблема владения, и каждое дёшево предотвратить.
Гибкий подход и ITIL расходятся в акцентах, и эта разница полезна. С гибкой точки зрения команда владеет своими рабочими показателями и согласует их на ретроспективах, в рабочих соглашениях и на обзорах. Взгляд ITIL, изложенный в ITIL 4 (редакция 2019 года от AXELOS, которую теперь публикует PeopleCert), рассматривает измерение и отчётность как общую управленческую практику, а непрерывное улучшение как практику со своими ролями, записями и обзором. ITIL также ожидает, что владельцы услуг и владельцы практик отвечают за результаты. Эти два взгляда сочетаются: команда владеет рабочим представлением, названный владелец услуги или практики владеет сообщаемым представлением, а небольшой реестр связывает их.
Несколько используемых здесь терминов. Владелец метрики это единственный ответственный человек за определение метрики, качество данных и использование. Реестр метрик это короткий каталог используемых метрик с владельцем, определением, источником данных, ограждением и датой пересмотра для каждой. Хартия метрик это одностраничное заявление о цели, области, ролях и периодичности пересмотра для набора метрик. Единый источник истины это единственная авторитетная система или набор данных, из которого вычисляется данная цифра. Распорядитель данных следит за качеством и определением области данных, и в малой организации эту роль часто играет владелец метрики. Матрица RACI фиксирует, кто исполняет, кто отвечает, кого консультируют и кого информируют по каждой деятельности. Словарь данных это каталог элементов данных и их значений, во что превращается столбец определений реестра при большем масштабе. Принцип наименьших привилегий гласит, что люди и системы получают доступ, необходимый для их задачи, и не более того. Непрерывное улучшение это постоянные усилия по улучшению услуг, практик и способов работы, и оно одновременно является практикой ITIL и гибкой привычкой. SLA означает соглашение об уровне обслуживания, а ITSM означает управление ИТ-услугами.
Ключевые принципы
- У каждой сообщаемой метрики один названный владелец. Роль или человек, но никогда не «команда». Совместное владение оставляет определение без сопровождения.
- Одно определение, один источник истины. Напишите определение один раз, включая то, где часы запускаются и останавливаются, и вычисляйте цифру в одном месте.
- Управляйте соразмерно последствиям. Метрике, которой команда пользуется для отладки своей доски, достаточно одного предложения. Метрике в договоре, публичном отчёте или пакете документов для совета нужны запись в хартии, пересмотр и журнал проверки.
- Доступ следует цели. Решите, кто какое представление видит и зачем. Аудитория рабочего представления команды по умолчанию это сама команда.
- Пересматривайте по графику и выводите из употребления по свидетельствам. У метрик есть жизненный цикл. Принимайте, пересматривайте, исправляйте и выводите их сознательно.
- Записывайте и держите малым. Реестр, умещающийся на одной странице, читают. Свод правил не читают.
- Управление служит тем, кого измеряют. Среди владельцев метрики есть люди, чью работу она описывает.
Определения метрик
Это показатели здоровья практики метрик, а не услуги. Их намеренно немного, и их дёшево собирать из самого реестра. Каждый период это календарный квартал, если не указано иное.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват владением | Доля сообщаемых метрик с названным действующим владельцем | сообщаемые метрики с владельцем, который сохраняет роль на конец периода / сообщаемые метрики на конец периода; исключаются метрики, используемые только на личной доске одной команды | процент | Реестр метрик | Измерение и отчётность | Рабочие соглашения | Ежеквартально |
| Актуальность определений | Доля сообщаемых метрик, определение которых пересматривалось в пределах согласованного интервала | метрики с датой пересмотра за последние 6 месяцев / сообщаемые метрики; отсчёт начинается с последнего записанного пересмотра и останавливается в конце периода | процент | Журнал изменений реестра метрик | Измерение и отчётность; непрерывное улучшение | Действия ретроспективы | Ежеквартально |
| Соответствие источнику | Доля сообщаемых метрик, вычисляемых ровно из одного названного источника | метрики с одним авторитетным источником и без известных параллельных расчётов / сообщаемые метрики; параллельные расчёты находят выборочной проверкой дашбордов и отчётов | процент | Реестр плюс выборка дашбордов и отчётов | Измерение и отчётность; управление уровнем услуг | Критерии готовности метрики | Ежеквартально |
| Доля вывода из употребления | Число метрик, выведенных из употребления или объединённых за период, относительно сообщаемых | метрики, выведенные или объединённые за период / метрики, сообщаемые на начало периода; метрика, перенесённая в личное представление команды, считается выведенной из сообщаемого набора | процент | Журнал изменений реестра метрик | Непрерывное улучшение | Действия ретроспективы | Ежеквартально |
| Актуальность проверки доступа | Доля ограниченных представлений метрик, у которых список аудитории пересматривался в пределах интервала | ограниченные представления с проверкой аудитории за последние 6 месяцев / ограниченные представления; представления, открытые всей организации, исключаются | процент | Список доступа или выгрузка прав в BI-инструменте | Управление информационной безопасностью; измерение и отчётность | Рабочие соглашения | Раз в полгода |
| Связь с решениями | Доля сообщаемых метрик, связанных в реестре с решением, которое они обосновывают | метрики с записанным решением или вопросом / сообщаемые метрики; связь засчитывается, только если решение было принято за последние 12 месяцев | процент | Реестр метрик и журнал решений | Непрерывное улучшение | Обзор для заинтересованных сторон и результаты улучшений | Ежеквартально |
Ни один из этих показателей не является целевым. Реестр может показывать полный охват владением и всё же описывать бесполезные метрики, поэтому читайте таблицу вместе с таблицей подгонки ниже.
Рекомендации
Установите владение и реестр
1. Ведите одностраничный реестр метрик. Перечислите каждую сообщаемую метрику с её вопросом, владельцем, определением, формулой и часами, единицей, источником данных, аудиторией, ограждением, датой последнего пересмотра и планируемой датой пересмотра. Достаточно электронной таблицы или файла Markdown под контролем версий. Реестр это самый полезный артефакт этой темы, а предыдущая тема уже предполагает, что он существует (см. тему 1.2, Закон Гудхарта и психология метрик).
2. Назовите одного владельца на метрику и запишите роль. Владелец отвечает за определение, качество данных и объяснение странных результатов. Выберите кого-то близкого к данным и решениям, часто это владелец услуги, владелец практики или руководитель команды. Записывайте роль так же, как человека, чтобы запись пережила смену работы, а вакансия проявилась в цифре охвата.
3. Разделяйте владение метрикой и владение работой, которую она измеряет. Владелец метрики объясняет и сопровождает её, но команда, выполняющая работу, остаётся ответственной за результат. Это позволяет избежать двух ловушек: владельца, которого винят за число, на которое он не может влиять, и команды, которая отказывается от числа, потому что его ведёт кто-то другой. Короткая таблица RACI в хартии делает это явным.
4. Напишите определение с его часами один раз. Реестр содержит авторитетное определение: что считается, где часы запускаются и останавливаются, какие состояния их приостанавливают и что исключается. Ссылайтесь на него из каждого дашборда, показывающего метрику. Когда определение нужно изменить, сначала измените его в реестре и отметьте изменение на графике (о том, как показать разрыв в тренде, см. тему 1.6, Статистическая грамотность для метрик услуг).
5. Вычисляйте каждую метрику в одном месте. Выберите авторитетный источник, например инструмент ITSM, трекер задач или систему мониторинга, и укажите это в реестре. Параллельные электронные таблицы, воспроизводящие цифру, нужно либо вывести из употребления, либо переименовать, чтобы никто не принял их за официальное число. Происхождение данных и инструменты относятся к следующей теме (см. тему 1.5, Источники данных и инструментирование).
Задайте периодичность и контроль изменений
6. Пересматривайте определения по графику, соответствующему последствиям. Для метрик в договорах, регулируемых отчётах или пакетах для руководства пересматривайте дважды в год и при любом изменении лежащего в основе рабочего процесса. Для рабочих показателей уровня команды пересмотром служит ретроспектива. Каждый пересмотр задаёт три вопроса: остаётся ли определение точным, остаются ли данные надёжными и использовал ли кто-нибудь число, чтобы что-то решить?
7. Относитесь к изменениям определений как к изменениям услуги. Записывайте, кто запросил изменение, зачем, с кем консультировались и дату вступления в силу. Небольшое изменение в рабочем процессе статусов может незаметно сдвинуть показатель времени на большую величину. Лёгкий контроль изменений определений заимствует идею управления изменениями без церемоний (о парном понятии для изменений услуг см. тему 4.3, Метрики управления изменениями).
8. Свяжите пересмотр с непрерывным улучшением. Пересмотры метрик должны порождать работу по улучшению или явное решение не действовать. ITIL рассматривает непрерывное улучшение как практику с реестром возможностей улучшения, а гибкие команды достигают того же через действия ретроспективы. Если пересмотр заканчивается без действия и без вывода из употребления, спросите, делает ли метрика хоть какую-то работу (см. тему 9.5, Метрики непрерывного улучшения).
9. Выводите метрики из употребления сознательно. Определите проверку на вывод, например «не упоминалась в решении в течение двух циклов пересмотра», и применяйте её. Архивируйте определение и последние значения, скажите, что заменило метрику, если что-то заменило, и сообщите аудитории. Журнал выводов из употребления служит свидетельством для аудиторов и облегчением для тех, кто вёл данные вручную.
Управляйте представлениями и доступом
10. Решите аудиторию для каждого представления. У большинства метрик есть рабочее представление для команды, сообщаемое представление для владельца услуги или программы, а иногда внешнее представление для клиентов, регулятора или поставщика. Записывайте, какая аудитория получает какое представление и почему. Руководствуясь принципом наименьших привилегий, ограничивайте представления, содержащие персональные данные, подробности безопасности или коммерчески чувствительные цифры поставщиков, а остальное оставляйте открытым, чтобы прозрачность была режимом по умолчанию.
11. Не пускайте в отчётность данные уровня отдельных людей. Жёсткое правило этой книги состоит в том, что метрики описывают команды, услуги и системы, а не людей. Управление поддерживает это, задавая сообщаемую детализацию, например команда и услуга, и ограничивая любую выгрузку по людям распорядителем данных. Если приходит запрос на разбивку по людям, запишите его, спросите, какому решению он служит, и предложите альтернативу на уровне команды или системы (см. тему 11.3, Внедрение метрик без создания страха).
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Охват владением | Назначение владельцем руководителя или списка рассылки, чтобы достичь 100 процентов, при том что никто не может объяснить или изменить метрику | Просите каждого владельца объяснить одно недавнее изменение числа; отслеживайте вопросы, оставшиеся без ответа дольше недели |
| Актуальность определений | Обновление даты пересмотра без чтения определения | Выбирайте три записи каждый квартал и сравнивайте письменное определение с фактической настройкой инструмента |
| Соответствие источнику | Объявление источника авторитетным, пока таблицы продолжают ходить по рукам и расходятся | Считайте различные цифры для одной и той же метрики в выборке отчётов; согласуйте различия на пересмотре |
| Доля вывода из употребления | Вывод тривиальных или неиспользуемых метрик, чтобы выглядеть дисциплинированно, или переименование метрики, чтобы она считалась новой | Просматривайте журнал выводов, чтобы видеть, что убрано; отслеживайте рядом общее число сообщаемых метрик и показатель связи с решениями |
| Актуальность проверки доступа | Утверждение существующего списка аудитории без его чтения | Сравнивайте список с текущим составом команды и ролями; сообщайте число найденных удалений |
| Связь с решениями | Запись расплывчатого решения вроде «улучшить услугу», чтобы заполнить поле | Требуйте датированное решение или вопрос и выборочно проверяйте по журналу решений, действительно ли метрикой пользовались |
Здоровая картина это реестр, который меняется. У записей есть владельцы, отвечающие на вопросы, даты пересмотра приходятся на последние шесть месяцев, есть журнал выводов из употребления с причинами и короткий список метрик, которые по-прежнему нужны, потому что люди могут назвать решение, которое те обосновывают. Реестр со всеми заполненными полями, в котором ничего никогда не меняется, является тревожным признаком.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Центральный офис метрик | Согласованные определения и общие инструменты; проще аудит | Медленный, далёкий от работы и склонный стандартизировать показатели, которые должны различаться между командами |
| Федеративное владение с общим реестром | Владельцы сидят рядом с данными; реестр сохраняет общий минимум | Требует постоянной поддержки, чтобы качество не расходилось между командами |
| Только показатели, принадлежащие командам | Быстро и соответствует работе | Определения расходятся; сводные данные теряют надёжность; знания уходят с людьми |
| Открытый доступ по умолчанию | Строит доверие и общее понимание | Риск раскрытия чувствительных подробностей или данных об отдельных людях |
| Ограниченный доступ | Защищает чувствительные данные | Скрывает контекст от людей, которые могли бы помочь, и вызывает подозрения |
Баланс состоит в том, чтобы централизовать тонкий слой, который должен быть согласован, то есть реестр, общие определения и правила доступа, а всё остальное федерировать.
Вопросы для обсуждения с командой
1. Кто бы ответил, если бы самое цитируемое число на нашем дашборде завтра выглядело неверным? Попросите группу назвать человека, а не группу. Если называют несколько имён или ни одного, у метрики на практике нет владельца. Ведущему стоит записать метрику, кандидата в владельцы и то, что понадобится владельцу для работы, например доступ на чтение данных или время на пересмотре. В конце договоритесь, кто подтвердит владельца и запишет роль в реестр.
2. Где сегодня существуют две версии одной и той же цифры? Поищите отчёты, показывающие одну метрику с разными значениями: еженедельный слайд и живой дашборд или отчёт поставщика и внутренний. По каждому спросите, откуда возникает разница, например из области, часов или исключений. Решите, какой источник авторитетный и что станет с другой версией. Ожидайте, что разговор выявит разные рабочие определения слов, которые все считали общими.
3. Какую метрику мы вывели бы из употребления в этом квартале, если бы пришлось вывести одну? Начните с метрики, которую давно никто не упоминал в решениях. Спросите, что случится, если она исчезнет, и кто это заметит. Если ответ «никто», выведите её из сообщаемого набора на пробный период. Ведущему стоит относиться к выводу из употребления как к нормальному и здоровому и записать итог в журнал.
4. Кто из наших метрик что видит, и сделано ли это намеренно? Нарисуйте простую сетку метрик против аудиторий: команда, владелец услуги, руководство, клиенты, поставщики, регуляторы. Отметьте, где доступ был решением, а где просто сложился. Поищите представления, с помощью которых можно сравнивать отдельных людей. Договоритесь об изменении хотя бы одного списка аудитории и о том, кто пересмотрит его в следующий раз.
5. Как нам изменить определение, не сломав тренд? Разберите недавнее изменение рабочего процесса статусов или шкалы приоритетов. Спросите, кого предупредили, был ли график аннотирован и сравнивал ли кто-нибудь старые и новые значения. Составьте лёгкую запись об изменении, которую команда действительно будет заполнять. Договоритесь, кто утверждает изменения метрик, фигурирующих в договорах или внешних отчётах.
6. Что бы мы перестали делать, если бы управление стало обузой? Управление может превратиться в ритуал. Спросите, какие части нынешнего подхода люди пропустили бы, если бы никто не проверял, и почему. Считайте ответы отзывом о проектировании, а не сопротивлением. Ведущему стоит искать шаги, дублирующие друг друга, поля, которые никто не читает, и пересмотры, никогда не приводящие к решению.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки владеют рабочими показателями, такими как возраст рабочего элемента и время цикла, и им стоит согласовывать определения в рабочих соглашениях. Когда метрика поднимается в портфельный отчёт, команда должна знать владельца, определение и аудиторию. Больше всего пользы команды получают от краткой записи в реестре для каждого сообщаемого показателя и от права оспорить определение, которое перестало соответствовать течению работы (см. тему 2.1, Показатели потока).
Команды услуг и эксплуатации
Команды услуг и эксплуатации ведут метрики, которые появляются в SLA и операционных обзорах, поэтому определения, часы и исключения имеют договорный вес. Владельцами здесь обычно являются владельцы услуг и владельцы практик. Им стоит сохранять след свидетельств об изменениях определений, регулярно сверять сообщаемые цифры с инструментом ITSM и первыми выводить из употребления показатель, переставший обосновывать операционные решения (см. тему 5.1, Метрики SLA, OLA и XLA).
Руководство и управление
Руководители задают условия: кто владеет метриками, какие представления попадают в пакет для руководства и как используются числа. Им стоит запрашивать реестр и журнал выводов из употребления, читать определения за заглавными цифрами и сопротивляться просьбам о рейтингах отдельных людей. Органам управления нужен небольшой постоянный пункт повестки, который пересматривает реестр и записывает решения, в духе ожиданий ISO/IEC 20000-1 к системам управления услугами (по редакции 2018 года), не превращая пересмотр в упражнение по соответствию (см. тему 8.3, Метрики соответствия и аудита).
Клиенты и пользователи
Клиенты и пользователи редко видят реестр, но чувствуют его отсутствие, когда цифра в обзоре услуги отличается от их опыта. Где метрика появляется в отчёте для клиентов или в SLA, определение должно быть доступно простым языком, включая то, что исключено. У клиентов должен быть путь оспорить цифру, а владелец должен на неё ответить (см. тему 5.1, Метрики SLA, OLA и XLA).
На практике: пример гибкого ITIL
Интернет-ритейлер среднего размера содержит службу поддержки, три продуктовые команды и группу эксплуатации. Все числа ниже иллюстративны.
Ежемесячный обзор услуг показывает медианное время решения инцидентов 5,1 часа. Собственный дашборд продуктовых команд, построенный на том же инструменте ITSM, показывает 6,4 часа. Эти две цифры ходят уже год. Новый владелец услуги спрашивает, кто владеет метрикой, и получает три разных ответа.
Владелец вместе с руководителями команд и распорядителем данных тратит две встречи на первый реестр из 14 сообщаемых метрик. Из них у 5 не было владельца, а у 4 было два источника. Время решения одна из метрик с двумя источниками. Разница объясняется состоянием паузы: обзор услуг исключает время в состоянии «ожидание клиента», а дашборд команды нет. Группа согласует одно определение, назначает владельцем метрики владельца услуги и на один квартал публикует оба значения на одной странице с пометкой по определению, чтобы никто не потерял историю. Они аннотируют график в том месте, где определение меняется.
На первом квартальном обзоре группа применяет проверку на вывод и убирает 3 из 14 метрик, включая ежемесячный график числа обращений, который не упоминался ни в одном недавнем решении. Они также ограничивают представление, разбивающее время решения по аналитикам, оставляя единственным держателем распорядителя данных, и вместо него предлагают разбивку по командам.
Риск подгонки появляется на втором обзоре. Охват владением достигает 100 процентов, но выборка показывает, что двое из владельцев это список рассылки и руководитель отдела, ни разу не открывавший данные. Группа заменяет их названными владельцами услуг и добавляет в обзор вопрос-ограждение: «Может ли владелец объяснить последнее изменение этого числа?» Охват падает до 86 процентов на один квартал, и группа записывает это как честный результат. В журнале решений записано удерживать цель по охвату, пока ограждение не отработает два цикла.
Отраслевой взгляд
Стартап. Основатель или ведущий инженер часто по умолчанию владеет всеми метриками. Риск в том, что определения живут в одной голове. Ведите реестр из пяти-восьми метрик в общем документе, назначьте владельца каждой и записывайте определения в тот день, когда метрика впервые появляется в обновлении для инвесторов или клиентов.
Малый бизнес. Человек, занимающийся ИТ, обычно одновременно владелец, распорядитель и читатель отчётов. Ограничьте управление одной страницей, пересматривайте дважды в год и будьте особенно внимательны, когда отчёт поставщика определяет метрику не так, как вы. Назовите, кто в бизнесе владеет каждой цифрой, которую видят клиенты.
Крупное предприятие. Масштаб делает общий слой необходимым. Используйте реестр с рабочим процессом, лёгкий совет, собирающийся ежеквартально, и роль распорядителя данных для каждой крупной области. Сохраняйте самостоятельность команд в рабочих показателях и остерегайтесь стандартизировать метрики, которые должны различаться для разных видов услуг. Согласование с управлением данными, уже существующим в организации, экономит усилия.
Государственный сектор. Законная отчётность, аудит и закупки делают письменные определения и записи об изменениях обязательными. Относитесь к реестру как к артефакту аудита и держите чёткую линию от каждой опубликованной цифры к её владельцу и источнику. Решения о доступе часто требуют юридической и приватностной проверки, поэтому записывайте основание каждого ограниченного представления (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Затраты скромны и в основном состоят из времени. Ожидайте несколько часов на построение первого реестра, час или два в квартал на пересмотр и некоторые усилия распорядителя данных на разрешение конфликтующих источников. Затраты на инструменты низки, так как для начала достаточно электронной таблицы или файла под контролем версий.
Отдача состоит в основном в избегаемых потерях. Совещания, где согласуют цифры, исчезают, аудиторы находят ясный след, а ввод нового владельца услуги идёт быстрее, потому что определения записаны. Решения лучше, потому что опираются на числа, значащие одно и то же каждый месяц. Не называйте процент для этих выгод без собственных данных. Если для бизнес-обоснования нужны цифры, посчитайте часы, потраченные в прошлом квартале на согласование конфликтующих чисел, и число метрик без записанного владельца, а затем посчитайте их снова после двух циклов пересмотра.
Антипаттерны и ловушки
- Владение комитетом. Группа владеет метрикой, и никто не отвечает на вопросы. Назовите одну ответственную роль и заместителя.
- Реестр как кладбище. Его строят один раз и больше не трогают. Поставьте даты пересмотра в календарь и показывайте дату на каждом дашборде.
- Стандартизация всего. Одно определение, навязанное командам с разной работой, даёт числа, которые нигде ничего не значат. Делите только тот слой, который должен быть согласован.
- Тихие изменения определений. Тренды ломаются, и доверие уходит следом. Записывайте каждое изменение с причиной и аннотируйте график.
- Управление без вывода из употребления. Набор только растёт, а внимание истончается. Применяйте проверку на вывод при каждом пересмотре.
- Секретность по умолчанию. Сокрытие рабочих представлений от тех, кого измеряют, порождает подозрительность. Ограничивайте только то, что несёт реальный риск, и объясняйте почему.
- Открытый доступ к данным об отдельных людях. Одна выгрузка может стать рейтингом за несколько дней. Задайте сообщаемую детализацию на уровне команды и услуги и держите любые данные по людям у распорядителя.
- Театр соответствия. Поля заполняют, чтобы удовлетворить контрольный список. Проверяйте записи на правдивость и просите владельцев объяснять недавние изменения.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Владение и реестр | Владельцы неясны; метрики живут в личных таблицах | Некоторые команды ведут список с владельцами | Один реестр для всех сообщаемых метрик, у каждой названный владелец и роль | Охват и актуальность отслеживаются во времени; пробелы ведут к исправлениям с ресурсами | Реестр разделяется с поставщиками и клиентами там, где цифры пересекают границы |
| Определения и контроль изменений | Определения различаются у разных людей | Записаны для некоторых договорных метрик | Письменное определение с часами и журнал изменений для каждой сообщаемой метрики | Изменения проверяются на влияние на тренды до выпуска | Определения совместно пересматриваются командами и поставщиками, когда перестают обосновывать решения |
| Пересмотр и вывод из употребления | Метрики добавляются, но не убираются | Случайная уборка | Периодичность пересмотра и проверка на вывод записаны | Итоги пересмотров отслеживаются как работа по улучшению | Вывод и обновление идут регулярно, на основе свидетельств от пользователей и команд |
| Доступ и аудитория | Доступ случайный | Ограниченные представления для чувствительных данных | Аудитория указана для каждой метрики с причиной | Доступ пересматривается по графику; данные по людям хранит распорядитель | Аудитория проектируется вместе с теми, кого измеряют, и с клиентами |
Контрольный список
- Реестр метрик существует и перечисляет каждую сообщаемую метрику.
- У каждой сообщаемой метрики есть названный владелец и записанная роль.
- У каждой сообщаемой метрики есть письменное определение с правилами запуска, остановки и исключений.
- У каждой метрики в реестре назван один авторитетный источник.
- Для каждой метрики записаны дата пересмотра и интервал.
- Изменения определений записаны с причиной и отмечены на графике.
- Проверка на вывод из употребления записана и применяется при каждом пересмотре.
- Аудитория каждого представления записана, а причина любого ограничения указана.
- Ни одно сообщаемое представление не ранжирует отдельных людей, а данные по людям находятся у распорядителя данных.
- Реестр проверялся выборочно на правдивость в последнем квартале.
Промпты для ИИ
Составьте хартию метрик для набора метрик.
Составьте одностраничную хартию метрик для [название команды или услуги],
которая предоставляет [тип услуги или работы по поставке]. Набор метрик:
[список метрик]. Аудитории: [аудитории]. Включите цель, явные нецели, таблицу
RACI для владельца, распорядителя данных и рецензентов с такими ролями: [роли],
периодичность пересмотра и проверку на вывод из употребления. Опирайтесь только
на то, что я написал. Не придумывайте метрики, целевые или эталонные значения.
Перечислите свои допущения и вопросы, на которые мне нужно ответить, чтобы
завершить хартию.
Найдите конфликты между двумя версиями метрики.
Вот два описания того, что должно быть одной метрикой, [название метрики].
Версия A из [источник A]: [описание и формула]. Версия B из [источник B]:
[описание и формула]. Сравните их по тому, что считается, где часы запускаются
и останавливаются, какие состояния их приостанавливают и что исключается.
Объясните, какие различия могут объяснить разрыв между [значение A] и
[значение B], и предложите вопросы к владельцу. Не гадайте о значениях,
которых я не давал. Перечислите свои допущения и то, что вы не смогли
определить.
Проверьте реестр метрик на пробелы.
Ниже выдержка из нашего реестра метрик с полями [список полей]. Проверьте её на
отсутствие владельцев, записи без даты пересмотра или с датой старше
[интервал], метрики с более чем одним источником, метрики без связанного
решения и представления, которые могут раскрыть данные об отдельных людях.
Сообщайте закономерности по метрикам, а не по людям. Не придумывайте факты о
наших метриках. Скажите, какие выводы достоверны из текста, а какие являются
догадками, и перечислите свои допущения.
[вставьте выдержку из реестра, удалив персональные данные]
Спланируйте пересмотр на вывод из употребления.
Мы пересматриваем метрики каждые [интервал]. Наша проверка на вывод такая:
[проверка]. Для каждой из метрик ниже, используя заметки, которые я даю,
предложите вывести, оставить, объединить или переработать, с однострочной
причиной и вопросом к владельцу: [метрики с датой последнего упоминания и ролью
владельца]. Также предложите, как объявить о каждом выводе аудитории
[аудитория]. Не придумывайте данные об использовании. Перечислите свои
допущения и любую информацию, которая изменила бы вашу рекомендацию.
Навыки ИИ
- Навык Agile ITIL Metrics: используйте, чтобы найти тему и парное ограждение для метрики перед добавлением её в реестр.
- Навык сопровождающего Agile ITIL Metrics: используйте, чтобы проверить, что запись о метрике содержит владельца, способ подгонки и ограждение.
Ключевые выводы
- Управление сохраняет за числами одинаковый смысл во времени, а одностраничный реестр составляет его ядро.
- Назовите одного ответственного владельца для каждой сообщаемой метрики и записывайте роль так же, как человека.
- Напишите одно определение с его часами, вычисляйте его в одном месте и записывайте каждое изменение.
- Соразмеряйте вес управления с последствиями метрики.
- Решайте намеренно, кто какое представление видит, не пускайте в отчётность данные по отдельным людям и выводите метрики из употребления по свидетельствам.
Источники и дополнительное чтение
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
- Wikipedia, Data governance.
- Wikipedia, Single source of truth.
- Wikipedia, Data steward.
- Wikipedia, RACI matrix.
- Wikipedia, Data dictionary.
- Wikipedia, Principle of least privilege.
- Wikipedia, Continual improvement process.