Зачем измерять гибкий ITIL
Командам, которые создают и эксплуатируют услуги, нужен небольшой набор честных чисел, чтобы видеть, помогает ли их работа пользователям и становится ли она лучше; гибкие подходы и ITIL дают разные половины этой картины.
Обзор и мотивация
Каждая команда, которая создаёт и эксплуатирует услугу, весь день принимает решения: чем заняться дальше, безопасен ли выпуск, нужен ли службе поддержки ещё один человек, был ли сбой единичным или закономерным. Без измерений эти решения опираются на память, случаи из практики и мнение того, кто высказался последним. С неверными измерениями они могут оказаться ещё хуже, потому что число несёт в себе авторитет, которого нет у мнения. Эта тема объясняет, зачем измерять, что вносит каждая из традиций и чего стоит ошибка.
В этой книге встречаются две традиции. Гибкая разработка программного обеспечения (Agile) это набор ценностей и практик, изложенных в Манифесте гибкой разработки 2001 года, который отдаёт предпочтение работающему программному обеспечению, тесному сотрудничеству с заказчиками и готовности к изменениям. Её привычки измерения эмпирические и локальные: команда изучает собственный поток работ, смотрит на то, что поставила, и подстраивается. ITIL, первоначально Information Technology Infrastructure Library, это свод рекомендаций по управлению ИТ-услугами (ITSM), то есть по проектированию, предоставлению и совершенствованию ИТ-услуг. Его привычки измерения ориентированы на услугу и общие для всех: согласованные уровни услуг, каталог услуг (в самом ITIL он называется «service catalogue») и дисциплина непрерывного улучшения. В ITIL 4, редакции этих рекомендаций 2019 года, измерение и отчётность относятся к общим практикам управления, а непрерывное улучшение является одновременно практикой и руководящим принципом. Прежде чем опираться на подробности версии, сверьтесь с актуальными публикациями владельца рекомендаций, поскольку они продолжают развиваться.
Эти два взгляда различаются полезным образом. Гибкие подходы спрашивают: «Создаём ли мы то, что нужно, и насколько гладко течёт работа?» ITIL спрашивает: «Отвечает ли услуга потребностям тех, кто ею пользуется, и надёжна ли она, пригодна ли к сопровождению и доступна ли по цене?» Команда, которая измеряет только поток, может быстро поставлять изменения в услугу, которую пользователи считают ненадёжной. Команда, которая измеряет только уровни услуг, может выполнить все целевые показатели и при этом так медленно вносить изменения, что услуга перестанет быть актуальной. Движение DevOps выросло из наблюдения, что создание и эксплуатация образуют одну систему, а значит, числа, которые её описывают, нужно читать вместе. Обеспечение надёжности сайтов (SRE), дисциплина, описанная Google в опубликованных книгах, добавляет явную связь между целевыми показателями надёжности и темпом изменений.
В книге постоянно встречаются три термина. Показатель описывает что-то в работе или в услуге. Метрика это показатель с определённой формулой, единицей и источником данных, так что двое людей, вычисляющих её, получают один и тот же ответ. Ограждение это второй показатель или практика, выбранные заранее, которые изменятся, если первый подгоняют. Предупреждение, стоящее за ограждениями, это закон Гудхарта: когда показатель становится целью, люди начинают управлять числом, а не работой (см. тему 1.2, Закон Гудхарта и психология метрик).
Для чего нужно измерение
Измерение оправдывает своё место, когда выполняет одну из четырёх задач.
- Видеть. Сделать невидимую работу видимой: очередь, на которую никто не смотрит, закономерность инцидентов в трёх командах, изменение, которое девять дней ждёт своего окна.
- Решать. Помочь выбрать между двумя вариантами, например автоматизировать ли тип запросов или исправить дефект, который их порождает.
- Учиться. Проверить убеждение. Если команда думает, что новая практика проверки сократит переделки, число может показать, так ли это.
- Отчитываться. Дать пользователям, заказчикам и руководителям честный отчёт о том, что приносит услуга, чтобы доверие опиралось на факты.
Число, которое не решает ни одной из этих четырёх задач, это накладные расходы. Последующие темы повторяют эту проверку для каждого семейства метрик.
Цена отсутствия измерений
Команда, которая ничего не измеряет, не свободна от чисел. Она живёт по неявным: самая громкая жалоба, самый недавний сбой, ощущение руководителя, насколько занятыми выглядят люди. Из этого вытекают две цены.
- Медленная обратная связь. Проблемы, которые показал бы тренд, приходят как сюрприз. Постепенный рост повторных обращений выглядит невезением, пока не превращается в кризис.
- Нет основы для улучшения. Команда не может определить, помогло ли изменение, а значит, не может узнать, какие изменения стоит повторять.
Цена измерения не того
Измерение не того часто хуже отсутствия измерений, потому что направляет усилия с ложной уверенностью. Количество закрытых обращений, строки кода, завершённые очки историй и отработанные часы легко собирать и легко выводить на графики, и каждый из этих показателей отражает активность, а не ценность для пользователя. Исследование, лежащее в основе рамки SPACE (Forsgren и соавторы, 2021), утверждает, что продуктивность нельзя уловить одним измерением и что показатели активности, взятые по отдельности, вводят в заблуждение.
Ключевые принципы
- Измеряйте ради решения. Каждая метрика отвечает на записанный вопрос и поддерживает названный выбор. Если никто не может сказать, какой именно, выведите её из употребления.
- Соединяйте два взгляда. Читайте поток поставки и состояние услуги на одной странице, чтобы скорость никогда не покупалась ценой устойчивости и наоборот.
- Сначала результаты, потом активность. Критерий: пользователям стало лучше. Показатели активности поддерживают рассказ, но не рассказывают его (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
- Описывайте команды и услуги, но никогда отдельных людей. Рейтинги людей портят данные и вредят сотрудничеству.
- Начинайте с малого и растите. Горстка надёжных метрик лучше стены слабо управляемых.
- Сначала покажите команде. Люди, которые выполняют работу, являются первой аудиторией и лучшей проверкой точности данных.
- Ожидайте перемен. Определения, метрики и целевые показатели пересматриваются, когда перестают помогать решениям.
Определения метрик
Приведённые ниже метрики описывают здоровье самой практики измерения, и именно здесь вопрос «зачем измерять» становится проверяемым. Команда, которая может их показать, измеряет по причинам. В каждой формуле, основанной на времени или счёте, указаны границы.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Доля метрик, связанных с решением | Доля отчётных метрик, у которых есть записанный вопрос и названное решение, которое они поддерживают | метрики с записанным вопросом и решением / метрики в отчёте на панели на конец квартала | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Действия по итогам ретроспектив; рабочие соглашения | Раз в квартал |
| Охват базовыми значениями | Доля услуг и команд в области охвата, у которых записано начальное значение для каждого из согласованных основных показателей | пары «услуга и показатель» с базовым значением, записанным за последние 12 месяцев / все пары «услуга и показатель» в области охвата; услуги вне каталога исключаются | процент | Каталог услуг и реестр метрик | Управление уровнями услуг; измерение и отчётность | Обзор с заинтересованными сторонами; панели команд | Раз в квартал |
| Трудозатраты на измерение | Время сотрудников, затраченное на ручной сбор, очистку и отчётность по метрикам | часы, списанные на ручной сбор и отчётность в течение месяца, без времени, потраченного на действия по результатам | часов на команду в месяц | Записи о времени или короткий опрос команды | Измерение и отчётность | Бюджет времени на ретроспективу | Раз в квартал |
| Возраст данных на момент обзора | Насколько стара самая новая точка данных, когда группа собирается её обсудить | метка времени совещания по обзору минус метка времени последней точки данных на панели; считается по каждой метрике, приводится как медиана и 85-й процентиль | дней | Журнал обновления панели | Измерение и отчётность | Обзор с заинтересованными сторонами | На каждый обзор |
| Доведение улучшений до конца | Доля действий по улучшению, возникших на обзорах метрик, которые выполнены или осознанно закрыты в согласованный срок | действия, выполненные или закрытые с указанием причины в течение 90 дней после создания / действия, созданные за период, по дате записи в реестре улучшений | процент | Реестр непрерывного улучшения или бэклог | Непрерывное улучшение | Пункты действий ретроспектив | Раз в квартал |
Трудозатраты на измерение намеренно учитывают только ручную работу. Время, потраченное на чтение данных и выбор действий, это и есть смысл всего занятия, поэтому оно исключено, и автоматизация сбора проявляется как прогресс.
Рекомендации
Начинайте с цели
1. Сначала напишите причину, потом метрику. Для каждого предлагаемого показателя напишите одно предложение: «Мы измеряем X, чтобы решить Y». Если предложение написать нельзя, показатель не готов. Эта единственная привычка убирает большинство показных метрик ещё до того, как они попадают на панель.
2. Назовите аудиторию и решение. Одно и то же число значит разное для команды, владельца услуги и руководителя. Запишите, кто его прочтёт и какой выбор оно поддерживает. Рабочая панель команды может содержать двадцать показателей. Руководству должен уходить небольшой устойчивый набор (см. тему 11.1, Проектирование панели метрик услуг).
Используйте обе традиции
3. Соединяйте показатель потока с показателем услуги. Выберите хотя бы один показатель того, как движется работа, например время выполнения или возраст рабочего элемента (см. тему 2.2, Время выполнения, время цикла и эффективность потока), и хотя бы один показатель того, как ведёт себя услуга, например повторяемость инцидентов или индикатор уровня услуги (см. тему 5.2, SLI, SLO и бюджеты ошибок). Показ их вместе предотвращает типичный сбой, когда скоростью и устойчивостью управляют разные группы, глядя на разные графики.
4. Относитесь к поставке и эксплуатации как к одной системе. Исследование, обобщённое в книге Accelerate (Forsgren, Humble и Kim, 2018), сообщает, что результативность поставки программного обеспечения можно описать четырьмя показателями, которые уравновешивают пропускную способность и устойчивость. Какой бы набор ни принимала команда, держите числа об изменениях и об инцидентах достаточно близко, чтобы рост одного побуждал взглянуть на другое (см. тему 2.8, Метрики DORA).
Измеряйте честно
5. Предпочитайте несколько показателей, тянущих в разные стороны. Одно число провоцирует чрезмерную оптимизацию, поэтому выбирайте пары: скорость с качеством, объём с результатом, стоимость с впечатлением. Пара не обязана быть формулой. Она должна появляться на одной странице.
6. Запишите базовое значение, прежде чем что-либо менять. Без начального значения заявление об улучшении это история. Сначала соберите данные за несколько недель, включая разброс значений, а не только среднее (см. тему 1.6, Статистическая грамотность для метрик услуг). Базовые значения защищают и команды: они показывают, что плохой квартал последовал за изменением способа учёта работы, а не за падением результативности.
Выработайте привычку
7. Проводите обзор с ритмом, соответствующим решению. Показатели потока подходят для еженедельного разговора или для разговора на каждом шаге непрерывной поставки программного обеспечения. Показатели уровня услуг и затрат подходят для ежемесячного или ежеквартального. Метрика, которую просматривают в неверном ритме, либо создаёт шум, либо упускает момент, когда действие помогло бы.
8. Замыкайте цикл работой по улучшению. Обзор, закончившийся словом «интересно», впустую потратил свои данные. Заканчивайте каждый обзор одним-двумя названными действиями с владельцем и датой и отслеживайте их выполнение. Практика непрерывного улучшения ITIL и гибкая ретроспектива: два названия одной дисциплины (см. тему 9.5, Метрики непрерывного улучшения).
9. Скажите, для чего вы числа использовать не будете. Прямо заявите, что метрики команд не будут использоваться для ранжирования или поощрения отдельных людей и что определения будут меняться открыто. Люди сотрудничают с измерением, когда доверяют тому, как оно будет использовано (см. тему 11.3, Внедрение метрик без создания страха).
Способы подгонки и ограждения
Подогнать можно даже метрики об измерении. В каждой строке ниже метрика сопоставлена с обычным способом её искажения и проверкой, которая его выявит.
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Доля метрик, связанных с решением | Задним числом писать правдоподобный вопрос и решение для каждой метрики, чтобы повысить процент | Выборочно проверить журнал решений: спросить, что изменилось благодаря метрике, и сравнить дату записи с датой, когда метрика впервые появилась |
| Охват базовыми значениями | Один раз записать базовое значение и никогда его не обновлять либо выбрать удобный тихий период | Требовать для каждого базового значения указания диапазона дат и размера выборки; пересматривать базовые значения после крупных изменений услуги |
| Трудозатраты на измерение | Выводить работу по сбору «за скобки», выполняя её без учёта времени или перекладывая на поставщика | Сопоставить с коротким опросом о том, сколько, по словам людей, занимает отчётность; включить в обзор трудозатраты поставщика |
| Возраст данных на момент обзора | Обновлять панель непосредственно перед совещанием, пока исходные записи остаются устаревшими | Сообщать возраст самой новой записи в исходной системе, а не только время обновления |
| Доведение улучшений до конца | Закрывать действия с причиной «уже не актуально», чтобы достичь процента, или дробить действия на тривиальные части | Ежеквартально просматривать причины, указанные для закрытых действий, и отслеживать, изменился ли показатель, на который действие было нацелено |
Здоровое чтение это практика, которая заметно жива. Метрики попадают в реестр и выходят из него по записанным причинам, базовые значения свежие, действия по итогам обзоров доведены до конца или честно отброшены, а команда тратит на действия по данным больше времени, чем на их сбор. Идеальная оценка по каждой строке: повод выборочно проверить исходные записи, а не повод для торжества.
Компромиссы: плюсы и минусы
| Выбор | Сильная сторона | Слабая сторона |
|---|---|---|
| Измерять мало | Низкая стоимость; низкий риск подгонки; высокое доверие | Слепые зоны; решения опираются на случаи из практики |
| Измерять много | Широкий охват; раннее предупреждение по многим направлениям | Внимание рассеивается; управление слабое; стоимость сбора растёт |
| Совмещённый взгляд | Уравновешивает скорость и устойчивость; поддерживает общую ответственность | Нужны согласованные определения между командами и общее место, куда смотреть |
| Целевые показатели для метрик | Задают направление и срочность | Провоцируют подгонку; нужно парное ограждение |
| Метрики без целевых показателей | Поощряют честное обсуждение | Могут превратиться в отчёты, по которым никто не действует |
Практический ответ: небольшой совмещённый набор, в котором целевые показатели применяются экономно, для условий, которые хорошо понятны и о которых просили пользователи, например для целевого уровня услуги. Всё остальное: вопросы для обсуждения. Цель не в том, чтобы убрать суждение из решений, а в том, чтобы обеспечить его лучшими доказательствами.
Вопросы для обсуждения с командой
1. Какое решение мы приняли в прошлом квартале так, что число действительно что-то изменило? Попросите группу вспомнить конкретные решения и затем выяснить, какие из них, если такие были, зависели от данных. Если список короткий, это полезная информация: значит, значительная часть нынешней отчётности не оправдывает своё существование. Ведущий должен записать метрики, которые изменили решения, потому что они кандидаты на защиту. Затем спросите, какие решения были приняты интуитивно и могло ли число помочь.
2. Какие из наших нынешних чисел описывают активность, а какие описывают ценность для пользователей? Выведите текущую панель на экран и отметьте каждую метрику как активность (закрытые обращения, запущенные сборки, завершённые очки) или результат (пользователи могут работать, проблемы не повторяются). Не спорьте долго о пограничных случаях. Цель: увидеть баланс. Если есть только активность, спросите, какой результат она должна давать и как команда об этом узнает.
3. Где сегодня хранятся числа о поставке и об эксплуатации, и смотрят ли на оба набора одни и те же люди? Проследите, где хранится каждое семейство показателей и кто его просматривает. Команды часто с удивлением обнаруживают, что данные об изменениях просматривает одна группа, а данные об инцидентах: другая, без общего совещания. Спросите, какую закономерность можно упустить из-за того, что эти данные никогда не видят вместе. Договоритесь об одном месте или одном совещании, где они встречаются.
4. Что мы не измеряем, о чём потом пожалели бы? Предложите высказать опасения, а не метрики: «Я боюсь, что мы не заметим, если...» Двигайтесь от ответов к показателям-кандидатам, а затем к самым дешёвым данным, которые их покажут. Держите список коротким.
5. Чему мы должны верить в своих числах, прежде чем показывать их руководству? Обсудите, что делает данные заслуживающими доверия: устойчивые определения, выборочные проверки точности и согласие об исключениях. Перечислите сомнения команды, даже небольшие, например статус, который используется непоследовательно. Решите, какие сомнения нужно устранить до более широкого распространения, а какие можно раскрыть вместе с числом.
6. Если бы мы могли сохранить только три метрики на следующий квартал, какими они были бы и почему? Ограничение заставляет расставлять приоритеты. Попросите каждого записать три, затем сравните. Ищите согласие по результатам и расхождения по показателям активности. Спросите, какое ограждение нужно каждой из трёх.
Четыре точки зрения
Команды продукта и поставки
Команды поставки больше всего выигрывают от быстрой локальной обратной связи: как долго работа ждёт, где она стоит в очередях, как часто изменения вызывают проблемы. Им следует держать для себя богатое рабочее представление, а наружу публиковать небольшой набор. Командам нужно сопротивляться соблазну измерять объём выпуска как заменитель ценности и с самого начала сочетать показатели скорости с показателями качества (см. тему 2.1, Показатели потока).
Команды услуг и эксплуатации
Команды эксплуатации уже живут с числами: объёмами, временем реакции и решения, доступностью. Возможность состоит в том, чтобы перейти от сообщения о случившемся к объяснению причин через повторяемость, первопричины и долю внеплановой работы (см. тему 2.9, Операционная и внеплановая работа). Им также стоит приносить свои данные в разговоры о планировании с командами поставки, чтобы работа над надёжностью обосновывалась фактами, а не жалобами.
Руководство и управление
Руководители задают стимулы, часто случайно, теми вопросами, которые задают. Руководитель, спрашивающий «почему это красное?», учит команды прятать красное. Руководитель, спрашивающий «чему вы научились и что вам нужно?», учит команды сообщать честно. Органы управления должны вместе с числами запрашивать реестр, ограждения и действия по улучшению и финансировать работу, которую выявляет плохое число (см. тему 1.4, Управление метриками и ответственность за них).
Заказчики и пользователи
Пользователи судят об услуге по тому, работает ли она и исправляются ли проблемы, а не по внутренним показателям. Их собственные слова в опросах, жалобах и комментариях должны стоять рядом с операционными числами как проверка того, измеряет ли команда то, что важно (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
Интернет-магазин среднего размера содержит службу поддержки, команду эксплуатации и три продуктовые команды, которые создают услуги витрины, платежей и выполнения заказов. Приведённые ниже числа иллюстративные.
Руководство спрашивает, почему клиенты жалуются на медленное оформление заказа, если команды поставки сообщают, что выпускают изменения каждый день, а команда эксплуатации сообщает о доступности 99,9 процента. Каждая группа права по своим показателям, и никто не смотрел на них вместе. Руководитель управления услугами предлагает единое совмещённое представление для услуги оформления заказа, построенное на данных, которые команды уже собирают.
Представление показывает четыре вещи за последние двенадцать недель. Время выполнения изменения имеет медиану 2 дня и 85-й процентиль 9 дней. Доля неудачных изменений составляет 8 процентов. Инцидентов по оформлению заказа 14, и у 6 из них одна причина: медленный запрос к базе данных, появившийся с недавним выпуском. Медианное время восстановления составляет 40 минут, но время загрузки страницы на 95-м процентиле выросло за шесть недель, и этой закономерности не показывает показатель доступности, потому что услуга формально оставалась работоспособной.
Группа видит то, что было скрыто. Доступность измерялась как «оформление заказа отвечает», тогда как пользователи воспринимают «оформление заказа отвечает достаточно быстро». Продуктовая команда и команда эксплуатации соглашаются добавить индикатор задержки для оформления заказа с целью, которую после чтения отзывов клиентов задаст владелец продукта, вести повторяющуюся причину инцидентов как запись о проблеме с владельцем и просматривать совмещённое представление раз в две недели. Они записывают одно решение: на период непрерывной поставки программного обеспечения приостановить новые функции оформления заказа, чтобы исправить запрос и добавить проверку производительности в конвейер выпуска.
Риск подгонки проявляется в течение месяца. Команда эксплуатации замечает, что два из 14 инцидентов были открыты как «запросы на обслуживание», потому что у категории запросов нет целевого срока решения. Команда понимает, что целевой показатель по инцидентам подтолкнул людей относить пограничные случаи к запросам. Они добавляют в представление долю перекатегоризированных обращений и ежемесячно проверяют выборку из десяти обращений. После этого изменения время загрузки страницы на 95-м процентиле снижается, повторные инциденты сокращаются, и команда оставляет представление, потому что оно изменило решение.
Отраслевой взгляд
Стартап. У небольших команд мало процессов и высокое доверие, что помогает. Риск: перенять большую корпоративную панель до того, как в ней возникла потребность. Начните с двух-трёх показателей, которые основатели будут читать еженедельно, например время выполнения изменения, простой индикатор надёжности и прямая обратная связь пользователей, и запишите их определения.
Малый бизнес. Человек, отвечающий за ИТ, часто подчиняется владельцу, и одна жалоба клиента может перевесить любой график. Держите набор небольшим, используйте данные, которые ваши инструменты уже производят, и отдавайте предпочтение разговорам с пользователями. С отчётами, предоставляемыми поставщиками, обращайтесь осторожно, поскольку у поставщиков свои стимулы.
Крупное предприятие. Масштаб умножает спрос на сопоставимые числа и давление в сторону их подгонки. Используйте небольшой стандартный набор с письменными определениями, держите рабочие представления команд отдельно от сводных и избегайте сравнения команд, которые обслуживают очень разные виды услуг. Реестр метрик, общие определения и ритм обзоров становятся необходимыми.
Государственный сектор. Контрактные уровни услуг, требования аудита и обязанности публичной отчётности могут сделать некоторые показатели не подлежащими обсуждению. Рассматривайте их как входные данные проектирования: выполняйте их, показывайте рядом ограждение и указывайте используемые определения. Публичная подотчётность повышает цену сокрытия плохих новостей, поэтому создавайте безопасные внутренние каналы для откровенной отчётности (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Мотивация измерения: лучшие решения при меньших затратах. Измерение поддерживает расстановку приоритетов, показывает, где скрываются потери, заранее предупреждает об ухудшении услуги и даёт доказательства для запросов на инвестиции.
Затраты состоят из нескольких частей. Это инструменты, которые часто уже есть: система обращений, трекер задач, система контроля версий и мониторинг. Это время сотрудников на определение метрик, построение представлений и ведение реестра. Это повторяющиеся затраты на совещания по обзору, самые большие и самые оправданные. Совокупная стоимость владения (TCO) практикой измерения включает и стоимость действий по результатам, поскольку вывод без бюджета на исправление почти ничего не возвращает.
Отдачу трудно выразить универсальной цифрой, и эта книга её не придумывает. Полезный способ построить обоснование: измерить собственные базовые значения до изменения и после него: время на ручную отчётность, повторные обращения, решения, отменённые из-за неверных данных, и сюрпризы, обнаруженные поздно. Следует ожидать меньше сюрпризов, более короткие споры и лучшее согласие между операционными числами и впечатлением пользователей. Простое сравнение рентабельности инвестиций (ROI), то есть затраченных усилий и сэкономленных усилий,: разумная отправная точка, а метод описан в теме 7.7, Возврат инвестиций и бизнес-обоснование.
Антипаттерны и ловушки
- Панель обо всём. Десятки графиков, нет владельцев, нет решений. Выберите несколько, назовите решение, которое поддерживает каждый, и выведите остальные из употребления.
- Односторонние измерения. Скорость без устойчивости или устойчивость без актуальности. Соединяйте показатель потока с показателем услуги.
- Измерение людей. Рейтинги людей портят данные и отбивают желание помогать. Отчитывайтесь на уровне команд и услуг.
- Целевые показатели раньше базовых значений. Целевой показатель без начального значения остаётся догадкой. Сначала запишите базовое значение, а целевые показатели задавайте после как минимум одного цикла обзора.
- Отчёты без действий. Обзор, который не приводит к изменениям, учит людей его игнорировать. Заканчивайте каждый обзор названным действием, владельцем и датой.
- Молчаливые изменения определений. Линии трендов теряют смысл. Записывайте каждое изменение с причиной и отмечайте его на графике.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизированный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Цель и выбор | Метрики выбраны потому, что их предлагает инструмент | У некоторых метрик есть заявленная цель | У каждой отчётной метрики есть письменный вопрос и решение | Набор метрик сверяется с решениями, а неиспользуемые выводятся из употребления | Метрики совместно проектируются с пользователями и поставщиками вокруг общих результатов |
| Совмещённый взгляд гибких подходов и ITIL | Данные о поставке и об услуге хранятся раздельно | Несколько команд смотрят на оба набора вместе | Общее представление о потоке и состоянии услуги по каждой услуге | Совмещённое представление отслеживается во времени и связано с работой по улучшению | Межкомандные представления и представления поставщиков связаны с результатами для пользователей |
| Базовые значения и трудозатраты | Нет базовых значений; сбор вручную | Базовые значения для некоторых услуг; смешанный сбор | Базовые значения записаны для основных показателей; сбор в основном автоматический | Базовые значения обновляются после изменений; трудозатраты отслеживаются и сокращаются | Базовые значения и определения непрерывно корректируются по мере изменения услуг |
| Использование в улучшении | Числа отмечают и забывают | Редкие действия после плохих недель | Каждый обзор заканчивается названными действиями | Доведение действий до конца измеряется и финансируется | Улучшение идёт от всех и видно во всех командах |
Контрольный список
- У каждой отчётной метрики есть письменный вопрос и названное решение, которое она поддерживает.
- Названа аудитория каждого представления, а представления команд отделены от представлений для руководства.
- Хотя бы один показатель потока и один показатель услуги показаны на одной странице.
- Для каждого основного показателя есть базовое значение с диапазоном дат и размером выборки.
- Каждый показатель времени указывает, где часы запускаются и где останавливаются.
- У каждой метрики рядом показано ограждение.
- Известны трудозатраты на ручной сбор, и самая крупная ручная задача рассмотрена на предмет автоматизации.
- Команды видят свои данные раньше руководства.
- Ни рейтинг отдельных людей, ни оплата, ни дисциплинарные меры не связаны с метрикой.
- Каждый обзор заканчивается как минимум одним названным действием по улучшению, с владельцем и датой.
- Хотя бы одна метрика за последний год была выведена из употребления или переопределена.
Промпты для ИИ
Составьте формулировку цели для каждой метрики.
Мы [название команды], отвечаем за [услугу или продукт]. На нашей текущей
панели показаны эти метрики: [список метрик с определениями]. Для каждой
составь формулировку в одно предложение в виде «Мы измеряем X, чтобы решить
Y» и отметь все метрики, для которых по предоставленным данным нельзя понять,
какое решение они поддерживают. Предложи вопросы, на которые мне следует
ответить, чтобы завершить каждую формулировку. Не придумывай эталонные
значения или целевые показатели. Перечисли свои допущения.
Соедините представления поставки и услуги.
Наши показатели поставки: [список с определениями и источниками данных], а
наши показатели услуги: [список с определениями и источниками данных] для
[название услуги]. Предложи одностраничную раскладку, которая показывает оба
набора вместе, сопоставляет каждый показатель скорости с показателем
устойчивости или качества и отмечает, какие данные нужны для каждого. Укажи
определения, которые противоречат друг другу в двух наборах. Не придумывай
значения или пороги. Перечисли свои допущения и всё, что не удалось
определить.
Спланируйте базовое значение.
Мы хотим записать базовое значение для [название метрики] для [услуга или
команда] до изменения [практика или инструмент]. Данные берутся из
[источник]. Предложи, как долго собирать данные, какие сводные статистики
записывать (включая процентили), что исключить и почему, и как отметить любые
изменения в способе учёта работы за этот период. Не предполагай значения.
Перечисли свои допущения и риски качества данных, которые ты видишь.
Подготовьте обзор, который ведёт к действию.
Мы проводим [еженедельный, ежемесячный или ежеквартальный] обзор [набор
метрик] с [аудитория]. Составь повестку и короткий набор вопросов для
ведущего, которые помогут перейти от чтения чисел к выбору одного-двух
действий по улучшению, каждое с владельцем и датой. Включи подсказку
проверять подгонку по ограждению каждой метрики. Не придумывай данные.
Перечисли свои допущения о группе и её культуре.
Навыки ИИ
- Навык Agile ITIL Metrics: используйте, чтобы найти тему, охватывающую рассматриваемую вами метрику, и её парное ограждение.
- Навык сопровождения Agile ITIL Metrics: используйте, чтобы проверить, что новая или пересмотренная тема о метрике сохраняет формулировку цели, способ подгонки и ограждение.
Ключевые выводы
- Измеряйте, чтобы видеть, решать, учиться и отчитываться; число, которое не делает ничего из этого,: накладные расходы.
- Гибкие подходы дают быструю локальную обратную связь о потоке; ITIL даёт общие представления о надёжности и ценности на уровне услуги. Читайте их вместе.
- Отсутствие измерений оставляет решения на усмотрение случаев из практики, а измерение не того направляет усилия с ложной уверенностью.
- Начинайте с нескольких метрик, у каждой из которых есть письменная цель, базовое значение и ограждение.
- Описывайте команды и услуги, но не отдельных людей, и позволяйте команде видеть свои данные первой.
- Замыкайте цикл: обзор, который не приводит к действию, впустую расходует данные.
Источники и дополнительное чтение
- Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Wikipedia, Agile software development.
- Wikipedia, ITIL.
- Wikipedia, Information technology service management.
- Wikipedia, DevOps.
- Wikipedia, Site reliability engineering.
- Wikipedia, Goodhart's law.
- Wikipedia, Return on investment.