Каждое изменение живой услуги это ставка. Оно может быстрее принести ценность, а может сломать то, на что опираются пользователи. Часть 3 измеряла, насколько хорошо работают поддержка и восстановление, когда что-то идёт не так (см. тему 3.0, Введение в часть 3: Метрики службы поддержки, инцидентов и запросов). Эта часть смотрит на другую сторону той же медали: как изменение попадает в окружение, как часто оно создаёт неприятности и насколько хорошо организация учится, чтобы те же неприятности не возвращались.

Непрерывная поставка и ITIL подходят к этой области с разных сторон. Гибкая практика отдаёт предпочтение непрерывной поставке программного обеспечения малыми изменениями и считает быструю обратную связь мерой безопасности. Практики ITIL, такие как управление проблемами, обеспечение изменений и управление выпусками, существуют, чтобы защищать стабильность и находить и устранять причины инцидентов. Метрики этой части позволяют проверить обе точки зрения по одним и тем же свидетельствам. Если частые изменения безопасны, это покажут показатели сбоев и переделок. Если контроль замедляет поставку, не снижая риска, это покажут показатели согласования и времени выполнения.

Через всю часть проходят две предосторожности. Скорость и стабильность нужно читать вместе, потому что число, которое улучшает одно и тихо портит другое, это плохая сделка. Показатели времени также следует читать как распределения с процентилями, как изложено в части 1 (см. тему 1.6, Статистическая грамотность для метрик услуг). Каждая метрика здесь описывает команду, услугу или систему. Ни одна не ранжирует отдельного человека, и ни одну не следует толкать вперёд как изолированный целевой показатель (см. тему 1.2, Закон Гудхарта и психология метрик).

Темы этой части

  • 4.1 Метрики управления проблемами: открытые и закрытые проблемы, повторное использование известных ошибок, повторяемость и время до постоянного исправления.
  • 4.2 Метрики разборов и обучения: завершение разборов, закрытие действий по итогам, повторяемость причин и сигналы обучения без поиска виноватых.
  • 4.3 Метрики управления изменениями: объём изменений по типам, время согласования, доля стандартных изменений и автоматизация согласования.
  • 4.4 Сбои изменений и переделки: доля неудачных изменений, доля срочных изменений, доли откатов и срочных исправлений и согласованные определения сбоя.
  • 4.5 Метрики релизов и развёртывания: частота развёртывания, частота выпусков, использование переключателей функций, время выполнения выпуска и разделение развёртывания и выпуска.
  • 4.6 Технический долг и известные ошибки: бэклог известных ошибок, запас долга и проценты по нему и расстановка приоритетов исправлений относительно работы над функциями.

Как эти темы связаны между собой

Часть делится на две половины, зависящие друг от друга. Темы 4.1 и 4.2 посвящены обучению: как инциденты прослеживаются до причин и как разборы превращаются в завершённые исправления. Темы 4.3, 4.4 и 4.5 посвящены изменению: как оно согласуется, как часто даёт сбой и как достигает пользователей. Тема 4.6 соединяет половины, потому что долг и известные ошибки, которые обнаруживает обучение, это те же элементы, что конкурируют с новыми функциями за время команды.

Самая важная пара это скорость и сбой. Частота развёртывания и выпуска в теме 4.5 (см. тему 4.5, Метрики релизов и развёртывания) описывает, как часто изменение достигает производственной среды, а исследовательская программа DORA сочетает такие показатели пропускной способности с показателями стабильности (см. тему 2.8, Метрики DORA). Тема 4.4 (см. тему 4.4, Сбои изменений и переделки) даёт эту сторону стабильности. Команда, которая развёртывает чаще, а её доли сбоев и переделок остаются прежними или снижаются, улучшается. Команда, у которой частота растёт, а вместе с ней растут откаты и срочные исправления, переносит стоимость в другое место.

Управление изменениями стоит между ними. Тема 4.3 (см. тему 4.3, Метрики управления изменениями) измеряет сторону контроля: сколько длится согласование, какая часть изменений заранее авторизована как стандартные и какая часть согласования автоматизирована. Время согласования это цена контроля, а доля неудачных изменений из темы 4.4 это свидетельство того, работает ли контроль. Вместе они показывают, покупает ли тяжёлый шаг согласования безопасность или лишь добавляет задержку и удержал ли сбои на прежнем уровне более лёгкий автоматизированный контроль.

Темы обучения охраняют остальные. Управление проблемами в теме 4.1 (см. тему 4.1, Метрики управления проблемами) измеряет повторяемость и время до постоянного исправления, а это долгосрочная проверка того, устраняет ли обработка инцидентов из части 3 причины или лишь восстанавливает услугу. Тема 4.2 (см. тему 4.2, Метрики разборов и обучения) проверяет, что разборы действительно проводятся и их действия закрываются, поскольку завершённый разбор без выполнения действий ничего не меняет. Число проведённых разборов или закрытых проблем легко подогнать, поэтому эти числа следует читать рядом с повторяемостью тех же причин, которую подделать труднее.

Наконец, тема 4.6 (см. тему 4.6, Технический долг и известные ошибки) объясняет, почему остальные показатели дрейфуют. Неустранённые известные ошибки и накопленный долг повышают вероятность сбоя и стоимость каждого последующего изменения. Чтение бэклога известных ошибок рядом с долей неудачных изменений показывает, когда откладывание исправлений начало замедлять поставку.

Последующие части опираются на эти показатели. Цели уровня услуги и бюджеты ошибок в части 5 дают предел надёжности, относительно которого можно судить о темпе изменений, а часть 11 показывает, как внедрять эти метрики, не порождая страха.