Метрики DORA
Метрики DORA описывают, как быстро и как безопасно изменения программного обеспечения команды попадают в промышленную среду. Поэтому читайте показатели скорости и показатели стабильности вместе, вычисляйте их по событиям конвейера и инцидентов и используйте их, чтобы начинать разговор о системе поставки, но никогда не для ранжирования команд или людей.
Обзор и мотивация
Метрики DORA происходят из исследовательской программы DevOps Research and Assessment (DORA), давнего исследования того, как практики поставки программного обеспечения связаны с результатами команд и организаций. Николь Форсгрен, Джез Хамбл и Джин Ким представили первые выводы в книге Accelerate в 2018 году, а программа продолжилась в Google Cloud с ежегодным отчётом. Исследование задавалось вопросом, какие измеримые стороны поставки предсказывают хорошие результаты, и остановилось на небольшом наборе показателей эффективности поставки программного обеспечения, которые можно вычислить по конвейеру поставки и записям об инцидентах.
По состоянию на октябрь 2026 года сайт DORA описывает пять метрик эффективности поставки программного обеспечения, разделённых на две группы. Три описывают пропускную способность, то есть то, как быстро движутся изменения: время выполнения изменения, частота развёртывания и время восстановления после неудачного развёртывания. Две описывают нестабильность, то есть то, как часто выпуск создаёт проблемы: доля неудачных изменений и доля переделок развёртывания. В более ранних публикациях описывались четыре метрики: вместо времени восстановления после неудачного развёртывания там было «время восстановления услуги», а доли переделок не было. Определения уточнялись на протяжении лет, поэтому всегда указывайте, какой редакции руководства вы следуете, и дату последней проверки.
Вывод исследования, сделавший метрики известными, состоит в том, что скорость и стабильность у разных команд обычно растут вместе. Команды, которые развёртывали часто и имели короткое время выполнения, в среднем не расплачивались за это большим числом сбоев. Это опровергает старое допущение, что движение быстрее означает больше поломок. Это закономерность в данных опросов и конвейеров, а не закон, и она выполняется для команд, вложившихся в такие практики, как непрерывная поставка, малые партии, автоматизированное тестирование и быстрая обратная связь. Метрики служат сигналами этих базовых возможностей. Сами по себе они не являются этими возможностями.
Ниже в этой теме регулярно встречаются следующие термины.
- Развёртывание это размещение версии программного обеспечения в заданной среде. В этой теме, если не сказано иное, имеется в виду промышленная среда.
- Изменение это набор модификаций программного обеспечения, обычно один или несколько коммитов, поставляемых вместе. В ITIL 4 это слово имеет более широкий смысл и охватывает любое добавление, модификацию или удаление, способное повлиять на услуги, а практика ITIL, которая им управляет, называется обеспечением изменений (change enablement).
- Неудачное развёртывание это развёртывание, которое вызывает деградацию услуги или сбой в промышленной среде и требует устранения, например срочного исправления, отката или патча. Точное правило ваша команда записывает сама, потому что исследование оставляет это на усмотрение локального определения.
- Откат это возврат промышленной среды к предыдущей заведомо рабочей версии.
- Процентиль это значение, ниже которого лежит заданная доля наблюдений. 85-й процентиль времени выполнения это число, которое укладывают 85 процентов изменений.
На этой почве сходятся взгляды гибких подходов и ITIL. Гибкая команда видит в этих числах обратную связь о своей инженерной практике и рабочих соглашениях. Практик ITIL видит в них свидетельства результата для обеспечения изменений, управления выпусками, управления развёртыванием и управления инцидентами. Напряжение обычно связано с контролем. Традиционный совет по утверждению изменений пытается снизить число сбоев, проверяя каждое изменение до поставки. Исследование DORA показало, что тяжёлое внешнее утверждение не связано с лучшей стабильностью, а связаны с ней взаимная проверка коллегами, автоматизированное тестирование и малые изменения. В ITIL 4 обеспечение изменений учитывает это, разделяя стандартные, обычные и срочные изменения и позволяя заранее авторизовать низкорисковые изменения (см. тему 4.3, Метрики управления изменениями).
У метрик есть и ограничения, о которых исследование говорит само, и практические советы в этой теме строятся на них. Метрики описывают систему поставки одного приложения или услуги, предназначены для разговоров об улучшении и ничего не говорят о том, ценна ли поставляемая работа. Команда может показывать отличные числа и при этом поставлять не то. Поэтому эта тема стоит рядом с показателями потока (см. тему 2.1, Показатели потока), показателями надёжности услуг (см. тему 5.2, SLI, SLO и бюджеты ошибок) и показателями результата (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения), а не над ними.
Наконец, как только метрики появляются на панели руководства, они приглашают закон Гудхарта. Частоту развёртывания проще всего раздуть, а число неудачных развёртываний проще всего скрыть. Поэтому каждая рекомендация ниже связывает показатель с проверкой того, как его могут искривить (см. тему 1.2, Закон Гудхарта и психология метрик).
Ключевые принципы
- Вычисляйте по событиям, а не по памяти. Развёртывания берутся из конвейера, сбои и восстановления из записей об инцидентах, а время выполнения из системы контроля версий, соединённой с конвейером (см. тему 1.5, Источники данных и инструментирование).
- Читайте скорость и стабильность как одну картину. Быстрая команда с растущим числом сбоев или стабильная команда, поставляющая раз в квартал, говорит вам то, чего не показывает ни одна из половин по отдельности.
- Измеряйте услугу или приложение, а не человека. Единица анализа это система поставки. Люди не развёртывают в одиночку, а их ранжирование разрушает данные.
- Сравнивайте команду с её собственным прошлым, а не с другой командой. Контекст резко различается у платёжной услуги, платформы данных и мобильного приложения, а само исследование предостерегает от использования метрик как турнирной таблицы.
- Используйте распределения для времён. У времени выполнения и времени восстановления длинные хвосты, поэтому приводите медиану и высокий процентиль (см. тему 1.6, Статистическая грамотность для метрик услуг).
- Относитесь к метрикам как к симптомам. Когда число сдвигается, ищите причину в лежащих под ним возможностях, таких как размер партии, автоматизация тестов, практика проверки и архитектура, а затем ставьте эксперимент.
- Записывайте определения. Сбой, развёртывание и «начало работы» это решения, требующие суждения. Зафиксируйте выбор и держите его стабильным, чтобы тренд что-то значил.
Определения метрик
Пять метрик ниже следуют руководству DORA по состоянию на октябрь 2026 года. Формулы называют часы и исключения, которые ваша команда должна записать. Там, где исследование оставляет границу открытой, в таблице показано разумное значение по умолчанию, а выбор объясняется в рекомендациях.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Время выполнения изменения | Время, за которое зафиксированное изменение попадает в промышленную среду | Часы запускаются при первом коммите изменения (или при его слиянии с основной веткой, если это указано в определении) и останавливаются, когда развёртывание в промышленную среду успешно завершено; приводите медиану и 85-й процентиль изменений, развёрнутых за период; изменения, которые так и не развёрнуты, исключаются и сообщаются отдельно как работа в процессе | Часы или дни | Система контроля версий, соединённая с конвейером развёртывания | Управление развёртыванием; управление выпусками; обеспечение изменений | Время цикла; время выполнения до промышленной среды | Еженедельно или на каждый выпуск, разбор раз в месяц |
| Частота развёртывания | Как часто команда развёртывает в промышленную среду | Число успешных развёртываний приложения в промышленную среду за период / число дней в периоде; неудачные или откатанные развёртывания не входят в число успешных; развёртывания в тестовые среды исключаются | Развёртываний в день или в неделю | Журнал событий конвейера развёртывания | Управление развёртыванием; управление выпусками | Непрерывная поставка; выпуск в конце каждого инкремента | Еженедельно |
| Время восстановления после неудачного развёртывания | Сколько времени уходит на восстановление, когда развёртывание вызывает сбой в промышленной среде | Часы запускаются, когда сбой обнаружен или о нём сообщено (каждый раз по одному и тому же правилу), и останавливаются, когда услуга восстановлена для пользователей; приводите медиану и 85-й процентиль для неудачных развёртываний за период; инциденты, не вызванные развёртыванием, исключаются | Минуты или часы | Записи об инцидентах, соединённые с событиями развёртывания и оповещениями мониторинга | Управление инцидентами; управление непрерывностью услуг | Время восстановления; работа по восстановлению | По каждому сбою, разбор раз в месяц |
| Доля неудачных изменений | Доля развёртываний в промышленную среду, вызвавших сбой, который требует устранения | Развёртывания, потребовавшие срочного исправления, отката, патча или реагирования на инцидент / все развёртывания в промышленную среду за период; правило, связывающее сбой с его развёртыванием, записано и применяется одинаково каждый раз | Процент | События развёртывания, соединённые с инцидентами, откатами и развёртываниями срочных исправлений | Обеспечение изменений; управление инцидентами | Определение готовности; ускользнувшие дефекты | Ежемесячно |
| Доля переделок развёртывания | Доля развёртываний в промышленную среду, которые были внеплановыми и сделаны для исправления проблемы, видимой пользователям | Внеплановые развёртывания, сделанные в ответ на проблему в промышленной среде / все развёртывания в промышленную среду за период; плановые развёртывания, в которых случайно оказалось исправление, исключаются; правило для «внепланового» записано | Процент | Журнал конвейера с пометкой причины развёртывания, связанный с записями об инцидентах или дефектах | Обеспечение изменений; управление проблемами | Внеплановая работа; исправление ошибки, выпущенное вне плана | Ежемесячно |
Два замечания к таблице. Во-первых, доля неудачных изменений и доля переделок развёртывания пересекаются, но не совпадают: сбой, который команда замечает и откатывает без какого-либо нового развёртывания, учитывается в доле неудачных изменений, но не в доле переделок, а плановое исправление, которое команда запланировала, не учитывается ни в одной. Во-вторых, исследование берёт за единицу развёртывание и считает по приложениям, поэтому у платформы из пятидесяти услуг пятьдесят наборов чисел, а не один.
Рекомендации
Начните с определений и часов
1. Прежде чем строить график, напишите одностраничное определение для каждой метрики. Укажите, что считается развёртыванием, какая среда является промышленной, где запускаются часы времени выполнения и как сбой связывается с развёртыванием. Поместите страницу в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них). Определение, которое живёт только в чьей-то голове, поплывёт при первой смене инструмента или команды.
2. Выберите начало отсчёта времени выполнения и держитесь его. Чаще всего выбирают первый коммит изменения, слияние с основной веткой и создание заявки. Первый коммит измеряет систему поставки и игнорирует время, которое работа пролежала в бэклоге. Начало по заявке измеряет бо́льшую часть ожидания клиента, но подмешивает приоритизацию (см. тему 2.2, Время выполнения, время цикла и эффективность потока). Используйте один вариант последовательно и называйте его на каждом графике.
3. Приписывайте сбои по заявленному правилу. Сбой относится к развёртыванию, когда, например, инцидент открывается в заданное окно после развёртывания и анализ причин указывает на это изменение, или когда к нему привязан откат или срочное исправление. Выберите правило, которое люди могут применять без споров, раз в квартал проверяйте выборку случаев и держите правило неизменным достаточно долго, чтобы увидеть тренд.
Инструментируйте из конвейера
4. Берите события развёртывания из конвейера, а не из электронной таблицы. Система CI/CD, которая записывает каждое развёртывание в промышленную среду с отметкой времени, версией и результатом, даёт частоту развёртывания и остановку часов времени выполнения без ручного ввода. Данные, введённые вручную, запаздывают и непоследовательны, и они вызывают проблемы с задним числом, описанные в теме 1.5, Источники данных и инструментирование. Проект с открытым кодом Four Keys от команды DORA это один из рабочих примеров сбора этих событий, хотя подойдёт любой равноценный конвейер вашей собственной сборки.
5. Соедините записи об инцидентах с развёртываниями. Показатели сбоев и восстановления требуют двух источников: журнала развёртываний и инструмента инцидентов. Добавьте в запись об инциденте поле «вызвано развёртыванием» и идентификатор развёртывания, заполняемые при решении и проверяемые в разборе после инцидента (см. тему 4.2, Метрики разборов и обучения). Без этого соединения доля неудачных изменений превращается в догадку.
6. Помечайте причину каждого развёртывания. Чтобы вычислять долю переделок, нужно отделять плановые развёртывания от внеплановых исправлений. Достаточно простой метки на запуске конвейера, например «плановое изменение» или «исправление проблемы в промышленной среде». Держите список меток коротким, чтобы людям не приходилось раздумывать под давлением.
Сообщайте числа честно
7. Сообщайте распределения и количества, а не одно среднее. Показывайте медиану и 85-й процентиль для времени выполнения и времени восстановления вместе с числом наблюдений за каждым. Неделя с двумя развёртываниями и одним сбоем даёт долю неудачных изменений 50 процентов, которая почти ничего не значит, поэтому показывайте количества рядом с процентом и предпочитайте более длинное окно для долей (см. тему 1.6, Статистическая грамотность для метрик услуг).
8. Показывайте группы пропускной способности и нестабильности рядом. Поместите три метрики пропускной способности и две метрики нестабильности на одно представление по каждой услуге с трендом не менее чем за квартал. Никогда не публикуйте частоту развёртывания без показателей сбоев рядом. Если руководитель просит одно число, объясните, что единой оценки DORA не существует, и предложите вместо неё представление из двух групп.
9. Сравнивайте только в пределах собственной истории команды. Команда, у которой медианное время выполнения сократилось с девяти дней до пяти, чему-то научилась. Ранжирование её относительно другой команды с иной архитектурой, регуляторной нагрузкой или графиком выпусков мало что доказывает и учит обе команды защищать свои числа. Если для управления нужно свести данные, показывайте разброс по услугам и тренд улучшения, а не турнирную таблицу (см. тему 1.2, Закон Гудхарта и психология метрик).
Улучшайте систему, которую описывают числа
10. Сначала уменьшайте размер партии. Малые изменения сокращают время выполнения, облегчают диагностику сбоев и снижают стоимость отката. Среди приёмов переключатели функций, разработка на основной ветке и разбиение работы так, чтобы каждый инкремент можно было поставить отдельно (см. тему 2.7, Метрики запросов на слияние и проверки кода). Отслеживайте медианный размер изменений рядом со временем выполнения, чтобы видеть, действительно ли партия уменьшается.
11. Вкладывайтесь в быстрое обнаружение и быстрое обращение вспять. Время восстановления падает, когда команда видит сбой в течение минут и может откатить или выключить изменение без новой сборки. Канареечный выпуск, переключатель функции и автоматический откат по-своему сокращают интервал между сбоем и восстановлением. Измеряйте время от развёртывания до обнаружения отдельно, потому что медленное обнаружение прячется внутри числа времени восстановления (см. тему 3.3, Время реагирования на инциденты и их устранения).
12. Используйте числа, чтобы выбрать возможность для улучшения. Выберите одну слабую метрику, спросите, почему она слаба, и выберите из списка возможностей, данного в исследовании, практику, которая устраняет причину, например автоматизацию тестов, слабосвязанную архитектуру или лёгкое утверждение изменений. Проведите изменение в течение квартала и посмотрите на тренд. Свяжите эксперимент с темой ретроспективы, чтобы команда владела улучшением (см. тему 9.5, Метрики непрерывного улучшения).
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Время выполнения изменения | Сдвиг начала отсчёта на более позднее, например начало при слиянии вместо первого коммита; ранее слияние в долгоживущую ветку; исключение трудных изменений как «не кода»; поставка тривиальных изменений через конвейер, чтобы снизить медиану | Процентиль и возраст работы в процессе; фиксированное записанное начало отсчёта; выборка самых медленных 10 процентов изменений каждый квартал; распределение размеров изменений |
| Частота развёртывания | Дробление одного изменения на множество тривиальных развёртываний; повторное развёртывание неизменных сборок; учёт развёртываний в промежуточную среду или пустых изменений конфигурации | Размер изменения на развёртывание; доля развёртываний, содержащих видимое пользователю изменение; доля неудачных изменений и доля переделок рядом с ней |
| Время восстановления после неудачного развёртывания | Позднее начало отсчёта или раннее закрытие инцидентов; пересчёт сбоя в новый инцидент после частичного исправления; повышение порога серьёзности для «сбоя» | Повторение того же инцидента в заданное окно; начало отсчёта по оповещениям мониторинга; длительность влияния по сообщениям клиентов |
| Доля неудачных изменений | Отсутствие связи инцидентов с развёртываниями; учёт только сбоев, вызывающих полный отказ; расширение окна так, что сбои выпадают из него; исправление вперёд с названием «новое изменение» | Ежеквартальная проверка выборки инцидентов по журналу развёртываний; отслеживание доли инцидентов с записанной связью с развёртыванием; доля переделок развёртывания |
| Доля переделок развёртывания | Пометка исправлений как плановой работы; включение исправления в плановый выпуск; уклонение от развёртываний исправлений через отсрочку исправления | Количества дефектов и ускользнувших дефектов из трекера; возраст открытых дефектов в промышленной среде; аудит меток на выборке развёртываний |
Здоровая картина показывает время выполнения и время восстановления, которые сокращаются или остаются стабильными на низком уровне, частоту развёртывания, которая стабильна или растёт при малых изменениях, и доли сбоев и переделок, которые держатся на одном уровне или падают, при количествах, достаточно больших, чтобы им доверять. Подозрительные картины включают внезапный скачок частоты развёртывания без изменения работы, долю сбоев, упавшую до нуля за месяц, и время восстановления, которое падает, пока жалобы клиентов остаются теми же. Каждый такой случай требует сначала посмотреть на инструмент, а уже потом праздновать.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Использовать все пять метрик DORA по каждой услуге | Основан на исследовании, уравновешивает скорость и стабильность, вычисляется по объективным событиям | Требует конвейера и записей об инцидентах, которые чисто соединяются; ничего не говорит о ценности работы |
| Сообщать только частоту развёртывания и время выполнения | Легко собирать из конвейера | Поощряет только скорость и приглашает именно ту подгонку, которую ловят показатели стабильности |
| Использовать локальные определения для каждой команды | Подходит архитектуре и стилю выпусков команды | Команды нельзя сравнивать, а сведение данных ненадёжно |
| Использовать одно определение на всю организацию | Единообразная отчётность; простое управление | Плохо подходит для некоторых систем, например мейнфреймов с пакетными окнами или регулируемых выпусков |
| Сравнивать команды с опубликованными полосами эффективности | Даёт руководителям быстрое ощущение положения | Игнорирует контекст, а исследование предупреждает, что полосы не являются целями для каждой команды |
| Использовать метрики для самоулучшения команды | Растит ответственность; поддерживает честные данные | Даёт меньше комфорта руководителям, которым нужна единая оценка |
Главное напряжение лежит между сопоставимостью и честностью. Чем больше число используется для оценки команд, тем сильнее искривляются данные и тем меньше они помогают команде, которой принадлежат. Сначала используйте метрики для поддержки улучшения, примите несовершенную сопоставимость и держите на уровне руководителей только тренды и разброс. Там, где регулируемая отчётность требует стандартного определения, задокументируйте его и держите отдельно от командного представления об улучшении.
Вопросы для обсуждения с командой
1. Какие из наших пяти чисел DORA берутся из событий, а какие из чьих-то воспоминаний? Проследите каждую метрику до её источника. Отметьте, где человек вводит дату или решает, считать ли что-либо сбоем. Ведущему следует помочь группе ранжировать ручные шаги по тому, насколько они могут исказить число, и договориться, какой автоматизировать первым.
2. Где именно запускаются и останавливаются наши часы времени выполнения, и все ли согласны? Попросите троих описать начало и конец отсчёта для последнего поставленного изменения. Сравните ответы. Различия обычно возникают вокруг первого коммита, слияния, заявки и шага утверждения. Договоритесь об одном определении, запишите его и обсудите, какое время ожидания выбранное определение прячет.
3. Что для нас считается неудачным развёртыванием и кто решает? Пройдитесь по последним пяти инцидентам в промышленной среде и спросите, относится ли каждый из них к какому-то развёртыванию. Разногласия покажут, где правило неясно. Обсудите, что происходит со сбоем, исправленным изменением конфигурации, откатом или быстрым патчем, и решите, как записывать каждый из них.
4. Если бы частота развёртывания удвоилась в следующем квартале, что бы мы проверили, прежде чем назвать это хорошей новостью? Предложите группе назвать способы, которыми число может вырасти без доставки большей ценности. Посмотрите на размер изменений, долю развёртываний с видимым пользователю изменением, а также на доли сбоев и переделок. Ведущему следует отметить, какие проверки уже есть на панели, а какие нужно добавить.
5. Как эти числа используют люди за пределами команды? Спросите, кто их видит, в каком виде и что с ними делает. Прислушайтесь к сравнению с другими командами, целям, заданным извне, и использованию в индивидуальных оценках. Обсудите, что должно измениться в таком использовании, чтобы команда могла доверять своим данным, и у кого есть полномочия это изменить.
6. Какая одна возможность больше всего улучшила бы наше слабейшее число и каков небольшой эксперимент, чтобы это проверить? Выберите самую слабую метрику и обсудите её вероятные причины, такие как крупные партии, медленная проверка, нестабильные тесты или ручной шаг выпуска. Выберите одну причину и разработайте эксперимент на четыре–шесть недель со способом увидеть эффект. Назначьте дату разбора результата и того, кто принесёт данные.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки владеют возможностями, которые определяют эти числа: малыми изменениями, автоматизированными тестами, быстрым конвейером и привычкой проверять работу друг друга. Им следует использовать метрики как зеркало собственной инженерной практики, ставить свои цели улучшения и сопротивляться давлению сообщать одно число наверх. Они же решают, каковы определения, поэтому на них лежит обязанность держать их честными (см. тему 2.7, Метрики запросов на слияние и проверки кода).
Команды услуг и эксплуатации
Команды эксплуатации держат записи об инцидентах, от которых зависят показатели сбоев и восстановления. Они помогают команде поставки, помечая инциденты развёртыванием, которое их вызвало, обеспечивая мониторинг, быстро обнаруживающий сбои, и участвуя в разборе каждого неудачного развёртывания. Им следует следить, чтобы скорость поставки не покупалась нестабильностью, которую они поглощают в виде нагрузки дежурств (см. тему 5.7, Рутинная работа и метрики дежурств), и просить вложений в откат и обнаружение, сокращающих время восстановления.
Руководство и управление
Руководителям следует просить тренды и разброс по услугам, обе группы метрик вместе и стоящие за ними эксперименты по улучшению. Им следует избегать целей, которые фиксируют число, таких как «развёртывать ежедневно», и избегать использования метрик в индивидуальных оценках. Органы управления могут использовать числа как свидетельство того, что более лёгкий путь утверждения изменений безопасен, или как повод пересмотреть его, показывая, осталась ли стабильность прежней при изменении процесса (см. тему 4.4, Сбои изменений и переделки).
Клиенты и пользователи
Клиентов редко волнует число развёртываний. Их волнует, как быстро исправление или функция доходит до них, как редко выпуск ломает то, на что они полагаются, и как быстро услуга возвращается, когда это происходит. Используйте метрики DORA как внутреннее свидетельство того, что эти результаты вероятны, и дополняйте их показателями, обращёнными к клиенту, такими как доступность и удовлетворённость (см. тему 5.3, Метрики доступности, и тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
Интернет-магазин среднего размера держит услугу оформления заказа, которой владеет одна продуктовая команда, а поддерживают платформенная команда и служба поддержки. Все числа ниже иллюстративные.
Команда развёртывала в промышленную среду примерно дважды в неделю при времени выполнения (от первого коммита до промышленной среды) с медианой 11 дней и 85-м процентилем 26 дней. За предыдущий квартал за 6 из 24 развёртываний (25 процентов, иллюстративно) последовал откат или инцидент. Медианное время восстановления после этих сбоев составило 3 часа. Совет по утверждению изменений собирается еженедельно и рассматривает каждое изменение услуги оформления заказа.
Команда предлагает план. Она разобьёт крупные изменения, добавит автоматизированные проверки в конвейер, спрячет новое поведение за переключателями функций и попросит совет заранее авторизовать низкорисковые изменения, проходящие проверки, как стандартные изменения. Менеджер по изменениям насторожен, поэтому команда соглашается ежемесячно сообщать все пять метрик и остановить эксперимент, если доля сбоев вырастет два месяца подряд.
Через квартал числа (иллюстративно) таковы: 19 развёртываний в месяц, медианное время выполнения 3 дня при 85-м процентиле 8 дней, доля неудачных изменений 8 процентов, медианное время восстановления 40 минут и доля переделок 5 процентов. Команда довольна, а региональный руководитель просит сравнить частоту развёртывания команды оформления заказа с другими продуктовыми командами и задать общую цель.
Руководитель команды приносит на разбор разбивку переделок и сбоев и замечает риск подгонки. Частоте развёртывания помогли многочисленные крошечные развёртывания конфигурации, которые конвейер считает, а медианный размер изменения сокращается быстрее, чем фактическая работа. Хуже того, два инцидента в прошлом месяце были исправлены изменением конфигурации, которое конвейер записал как обычное развёртывание с пометкой «плановое», поэтому доля переделок была занижена. Доля неудачных изменений выглядела хорошо отчасти потому, что эти два инцидента не были связаны с их исходными развёртываниями.
Решение, записанное в журнале решений, состоит из четырёх частей. Развёртывания, затрагивающие только конфигурацию, считаются отдельно и показываются рядом с основным числом. Метка причины развёртывания ежемесячно проверяется на выборке из 10 развёртываний. Инструмент инцидентов теперь требует идентификатор развёртывания, когда причиной является изменение. А команда отклоняет общую цель по частоте развёртывания и вместо неё предлагает общее представление, которое показывает тренд каждой услуги и её долю сбоев. Менеджер по изменениям соглашается сохранить предварительную авторизацию стандартных изменений с пересмотром в конце следующего квартала.
Отраслевой взгляд
Стартап. Небольшая команда часто развёртывает много раз в день и ведёт скудные записи об инцидентах, так что частота развёртывания и время выполнения получаются легко, а данные о сбоях отрывочны. Начните с пометки каждого отката и срочного исправления в конвейере и с ведения простого журнала инцидентов с идентификатором развёртывания. Не позволяйте высокой частоте убедить вас, что со стабильностью всё в порядке, не проверив долю сбоев.
Малый бизнес. Размещённая платформа или внешний разработчик могут развёртывать лишь ежемесячно и почти без инструментов. Несколько месяцев считайте вручную то, что можете, просите поставщика письменно сообщать даты развёртываний и инцидентов и сосредоточьтесь на времени выполнения и доле сбоев. Используйте числа, чтобы решить, снизили бы риск меньшие изменения, поставляемые непрерывно, а не чтобы гоняться за полосой.
Предприятие. Много команд, несколько стилей выпуска и смесь современных и унаследованных систем затрудняют единые определения. Договоритесь об общем минимальном определении для каждой метрики, опубликуйте его и позвольте команде добавлять более строгие локальные определения с указанной причиной. Сводите данные, показывая разброс и тренд по каждой услуге, а не среднее, и держите детали уровня команды видимыми только для владеющей команды и её поддерживающих групп.
Государственный сектор. Окна выпуска, правила аудита и контракты закупок определяют, что возможно, а некоторые системы эксплуатируют поставщики. Включайте в контракты права на данные о поставке и инцидентах, чтобы метрики можно было вычислять. Используйте числа как свидетельство того, что программа модернизации сокращает время выполнения без роста доли сбоев, и сообщайте все метрики вместе, чтобы результаты не были выбраны избирательно (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Мотивация состоит в том, чтобы сократить время между идеей и её использованием, сохраняя стабильность промышленной среды. Стоимость программы складывается из трёх частей: инструментирование (события конвейера, метки развёртываний и соединение с инцидентами), процедура разбора (ежемесячный взгляд на тренды и ежеквартальная выборка случаев сбоев и переделок) и работа по улучшению, на которую указывают числа, например автоматизация тестов или более быстрый конвейер. Первые две скромны. В третьей лежат реальные расходы, и они идут на инженерные возможности, а не на измерение.
Отдача приходит от решений, которые числа облегчают. Команда может показать совету по изменениям, что малые изменения безопасны, и так отменить шаг утверждения. Платформенная группа видит, у каких услуг медленные конвейеры или слабый откат, и направляет туда вложения. Команда эксплуатации может аргументировать данными необходимость лучшего инструмента обнаружения. Описывайте отдачу через закономерности, которые вы можете наблюдать сами, такие как время от коммита до промышленной среды, доля выпусков, требующих исправления, и нагрузка дежурств на выпуск, до и после изменения. Избегайте ссылок на эталонные цифры других организаций как на ожидаемую отдачу, поскольку ваш контекст будет отличаться. Совокупная стоимость владения определяется главным образом временем людей, поэтому держите набор метрик небольшим и автоматизируйте его сбор (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Использование метрик как оценочной карточки отдельных людей. Это разрушает основу исследования и портит данные. Сообщайте только на уровне услуги и команды.
- Постановка целей вроде «развёртывать ежедневно» или «время выполнения меньше одного дня». Цель подменяет задачу. Задайте направление улучшения и эксперимент, а число оставьте сигналом.
- Ранжирование команд друг относительно друга или относительно опубликованных полос. Контекст различается, и следует подгонка. Сравнивайте команду с её собственным трендом, а полосы используйте лишь как грубую ориентировку.
- Сообщение о скорости без стабильности. Смысл именно в паре. Всегда показывайте группы пропускной способности и нестабильности вместе.
- Дрейф определений. Сбой, развёртывание и начало времени выполнения тихо меняются вместе с инструментом. Записывайте каждое изменение определения с причиной и отмечайте его на графике.
- Подсчёт развёртываний чего угодно. Отправки конфигурации, выпуски в тестовые среды и повторные развёртывания одной и той же сборки раздувают счёт. Определите развёртывание в промышленную среду и показывайте другие виды отдельно.
- Игнорирование того, что поставляется. Сильные числа могут скрывать работу, которая не важна. Читайте их рядом с показателями потока и результата (см. тему 2.9, Операционная и внеплановая работа).
- Погоня за метрикой вместо возможности. Время выполнения падает надёжнее всего, когда партии уменьшаются, а тесты становятся быстрее. Улучшайте практику и позвольте числу последовать за ней.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Определения и часы | Каждый определяет развёртывание и сбой по-своему | Несколько команд документируют свои определения | Одно записанное определение на метрику, с часами и исключениями, в реестре метрик | Изменения определений журналируются и отмечаются на графиках; выборки проверяются каждый квартал | Определения пересматриваются совместно с поставщиками и органами управления, когда перестают информировать решения |
| Сбор данных | Количества собираются вручную из заявок | Данные конвейера для некоторых услуг; инциденты связываются вручную | Развёртывания, причины и связи с инцидентами фиксируются автоматически для большинства услуг | Качество данных (доля связей, аудит меток) измеряется и отслеживается во времени | События разделяются между командами и поставщиками через согласованные интерфейсы |
| Использование чисел | Сообщаются наверх как единая оценка | Команды иногда смотрят на собственные графики | Группы пропускной способности и нестабильности ежемесячно разбираются вместе владеющей командой | Тренды питают финансируемые эксперименты по улучшению с ограждением | Разброс и тренды определяют вложения в платформу и политику изменений по всей организации |
| Ограждения от подгонки | Нет | Неформальное понимание | Парные ограждения перечислены для каждой метрики | Ограждения и выборки пересматриваются, случаи подгонки записываются | Ограждения постоянно настраиваются по мере изменения команд и инструментов |
Контрольный список
- Пять метрик определены письменно, с часами, исключениями, а также датой и редакцией руководства DORA, которому следуют.
- Развёртывания в промышленную среду записываются конвейером с отметкой времени, версией и результатом.
- Начало отсчёта времени выполнения (первый коммит, слияние или иное) названо и применяется последовательно.
- Инциденты несут поле для развёртывания, которое их вызвало, заполняемое при решении.
- Каждое развёртывание несёт метку причины, а выборка проверяется ежемесячно.
- Времена сообщаются как медиана и высокий процентиль вместе с количествами.
- Метрики пропускной способности и нестабильности показываются вместе для каждой услуги.
- Размер изменения отслеживается рядом с частотой развёртывания и временем выполнения.
- Числа не используются в индивидуальных оценках и для ранжирования команд.
- Названный владелец ежемесячно разбирает метрики и журналирует любое изменение определения.
- Один эксперимент по улучшению, связанный с самой слабой метрикой, идёт с датой разбора.
Промпты для ИИ
Напишите одностраничный набор определений для пяти метрик.
Я определяю метрики поставки программного обеспечения DORA для [название услуги
или приложения]. Наши инструменты: [хостинг системы контроля версий, система
CI/CD, инструмент инцидентов, инструмент ITSM]. Наш стиль выпуска: [непрерывный,
еженедельный, ежемесячный или другой]. Для времени выполнения изменения, частоты
развёртывания, времени восстановления после неудачного развёртывания, доли
неудачных изменений и доли переделок развёртывания составь определение: где
запускаются и останавливаются часы, что считается и что исключается, источник
данных и один риск неоднозначности. Не придумывай эталонные значения и не
утверждай, что наша практика соответствует какой-либо опубликованной полосе
эффективности. Перечисли свои допущения и вопросы, на которые мне нужно ответить,
чтобы завершить определения.
Проверьте набор метрик на риски подгонки.
Вот как мы сейчас вычисляем наши метрики поставки: [описание каждой метрики, её
источника данных и способа отчётности]. Аудитория: [команда, руководство или
орган управления]. Для каждой метрики перечисли правдоподобные способы, которыми
число можно раздуть, скрыть или исказить без реального улучшения, и предложи
парную ограждающую метрику или практику, которая это поймает. Не придумывай
статистику. Перечисли свои допущения и информацию, которая понадобилась бы для
большей точности.
Проанализируйте выгрузку данных о развёртываниях и инцидентах.
Я вставлю небольшую выгрузку из [число] развёртываний в промышленную среду и
[число] инцидентов со следующими полями: [перечень полей, например идентификатор
развёртывания, отметка времени, результат, метка причины, идентификатор
инцидента, время открытия, время решения, связь с развёртыванием]. Вычисли
медиану и 85-й процентиль времени восстановления, долю неудачных изменений и
долю переделок, показав количества за каждым. Отметь записи с отсутствующими
связями или подозрительными отметками времени. Не экстраполируй за пределы данных
и не сравнивай результат с внешними эталонами. Перечисли свои допущения и
проблемы качества данных, ограничивающие выводы.
Спланируйте эксперимент по улучшению.
Наша самая слабая метрика поставки: [название метрики], сейчас [значение как
сообщается, с диапазоном дат и количествами]. Вероятные причины, которые обсуждала
команда: [перечень]. Наши ограничения: [ограничения, например регулируемые
выпуски, общая тестовая среда]. Предложи три небольших эксперимента по четыре–шесть
недель, каждый с гипотезой, способом наблюдать эффект, ограждающей метрикой и
риском. Не придумывай ожидаемые показатели улучшения. Перечисли свои допущения и
то, что нам следует проверить перед началом.
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти связанные темы об изменениях, выпусках и инцидентах и ограждение, которое должно стоять рядом с каждой метрикой DORA.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная версия этой темы сохраняет согласованность своих часов, способов подгонки и перекрёстных ссылок.
Ключевые выводы
- Метрики DORA это пять показателей поставки программного обеспечения, три пропускной способности и два нестабильности, и полезнее всего читать их вместе для одной услуги.
- Вычисляйте их по событиям конвейера и инцидентов с письменными определениями, поскольку сбой и начало времени выполнения требуют суждения.
- Используйте их, чтобы узнавать о системе поставки и сравнивать команду с её собственной историей, но никогда не для ранжирования людей или команд.
- Сообщайте медианы, высокие процентили и количества и связывайте каждую метрику с ограждением, которое ловит её подгонку.
- Улучшайте базовые возможности, такие как малые партии, быстрое обнаружение и лёгкий откат, и позвольте числам последовать за ними.
- Указывайте редакцию и дату руководства, которому следуете, поскольку определения со временем уточнялись.
Источники и дополнительное чтение
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- DORA, DORA research program, Google Cloud, https://dora.dev/research/
- DORA, Four Keys project, https://github.com/dora-team/fourkeys
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, DevOps Research and Assessment.
- Wikipedia, Accelerate (book).
- Wikipedia, Continuous delivery.
- Wikipedia, ITIL.
- Wikipedia, Goodhart's law.
- Wikipedia, CI/CD.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Canary release.