Обзор и мотивация

Запрос на слияние (pull request) это предложение влить набор изменений из одной ветки репозитория системы контроля версий в другую вместе с обсуждением того, стоит ли это делать. Во многих командах он служит формальным шлюзом между «автор считает, что всё работает» и «команда согласна, что это можно выпускать». Обсуждение представляет собой форму проверки кода: человек, не являющийся автором, читает изменение, задаёт вопросы и либо одобряет его, либо просит доработать. Некоторые платформы называют то же самое запросом на слияние (merge request); в этой теме для обоих случаев используется термин «запрос на слияние».

Причина измерять проверку проста. С точки зрения потока в поставке рабочий элемент большую часть жизни ждёт, а проверка это одно из ожиданий, которое целиком находится под контролем команды. Чтобы устранить узкое место общей платформы или внешнюю зависимость, должны измениться другие люди. Чтобы запрос на слияние не ждал первого взгляда два дня, достаточно изменить собственные привычки команды. Показатели потока в этой книге (см. тему 2.1, Показатели потока, и тему 2.2, Время выполнения, время цикла и эффективность потока) дают общий словарь. Эта тема приближает один этап цикла и даёт ему собственные инструменты.

Взгляды гибкости и ITIL здесь сходятся с пользой. С точки зрения гибкости проверка это петля обратной связи и механизм обучения. Она распространяет знание кодовой базы, рано выявляет дефекты и закрепляет рабочие соглашения команды и определение готовности. С точки зрения ITIL та же деятельность поддерживает несколько практик. В ITIL 4 практика разработки и управления программным обеспечением охватывает то, как создаётся и проверяется программное обеспечение, обеспечение изменений охватывает то, как изменения оцениваются и авторизуются, а управление развёртыванием охватывает то, как изменения попадают в рабочую среду. Запрос на слияние, прошедший проверку коллегами, для многих организаций служит свидетельством того, что стандартное изменение было оценено до выпуска. Отношение к проверке как к измеряемой и улучшаемой деятельности служит обоим взглядам: гибкая команда хочет более быстрой обратной связи, а практика ITIL хочет надёжной уверенности в том, что изменения проверены.

Риск, который нужно держать в поле зрения всё время, состоит в том, что скорость и качество проверки легко разделить. Команда может вдвое сократить время до первой проверки, одобряя всё с первого взгляда, и панель покажет триумф, пока кодовая база будет ухудшаться. Закон Гудхарта действует на это семейство метрик с необычной силой (см. тему 1.2, Закон Гудхарта и психология метрик), потому что числа дёшево собирать, их видят все, и их тривиально легко сдвинуть, не изменив то, что они должны представлять. Каждая рекомендация ниже написана с учётом этого.

Автор открыл запрос на слияние, а проверяющий его оценивает. Раунд проверки это один цикл «автор отправляет изменения, проверяющий отвечает». Переделка это изменение, сделанное после замечания проверяющего или после слияния, чтобы исправить то, что первая версия сделала неверно. Непрерывная интеграция (CI) это практика часто вливать работу в общую линию и автоматически проверять каждое слияние; см. непрерывная интеграция.

Все метрики этой темы описывают команды и репозитории. Они никогда не ранжируют проверяющих или авторов. Количество проверок по отдельным людям легко извлечь, и им соблазнительно воспользоваться, но это превращает практику сотрудничества в соревнование (см. тему 9.1, Здоровье команды и опыт разработчиков).

Ключевые принципы

  • Ожидание преобладает над проверкой. В большинстве команд основная часть времени проверки приходится на то, что запрос на слияние лежит непрочитанным, а не на обсуждение после того, как проверяющий начал работу. Измеряйте ожидание раньше, чем разговор.
  • Небольшие изменения проверяются быстрее и лучше. Размер это один из немногих рычагов, который улучшает одновременно и скорость, и тщательность, потому что проверяющий может удержать небольшое изменение в голове.
  • Скорость без тщательности не улучшение. Каждому показателю скорости в этой теме нужен партнёр по качеству, и пару читают вместе.
  • Проверка это мощность команды, а не личная. Нагрузка должна распределяться по команде. Метрика, показывающая концентрацию, указывает на проблему устройства команды, а не на человека, которого стоит хвалить или винить.
  • Распределения лучше средних. У времён проверки длинный хвост застрявших запросов на слияние, поэтому сообщайте медиану и высокий процентиль (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Определите часы и не трогайте их. Укажите, когда часы запускаются и останавливаются, какие события их ставят на паузу и какая автоматическая активность исключена, и запишите это там, где живут данные (см. тему 1.5, Источники данных и инструментирование).
  • Метрики проверки служат команде, которой принадлежит работа. Они входят в собственную ретроспективу команды, а не служат сводной картой для кого-то другого.

Определения метрик

Приведённые ниже часы предполагают, что платформа контроля версий записывает время событий открытия, запросов проверки, комментариев, одобрений, отправок изменений и слияний. Черновики, запросы на слияние, открытые ботами, и запросы, закрытые без слияния, исключаются, если строка не говорит иного. «Рабочие часы» означают объявленные рабочие часы команды, чтобы запрос на слияние, открытый в пятницу вечером, не накапливал выходные ожидания.

Метрика Определение Формула Единица Источник данных Практика ITIL Гибкий аналог Периодичность
Время до первой проверки Ожидание между готовностью запроса на слияние к проверке и первым содержательным ответом человека Часы запускаются, когда запрос на слияние выходит из статуса черновика или открывается сразу готовым, и останавливаются на первом комментарии, запросе изменений или одобрении от кого-то, кроме автора; комментарии ботов и автора и простые изменения меток исключаются. Сообщайте медиану и 85-й процентиль в рабочих часах рабочие часы История событий платформы контроля версий Разработка и управление программным обеспечением; обеспечение изменений Рабочее соглашение об отзывчивости на проверку; поток работы в процессе Еженедельно
Время цикла проверки Полное время от готовности к проверке до слияния Часы запускаются, когда запрос на слияние готов к проверке, и останавливаются на слиянии; запросы на слияние, закрытые без слияния, исключаются и считаются отдельно. Сообщайте медиану и 85-й процентиль в рабочих часах рабочие часы История событий платформы контроля версий Управление развёртыванием; обеспечение изменений Время цикла этапа проверки на доске команды Еженедельно
Размер запроса на слияние Объём изменений в запросе на слияние Добавленные строки плюс удалённые строки, без сгенерированных файлов, файлов блокировки зависимостей, стороннего кода и простых переименований, по списку игнорирования репозитория. Сообщайте медиану и 85-й процентиль на один слитый запрос на слияние изменённые строки Статистика различий платформы контроля версий Разработка и управление программным обеспечением Малый размер партии; нарезка историй Еженедельно
Раунды проверки Число циклов «автор отправил изменения, проверяющий ответил» до слияния Число отдельных циклов «запрошены изменения» или «комментарий, затем отправка» на один слитый запрос на слияние; первая отправка это нулевой раунд, а сбои автоматических проверок исключаются. Сообщайте медиану и 85-й процентиль число События проверки и отправки изменений платформы контроля версий Непрерывное улучшение; разработка и управление программным обеспечением Сигнал переделки на этапе проверки; определение готовности Еженедельно
Концентрация нагрузки по проверкам Насколько неравномерно работа по проверке распределена в команде Доля завершённых проверок команды, выполненных двумя самыми загруженными проверяющими за скользящие 4 недели; проверки собственных запросов на слияние и проверки ботов исключаются. Сообщается для команды, никогда по именам процент События проверки платформы контроля версий, агрегированные до команды Непрерывное улучшение; управление знаниями Общее владение кодом; коллективное владение Ежемесячно
Число застоявшихся запросов на слияние Запросы на слияние, открытые дольше согласованного командой предела Запросы на слияние, всё ещё открытые и не черновики, возраст которых с момента готовности к проверке превышает предел команды, считается на момент снимка; черновики исключаются число Список открытых запросов на слияние платформы контроля версий Обеспечение изменений; непрерывное улучшение Возраст рабочего элемента; лимит WIP Еженедельно
Доля исправлений после слияния Доля слитых запросов на слияние, за которыми вскоре последовало исправляющее изменение Слитые запросы на слияние, за которыми в течение 14 дней последовало исправление, откат или срочное исправление, связанные с тем же изменением / слитые запросы на слияние за период; плановая последующая работа с соответствующей пометкой исключается процент История контроля версий, связанные задачи и записи об инцидентах или изменениях Обеспечение изменений; управление инцидентами Качество, встроенное в работу; определение готовности Ежемесячно

Время до первой проверки это самый сильный рычаг и метрика, с которой большинству команд стоит начать. Время цикла проверки это её результирующий показатель и составная часть более длинных времён выполнения, обсуждаемых в теме 2.2. Окно в 14 дней и предел застоя это примеры; каждая команда выбирает значения, подходящие её ритму выпусков, и записывает их. Там, где числа входят в более широкую картину поставки, дальше работают семейство DORA (см. тему 2.8, Метрики DORA) и показатели сбоев изменений (см. тему 4.4, Сбои изменений и переделки).

Рекомендации

Измеряйте ожидание раньше работы

1. Начните с времени до первой проверки. Обычно это самая большая составляющая времени проверки и самая дешёвая для улучшения. Инструментируйте его по истории событий платформы, чтобы никому не приходилось ничего вводить. Сообщайте медиану и высокий процентиль, потому что медиана в три часа при 95-м процентиле в четыре дня означает, что какие-то изменения забыты.

2. Исключайте ботов и черновики из часов и говорите об этом. Автоматические проверки, боты обновления зависимостей и средства форматирования создают комментарии за секунды, и их учёт делает ожидание превосходным. Запускайте часы, когда автор отмечает изменение готовым, а не когда ветка впервые отправлена. Публикуйте эти правила рядом с графиком.

3. Используйте рабочие часы и запишите календарь команды. Запрос на слияние, открытый поздно в пятницу, не должен нести выходные ожидания. Команде, разбросанной по часовым поясам, нужно правило о том, чьи часы считаются, и часто честный ответ состоит в том, что стоимость передачи между поясами это именно то, что стоит увидеть. Укажите выбор и держите его стабильным.

Придайте работе форму, удобную для проверки

4. Держите запросы на слияние небольшими и считайте размер привычкой команды. Отслеживайте медиану и 85-й процентиль размера и рассматривайте крупные запросы как набор, а не как отдельные провалы. Команды обычно обнаруживают, что крупные изменения происходят из нескольких причин: работа нарезана недостаточно мелко, рефакторинг смешан с новым поведением или слияние слишком долго откладывали. Нарезайте работу так, чтобы каждый запрос на слияние делал одно дело, что также соответствует принципу малой партии, лежащему в основе разработки на основной ветке и частого развёртывания.

5. Не устанавливайте жёсткий предел размера как целевой показатель. Предел вроде «не более 400 строк» провоцирует разбиение изменения на искусственные части, которые по отдельности нечитаемы или ломают сборку при слиянии по одной. Используйте размер как начало разговора на ретроспективе и дайте команде приёмы нарезки, такие как переключатели функций, подготовительный рефакторинг в отдельном запросе на слияние и слияние за флагом.

6. Делайте запрос на проверку явным. Запрос на слияние, в котором не назван проверяющий, ждёт добровольца, а добровольцы редки. Договоритесь в рабочем соглашении, кого просят, как оповещается команда и каково ожидание ответа. Общая очередь проверяющих или ежедневное окно для проверок обычно сокращает ожидание сильнее любой настройки инструмента.

Распределяйте нагрузку и знания

7. Следите за концентрацией нагрузки как за риском команды. Если большинство проверок выполняют два человека, их доступность ограничивает поток команды, а их отсутствие его останавливает. Просматривайте показатель концентрации ежемесячно и действуйте через устройство команды: меняйте проверяющего по умолчанию, объединяйте новых участников с опытными и записывайте области кода, которые может проверять только один человек. Не публикуйте рейтинг по людям.

8. Используйте проверку для обмена знаниями и защищайте эту цель. Долгосрочная ценность проверки включает обучение, общее владение и единый стиль, а также выявление дефектов. Парное программирование и групповое программирование переносят часть этого обмена на более раннюю стадию; если над изменением уже поработала пара, разумна более лёгкая проверка. Сделайте выбор решением команды, записанным в рабочем соглашении, чтобы «работали в паре, значит проверяем легко» было видимым правилом, а не отговоркой.

Управляйте самой проверкой

9. Отдайте автоматике то, что она делает хорошо. Форматирование, линтинг и базовые проверки относятся к конвейеру, чтобы внимание людей уходило на проектирование, корректность и риск. Статический анализ программ и автоматические тесты сокращают число тривиальных раундов проверки. Тогда оставшиеся раунды больше говорят о разговоре о проектировании и меньше о спорах о стиле.

10. Читайте раунды проверки как сигнал о ясности, а не как счётчик ошибок. Много раундов может означать, что требование было неясным, автору не хватало контекста, проверяющий просил изменений по вкусу или изменение было крупным. Ноль раундов у каждого запроса на слияние может означать превосходную работу, а может означать, что никто не смотрел. Возьмите выборку запросов на слияние с необычно большим или необычно малым числом раундов и прочитайте их вместе как команда.

Сочетайте скорость с качеством и держите время на виду

11. Всегда показывайте партнёра по качеству рядом со скоростью проверки. Естественные партнёры это доля исправлений после слияния, инциденты, связанные с недавними изменениями, и доля дефектов, найденных после выпуска (см. тему 4.4, Сбои изменений и переделки). Если время проверки улучшается, а доля исправлений ухудшается, команда променяла уверенность на скорость, и решение это разговор, а не целевой показатель. Показывайте оба на одном графике.

12. Связывайте проверку с картиной потока и с внеплановой работой. Более быстрая проверка помогает, только если следующий этап не ставит работу просто в очередь (см. тему 2.3, Работа в процессе и теория очередей). Срочные запросы на проверку, прерывающие плановую работу, имеют собственную цену (см. тему 2.9, Операционная и внеплановая работа).

Способы подгонки и ограждения

Метрика Как её подгоняют Парное ограждение (метрика или практика)
Время до первой проверки Быстрое «выглядит хорошо» или эмодзи в качестве первого ответа; назначение бота или дружественного проверяющего; отметка запроса на слияние готовым только после того, как кто-то заранее согласился посмотреть Доля исправлений после слияния; выборка одобрений без комментариев; требование в рабочем соглашении, чтобы первые ответы были содержательными
Время цикла проверки Слияние без ожидания проверки; разбиение изменения на крошечные части, чтобы пройти быстрее; закрытие и повторное открытие запроса на слияние, чтобы сбросить часы Подсчёт закрытых и вновь открытых запросов на слияние; раунды проверки; доля исправлений после слияния; правила защищённой ветки, требующие одобрения
Размер запроса на слияние Исключение файлов из подсчёта; разбиение одного изменения на части, которые нельзя понять по отдельности; раздувание размера сгенерированным кодом Пересмотр правил игнорирования каждый квартал; проверка, что разбитые части собираются и проходят тесты по отдельности; чтение выборки самых малых и самых крупных
Раунды проверки Одобрение с первого прохода, чтобы держать счёт низким; перенос обсуждения в чат, чтобы оно не оставило следа; авторы, отправляющие много правок одним коммитом, чтобы скрыть раунды Доля исправлений после слияния; выборка запросов на слияние с нулём раундов; ведение обсуждения в самом запросе на слияние
Концентрация нагрузки по проверкам Дробление проверок на множество мелких одобрений, чтобы распределить счёт; назначение проверок тем, у кого есть время, но нет знаний Проверка знаний проверяющего для рискованных областей; наблюдение за долей исправлений после слияния по областям; удержание метрики на уровне команды
Число застоявшихся запросов на слияние Закрытие застоявшихся запросов на слияние без слияния; перевод их в черновики, чтобы скрыть; повышение предела застоя Число запросов на слияние, закрытых без слияния; число долгоживущих черновиков; пересмотр предела вместе с командой каждый квартал
Доля исправлений после слияния Запись исправлений в новый рабочий элемент без связи; пометка исправляющей работы как плановой последующей; обход метрики откладыванием исправления за пределы окна Сравнение с данными об инцидентах и сбоях изменений; выборка последующих элементов; аудит используемых меток

Здоровое чтение спокойно. Время до первой проверки короткое, и хвост тоже короткий, так что ни один запрос на слияние не ждёт днями. Размер находится в диапазоне, который команде легко читать, с несколькими крупными изменениями, которые команда может объяснить. Раундов проверки мало, но не ноль, концентрация нагрузки умеренная, число застоявшихся запросов невелико, а доля исправлений после слияния стабильна. Когда одно число резко улучшается, кто-то должен проверить, что парное ему ограждение не сдвинулось не в ту сторону.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Быстрая проверка со строгими ожиданиями ответа Короткие петли обратной связи; меньше потери контекста у автора; меньше работы в процессе Давление одобрять быстро; прерывание сосредоточенной работы
Медленная, тщательная проверка Внимательное чтение проектирования и риска; более сильная передача знаний Более длинное время цикла; накопление крупных партий; авторы переключаются и теряют контекст
Небольшие запросы на слияние Легче читать и откатывать; более плавный поток Больше накладных расходов на изменение; возможное дробление функции на запутанные шаги
Крупные запросы на слияние Меньше передач; вся функция видна сразу Проверки становятся поверхностными; труднее откатывать; долгое ожидание
Обязательное одобрение от названного владельца Чёткая ответственность за рискованные области; поддержка авторизации изменений Создаёт узкое место и единую точку отказа
Автоматические проверки перед проверкой человеком Освобождают людей для проектирования и риска; единообразие Могут создавать ложную уверенность; требуют сопровождения

Ни одна политика не побеждает сама по себе. Цель в том, чтобы сократить ожидание, сохранив тщательность, а обычный путь это более мелкие изменения, ясные ожидания от проверки, сильная автоматизация рутинных проверок и соглашение команды о том, как выглядит хорошая проверка. Метрики проверки наиболее полезны как вопросы для ретроспективы и наименее полезны как целевые показатели.

Вопросы для обсуждения с командой

1. Где запрос на слияние проводит большую часть жизни: в ожидании или в проверке? Попросите команду угадать до просмотра данных, затем покажите разделение между временем до первой проверки и оставшимся временем до слияния. Большинство групп удивляются тому, сколько приходится на ожидание. Ведущему стоит отметить, какие догадки оказались неверными, и спросить, что каждая из них говорит о том, как команда переживает проверку. Закончите одним изменением, бьющим по самому большому ожиданию.

2. Как выглядит хорошая проверка в этой команде и как это отличил бы посторонний? Перечислите поведения, которые ценит команда, например вопросы о проектировании, проверку тестов и объяснение причины запроса. Затем спросите, какие из них оставляют видимый след в запросе на слияние. Обсудите, как отличить содержательный первый ответ от формального, не контролируя отдельных людей. Согласуйте короткое письменное описание для рабочего соглашения.

3. Насколько велико слишком велико для нас и что делать, когда работа действительно большая? Посмотрите на распределение размеров и выберите несколько самых крупных запросов на слияние. Спросите, почему каждый был крупным и можно ли было его нарезать. Обсудите приёмы вроде переключателей функций, подготовительного рефакторинга и слияния за флагом. Ведущему стоит воздержаться от установки числового предела и вместо этого согласовать привычку, которую команда попробует в течение месяца.

4. Кто проверяет наш самый рискованный код и что происходит, когда его нет? Сопоставьте области кода с людьми, которые могут проверять их хорошо. Посмотрите на концентрацию нагрузки и на области с единственным квалифицированным проверяющим. Обсудите, как вырастить второго проверяющего в каждой из них через работу в паре или ротацию назначений. Держите разговор о устойчивости команды, а не о рейтинге нагрузки отдельных людей.

5. Если бы наша скорость проверки завтра удвоилась, что бы мы хотели видеть верным в отношении качества? Попросите группу назвать сигналы качества, за которыми они бы следили, например исправления после слияния, инциденты, связанные с недавними изменениями, или число откатов. Проверьте, видны ли эти сигналы сейчас рядом с графиком скорости. Обсудите, что было бы ранним признаком того, что скорость куплена ценой тщательности. Согласуйте, какого партнёра показывать на панели.

6. Какие числа проверки нам захотелось бы улучшить так, чтобы это не помогло? Пройдитесь по каждой метрике и спросите, как человек под давлением мог бы заставить её выглядеть лучше, ничего не улучшив. Сравните ответы с таблицей подгонки выше и добавьте собственные идеи команды. Цель в том, чтобы назвать риск до того, как он случится. Согласуйте, какое ограждение будет просматриваться вместе с каждой метрикой.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют процессом проверки и должны владеть его метриками. Больше всего они выигрывают от сокращения ожидания простыми соглашениями: ежедневным окном для проверок, ясным порядком запросов и небольшими изменениями. Им стоит использовать числа на ретроспективах, держать работу в процессе на низком уровне и сопротивляться соблазну оптимизировать один график. Проверка также место, где новые участники изучают кодовую базу, поэтому защищайте эту цель.

Команды услуг и эксплуатации

Команды эксплуатации сталкиваются с проверкой там, где код инфраструктуры, конфигурация и автоматизация сборников инструкций меняются через запросы на слияние. Для них проверка часто входит в то, как утверждается и подтверждается стандартное изменение (см. тему 4.3, Метрики управления изменениями). Им стоит договориться, какие изменения требуют проверки вторым человеком, как быстро проверяются срочные исправления и как задним числом проверяются аварийные изменения, чтобы даже спешное исправление было рассмотрено. Поверхностная проверка рискованного изменения позже проявляется как инцидент.

Руководство и управление

Руководителям стоит относиться к метрикам проверки как к сигналам о здоровье команды и потоке, а не как к оценкам производительности. Им стоит запрашивать парную меру качества всякий раз, когда сообщается число скорости, поддерживать время, которого требует тщательная проверка, и не сравнивать команды по сырому времени проверки, поскольку репозитории и риски различаются. Органы управления могут использовать свидетельства проверки как часть обеспечения изменений при условии, что они признают: задокументированный процесс проверки с выборочным контролем надёжнее подсчёта одобрений.

Клиенты и пользователи

Клиенты не видят запросов на слияние, но ощущают результаты: как скоро приходит исправление и как часто выпуск приносит новый дефект. Короткие ожидания проверки помогают срочным исправлениям быстрее достичь клиентов, а вдумчивая проверка помогает держать от них неисправности подальше. Там, где у услуги есть опубликованная история выпусков или дефектов, клиентам полезно, когда команда со временем показывает меньше откатов и меньше повторных исправлений.

На практике: пример гибкого ITIL

ИТ-отдел региональной больницы эксплуатирует веб-службу записи на приём, созданную одной продуктовой командой из семи человек и обслуживаемую небольшой группой обеспечения надёжности. Все числа в этом примере иллюстративны.

На квартальном обзоре команда обнаруживает, что время цикла проверки имеет медиану 26 рабочих часов и 85-й процентиль 71 рабочий час (иллюстративно). Разбиение цикла показывает, что медиана времени до первой проверки составляет 19 рабочих часов, так что большая часть задержки это ожидание. Размер запроса на слияние имеет медиану 180 строк и 85-й процентиль 900 строк (иллюстративно), а два самых загруженных проверяющих выполняют 68 процентов проверок (иллюстративно). Доля исправлений после слияния составляет 9 процентов (иллюстративно).

Команда принимает три соглашения. Она устанавливает ежедневное 30-минутное окно для проверок, записывает в рабочее соглашение ожидание первого ответа в течение одного рабочего дня и вводит еженедельное дежурство «сначала проверка». Кроме того, она принимает привычку нарезки крупной работы, используя переключатели функций, чтобы частично готовые функции можно было безопасно вливать. Предел размера и целевой показатель времени до первой проверки они не устанавливают.

Через два месяца медиана времени до первой проверки падает до 6 рабочих часов, а 85-й процентиль времени цикла проверки падает до 34 рабочих часов (иллюстративно). Концентрация нагрузки снижается до 52 процентов (иллюстративно), а доля исправлений после слияния держится на 9 процентах.

Затем команда обнаруживает риск подгонки. Выборка одобрений показывает, что около трети первых ответов приходят за минуты и состоят только из «LGTM» на изменениях, затрагивающих логику напоминаний о приёме. Выигрыш в скорости был отчасти реальным, отчасти формальной печатью. Доля исправлений после слияния ещё не сдвинулась, потому что затронутый код работает по месячному циклу. Команда меняет рабочее соглашение так, чтобы первый ответ содержал либо вопрос, либо замечание о конкретной части изменения, либо явную пометку о том, что проверялось, и добавляет в график проверки долю выборочных одобрений без комментариев. Она также договаривается, что изменения логики напоминаний, обращённой к пациентам, требуют двух проверяющих, один из которых из группы эксплуатации. Решение с обоснованием попадает в журнал решений команды.

Отраслевой взгляд

Стартап. Небольшая команда может проверять за минуты, потому что все знают код, а главный риск это пропуск проверки, когда времени мало. Держите метрики немногочисленными: достаточно времени до первой проверки и размера. Закрепите привычку небольших изменений рано, потому что намного труднее вводить её, когда кодовая база и команда выросли.

Малый бизнес. Часто один или два разработчика или внешний поставщик сопровождают программное обеспечение. Проверку может выполнять один коллега или собственные сотрудники поставщика. Спросите поставщиков, как они проверяют и можно ли поделиться данными о запросах на слияние, и ведите простую запись о том, какие изменения кем проверены, потому что проверка это главная защита от ошибок в небольшой команде.

Предприятие. Множество команд, репозиториев и правил одобрения создаёт широкий разброс. Стандартизируйте определения часов и исключений, чтобы данные платформы были сопоставимы, но не ранжируйте команды по сырому времени проверки, так как риск и кодовая база различаются. Следите за требованиями проверки, введёнными ради аудита, которые добавляют ожидание, не добавляя тщательности, и ищите возможности заменить ручные одобрения автоматическими проверками и выборочным контролем.

Государственный сектор. Разделение обязанностей, аудиторские следы и правила закупок часто требуют независимого одобрения изменений. Относитесь к этим правилам как к входным данным проектирования: записывайте, кто что и когда одобрил, и измеряйте создаваемое ими ожидание. Там, где код пишут поставщики, закрепляйте в контракте свидетельства проверки и доступ к данным (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивация, ROI и TCO

Мотивация состоит в том, чтобы сократить часть поставки, которая одновременно медленна и контролируема, сохранив выгоды проверки коллегами: меньше дефектов, общие знания и аудиторский след. Ожидающие запросы на слияние удерживают готовую работу от пользователей, увеличивают стоимость переключения контекста для авторов и повышают вероятность конфликтов слияния по мере старения веток. Поэтому сокращение ожидания окупается более быстрой поставкой, меньшей переделкой и меньшим раздражением.

Стоимость сбора этих метрик низка, когда платформа контроля версий даёт историю событий и интерфейс программирования. Основные затраты это время на определение часов и исключений, на построение или настройку отчёта и на регулярный просмотр чисел. Большая затрата поведенческая: время, которое люди отдают оперативной проверке, конкурирующее с другой работой. Это время и есть настоящее вложение, и его нужно закладывать в бюджет, а не считать бесплатным.

Отдача проявляется в более коротком времени цикла проверки, меньшем числе застоявшихся запросов на слияние и стабильной или снижающейся доле исправлений после слияния. Избегайте заранее заявлять конкретный процент улучшения, так как результаты зависят от исходной точки и команды. Убедительное обоснование сравнивает собственные распределения команды до и после вместе с её партнёром по качеству, а не цитирует цифры других организаций. Книга 2018 года Accelerate сообщает об исследованиях, связывающих технические и культурные практики с результативностью поставки, и служит разумным источником для общего довода, но числа для вашей команды берутся из ваших собственных данных.

Антипаттерны и ловушки

  • Ранжирование проверяющих или авторов. Индивидуальные рейтинги выполненных проверок или изменённых строк портят сотрудничество. Сообщайте на уровне команды и используйте числа, чтобы корректировать привычки команды.
  • Целевой показатель времени до первой проверки без партнёра по качеству. Результат это формальная печать. Показывайте долю исправлений после слияния и выборку одобрений без комментариев рядом с каждым графиком скорости.
  • Жёсткий предел размера. Команды искусственно разбивают работу, чтобы соответствовать. Используйте размер как повод для разговора и вместо этого учите приёмам нарезки.
  • Отношение к нулю комментариев как к успеху. Непроверенное одобрение может отражать доверие, а может невнимательность. Берите такие запросы на слияние в выборку и читайте их вместе.
  • Учёт активности ботов как проверки. Автоматические комментарии делают ожидание коротким. Исключайте ботов из часов и из мер нагрузки.
  • Игнорирование часовых поясов и календарей. Сырое календарное время превращает выходные и ожидания между регионами в «медленную проверку». Используйте рабочие часы и называйте календарь.
  • Оставление списка застоявшихся запросов расти. Старые запросы на слияние накапливают конфликты слияния и теряют контекст. Просматривайте список еженедельно и либо сливайте, либо дорабатывайте, либо закрывайте каждый элемент с указанием причины.

Модель зрелости

Измерение 1 Начальный 2 Развивающийся 3 Стандартизованный 4 Управляемый 5 Согласованный
Определение и часы Время проверки угадывается или сообщается по ощущению Некоторые команды выгружают времена из платформы по своим правилам Одно письменное определение каждых часов с исключениями для ботов, черновиков и календарей Определения пересматриваются по графику; изменения записываются с причинами Определения согласованы между командами и поставщиками и пересматриваются, когда перестают информировать решения
Практика проверки Проверки происходят, когда кто-то замечает Неформальные нормы в некоторых командах Письменное рабочее соглашение о запросах, ожиданиях ответа и охвате проверки Нормы корректируются по данным; отслеживаются обмен знаниями и области риска Практика проверки скоординирована между командами и поставщиками, а рутинные проверки выполняет автоматика
Партнёр по качеству Нет связи между проверкой и дефектами Время от времени смотрят на исправления после слияния Доля исправлений после слияния показана рядом со скоростью проверки Ограждения регулярно пересматриваются; выборочные одобрения читаются Свидетельства проверки связаны с обеспечением изменений и обучением на инцидентах по всем услугам
Использование для улучшения Числа не используются Показываются на некоторых ретроспективах Просматриваются командой-владельцем по фиксированному графику Разрывы ведут к плановой улучшающей работе с ресурсами Идеи улучшения текут от команд к общей практике и обратно

Контрольный список

  • Часы для времени до первой проверки и времени цикла проверки записаны с началом, остановкой и исключениями.
  • Боты, черновики и запросы на слияние, закрытые без слияния, исключены или считаются отдельно, и правила видны.
  • Времена сообщаются как медиана и высокий процентиль в рабочих часах.
  • Размер запроса на слияние измеряется с согласованным списком игнорирования для сгенерированных и сторонних файлов.
  • У команды есть письменное соглашение о том, как запрашиваются проверки и как скоро ожидается первый ответ.
  • Концентрация нагрузки по проверкам сообщается только на уровне команды.
  • Доля исправлений после слияния или другой партнёр по качеству показан на том же графике, что и скорость проверки.
  • Выборка одобрений без комментариев и очень быстрых одобрений читается каждый месяц.
  • Список застоявшихся запросов на слияние просматривается еженедельно.
  • Данные проверки используются на ретроспективах, а не в индивидуальной оценке.
  • Области кода с единственным квалифицированным проверяющим перечислены и имеют план.

Промпты для ИИ

Составить определения часов для метрик проверки.

Я хочу определить метрики проверки для [команда или репозиторий]. Наша платформа
[платформа контроля версий], а наш рабочий процесс [опишите: черновики запросов
на слияние, обязательные одобрения, правила слияния, используемые боты]. Составь
точные определения времени до первой проверки и времени цикла проверки, указав
событие, запускающее и останавливающее каждые часы, что исключено (боты,
черновики, закрытые без слияния), как обрабатываются рабочие часы для [часовые
пояса и рабочий календарь] и какие процентили сообщать. Не выдумывай
эталонные значения или возможности инструментов. Перечисли свои допущения и
вопросы, на которые мне нужно ответить, чтобы завершить определения.

Проанализировать выгрузку данных о проверках.

Вот обезличенная выгрузка слитых запросов на слияние для [команда] за [период]
со столбцами [перечислите столбцы, например время готовности, время первой
проверки, время слияния, изменённые строки, раунды проверки, признак связанного
исправления]: [вставьте данные или сводку]. Вычисли медиану и 85-й процентиль
для каждой меры времени и для размера, раздели цикл проверки на ожидание и
проверку и укажи закономерности, заслуживающие разговора. Не ранжируй людей и не
сравнивай с внешними эталонами. Перечисли свои допущения и замеченные проблемы
качества данных.

Найти риски подгонки в наших метриках проверки.

Наша команда сообщает эти метрики проверки: [перечислите метрики и способ расчёта
каждой]. Давление на нас оказывают [например срок выпуска, целевой показатель
руководства, контракт с поставщиком]. Для каждой метрики опиши правдоподобные
способы улучшить её, не улучшая проверку, ранние признаки каждого и парное
ограждение (метрику или практику), которое это поймает. Не выдумывай
статистику. Перечисли свои допущения и скажи, что тебе нужно знать, чтобы
ранжировать риски.

Подготовить ретроспективу о потоке проверки.

Подготовь повестку 45-минутной ретроспективы для [команда] о потоке проверки.
Входные данные: время до первой проверки [значение], время цикла проверки
[значение], медианный размер [значение], концентрация нагрузки [значение] и доля
исправлений после слияния [значение], все с пометкой своих определений.
Предложи вопросы, выявляющие причины, один небольшой эксперимент, который
команда могла бы провести в течение [срок], и сигнал качества, за которым
следить во время эксперимента. Не выдумывай причины или целевые показатели.
Перечисли свои допущения и данные, которые мне стоит принести.

Навыки ИИ

  • Agile ITIL Metrics skill: используйте, чтобы найти тему, определяющую связанную метрику потока или качества, и ограждение, которое должно стоять рядом с метрикой проверки.
  • Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют шаблон, таблицу подгонки и перекрёстные ссылки согласованными.

Ключевые выводы

  • Большая часть задержки проверки это ожидание, поэтому измеряйте время до первой проверки и время цикла проверки как распределения в рабочих часах.
  • Небольшие запросы на слияние проверяются быстрее и внимательнее; учите нарезке, а не вводите предел размера.
  • Сочетайте каждую меру скорости с партнёром по качеству, например с долей исправлений после слияния, и читайте их вместе.
  • Относитесь к нагрузке проверки как к мощности команды и сообщайте концентрацию на уровне команды, никогда как рейтинг людей.
  • Метрики проверки это вопросы для ретроспективы, и они служат команде, которой принадлежит работа.

Источники и дополнительное чтение

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  3. Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
  4. Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
  5. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Pull request.
  9. Wikipedia, Version control.
  10. Wikipedia, Code review.
  11. Wikipedia, Goodhart's law.
  12. Wikipedia, Continuous integration.
  13. Wikipedia, Trunk-based development.
  14. Wikipedia, Pair programming.
  15. Wikipedia, Static program analysis.