Метрики разборов и обучения
Разбор, который написан, подшит и забыт, никого ничему не научил, поэтому измеряйте, проводятся ли разборы, хороши ли они, завершаются ли их действия и перестают ли возвращаться те же причины, и держите всю практику без поиска виноватых, чтобы люди продолжали говорить правду.
Обзор и мотивация
Любая услуга иногда даёт сбой. Команду, которая становится лучше шаг за шагом, от команды, повторяющей свою худшую неделю, отличает то, что происходит в дни после сбоя. Разбор (postmortem) это письменный отчёт об инциденте или о ситуации на грани инцидента: что произошло, как это обнаружили и как с этим справились, какие условия сделали это возможным и что команда изменит. ITIL называет эту работу разбором после инцидента, и в этой теме оба названия используются как равнозначные. Близкий родственник разбора это регулярная рефлексия команды, которая рассматривает обычную работу, а не сбой.
Эта тема описывает показатели, которые говорят, работает ли такой цикл обучения. Она задаёт четыре вопроса. Проводятся ли разборы, которые должны проводиться? Достаточно ли они хороши, чтобы найти что-то реальное? Завершаются ли действия, которые они порождают? И возвращается ли та же причина несмотря ни на что? Пятый вопрос проходит под остальными: чувствуют ли люди себя достаточно безопасно, чтобы описывать то, что действительно произошло?
Тема стоит между двумя соседними и не повторяет их. Метрики крупных инцидентов (см. тему 3.4, Метрики крупных инцидентов) измеряют своевременность разбора и выполнение его действий для объявленных крупных инцидентов, и именно там живут эти два показателя в узком смысле. Метрики управления проблемами (см. тему 4.1, Метрики управления проблемами) владеют записью о проблеме, известной ошибкой и временем до постоянного исправления. Эта тема расширяет взгляд на инциденты любой серьёзности, на ситуации на грани инцидента и на ретроспективы команд, и она владеет качеством самого обучения: охватом, глубиной, закрытием действий из всех источников, повторяемостью причин и признаками отсутствия поиска виноватых, которые сохраняют честность данных.
Термины, используемые в этой теме
- Разбор (postmortem) или разбор после инцидента: структурированное исследование инцидента без поиска виноватых, проводимое после восстановления услуги и заканчивающееся письменной записью.
- Ситуация на грани инцидента (near miss): событие, которое могло привести к инциденту или ущербу, но не привело, например неудачное развёртывание, пойманное в тестовой среде, или оповещение, сработавшее за несколько минут до того, как пользователи заметили проблему.
- Пункт действий: конкретное изменение с названной ответственной командой, сроком и способом понять, что оно выполнено.
- Способствующий фактор: условие, которое сделало инцидент возможным или более тяжёлым. У большинства инцидентов их несколько. Единственная «первопричина» часто оказывается упрощением, а анализ первопричин лучше считать поиском условий, а не виновного.
- Класс причины: устойчивая метка из короткого согласованного списка (например, «предел ёмкости», «дрейф конфигурации», «отсутствие мониторинга», «неясная ответственность»), которая служит для обнаружения повторов. Она описывает состояние системы и никогда не описывает человека.
- Без поиска виноватых (blameless): стиль разбора, который спрашивает, как система позволила разумному человеку поступить так, как он поступил, и не спрашивает, кого наказать. Это практика, связанная с идеей справедливой культуры, в которой честные ошибки считаются обучением, а безрассудные действия по-прежнему рассматриваются отдельно.
- Информационная библиотека инфраструктуры информационных технологий (ITIL): широко используемая структура для управления ИТ-услугами (ITSM). В этой теме практики описаны так, как они изложены в ITIL 4 (2019), а книга в целом датирована октябрём 2026 года. См. ITIL.
Чем различаются гибкий и ITIL-подходы
ITIL вносит структуру. В ITIL 4 управление инцидентами восстанавливает услугу, управление проблемами снижает вероятность и влияние инцидентов, находя причины и управляя ими, а непрерывное улучшение превращает полученные знания в финансируемые изменения. Разбор это шарнир между первыми двумя практиками и третьей. ITIL обычно спрашивает, был ли проведён разбор, открыта ли запись о проблеме там, где она оправдана, и зарегистрировано ли улучшение.
Гибкая традиция и традиция инженерии надёжности сайтов (SRE) вносят привычки. Разборы проводятся без поиска виноватых, они короткие, написаны для читателей за пределами команды и широко распространяются. Регулярная рефлексия команды, привычка к непрерывному улучшению, спрашивает, что менять дальше, а гибкое предпочтение малых и частых корректировок заменяет единую большую программу улучшений. Книга Google Site Reliability Engineering посвящает культуре разборов целую главу и утверждает, что процесс разборов настолько хорош, насколько хороша культура вокруг него.
Вместе два подхода сильны. ITIL даёт правила охвата и место, где живёт действие. Гибкие привычки и привычки SRE дают честность и скорость. Вместе измеренные, они показывают, замыкается ли цикл.
Ключевые принципы
- Продукт это обучение, а не документ. Разбор удался, когда что-то изменилось в системе, в процессе или в общем понимании. Считайте изменение, а не бумаги.
- Отсутствие поиска виноватых это предпосылка хороших данных. Если люди боятся обвинений, хронология будет скудной, способствующие факторы аккуратно причёсанными, а тот же инцидент вернётся. Защитите откровенность раньше, чем что-либо измерять.
- Измеряйте выполнение и повторяемость, а не объём. Число разборов говорит мало. Доля завершённых действий и доля причин, которые не вернулись, говорят очень много.
- Держите метрики на уровне команды и системы. Разбор посвящён условиям. Никогда не считайте разборы, действия или ошибки на человека и никогда не используйте эти числа в разговорах об оценке работы.
- Соизмеряйте разбор с событием. Не каждое событие заслуживает длинного документа. Задавайте триггеры по влиянию и по ценности обучения и позвольте малому событию получить короткий разбор.
- Пусть действия честно конкурируют. Пункт действий это работа. Он принадлежит тому же бэклогу, что и остальная работа, ранжируется вместе с ней и может быть отклонён с записанной причиной.
- Читайте разборы. Числа указывают, где проблема. Человек, читающий выборку, скажет, хороши ли разборы.
Определения метрик
Метрики ниже описывают цикл обучения для услуги или группы команд. Для каждой указано, что считается, где запускаются и останавливаются часы и что исключается. Показатели времени следует показывать как медиану и высокий процентиль (например, 85-й) вместе с возрастом самого старого открытого элемента, а не как среднее (см. тему 1.6, Статистическая грамотность для метрик услуг).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват разборами | Доля подходящих событий, получивших завершённый разбор | Подходящие события с опубликованным разбором в согласованный срок / подходящие события, закрытые за период. Подходящие события это те, что отвечают письменным триггерам. События внутри срока, ещё открытые на конец периода, исключаются. | процент | Записи об инцидентах в инструменте ITSM, сопоставленные с репозиторием разборов | Управление инцидентами; управление проблемами | Регулярная рефлексия команды; рабочие соглашения команды | Ежемесячно |
| Оценка качества разбора | Соответствует ли опубликованный разбор короткому письменному стандарту | Разборы в выборке, отвечающие не менее чем [согласованному числу] пунктов контрольного списка / разборы в выборке. Выборка это фиксированное число разборов, случайно отбираемых каждый квартал и оцениваемых человеком вне владеющей команды. | процент | Квартальная выборка из репозитория разборов с оценочным листом | Непрерывное улучшение; управление проблемами | Критерий готовности разбора | Ежеквартально |
| Доля закрытия действий | Доля действий разбора, завершённых к сроку | Действия, завершённые или формально отклонённые (с причиной) к сроку / действия со сроком в периоде. Часы запускаются при публикации разбора и останавливаются, когда владеющая команда отмечает действие выполненным, а рецензент это подтверждает. Действия, закрытые как «не будем делать», считаются отдельно и сообщаются. | процент | Бэклог команды или реестр улучшений ITSM, связанный с разбором | Непрерывное улучшение; управление проблемами | Бэклог команды; действия по улучшению | Ежемесячно |
| Возраст открытых действий | Возраст действий разбора, которые ещё открыты | Для каждого открытого действия: сегодняшняя дата минус дата публикации его разбора. Сообщайте медиану, 85-й процентиль и самое старое. | дни | Бэклог команды или реестр улучшений | Непрерывное улучшение | Возраст рабочего элемента; возраст незавершённой работы | Ежемесячно |
| Доля повторяемости причин | Доля событий, у которых класс причины совпадает с более ранним событием для той же услуги | События периода, чей основной класс причины совпадает с разбором, закрытым в предыдущие двенадцать месяцев для той же услуги / события периода с записанным классом причины. События без записанного класса причины исключаются и считаются отдельно. | процент | Поле класса причины в репозитории разборов, сопоставленное с записями об инцидентах | Управление проблемами; управление инцидентами | Анализ ускользнувших дефектов; темы ретроспектив | Ежеквартально |
| Частота сообщений о ситуациях на грани инцидента | Объём ситуаций на грани инцидента и слабых сигналов, о которых люди решают сообщить | Ситуации на грани инцидента, внесённые за период / активные услуги, с показом тренда по услугам и никогда по людям. Показатель должен расти на раннем этапе здоровой программы, а затем выходить на плато. | число на услугу | Журнал ситуаций на грани инцидента или помеченное поле в трекере задач | Управление инцидентами; управление рисками | Проверка здоровья команды; доска препятствий | Ежемесячно |
| Охват обучения | Насколько далеко разбор расходится за пределы написавшей его команды | Разборы, представленные или обсуждённые вне владеющей команды (общий форум, межкомандная встреча или задокументированное прочтение зависимой командой) в течение [согласованного числа] дней после публикации / разборы, опубликованные за период | процент | Записи форумов и встреч и репозиторий разборов | Непрерывное улучшение; управление знаниями | Обзор для заинтересованных сторон; сообщества практик | Ежеквартально |
| Перенос действий ретроспективы | Доля действий ретроспективы команды, завершённых к следующей ретроспективе | Действия ретроспективы, завершённые до следующей ретроспективы / действия ретроспективы, согласованные на предыдущей. Действия, сознательно отброшенные с причиной, убираются из обоих счётов. | процент | Заметки или доска ретроспективы, хранящиеся в бэклоге команды | Непрерывное улучшение | Регулярная рефлексия команды | За период обзора, просмотр ежеквартально |
| Пульс «безопасно говорить» | Верят ли люди, что могут описывать ошибки без обвинений | Доля ответов на уровне [согласованного уровня] и выше на коротком анонимном наборе вопросов (например, «Я могу описать ошибку в разборе, не опасаясь обвинений») / полученные ответы. Пульс сообщается только для групп, достаточно больших для защиты анонимности. | процент | Анонимный опрос-пульс | Непрерывное улучшение; организационные изменения | Проверка здоровья команды; проверка психологической безопасности | Ежеквартально |
Разбор считается «опубликованным», когда он виден предполагаемым читателям, а не сохранён как черновик. Класс причины записывает группа разбора по самому разбору, из короткого согласованного списка, и никогда не тот, кто закрыл заявку.
Рекомендации
Решите, что заслуживает разбора
1. Запишите триггеры и опубликуйте их. Правило вроде «каждый крупный инцидент, каждый инцидент двух высших уровней серьёзности, любое событие с потерей данных клиентов и любая ситуация на грани инцидента, которую команда считает поучительной» снимает споры и делает охват измеримым. Без письменных триггеров разборы следуют настроению и загрузке, и показатель охвата ничего не значит.
2. Соизмеряйте разбор с событием. Малое событие может получить разбор в полстраницы, написанный за тридцать минут, а крупный инцидент может заслуживать полной хронологии и фасилитированной встречи. Облегчённый вариант удерживает охват высоким и не делает практику обузой.
Судите о качестве, читая
3. Каждый квартал отбирайте и читайте разборы. Возьмите небольшую случайную выборку и попросите человека вне владеющей команды прочитать каждый разбор по короткому контрольному списку. Полезные пункты: хронология, показывающая решения и информацию, доступную в момент их принятия; более одного способствующего фактора; описание того, что прошло хорошо; действия с владельцами и сроками; язык, который описывает систему, а не человека. Сообщайте долю разборов, отвечающих стандарту, а выводы возвращайте авторам как наставничество.
4. Обучайте навыку проведения разборов. Ретроспективное искажение делает события очевидными задним числом и подталкивает авторов к формуле «кто-то должен был заметить». Просите фасилитаторов воссоздавать, что люди знали в каждый момент, и используйте пять «почему» как подсказку для вопросов, а не как рецепт единственного ответа.
Добейтесь завершения действий
5. Помещайте действия в настоящий бэклог. Действие, живущее только в документе разбора, невидимо для планирования. Создайте рабочий элемент в трекере владеющей команды, свяжите его с разбором и пусть он конкурирует за ёмкость, как любая другая работа. Сообщайте закрытие по командам и по услугам, чтобы заблокированное действие стало видно тем, кто может его разблокировать.
6. Допускайте честное «не будем делать» и записывайте почему. Некоторые действия оказываются слишком дорогими или уже неактуальными. Закрыть их с названной причиной здоровее, чем держать открытыми год или отмечать выполненными без выполнения. Сообщайте долю отклонённых, потому что очень высокая доля говорит о том, что процесс разборов предлагает действия, которые никто не станет финансировать.
7. Отслеживайте возраст открытых действий, а не только долю закрытия. 85-й процентиль возраста открытых действий и самое старое открытое действие показывают, что застряло. Разбирайте самые старые на встрече, где рассматривается надёжность услуги.
Следите за повторами
8. Ведите короткий список классов причин и помечайте каждый разбор. Достаточно списка из восьми–пятнадцати классов. Пересматривайте список, когда больше небольшой доли событий попадает в класс «прочее». Пометки позволяют ответить на вопрос «мы такое уже видели?» данными и снабжают управление проблемами закономерностями, которых не показывает ни один отдельный разбор (см. тему 4.1, Метрики управления проблемами, и тему 4.6, Технический долг и известные ошибки).
9. Считайте повторяемость сигналом о действии, а не о людях. Когда класс причины возвращается, спросите, были ли завершены прежние действия, были ли они правильными и не слишком ли широк класс. Повторение после закрытия всех действий означает, что действия не сработали, и это полезная новость.
Защищайте честность
10. Держите разборы без поиска виноватых и сделайте это видимым. Укажите в шаблоне, что разбор описывает условия и решения и не назначает вину, и пусть руководители благодарят авторов за откровенность. Психологическая безопасность в исследованиях Эми Эдмондсон о рабочих командах это общая убеждённость в том, что команда безопасна для межличностного риска (см. тему 9.2, Метрики удовлетворённости и благополучия).
11. Поощряйте сообщения о ситуациях на грани инцидента и сначала читайте рост числа как хорошую новость. Команда, начавшая сообщать о таких ситуациях, увидит рост числа, потому что события происходили всегда. Скажите об этом заранее, отслеживайте долю ситуаций, приведших к изменению, и публикуйте истории с согласия команды.
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Охват разборами | Сужение триггеров; занижение серьёзности, чтобы события выпали из триггеров; подача однострочного «разбора» для галочки | Оценка качества разбора; сравнение числа инцидентов по серьёзности с влиянием, о котором сообщили клиенты; аудит понижений |
| Оценка качества разбора | Написание под контрольный список шаблонными фразами; оценка владеющей командой; предсказуемая выборка | Внешний оценщик; случайная выборка; чтение вслух двух разборов каждый квартал; отслеживание того, завершаются ли действия из высокооценённых разборов |
| Доля закрытия действий | Установка далёких сроков; дробление действий на тривиальные части; закрытие действий без проверки; объявление «не будем делать», чтобы очистить список | Возраст открытых действий; доля отклонённых с причинами; подтверждение рецензентом, что изменение работает; доля повторяемости причин |
| Возраст открытых действий | Закрытие и повторное открытие или пересоздание действия для сброса возраста; перенос действий в отдельный список «идей» | Связывание новых действий с исходным разбором и сохранение первой даты; число действий, перенесённых в идеи |
| Доля повторяемости причин | Запись расплывчатых или вечно меняющихся классов причин, чтобы ничто не совпадало; использование широкого класса «прочее»; отнесение повтора к другому классу | Доля событий в классе «прочее»; периодическое перечитывание разборов по классам; пересмотр самого списка классов |
| Частота сообщений о ситуациях на грани инцидента | Просьбы о сообщениях ради достижения числа; запись тривиальных событий; или, наоборот, чтение числа как провала и подавление сообщений | Доля ситуаций, приведших к изменению; отсутствие целевых показателей по числу; обратная связь из пульса «безопасно говорить» |
| Охват обучения | Добавление имён в список рассылки; выступления на плохо посещаемых встречах; учёт ссылки как прочтения | Посещаемость или реальные заметки обсуждений; вопрос зависимым командам, что они изменили после последнего разбора |
| Перенос действий ретроспективы | Согласование только тривиальных действий, которые легко завершить; пропуск ретроспективы; отметка пунктов выполненными | Влияние действий по оценке команды; доля проведённых ретроспектив; появление той же темы несколько недель подряд |
| Пульс «безопасно говорить» | Давление на респондентов; опрос только уверенных; сообщение среднего, скрывающего группу с низкими оценками | Доля ответивших и состав респондентов; минимальный размер группы; полное прочтение открытых комментариев; изменение языка разборов |
Здоровая картина показывает разборы для событий, которые важны, стандарт качества, которому отвечает большинство, действия, которые завершаются или честно отклоняются, горстку старых действий, которые руководители могут назвать, классы причин, чья частота падает после того, как их устранили, и число ситуаций на грани инцидента, которое выросло, а затем устоялось. Пульс остаётся стабильным или улучшается, когда случается тяжёлый инцидент. Слишком чистая картина сама по себе повод прочитать выборку.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Разбирать каждый инцидент | Полный охват; нет споров о триггерах | Тяжело; разборы становятся поверхностными; команды начинают возмущаться процессом |
| Разбирать по письменным триггерам | Сосредоточивает усилия на влиянии и ценности обучения | Триггеры требуют сопровождения; пограничные события ускользают |
| Пометка классом причины | Находит закономерности между разборами | Классы это упрощение; реальные причины часто представляют собой несколько вещей сразу |
| Анонимный пульс по безопасности | Честный сигнал по чувствительному вопросу | Грубый; малые команды могут быть узнаваемы; усталость от опросов |
Практический ответ: держите цикл коротким, а числа немногочисленными. Письменные триггеры, небольшая выборка для оценки качества, один трекер действий и список классов причин, а пульс безопасности добавляйте, когда команда доверяет остальному. Ни один показатель здесь не доказывает, что обучение произошло. Вместе они показывают, присутствуют ли условия для него.
Вопросы для обсуждения с командой
1. Какие из наших пяти последних инцидентов получили разбор, и изменил ли кто-нибудь что-то благодаря ему? Начните со списка инцидентов, а не с папки разборов, чтобы отсутствующие разборы стали видны. По каждому разбору спросите, что сегодня иначе в системе или в процессе. Если ответ «ничего», спросите, зачем проводился разбор и кто его читал. Фасилитатор должен записывать ответы, не оценивая их, потому что они показывают, порождает ли практика изменения или бумаги.
2. Что затрудняло бы здесь человеку говорить правду в разборе? Попросите конкретные примеры: реакция руководителя, оценка работы, эскалация клиента, тон в письме. Предложите сначала написать ответы анонимно. Ищите условия, которые можно изменить, например кто присутствует, кто читает и что руководители говорят вслух. Этот разговор защищает все остальные числа темы.
3. Какие пункты действий открыты дольше всего и что им мешает? Покажите пять самых старых. По каждому спросите, остаётся ли действие правильным, есть ли у владельца ёмкость и следует ли его выполнить, перенести или отклонить. Сосредоточьтесь на системе работы, а не на владельце. Договоритесь о решении по каждому до конца встречи.
4. Когда вернулась проблема того же рода и что это говорит о прежнем исправлении? Используйте пометки классов причин, чтобы найти повтор, и прочитайте прежний разбор и его действия. Спросите, были ли действия завершены, касались ли они способствующих факторов и не слишком ли широко очерчен класс. Цель это лучшее действие, а не объяснение.
5. Сообщаем ли мы о ситуациях на грани инцидента и что происходит, когда кто-то это делает? Попросите недавний пример и проследите, что за ним последовало. Если ничего не последовало, спросите, зачем людям сообщать снова. Если число низкое, спросите, чего люди боятся. Фасилитатор должен объяснить, что рост числа на первых порах ожидаем, и договориться, как команда отреагирует на следующее сообщение, чтобы сообщать стоило.
6. Как бы мы поняли, что разбор был хорошим, если бы не могли смотреть ни на какие числа? Это просит команду описать качество своими словами. Частые ответы: «кто-то вне команды узнал что-то новое», «исправление держится» и «автор не боялся». Превратите ответы в контрольный список для квартальной выборки и пересмотрите его через два квартала.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки пишут много разборов и несут большинство действий, поэтому первыми чувствуют цену неуклюжего процесса. Им полезны короткие шаблоны, ясное правило триггеров и видимая связь между действием и элементом бэклога команды. Регулярная рефлексия команды заслуживает той же дисциплины выполнения, что и разбор инцидента, а команда, завершающая действия ретроспективы, практикует ту же привычку в меньшем масштабе. Остерегайтесь вытеснения действий давлением функций и открыто выносите этот компромисс на обсуждение владельцу продукта (см. тему 2.5, Метрики прогнозирования и планирования поставки).
Команды услуг и эксплуатации
Команды эксплуатации хранят свидетельства (хронологии, оповещения, журналы чатов) и лучше всех способны последовательно помечать классы причин и замечать повтор до того, как он станет сбоем. Им нужно защищённое время для письма, потому что разборы, написанные в конце долгой смены, скудны. Связывайте каждый разбор с записью о проблеме, которую он питает (см. тему 3.3, Время реагирования на инциденты и их устранения).
Руководство и управление
Руководители задают тон каждого разбора тем, что они спрашивают потом. «Кто это сделал?» заканчивает честные разборы, а «чему мы научились и что меняем?» приглашает к ним. Органы управления должны ожидать на обзоре надёжности охвата, качества, возраста действий и повторяемости, финансировать действия, требующие вложений, и никогда не сравнивать команды по числу инцидентов или разборов.
Клиенты и пользователи
Клиенты редко видят разбор, но чувствуют его результат: тот же сбой, который перестаёт возвращаться, и честный рассказ, когда он всё же возвращается. Там, где договоры позволяют, публикуйте краткое изложение простым языком после значительного инцидента (см. тему 3.4, Метрики крупных инцидентов). Повторное обращение по тому же вопросу это сигнал со стороны клиента, что обучение не дошло (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
Интернет-ритейлер среднего размера держит витрину для клиентов, платёжную услугу и внутреннюю платформу учёта запасов. Эти услуги создают и эксплуатируют пять продуктовых команд, а небольшая группа управления услугами ведёт процесс инцидентов и проблем. Числа в этом примере иллюстративны.
За один квартал у ритейлера 41 инцидент двух высших уровней серьёзности. Письменные триггеры относят все они к подлежащим разбору, и 36 разборов опубликованы в течение десяти рабочих дней, так что охват разборами около 88 процентов. Руководство довольно. Группа управления услугами берёт случайную выборку из восьми разборов, просит команду из другой продуктовой области оценить их и обнаруживает, что согласованному стандарту отвечают только три. Общий пробел в том, что хронология перечисляет, что произошло, но не то, что люди знали в момент каждого решения, а раздел способствующих факторов называет единственную причину.
Та же выборка показывает, что из 74 действий со сроком в квартале 51 завершено к сроку, то есть доля закрытия около 69 процентов. Самое старое открытое действие, возрастом 210 дней, это порог оповещения о ёмкости базы данных платежей, отложенный шесть недель подряд. Пометка причин показывает «предел ёмкости» в 9 из 36 разборов, 4 из них по платёжной услуге. Анонимный пульс, на который ответили 58 из 70 приглашённых, ниже в группе дежурных, где в нескольких комментариях сказано, что старшие руководители задают острые вопросы о конкретных людях.
Команда принимает три решения. Во-первых, она проводит короткую встречу со старшими руководителями, присутствующими на разборах, и договаривается о правиле: вопросы в комнате касаются условий и решений, а любое продолжение о человеке идёт через руководителя команды. Во-вторых, она ставит самое старое действие по ёмкости на первое место в следующем раунде планирования команды платежей, ранжирует его владельцем продукта вместе с работой над функциями и сообщает результат на обзоре надёжности. В-третьих, она добавляет в шаблон разбора два пункта контрольного списка (что люди знали при каждом решении и не менее двух способствующих факторов) и проводит наставническую встречу для авторов на примере одного обезличенного разбора.
Риск подгонки проявляется в следующем квартале. Охват разборами растёт до 97 процентов, но доля разборов короче 300 слов удваивается, а несколько команд понизили инциденты со второго уровня серьёзности до третьего, как раз ниже триггера. Квартальная выборка и аудит изменений серьёзности это обнаруживают. Группа спрашивает, почему произошли понижения, узнаёт, что команды восприняли разбор как наказание, и смягчает требование к длине для малых событий, сохраняя триггер второго уровня серьёзности.
Отраслевой взгляд
Стартап. Малая команда учится быстро, потому что все присутствовали при инциденте. Риск в том, что ничего не записывается и урок уходит вместе со следующим уволившимся. Держите одностраничный шаблон, проводите разбор всего, что будит человека ночью, и отслеживайте только закрытие действий и повторяющиеся причины. Защищайте откровенность: пусть основатели читают разборы без комментариев о людях.
Малый бизнес. Человек, исправивший проблему, часто единственный, кто её понимает. Используйте краткий шаблон и ежемесячно просматривайте самое старое открытое действие.
Предприятие. Стандартизируйте шаблон, триггер и список классов причин и позвольте командам настраивать глубину. Обеспечьте место для поиска разборов, межкомандный форум и внешнего оценщика. Остерегайтесь турнирных таблиц команд по числу инцидентов или разборов, поскольку они наказывают прозрачность.
Государственный сектор. Разборы могут подпадать под законные обязанности, аудит или запросы о свободе информации, из-за чего авторы осторожничают. Отделяйте разбор для обучения от любого формального отчёта для надзора и записывайте заблокированные действия вместе с их зависимостью (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость этой практики в основном это время. Авторы тратят часы на каждый разбор, а многие люди тратят час на встречу. Квартальная выборка для оценки качества занимает несколько часов внешнего читателя. Пометка причин и отслеживание действий требуют немного инструментов, которыми могут быть электронная таблица и поле в существующих инструментах заявок и бэклога. Есть более крупная и менее заметная стоимость в поведении руководителей, потому что программа проваливается, если руководители плохо реагируют на откровенные разборы.
Отдача приходит от причин, которые перестают повторяться, и от инцидентов, которые короче, потому что команда уже видела нечто похожее. Меньше повторных инцидентов высвобождает ёмкость инженеров и эксплуатации, снижает число эскалаций и стоимость нарушений для клиентов. Общая библиотека разборов сокращает кривую обучения новых сотрудников и уменьшает зависимость от нескольких опытных людей. Не приводите процент из другой организации. Измерьте собственную исходную точку по повторяемости причин, возрасту открытых действий и повторным обращениям до начала и сравните через два-три квартала.
Честное ограничение в том, что обучение трудно приписать: снижение повторяемости может прийти от лучшего разбора, от несвязанного архитектурного изменения или от везения. Более широкое рассмотрение см. в теме 7.7, Возврат инвестиций и бизнес-обоснование.
Антипаттерны и ловушки
- Театр разборов. Разборы удовлетворяют правило, и никто их не читает. Вместо этого отбирайте и читайте разборы и судите о них по вызванным ими изменениям.
- Поиск первопричины в виде человека. Разбор называет ошибку отдельного человека и останавливается. Вместо этого спросите, что сделало ошибку вероятной, и перечислите несколько способствующих факторов.
- Инфляция действий. Разборы порождают длинные списки, которые команда не может профинансировать. Вместо этого ограничьте каждый разбор несколькими ранжированными действиями, а остальные отклоните с причиной.
- Действия вне бэклога. Они живут в документе и никогда не планируются. Вместо этого создавайте рабочие элементы в трекере владеющей команды и связывайте их с разбором.
- Закрытие без проверки. Действие отмечено выполненным, а причина возвращается. Вместо этого пусть рецензент подтвердит, что изменение работает, и следите за классом причины на предмет повторения.
- Сравнение команд по счётчикам. Команда с большим числом разборов или ситуаций на грани инцидента выглядит хуже. Вместо этого читайте высокое число как открытость и сравнивайте каждую команду с её собственной историей.
- Наказание вестника. Руководитель допрашивает человека после откровенного разбора. Вместо этого договоритесь о норме реакции руководителей и проверяйте пульс после тяжёлых инцидентов.
- Принятие метрик за доказательство обучения. Чистая панель принимается за свидетельство того, что организация учится. Вместо этого продолжайте читать выборку разборов и расспрашивать тех, кто их написал.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Триггеры и охват | Разборы зависят от того, кто доступен и насколько плохо было | Некоторые команды проводят разборы серьёзных инцидентов | Письменные триггеры и общий шаблон; охват считается по серьёзности | Охват отслеживается по трендам и проверяется на понижения; облегчённый и полный варианты | Триггеры согласуются с клиентами и поставщиками; совместные разборы для общих инцидентов |
| Качество и честность | Разборы называют человека или единственную причину | Некоторые команды пишут разборы без поиска виноватых | Стандарт контрольного списка; ожидается язык без обвинений | Внешняя квартальная выборка; пульс анализируется; наставничество для авторов | Разборы пишутся совместно с поставщиками и пользователями; чтение между командами обычно |
| Действия и повторяемость | Действия живут в документах и редко завершаются | Действия отслеживают некоторые команды; закрытие неровное | Действия в настоящем бэклоге с владельцами, сроками и честным отклонением | Закрытие, возраст и повторяемость причин рассматриваются с финансируемым улучшением | Действия между командами и поставщиками скоординированы; классы причин пересматриваются по мере смены закономерностей |
| Обмен и обучение | Уроки остаются в команде | Разборы публикуются для команды | Разборы доступны для поиска и обсуждаются на регулярном форуме | Охват измеряется; зависимые команды сообщают о внесённых изменениях | Обучение попадает в проектирование, адаптацию и договоры с поставщиками |
Контрольный список
- Письменные триггеры определяют, какие события получают разбор, включая ситуации на грани инцидента с высокой ценностью обучения.
- Существует короткий шаблон с облегчённым вариантом для малых событий.
- Разборы проводятся без поиска виноватых по шаблону и по поведению руководителей.
- Каждое действие это рабочий элемент в бэклоге владеющей команды с владельцем и датой.
- Действия можно отклонять, а причина записывается и сообщается.
- Существует короткий список классов причин, и каждый разбор помечен.
- Внешний читатель каждый квартал оценивает случайную выборку разборов.
- Самые старые открытые действия рассматриваются вместе с надёжностью услуги.
- Возраст открытых действий сообщается как медиана, высокий процентиль и самое старое.
- Существует путь для сообщений о ситуациях на грани инцидента, и команда знает, что происходит после сообщения.
- Ни одна метрика этой темы не сообщается и не используется на человека.
- Пульс «безопасно говорить» проводится только для групп, достаточно больших для защиты анонимности.
Промпты для ИИ
Проверьте черновик разбора на качество.
Вот черновик разбора для [описание инцидента] на [услуга]. Проверьте его по
этому стандарту: [вставьте ваш контрольный список разбора]. По каждому пункту
скажите, отвечает ли ему черновик, процитируйте строки, подтверждающие вашу
оценку, и укажите формулировки, которые приписывают вину человеку, вместо того
чтобы описывать условия. Не добавляйте фактов, которых нет в тексте. Перечислите
свои допущения и всё, что вы не смогли оценить по предоставленному.
[вставьте черновик, удалив персональные данные]
Предложите классы причин по прошлым разборам.
Ниже краткие изложения [число] прошлых разборов для [услуга или группа услуг].
Предложите короткий список классов причин, от [минимум] до [максимум], которые
описывают состояния системы и никогда не описывают людей. Для каждого класса
дайте однострочное определение, подходящие разборы и разборы, которые
неоднозначны. Не выдумывайте причины, не подкреплённые текстом. Перечислите
свои допущения и разборы, которые вы не смогли классифицировать.
[вставьте краткие изложения]
Проанализируйте открытые пункты действий на признаки застревания.
Вот выгрузка действий разборов для [команда или услуга]: владеющая команда,
дата создания, срок, статус и однострочное описание. Сообщите медиану, 85-й
процентиль и максимум возраста открытых действий, затем сгруппируйте самые
старые действия по вероятной причине застревания (например, неясный объём,
зависимость от другой команды, нет ёмкости или низкая ценность). Сообщайте
закономерности по командам и услугам, никогда по людям. Не гадайте о причинах,
которых данные не подтверждают. Перечислите свои допущения и дополнительные
поля, которые помогли бы.
[вставьте выгрузку, удалив персональные данные]
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти подходящую тему, определения и парное ограждение для метрики разбора или обучения, о которой вы собираетесь сообщить.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная метрика обучения по-прежнему несёт свои часы, способ подгонки и ограждение.
Ключевые выводы
- Разбор стоит того, что он изменяет, поэтому измеряйте охват, качество, закрытие действий и повторяемость причин и читайте выборку самих разборов.
- Отсутствие поиска виноватых это предпосылка честных данных, и руководители защищают его тем, как реагируют на откровенный разбор.
- Помещайте действия в настоящий бэклог, ограничивайте их число, допускайте честный отказ и следите за возрастом самых старых.
- Помечайте разборы короткым списком классов причин, чтобы повторяющиеся причины стали видны и питали управление проблемами.
- Рост числа ситуаций на грани инцидента на раннем этапе читайте как признак открытости и никогда не ранжируйте людей или команды по объёму разборов.
- Сочетайте каждое число здесь с ограждением, потому что сам цикл обучения это цель, которую можно подогнать.
Источники и дополнительное чтение
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
- Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
- Reason, J., Human Error, Cambridge University Press, 1990.
- Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Just culture.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Agile software development.
- Wikipedia, Hindsight bias.
- Wikipedia, Five whys.
- Wikipedia, Psychological safety.