Метрики крупных инцидентов
Измеряйте крупные инциденты как редкие и дорогие события, из которых нужно извлекать уроки, а не как турнирную таблицу: считайте их, честно замеряйте время, оценивайте влияние на клиентов, проверяйте, что людей известили, и доказывайте, что действия по итогам выполнены.
Обзор и мотивация
Крупный инцидент это инцидент, достаточно серьёзный, чтобы потребовать реакции сверх обычной рутины. ITIL, самая известная рамка управления ИТ-услугами, описывает управление инцидентами как восстановление нормальной работы услуги как можно быстрее и ожидает, что организации будут обрабатывать самые серьёзные инциденты по отдельному, более согласованному пути. Где проходит эта граница, каждая организация решает сама. Обычный выбор: инцидент, затрагивающий многих пользователей или критическую услугу и требующий совместной работы нескольких команд под руководством одного координатора. Запишите собственное определение, потому что от него зависит каждая метрика этой темы.
Крупных инцидентов немного. Команда может видеть десятки обычных инцидентов в неделю и два-три крупных за квартал. Это меняет подход к измерению. Обычная статистика объёма инцидентов и времени решения (см. тему 3.2, Объём и приоритет инцидентов, и тему 3.3, Время реагирования на инциденты и их устранения) предполагает множество событий и вознаграждает средние значения. При нескольких крупных инцидентах за период среднее определяется одной плохой ночью, линия тренда в основном состоит из шума, а процентиль на пяти точках данных бессмыслен (см. тему 1.6, Статистическая грамотность для метрик услуг). Честный подход: показывать каждый крупный инцидент отдельной строкой с собственной хронологией, а обобщать только на более длинных окнах.
Взгляды гибкой разработки и ITIL нигде в книге не сходятся так тесно, как здесь. ITIL вносит структуру: объявленный крупный инцидент, назначенного координатора, определённое информирование затронутых сторон и разбор после события. Традиции гибкой разработки и инженерии надёжности сайтов (SRE) вносят привычки: руководителя инцидента, который управляет реагированием, разбор без поиска виноватых и сосредоточенность на обучении, питающем непрерывное улучшение. Книга Google Site Reliability Engineering описывает и схему руководства инцидентом, и практику разбора после инцидента (см. список источников). Разбор после инцидента в этом смысле это письменный отчёт об инциденте, его причинах и последующих действиях, и здесь этот термин используется как синоним выражения «разбор после инцидента».
Тема охватывает пять вопросов. Как часто случаются крупные инциденты? Сколько они длятся и какая часть этого времени проходит до того, как кто-то их объявит? Сколько пользователей и какие именно пользователи это почувствовали? Услышали ли люди о нас вовремя и с устойчивым ритмом? И было ли выполнено обещанное продолжение? Смежные темы охватывают то, что находится рядом: доступность (см. тему 5.3, Метрики доступности), качество письменного разбора (см. тему 4.2, Метрики разборов и обучения), глубинные причины (см. тему 4.1, Метрики управления проблемами) и изменение, которое часто их вызывает (см. тему 4.4, Сбои изменений и переделки).
Термины, используемые в этой теме
- Крупный инцидент: инцидент, отвечающий вашим письменным критериям объявления и запускающий процесс крупного инцидента.
- Объявление: момент, когда лицо с полномочиями формально запускает процесс крупного инцидента.
- Время восстановления: время от начала влияния на клиентов до момента, когда услуга восстановлена для пользователей. Восстановление услуги и обнаружение первопричины это не одно и то же.
- Руководитель инцидента: роль, которая координирует реагирование, распределяет задачи и принимает решения. Это роль на время инцидента, а не должность.
- Разбор после инцидента: структурированное разбирательство инцидента без поиска виноватых, проводимое после восстановления услуги.
- Действие по итогам: конкретное изменение с владельцем и сроком, вытекающее из разбора.
Ключевые принципы
- Сначала показывайте события, потом обобщайте. Редкие события заслуживают отдельных хронологий. Сообщайте о каждом крупном инциденте отдельно и используйте сводную статистику только на длинном окне, с количеством рядом.
- Запускайте часы в момент влияния, а не осведомлённости. Длительность, которая начинается, когда кто-то заметил проблему, скрывает разрыв в обнаружении, часто самую большую часть истории.
- Измеряйте опыт пользователя, а не усилия команды. Влияние на клиентов это причина существования процесса. Часы работы специалистов по реагированию это издержки, которые нужно отслеживать, но никогда не оценка.
- Информирование входит в восстановление. Услуга, которая восстановлена, пока пользователи продолжают гадать, исправлена лишь наполовину. Рассматривайте своевременность обновлений как показатель реагирования.
- Разбор не завершён, пока не выполнены действия. Готовый документ с открытыми действиями ничего не изменил. Измеряйте выполнение действий, а не только наличие разбора.
- Никогда не ранжируйте людей и никогда не наказывайте за объявление. Если объявление крупного инцидента вредит команде объявившего в отчёте, объявлять будут реже, и метрики улучшатся, пока услуга ухудшается.
- Держите критерии объявления стабильными. Сдвиг порога меняет каждую метрику этой темы. Фиксируйте каждое изменение с причиной и датой.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Число крупных инцидентов | Крупные инциденты, объявленные за период, по услугам | Число инцидентов, отвечавших критериям объявления и объявленных в периоде, по времени объявления; инциденты, понижённые в течение первого часа, перечисляются отдельно и исключаются | число за квартал | Записи об инцидентах в ITSM-средстве с отметкой крупного инцидента | Управление инцидентами | Обзор здоровья команды или услуги | Ежемесячный отчёт, квартальный тренд |
| Длительность крупного инцидента | Время, в течение которого клиенты были затронуты | Время восстановления услуги минус время начала влияния, по каждому инциденту. Началом влияния считается самое раннее свидетельство в мониторинге или первое сообщение пользователя, в зависимости от того, что раньше. Частичное восстановление фиксируется как отдельное событие, а полное восстановление останавливает часы | минуты, по каждому инциденту | Хронология мониторинга, хронология инцидента в ITSM-средстве | Управление инцидентами; управление уровнем услуг | Время восстановления в метриках поставки (см. тему 2.8, Метрики DORA) | По каждому инциденту; медиана и максимум на длинном окне, ежеквартально |
| Время до объявления | Задержка между началом влияния и объявлением крупного инцидента | Время объявления минус время начала влияния, по каждому инциденту. Инциденты, которые так и не были объявлены, находятся при ежеквартальном просмотре обычных инцидентов с высоким влиянием и включаются со временем объявления «н/д (не объявлен)» | минуты, по каждому инциденту | Хронология мониторинга, журнал аудита ITSM-средства | Управление инцидентами; мониторинг и управление событиями | Определение готовности к эскалации в рабочих соглашениях команды | По каждому инциденту |
| Влияние на клиентов | Сколько пользователей и какой объём использования были затронуты | Затронутые пользователи (или неудачные запросы), умноженные на минуты влияния, по каждому инциденту. Считаются только пользователи, пытавшиеся воспользоваться услугой в окне влияния. Плановое обслуживание исключается | пользователе-минуты или неудачные запросы | Телеметрия услуги, записи об обращениях в поддержку | Управление уровнем услуг; управление инцидентами | Пользовательские индикаторы уровня услуги (см. тему 5.2, SLI, SLO и бюджеты ошибок) | По каждому инциденту |
| Своевременность информирования | Были ли затронутые стороны извещены вовремя | Доля крупных инцидентов, при которых первое уведомление клиентов вышло в пределах целевого срока после объявления, и доля плановых обновлений, отправленных в согласованный интервал. Часы запускаются при объявлении. Сообщения только для внутреннего пользования исключаются | процент инцидентов; процент обновлений | История страницы статуса, журнал информирования в ITSM-средстве | Управление инцидентами; управление уровнем услуг | Взаимодействие с заинтересованными сторонами в рабочем соглашении команды | По каждому инциденту; квартальная сводка |
| Своевременность проведения разбора | Состоялся ли разбор достаточно рано, чтобы принести пользу | Доля крупных инцидентов с опубликованным разбором в пределах согласованного числа рабочих дней после восстановления. Часы останавливаются при публикации, а не при первом черновике. Инциденты, всё ещё находящиеся внутри окна, исключаются | процент | Репозиторий разборов, ITSM-средство | Непрерывное улучшение; управление проблемами | Выполнение улучшений по итогам | Ежеквартально |
| Выполнение действий по итогам | Выполняются ли действия по итогам разбора | Действия по итогам разбора, выполненные к сроку / действия по итогам разбора, срок которых наступил в периоде. Действия, закрытые как «не будем делать», считаются отдельно с указанием причины, а не скрываются | процент; число просроченных | Система отслеживания задач, связанная с разбором | Непрерывное улучшение; управление проблемами | Элементы бэклога из ретроспектив | Ежемесячно |
| Доля повторяющихся крупных инцидентов | Повторение той же причины | Крупные инциденты периода, чья записанная причина совпадает с причиной более раннего крупного инцидента за предыдущие двенадцать месяцев / крупные инциденты периода. Совпадение определяется по полю причины и проверяется вручную | процент, с показом числа | Записи о разборах, записи о проблемах | Управление проблемами | Профилактическая работа в бэклоге | Ежеквартально |
Каждой строке нужно письменное правило часов, прежде чем ей можно будет доверять. Споры о начале влияния и времени восстановления обычны, и лучше всего урегулировать их заранее (см. тему 1.5, Источники данных и инструментирование).
Рекомендации
Запишите, что делает инцидент крупным
Опубликуйте критерии объявления, которые может применить любой дежурный. Критерии обычно сочетают влияние (затронутые пользователи, ухудшение критической услуги, риск для безопасности или правовой риск) с необходимостью координации (нужна более чем одна команда). Короткий список с примерами лучше длинной матрицы. Укажите, кто может объявлять, и ясно скажите, что объявление в добросовестной уверенности никогда не ошибка, даже если инцидент окажется небольшим.
Записывайте версию критериев в каждую запись об инциденте. Когда порог сдвигается, вместе с ним сдвигаются тренды. Номер версии или дата в каждой записи позволяют сравнивать сопоставимое и объяснять скачок числа, вызванный изменением правила.
Считайте и классифицируйте, не превращая число в цель
Сообщайте число вместе с контекстом. Показывайте число крупных инцидентов за квартал рядом с услугой, триггером (изменение, ёмкость, зависимость, безопасность, другое) и версией критериев. Число без контекста провоцирует цели вроде «менее трёх за квартал», которые учат людей не объявлять. Считайте снижение числа хорошей новостью только тогда, когда время до объявления и влияние на клиентов остаются стабильными.
Разделяйте объявленные, понижённые и пропущенные. Отслеживайте инциденты, которые были объявлены и понижены, потому что они показывают, разумны ли критерии. Каждый квартал просматривайте выборку обычных инцидентов в поисках тех, которые следовало объявить. Пропущенные самые поучительные.
Замеряйте время инцидента со стороны пользователя
Запускайте часы, когда клиенты затронуты. Используйте самое раннее надёжное свидетельство, которым часто служит сигнал мониторинга, предшествующий первой заявке. Если начало неопределённо, записывайте оценку и её источник, а не время, когда кто-то заметил проблему. Разрыв между началом влияния и объявлением это отдельная метрика, и обычно её дешевле всего улучшить.
Разбейте хронологию на фазы. Обнаружение, объявление, диагностика, смягчение и полное восстановление имеют разные причины задержек и разных владельцев. Разбивка на фазы для каждого инцидента показывает, куда ушло время, без необходимости в среднем. Восстановление услуги обходным решением и устранение причины это отдельные события, и второе относится к управлению проблемами.
Используйте медиану и худший случай на длинных окнах, с числом. Для года данных сообщайте медиану и самую долгую длительность и указывайте, на скольких инцидентах они основаны. Избегайте единого среднего времени восстановления для крупных инцидентов. При малом числе событий оно нестабильно и искажается одним долгим сбоем (см. тему 1.6, Статистическая грамотность для метрик услуг).
Оценивайте влияние на клиентов в терминах, понятных пользователям
Отдавайте предпочтение влиянию на пользователей, а не на серверы. Неудачные запросы, затронутые пользователи или затронутые транзакции описывают, что случилось с людьми. Минуты ухудшенной работы компонента описывают, что случилось с машиной. Где есть индикаторы уровня услуги, используйте их (см. тему 5.2, SLI, SLO и бюджеты ошибок) и свяжите инцидент с картиной доступности (см. тему 5.3, Метрики доступности).
Добавляйте к каждой записи описание влияния простым языком. Одно-два предложения о том, кто был затронут и что не мог сделать. Обращения в поддержку, упоминания в социальных сетях и эскалации клиентов это свидетельства для описания, а не метрики для максимизации.
Измеряйте информирование как часть реагирования
Задавайте целевые показатели информирования по аудиториям. Затронутым клиентам, внутренним заинтересованным сторонам и руководителям нужны разные сообщения в разное время. Согласуйте целевой показатель для первого уведомления после объявления и устойчивый ритм обновлений и измеряйте соблюдение по каждому инциденту. Ритм важнее содержания: обновление «без изменений, следующее через тридцать минут», пришедшее вовремя, укрепляет доверие сильнее, чем молчание.
Разделяйте реагирование и информирование между разными людьми. Ведущий по информированию освобождает руководителя инцидента для диагностики. Небольшая команда может обойтись контрольным списком и заранее написанным шаблоном.
Замкните цикл обучения
Проводите разбор быстро и публикуйте его. Память слабеет, поэтому задайте окно для разбора и измеряйте, соблюдено ли оно. Завершение разбора важно меньше, чем то, что разбор меняет, поэтому сочетайте его с выполнением действий. Книга Google Site Reliability Engineering приводит доводы в пользу разбора без поиска виноватых и в пользу его письменной фиксации (см. список источников), а тема 4.2 (см. тему 4.2, Метрики разборов и обучения) охватывает качество разбора.
Отслеживайте действия до конца и допускайте честное «не будем делать». Помещайте каждое действие в бэклог, которым уже пользуется команда-владелец, с исполнителем и сроком. Фиксируйте отклонённые действия с причиной, а не позволяйте им гнить. Просматривайте просроченные действия на операционном обзоре или обзоре услуг и спрашивайте, что им мешает. Ограничьте число действий на разбор, чтобы остались те, которые действительно важны.
Ищите закономерности между инцидентами и передавайте их в управление проблемами. Повторяющиеся причины, общие триггеры и повторяющиеся пробелы в обнаружении это сигналы, которые отдельные разборы упускают. Передавайте их в процесс проблем и известных ошибок (см. тему 4.1, Метрики управления проблемами) и в планирование команд, владеющих услугами. Воспринимайте рост доли повторов как повод для расследования, а не как приговор.
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Число крупных инцидентов | Повышение порога объявления, удержание инцидентов на приоритете «высокий», чтобы они не объявлялись, разбиение одного события на несколько записей или слияние нескольких в одну | Фиксированные версионируемые критерии; ежеквартальная выборка обычных инцидентов с высоким влиянием; влияние на клиентов и время до объявления отслеживаются рядом с числом |
| Длительность крупного инцидента | Перенос начала влияния на более позднее время, объявление «восстановлено», пока пользователи всё ещё получают ошибки, закрытие и повторное открытие новой записи | Начало влияния берётся из мониторинга; восстановление подтверждается пользовательским индикатором; повторно открытые и связанные записи считаются одним инцидентом |
| Время до объявления | Объявление всего подряд заранее, чтобы выглядеть быстрым, или объявление задним числом, совпадающее с началом влияния | Доля объявленных инцидентов, позднее понижённых; журнал аудита времени объявления; выборка хронологий, сверенная с сырым мониторингом |
| Влияние на клиентов | Сужение определения «затронутого», подсчёт только тех пользователей, кто завёл заявку, или измерение зависимости, которая оставалась доступной | Влияние выводится из телеметрии и из обращений; описание влияния простым языком проверяется на разборе |
| Своевременность информирования | Публикация расплывчатого уведомления, чтобы запустить часы, отправка обновлений без содержания или учёт внутренних сообщений | Проверка содержания выборки обновлений; отзывы клиентов о ясности; учитываются только уведомления для клиентов |
| Своевременность проведения разбора | Публикация тонкого документа к сроку или объявление, что разбор «не нужен» | Качество разбора читает коллега на выборке (см. тему 4.2, Метрики разборов и обучения); показывается доля отменённых разборов |
| Выполнение действий по итогам | Запись расплывчатых или тривиальных действий, которые легко закрыть, закрытие действий без работы или переклассификация в «не будем делать» | Выборочная проверка качества действий; закрытые действия сверяются с изменением в системе; проверяются доля «не будем делать» и причины |
| Доля повторяющихся крупных инцидентов | Запись каждой причины как новой за счёт другой формулировки или отнесение всего к «человеческой ошибке» | Короткая таксономия причин с определениями; поля причин проверяет человек вне инцидента; «человеческая ошибка» как причина не принимается без объяснения на уровне системы |
Здоровая картина выглядит так: умеренное и достаточно стабильное число объявленных инцидентов, иногда понижение и иногда пропуск, найденный при разборе. Время до объявления короткое и сокращается, влияние на клиентов в каждом инциденте понятно и снижается там, где проводилась профилактика, а почти все обновления для клиентов выходят по графику. Разборы публикуются вовремя, их действия в основном выполнены, а отклонённые действия образуют небольшой честный набор. Если всё выглядит идеально, спросите, не сместились ли критерии и не перестали ли люди объявлять (см. тему 1.2, Закон Гудхарта и психология метрик). Закон, названный по имени Чарльза Гудхарта, проще всего увидеть именно здесь, потому что цена плохого числа это сниженная готовность поднимать тревогу.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Показывать каждый инцидент строкой | Сохраняет контекст, избегает вводящих в заблуждение средних на малых числах | Труднее обобщать для руководителей; нужно короткое повествование на каждый инцидент |
| Сообщать число крупных инцидентов | Просто, знакомо, видно руководству | Легко превратить в цель; реагирует на изменения критериев |
| Время от начала влияния | Отражает опыт пользователя, обнажает разрыв в обнаружении | Начало влияния иногда неопределённо и требует суждения |
| Время от объявления | Легко фиксировать и сравнивать | Скрывает медленное обнаружение и медленное объявление |
| Пользователе-минуты влияния | Сопоставимо между инцидентами и услугами | Нужна телеметрия; все пользователи и минуты считаются равными |
| Доля завершённых разборов | Легко собирать, подталкивает привычку | Вознаграждает документ, а не обучение |
| Доля выполненных действий | Связывает разбор с изменением | Можно подогнать тривиальными действиями; нужны исполнитель и бэклог |
Используйте небольшой набор показателей, охватывающий весь цикл (объявить, восстановить, сообщить, извлечь урок, довести до конца), вместо оптимизации одного. Добавляйте показатели влияния только там, где есть телеметрия. Где телеметрии нет, аккуратное письменное описание влияния служит лучше выдуманного числа.
Вопросы для обсуждения с командой
1. Что именно делает инцидент у нас крупным, и согласны ли с этим все дежурные? Определение это основа для всех остальных чисел. Попросите троих людей классифицировать один и тот же недавний инцидент и сравните ответы. Расхождения показывают, где критерии расплывчаты. Ведущему следует записать примеры для добавления в письменные критерии и согласовать, кто может объявлять. Завершите подтверждением, что объявление в добросовестной уверенности всегда допустимо, даже если инцидент позднее понижен.
2. Сколько времени в нашем последнем крупном инциденте прошло между началом влияния и объявлением? Восстановите хронологию по мониторингу, а не по памяти. Разрыв часто больше ожидаемого и порой оказывается самой длинной фазой. Спросите, какой сигнал существовал и кто его видел, и возник ли разрыв из-за неясных критериев, отсутствующего оповещения или нежелания объявлять. Выберите одно изменение, которое его сократит, и решите, как вы узнаете об этом.
3. Кто был затронут и откуда мы это знаем? Сравните то, что команда считала в тот момент, с тем, что позже показывают телеметрия и обращения в поддержку. Спросите, какие клиенты, если такие были, пострадали сильнее других, были ли это самые важные для бизнеса клиенты или те, кто меньше всего способен справиться. Обсудите, узнал бы клиент своё положение в описании влияния. Согласуйте один показатель влияния, который можно надёжно собрать в следующий раз.
4. Услышали ли люди о нас, когда им было нужно, и было ли сообщение полезным? Сверьте первое уведомление и каждое обновление с согласованным ритмом. Прочитайте сами сообщения глазами клиента. Спросите, говорили ли они, что известно, что неизвестно и когда придёт следующее обновление. Обсудите, кто отвечает за информирование во время инцидента и свободен ли этот человек для такой работы.
5. Что стало с действиями из трёх последних разборов? Соберите действия в один список и отметьте каждое как выполненное, в работе, просроченное или отклонённое. Для просроченных спросите, что им мешает: мощность, владение, приоритет или нечёткий объём. Решите, как просроченные действия будут подниматься на следующей операционной или плановой встрече.
6. Если бы нас оценивали по числу крупных инцидентов, что бы мы стали делать иначе, и стало ли бы клиентам лучше? Этот вопрос выявляет способы подгонки до их появления. Попросите группу откровенно сказать, что они могли бы изменить: пороги, метки, кто объявляет. Затем спросите, какая цель лучше. Хороший ответ смещается к влиянию на клиентов, времени до объявления и выполнению действий, которые труднее подогнать, не помогая пользователям. Запишите ответ как ограждение.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды сталкиваются с крупными инцидентами как с прерываниями плановой работы и как с обратной связью о собственных изменениях. Больше всего им помогают ясные числа влияния, быстрый доступ к хронологиям собственных инцидентов и действия по итогам разбора, попадающие в их бэклог с запасом времени на выполнение. Резервируйте мощность для действий по итогам инцидента и относитесь к этим действиям как к работе с тем же статусом, что и функции. Делитесь категориями причин, чтобы повторяющийся триггер приводил к изменению практики (см. тему 2.9, Операционная и внеплановая работа).
Команды услуг и эксплуатации
Команды эксплуатации ведут реагирование и несут цену ночной работы. Им нужны критерии, которые можно применить в три часа ночи, роли руководителя и ведущего по информированию, которые они способны обеспечить людьми, и средства, фиксирующие хронологию по мере событий, а не по памяти потом. Им стоит следить за нагрузкой, которую крупные инциденты создают для малой группы людей (см. тему 5.7, Рутинная работа и метрики дежурств), и использовать метрики этой темы, чтобы просить о профилактической работе, а не чтобы сравнивать специалистов по реагированию.
Руководство и управление
Руководители задают климат, который определяет, объявляют ли люди быстро и сообщают ли честно. Им стоит просить рассказ о каждом крупном инциденте и тренд за год, избегать целей по числу и спрашивать о влиянии на клиентов, пробелах в обнаружении и завершённых действиях. Финансируйте профилактическую работу, которую рекомендуют разборы, и рассматривайте её на том же форуме, что и планы поставки. Тогда управление увидит, превращаются ли уроки в изменения (см. тему 5.2, SLI, SLO и бюджеты ошибок, о способе связать надёжность и инвестиции).
Клиенты и пользователи
Клиенты судят о крупном инциденте по тому, как долго они были затронуты, сообщили ли им и повторится ли это. Им лучше служат ранние честные уведомления, чем поздние отполированные. Дайте им канал статуса, ритм, на который можно положиться, и ясный отчёт потом о том, что произошло и что изменится. Где действуют контракты, сообщайте в терминах, согласованных в соглашении об уровне услуг (см. тему 5.1, Метрики SLA, OLA и XLA). Об удовлетворённости после инцидента стоит спрашивать (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
Интернет-магазин среднего размера держит витрину, платёжную услугу и услугу управления заказами, каждую во владении продуктовой команды, а общая платформенная команда дежурит. Небольшая группа управления услугами ведёт процесс крупных инцидентов. Все числа в этом примере иллюстративны.
За последние два квартала магазин объявил пять крупных инцидентов (иллюстративно). Группа управления услугами показывает каждый строкой с началом влияния, временем объявления, временем восстановления, оценкой неудачных заказов, временем первого уведомления клиентов и статусом разбора. Группа замечает, что медианный разрыв между началом влияния и объявлением составляет 38 минут (иллюстративно), почти столько же, сколько медианное время от объявления до восстановления, 52 минуты (иллюстративно). При пяти инцидентах она считает оба числа приблизительными и читает хронологии. В трёх из пяти виден сигнал мониторинга, сработавший рано и оставшийся без подтверждения в общем канале.
Команда решает направить этот класс оповещений на пейджер дежурного и добавить в критерии строку о том, что устойчивого сигнала сбоя оформления заказа достаточно для объявления, не дожидаясь заявок. Она также задаёт целевой показатель для первого уведомления клиентов в пределах 20 минут после объявления (иллюстративно) и проверяет его по каждому инциденту. Уложились два из пяти. Команда развёртывания добавляет шаблон страницы статуса, который ведущий по информированию может заполнить под давлением.
В ходе того же разбора обнаруживается риск подгонки. Руководитель одной из продуктовых команд предложил квартальную цель «не более двух крупных инцидентов». Группа управления услугами указывает, что в предыдущем квартале был один инцидент, который четыре часа оставался на высоком приоритете при сбоях оформления заказа у клиентов и так и не был объявлен, потому что команда была близка к лимиту. Цель заменяется тремя показателями: время до объявления, неудачные заказы на инцидент и доля действий по итогам разбора, выполненных в срок. Добавляется ограждение: ежеквартальная выборка инцидентов с высоким приоритетом, которую читает человек вне команды-владельца. В следующем квартале число объявленных растёт до четырёх (иллюстративно), медианное время до объявления сокращается, а выборочная проверка не находит пропущенных объявлений.
Отраслевой взгляд
Стартап. В стартапе может не быть формального процесса крупных инцидентов, есть только тот, кто не спит. Начните с определения в один абзац, назначенного координатора для каждого события и общего документа с хронологией. Считайте инциденты и отмечайте влияние одним предложением. Разбором может быть заметка на полстраницы, а продолжением элемент в бэклоге команды.
Малый бизнес. Малый бизнес часто зависит от поставщиков в значительной части своей услуги, поэтому хронология включает ожидание поставщика. Записывайте контакты с поставщиком и время его ответа в хронологию инцидента, потому что они объясняют большую часть длительности и дают доказательства для разговоров о контракте. Держите информирование клиентов простым: один канал, один человек и заявленный интервал обновлений.
Предприятие. Предприятия эксплуатируют много услуг и имеют много инцидентов в каждом периоде, поэтому полезны и число по услугам, и сводка. Риски: несогласованные критерии между подразделениями и процесс, настолько тяжёлый, что замедляет объявление. Согласуйте определения, держите процесс лёгким в первые пятнадцать минут и используйте общий формат записи, чтобы влияние и информирование можно было сравнивать.
Государственный сектор. У государственных органов часто есть обязанности по закону, например уведомлять регулятора или общественность, и выше цена сбоя для граждан, у которых нет альтернативы. Добавьте показатели соблюдения обязанностей по уведомлению и влияния на уязвимые группы и ведите записи, выдерживающие аудит и запросы общественной информации. Закупочные циклы могут задерживать действия по итогам, поэтому отслеживайте заблокированные действия и эскалируйте их.
Бизнес-обоснование: мотивация, ROI и TCO
Мотив в том, чтобы сократить стоимость самых болезненных инцидентов: потерянную выручку или услугу, подорванное доверие, выгорание сотрудников и регуляторные риски. Небольшой согласованный набор метрик крупных инцидентов показывает, откуда берётся эта стоимость, улучшаются ли обнаружение и информирование и приносят ли результат вложения в профилактику. Показатели, которые показывают лишь число, вытесняют издержки в сокрытие инцидентов.
Затраты на сбор скромны, если данные уже хранятся в ITSM-средстве, системе мониторинга и системе отслеживания задач. Основные затраты: согласование определений, связывание записи об инциденте с мониторингом и бэклогом действий и время на написание каждого разбора. Сами метрики стоят немногим сверх того, чтобы сделать запись последовательной.
Отдача проявляется в сокращении времени до объявления, более ясном информировании, меньшем числе повторяющихся инцидентов и меньших переделках. Универсальной цифры нет, поэтому оцените свою: возьмите крупные инциденты за последний год, вместе с финансистами оцените стоимость часа влияния для каждой услуги и сравните её со стоимостью работ по итогам, нужных для предотвращения повторяющихся причин. Совокупная стоимость владения включает время рецензентов, средства для хронологий и страниц статуса и мощность, отведённую на действия по итогам, где большинство программ недоинвестирует.
Антипаттерны и ловушки
- Цель по числу крупных инцидентов. Она учит людей избегать объявления. Вместо этого отслеживайте время до объявления, влияние и выполнение действий и делайте выборку на пропущенные объявления.
- Единое среднее время восстановления для крупных инцидентов. При малом числе событий один долгий сбой доминирует. Вместо этого показывайте каждый инцидент, затем медиану и самый долгий за год с числом.
- Запуск часов при объявлении. Это скрывает задержку обнаружения и объявления. Вместо этого запускайте часы с самого раннего свидетельства влияния на клиентов и сообщайте разрыв отдельно.
- Ранжирование специалистов по реагированию или команд по метрикам инцидентов. Это разрушает откровенность и ломает разбор. Вместо этого сообщайте по услугам и системам и не включайте имена в данные.
- Считать разбор завершённым, когда документ опубликован. Суть в изменении. Вместо этого измеряйте выполнение действий и каждый месяц просматривайте просроченные.
- Тихие изменения порога. Тренды теряют смысл. Вместо этого версионируйте критерии и отмечайте изменения в отчёте.
- Учёт влияния только по заявкам. Многие затронутые пользователи так и не обращаются. Вместо этого используйте телеметрию и добавляйте описание влияния простым языком.
- Использование метрик для поиска виноватых. Тогда люди скрывают факты. Вместо этого проводите разборы без поиска виноватых, сосредоточьтесь на условиях и решениях и ищите причины в системе.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Определение и часы | Крупный это то, что скажет самый громкий; времена берутся по памяти | В некоторых командах есть критерии, они записывают время начала и конца | Одно письменное версионируемое определение с правилами часов для начала влияния, объявления и восстановления | Определение и часы сверяются с мониторингом; изменения фиксируются с причинами | Критерии и часы согласованы с поставщиками и клиентами и пересматриваются, когда перестают помогать решениям |
| Влияние и информирование | Влияние описывается анекдотами; обновления отправляются, когда кто-то вспомнит | Влияние оценивается для некоторых инцидентов; некоторые команды используют страницу статуса | Влияние измеряется по телеметрии для ключевых услуг; целевые показатели обновлений заданы и отслеживаются | Влияние и информирование отслеживаются во времени и связываются с отзывами клиентов | Влияние передаётся клиентам и поставщикам в общем формате, с совместными действиями по улучшению |
| Разбор и выполнение | Разборы редки и не записываются; действия забываются | Разборы пишут некоторые команды; действия записываются, но не отслеживаются | Каждый крупный инцидент разбирается вовремя; действия отслеживаются в бэклоге команды | Просроченные действия и повторяющиеся причины рассматриваются по графику, профилактическая работа финансируется | Закономерности разделяются между командами и поставщиками; обучение регулярно меняет проектирование и планирование |
| Использование в решениях | Числа приводятся задним числом | Числа показываются руководителям без контекста | Хронологии и тренды показываются командам, владеющим услугами | Метрики сочетаются с ограждениями и используются для приоритизации работ по надёжности | Инвестиции в надёжность решаются совместно на основе данных о влиянии и повторяемости по всем услугам |
Контрольный список
- Критерии объявления записаны, версионируются и известны всем дежурным.
- Объявление в добросовестной уверенности явно безопасно, и цели по числу нет.
- Времена начала влияния, объявления и восстановления определены и берутся из мониторинга или журнала аудита.
- Каждый крупный инцидент показан отдельной строкой с хронологией по фазам.
- Влияние на клиентов выводится из телеметрии, где она есть, и описывается простым языком.
- Целевые показатели первого уведомления и ритма обновлений заданы и проверяются по каждому инциденту.
- Разбор опубликован в согласованное окно, и его действия находятся в бэклоге команды-владельца.
- Просроченные действия и повторяющиеся причины рассматриваются по расписанию.
- Ежеквартальная выборка обычных инцидентов с высоким влиянием проверяет пропущенные объявления.
- У каждой метрики есть названное ограждение, и ни одна метрика не используется для ранжирования людей.
Промпты для ИИ
Подготовьте черновик критериев объявления для рассмотрения.
Я готовлю критерии объявления крупного инцидента в [тип организации].
Наши услуги: [список услуг], наши команды: [список команд]. Пользователи:
[описание пользователей]. Предложи короткий набор критериев объявления
с двумя-тремя примерами для каждого, список неоднозначностей, о которых
команда может спорить, и вопросы, которые мне нужно решить с [заинтересованные
стороны]. Не выдумывай пороги или эталонные значения; там, где нужно число,
используй [заполнители]. Перечисли свои допущения.
Восстановите и разберите хронологию инцидента.
Вот хронология крупного инцидента: [вставьте хронологию с временными метками
и источниками]. Определи начало влияния, объявление, смягчение и полное
восстановление и скажи, какие временные метки неопределённы и почему. Раздели
длительность на фазы и отметь, где были самые большие задержки. Предложи
вопросы для специалистов по реагированию и свидетельства мониторинга, которые
стоит поискать. Не выдумывай факты, которых нет в хронологии. Перечисли свои
допущения.
Просмотрите набор действий по итогам инцидентов.
Ниже действия из [число] разборов после инцидентов для [услуга]:
[вставьте действия с исполнителем, сроком и статусом]. Сгруппируй их по темам,
отметь расплывчатые, тривиальные или без владельца и выяви закономерности,
которые подсказывают запись о проблеме или элемент бэклога для [команда-
владелец]. Не ранжируй людей или команды по эффективности. Не выдумывай
причины. Перечисли свои допущения и информацию, которая нужна для улучшения
анализа.
Проверьте предлагаемую метрику на подгонку.
Мы планируем отслеживать [название метрики], определённую как [определение]
и измеряемую по [источник данных]. Опиши, как эту метрику мог бы подогнать
[роль], какое честное поведение она может отбить и какая парная метрика
или практика ограждения поймает каждый случай. Сделай предложения
практичными для команды из [размер команды]. Не выдумывай эталонные значения
или источники. Перечисли свои допущения.
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти связанные темы и ограждение, которое должно стоять рядом с каждой метрикой крупных инцидентов.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что отредактированная версия этой темы по-прежнему следует шаблону и соглашениям.
Ключевые выводы
- Крупные инциденты редки, поэтому показывайте каждый с его хронологией и обобщайте только на длинных окнах, с числом рядом с показателем.
- Запускайте часы в момент влияния на клиентов и сообщайте разрыв до объявления как отдельный показатель.
- Измеряйте влияние в терминах пользователей и использования и добавляйте описание простым языком для того, что числа упускают.
- Рассматривайте своевременность информирования как часть реагирования, с целевыми показателями по аудиториям и устойчивым ритмом обновлений.
- Разбор завершён, когда завершены его действия, поэтому отслеживайте выполнение и повторяющиеся причины.
- Никогда не ставьте цель по числу, никогда не ранжируйте людей и сохраняйте объявление безопасным.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.