Время реагирования на инциденты и их устранения
Показатели времени для инцидентов описывают, как долго пользователи ждут на каждом этапе, поэтому сообщайте их как распределения с записанными часами, а не как единственное среднее, и сопровождайте каждое число о скорости показателем того, закрепилось ли исправление.
Обзор и мотивация
Инцидент в управлении ИТ-услугами (ITSM) это незапланированное прерывание услуги или снижение её качества. Управление инцидентами это практика, которая восстанавливает нормальную работу услуги так быстро, как это безопасно. В ITIL 4 эта практика называется управлением инцидентами и входит в число практик управления услугами рамки ITIL. Её гибкие аналоги это привычка команды рассматривать внеплановую работу как полноценный поток работы, а также практики дежурств и разборов без поиска виноватых, пришедшие из инженерии надёжности сайтов (SRE), дисциплины эксплуатации услуг методами программной инженерии.
Время это самый естественный способ описать инцидент и самый часто неверно используемый. Один инцидент проходит несколько этапов. Что-то ломается, монитор или пользователь это замечает, человек подтверждает оповещение, кто-то начинает работу, услуга восстанавливается для пользователей, а заявка закрывается, когда причина устранена или отложена. Каждый промежуток между двумя из этих событий это отдельный показатель с отдельным владельцем, отдельной причиной задержки и отдельным средством. Если называть всё это «временем решения», станет не видно, где живёт задержка.
Эта тема охватывает показатели прошедшего времени, которые сопровождают инцидент от начала до конца: время обнаружения, время подтверждения, время первого ответа, время восстановления и время решения. Она также охватывает возраст открытых инцидентов, число передач инцидента между командами и статистические проблемы самой известной сводной величины, среднего времени восстановления или решения (MTTR). Подсчёты, категории и приоритет рассматриваются в другом месте (см. тему 3.2, Объём и приоритет инцидентов). Крупные и необычные инциденты имеют собственные показатели (см. тему 3.4, Метрики крупных инцидентов).
Термины, используемые в этой теме
- Время обнаружения (TTD). Прошедшее время от момента, когда сбой начал влиять на пользователей, до момента, когда организация узнала о нём через мониторинг или сообщение пользователя.
- Время подтверждения (TTA). Прошедшее время от создания оповещения или заявки до момента, когда названный человек или команда принимает ответственность.
- Время первого ответа. Прошедшее время от регистрации инцидента до первого осмысленного действия или сообщения затронутому пользователю. Автоматический ответ не считается.
- Время восстановления. Прошедшее время от начала влияния на пользователей до момента, когда пользователи снова могут пользоваться услугой, даже если основная причина лишь обойдена.
- Время решения. Прошедшее время от регистрации инцидента до его закрытия, когда услуга восстановлена, а пользователь подтвердил это или получил разумную возможность подтвердить.
- Среднее время восстановления или решения (MTTR). Среднее арифметическое одной из этих длительностей по набору инцидентов. Букву R читают как repair, recovery, restore, resolve или respond в зависимости от того, кто говорит, и это первая проблема аббревиатуры. Статья Википедии о среднем времени ремонта перечисляет варианты.
- Соглашение об уровне услуг (SLA). Соглашение об уровне услуг это обязательство между поставщиком и заказчиком об уровне услуги, часто включающее целевое время реагирования и решения по приоритетам.
Почему среднее плохо подходит для сводки
Длительности инцидентов несимметричны. Большинство инцидентов короткие, немногие очень длинные, и длинные доминируют в любом среднем. Длительности такого рода часто хорошо описываются распределением с правым скосом, например логнормальным распределением. В скошенных данных среднее может лежать намного выше того, как выглядит типичный инцидент, а один долгий сбой способен сдвинуть его сильнее, чем месяц улучшений.
Команда SRE компании Google опубликовала анализ этой проблемы. В нём утверждается, что для изученных ею наборов данных об инцидентах разброс длительностей достаточно широк, чтобы MTTR мог скрыть реальные улучшения или показать изменения, являющиеся шумом, и рекомендуется смотреть на распределения (Davidovič, 2021, см. источники). Рассуждение опирается на хорошо известную статистику, поэтому вы можете проверить его на своих данных, не доверяя чьим-либо выводам: постройте график длительностей ваших инцидентов, вычислите среднее и медиану и посмотрите, насколько они различаются (см. тему 1.6, Статистическая грамотность для метрик услуг).
Альтернатива это процентили. Медиана показывает, сколько ждал типичный пользователь. 85-й или 95-й процентиль показывает, сколько ждали невезучие. Клиенты помнят долгое ожидание, а не среднее, поэтому обязательство в виде процентиля, например «девять из десяти инцидентов этого приоритета восстанавливаются в течение заданного времени», гораздо лучше соответствует их опыту, чем среднее.
Чем различаются взгляды ITIL и гибкий взгляд
Взгляд ITIL обычно исходит из приоритета и целевого показателя. Влияние и срочность задают приоритет, приоритет задаёт целевое время реагирования и решения, а соглашение об уровне услуг может связывать с их нарушением последствия. Это упорядоченно и легко проверяется, но подвержено подгонке, которую провоцируют целевые показатели (см. тему 1.2, Закон Гудхарта и психология метрик).
Гибкий взгляд и взгляд SRE исходят из влияния на пользователей и из потока. Он спрашивает, как быстро команда ограничивает ущерб, какая часть прошедшего времени инцидента была активной работой, а какая ожиданием, и чему команда научилась. Он предпочитает показатели влияния (затронутые пользователи, минуты ухудшенной работы услуги) показателям статуса заявки и считает часы заявки удобным, но несовершенным заменителем. Эти два взгляда совместимы. Используйте структуру приоритетов ITIL, чтобы решить, что и для кого измерять, а мышление в терминах потока и влияния, чтобы решить, имеет ли число смысл.
Ключевые принципы
- Называйте этап, а не «решение». Обнаружение, подтверждение, реагирование, восстановление и решение это разные вопросы с разными владельцами. Сообщайте каждый под его собственным названием.
- Записывайте оба вида часов. Каждый показатель времени указывает, какое событие его запускает, какое останавливает и какие состояния ставят его на паузу. Большая часть подгонки живёт на этих границах.
- Сообщайте распределения. Показывайте медиану, высокий процентиль и возраст самого старого открытого инцидента. Избегайте одинокого среднего, которое в скошенных данных ненадёжно.
- Измеряйте восстановление отдельно от закрытия. Пользователям важно, когда услуга вернулась. Заявка может быть закрыта позже, после обработки причины.
- Сопровождайте скорость долговечностью. Быстрое восстановление, которое тот же инцидент отменяет на следующий день, не является улучшением. Показывайте повторяемость и долю повторного открытия рядом с каждым показателем времени.
- Описывайте команды, услуги и системы. Никогда не ранжируйте отдельных сотрудников поддержки или инженеров по времени реагирования или решения.
- Сегментируйте перед сравнением. Сравнивайте сопоставимое, по приоритету и по услуге, потому что смешанное число объединяет сброс паролей и сбои базы данных.
Определения метрик
Каждая строка указывает свои часы. Календарное и рабочее время различаются: укажите, какое используете. Если показатель использует процентили, таблица даёт 50-й и 95-й, а команды могут добавить 85-й.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Время обнаружения | Как долго сбой влиял на пользователей, прежде чем организация узнала о нём | Часы запускаются в первый момент влияния на пользователей (по данным мониторинга или подтверждённому началу влияния, записанному при разборе); останавливаются при первом оповещении или сообщении пользователя. Сообщается как медиана и 95-й процентиль по услугам. Инциденты без известного начала считаются и сообщаются отдельно, а не отбрасываются | минуты | Платформа мониторинга и оповещений; запись инцидента с полем начала влияния | Управление инцидентами; управление мониторингом и событиями | Работа над наблюдаемостью и качеством оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) | Ежемесячно |
| Время подтверждения | Как долго поднятое оповещение или заявка ждут, прежде чем ими займётся человек | Часы запускаются, когда срабатывает оповещение или регистрируется заявка; останавливаются, когда названный человек или команда принимает её. Автоназначение часы не останавливает. Сообщается как медиана и 95-й процентиль по приоритетам | минуты | Средство вызова; история назначений в ITSM-средстве | Управление инцидентами; служба поддержки | Реагирование дежурных в ротации SRE | Ежемесячно |
| Время первого ответа | Как долго пользователь ждёт первого ответа от человека, полезного по существу | Часы запускаются при регистрации инцидента; останавливаются при первом сообщении или действии человека, которое отвечает на обращение. Автоматические подтверждения и шаблонные квитанции исключаются. Указываются часы по рабочему времени | минуты или рабочие часы | Журнал коммуникаций ITSM-средства | Служба поддержки; управление инцидентами | Своевременная обратная связь с пользователем, как в рабочем соглашении | Еженедельно |
| Время восстановления | Как долго пользователи оставались без работающей услуги | Часы запускаются в начале влияния на пользователей; останавливаются, когда пользователи снова могут пользоваться услугой, в том числе через обходное решение или откат. Исправление причины позднее его не продлевает. Сообщается как медиана и 95-й процентиль по приоритетам и услугам | минуты или часы | Запись инцидента с отметками начала влияния и восстановления; мониторинг | Управление инцидентами | Среднее время восстановления в терминах DORA, читаемое как распределение (см. тему 2.8, Метрики DORA) | Ежемесячно |
| Время решения | Как долго запись инцидента оставалась открытой до закрытия | Часы запускаются при регистрации инцидента; останавливаются при его закрытии после восстановления и подтверждения пользователем или разумного ожидания. Время в состоянии «ожидание клиента» показывается как отдельная сообщаемая доля и не вычитается из главного числа. Сообщается как медиана и 95-й процентиль по приоритетам | часы или рабочие часы | История статусов ITSM-средства | Управление инцидентами | Время цикла внеплановой работы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Ежемесячно |
| Возраст самого старого открытого инцидента | Как долго открыт самый давний из открытых инцидентов | Сейчас минус время регистрации для каждого открытого инцидента, с перечнем нескольких самых старых по приоритетам. Состояния паузы не вычитаются | дни | Список открытых инцидентов ITSM-средства | Управление инцидентами | Возраст рабочего элемента на доске команды (см. тему 2.1, Показатели потока) | Еженедельно |
| Доля активного времени | Доля прошедшего времени инцидента, потраченная на активную работу, а не на ожидание | Сумма времени в активных состояниях / общее время от регистрации до закрытия, для инцидентов, закрытых за период. Активные состояния это те, где человек работает над инцидентом; состояния ожидания перечислены в определении | процент | История статусов ITSM-средства | Управление инцидентами | Эффективность потока (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Ежеквартально |
| Число переназначений | Сколько раз инцидент меняет ответственную команду до восстановления | Число смен группы назначения от регистрации до восстановления, сводится как медиана и доля инцидентов с тремя и более. Считается по услугам и приоритетам, никогда по сотрудникам | число | История назначений ITSM-средства | Управление инцидентами; служба поддержки | Число передач (см. тему 9.3, Метрики сотрудничества и передачи работы) | Ежемесячно |
Две заметки о данных. Во-первых, время восстановления настолько хорошо, насколько хорошо время его начала. Многие записи инцидентов фиксируют момент, когда кто-то завёл заявку, а он может отставать от реального начала влияния на часы. Если в вашем средстве нет поля начала влияния, добавьте его и считайте оценочные начала оценками (см. тему 1.5, Источники данных и инструментирование). Во-вторых, при сравнении периодов сохраняйте те же определения приоритетов, иначе линия тренда будет отражать переклассификацию.
Рекомендации
Определите часы
1. Заведите лист часов для каждого показателя времени. Для каждого этапа перечислите начальное событие, конечное событие, состояния, ставящие часы на паузу, основу времени (календарное или рабочее) и исключения. Храните его в реестре метрик (см. тему 1.4, Управление метриками и ответственность за них).
2. Отделяйте восстановление от закрытия. Записывайте момент возвращения услуги пользователям как отдельную отметку времени, независимо от момента закрытия заявки. Восстановление это то, что чувствуют пользователи, а закрытие включает проверку, документирование и обработку причины. Команды, которые используют одну отметку для обоих, вознаграждаются за раннее закрытие заявок или наказываются за тщательное сопровождение.
3. Записывайте начало влияния, а не только время регистрации. Просите специалистов по реагированию указывать, когда пользователи впервые почувствовали эффект, по возможности используя данные мониторинга. Помечайте поле как оценочное, если оно такое. Без него время обнаружения лишено смысла, а время восстановления искажается из-за его отсутствия.
4. Ограничьте состояния паузы и сообщайте об их использовании. Ожидание клиента или поставщика иногда законно. Разрешите короткий поимённый список состояний паузы, требуйте причину и показывайте долю времени инцидента в каждом из них. Растущая доля времени на паузе это признак дрейфа, а не скорости.
Сообщайте честно
5. Замените среднее медианой и высоким процентилем. Показывайте 50-й и 95-й процентили для каждого этапа, по приоритетам, как временной ряд. Показывайте число инцидентов за каждой точкой, потому что процентиль по десяти инцидентам слабая величина. Там, где числа малы, рисуйте отдельные инциденты точками и пропускайте сводную линию.
6. Показывайте возраст самых старых открытых инцидентов. График длительностей закрытых инцидентов слеп к инцидентам, которые всё ещё открыты и являются худшими. Каждую неделю перечисляйте самые старые открытые инциденты по приоритетам. Эту величину трудно улучшить, не завершив работу, поэтому она хорошо дополняет любой график времени решения.
7. Сегментируйте по приоритету и по услуге. Смешанное время решения растёт, когда структура сдвигается к сложным инцидентам, даже если каждый вид инцидентов обрабатывается быстрее. Сравнивайте внутри приоритета и внутри услуги и показывайте структуру рядом со временем (см. тему 3.2, Объём и приоритет инцидентов). Не делайте выводов по месяцу, в котором структура изменилась.
8. Используйте контрольные границы, чтобы отделить сигнал от шума. Длительности инцидентов сильно колеблются от недели к неделе без каких-либо изменений. Контрольная карта с границами, рассчитанными по устойчивому периоду, показывает, когда сдвиг достаточно велик, чтобы его стоило объяснять (см. тему 1.6, Статистическая грамотность для метрик услуг).
Сопровождайте скорость долговечностью
9. Показывайте долю повторного открытия и повторяемость рядом с каждым показателем времени. Доля повторного открытия это доля инцидентов, открытых заново в пределах заданного окна. Повторяемость это повторное появление той же услуги и того же симптома в пределах окна. Если время восстановления падает, а повторяемость растёт, команда применяет быстрые заплатки. Отправляйте повторяющиеся инциденты в управление проблемами (см. тему 4.1, Метрики управления проблемами).
10. Измеряйте ожидание и передачи, потому что именно там уходит время. Для большинства услуг значительная часть прошедшего времени инцидента это ожидание человека, решения или поставщика, а не работа. Доля активного времени и число переназначений показывают, куда смотреть. Исправление долгого времени решения часто состоит в более ясном правиле маршрутизации или общем дежурстве, а не в более быстром наборе текста.
11. Используйте целевые показатели на процентили, с человеком в контуре. Если нужен целевой показатель, сформулируйте его как обязательство по процентилю для приоритета, например «девять из десяти инцидентов приоритета 2 восстанавливаются в течение заданного времени», и согласуйте его с людьми, которые будут его выполнять. Рассматривайте нарушения как вопросы к системе, а не как вину дежурного (см. тему 5.1, Метрики SLA, OLA и XLA).
12. Спрашивайте пользователей об опыте. Короткий опрос на выборке закрытых инцидентов и чтение комментариев покажут, соответствует ли число ощущению ожидания. Пользователям часто важнее своевременное информирование, чем точная минута восстановления (см. тему 6.1, Метрики удовлетворённости клиентов).
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Время обнаружения | Установка начала влияния позже, чем оно было; расширение порогов оповещений, чтобы меньше сбоев считалось инцидентами; учёт только тех инцидентов, которые поймал монитор | Доля инцидентов, о которых первыми сообщили пользователи, а не мониторинг; периодическая сверка оценок начала влияния с данными мониторинга |
| Время подтверждения | Автоназначение или автоподтверждение, чтобы остановить часы; подтверждение оповещения и последующее бездействие | Время первого ответа и время восстановления для тех же инцидентов; выборка подтверждённых оповещений без последующей активности |
| Время первого ответа | Отправка шаблонного ответа или ответа в одно слово, чтобы остановить часы | Проверка выборки первых ответов на содержательность; повторные обращения и комментарии из опросов |
| Время восстановления | Объявление услуги восстановленной до того, как пользователи могут ею пользоваться; восстановление подавлением симптома; регистрация сбоев как планового обслуживания | Повторяемость в пределах окна; сообщаемое пользователями влияние после времени восстановления; доля инцидентов, переименованных задним числом |
| Время решения | Перевод заявок в «ожидание клиента» или «приостановлено»; закрытие после одной попытки связаться; разбиение инцидента на дочерние, чтобы раньше закрыть родительский | Доля времени в состояниях паузы; доля повторного открытия; возраст самого старого открытого инцидента; чтение выборки заключительных записей |
| Возраст самого старого открытого инцидента | Закрытие и повторное создание самой старой заявки; переклассификация её в проблему или запрос, чтобы убрать из списка | Связывание дубликатов с оригиналами и сообщение связанного возраста; число инцидентов, преобразованных в проблемы или запросы за период |
| Доля активного времени | Запись краткой бессмысленной работы, чтобы пометить время как активное; переход в активные состояния без усилий | Сравнение активного времени с результатами, такими как время восстановления; выборка рабочих записей |
| Число переназначений | Повторное открытие под той же командой вместо передачи; передача работы по побочному каналу, чтобы средство не показывало передачи | Время восстановления и удовлетворённость пользователей; периодическое наблюдение за тем, как работа перемещается между командами |
Здоровая картина показывает медианы и хвостовые процентили, которые движутся вместе, небольшую и устойчивую долю времени на паузе, мало инцидентов, о которых первыми сообщили пользователи, снижающуюся повторяемость и комментарии из опросов, совпадающие с данными заявок. Улучшение главного числа, которое приходит в одиночку, считайте поводом для проверки на подгонку.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Среднее время восстановления | Привычно; одно число; легко строить тренд | Доминируют несколько долгих инцидентов; скрывает реальные изменения; плохо для малых выборок |
| Медиана плюс высокий процентиль | Описывает типичный и невезучий опыт; устойчиво к выбросам | Нужно достаточно инцидентов; два числа для объяснения |
| Отображение каждого инцидента | Показывает полную форму и выбросы; честно при малом объёме | Труднее читать при большом объёме; нужен ведущий |
| Целевые показатели по приоритетам | Ясные ожидания; поддерживает контракты и эскалацию | Провоцирует переклассификацию и остановку часов; может направлять усилия к границе цели |
| Показатели по часам заявки | Дёшевы, доступны в любом ITSM-средстве | Измеряют заявку, а не опыт пользователя; чувствительны к рабочему процессу статусов |
| Показатели на основе влияния | Близки к тому, что чувствуют пользователи; устойчивы к уловкам с заявками | Нужны данные мониторинга и поле начала влияния; труднее проверять |
Практичный ответ состоит в том, чтобы сохранить часы заявки, потому что они есть в каждом средстве, добавить отметку восстановления на основе влияния там, где позволяет мониторинг, и использовать распределения для обоих. Среднее приемлемо как грубое описание одного устойчивого большого набора однотипных инцидентов, и оно никогда не должно быть единственным числом на странице.
Вопросы для обсуждения с командой
1. Какой этап инцидента у нас занимает больше всего времени, и откуда мы это знаем? Нарисуйте на доске временную линию инцидента с этапами от начала влияния до закрытия. Возьмите последние десять инцидентов и отметьте, сколько длился каждый этап, используя данные средства и память специалистов. Ведущему стоит искать этап, где время скапливается, это часто ожидание передачи или решения, а не техническая работа. Договоритесь, какому этапу уделить внимание первым.
2. Где у нас запускаются и останавливаются часы, и кто это решил? Попросите каждого сказать, когда, по его мнению, инцидент «начался» и когда «закончился». Ответы будут различаться, и различия и есть результат. Сравните их с полями в средстве и рабочим процессом статусов. Зафиксируйте согласованные определения в реестре метрик и отметьте, где средство пока не может их поддержать.
3. Что показали бы наши медианы и 95-е процентили, чего не показывает среднее? До встречи вычислите среднее, медиану и 95-й процентиль по инцидентам прошлого квартала в разрезе приоритетов. Покажите их рядом и постройте график длительностей. Спросите, какие выводы сделала бы команда из каждого. Ведущему стоит заметить, сдвигают ли среднее один-два инцидента, и обсудить, считает ли команда, что медиана представляет ожидание типичного пользователя.
4. Сколько времени мы тратим на ожидание, а не на работу, и почему? Выберите три долгих инцидента и проследите историю их статусов. Посчитайте часы в активных состояниях и часы в состояниях ожидания и отметьте, кого или чего ждали. Спросите, какие ожидания можно сократить решением, более ясным путём эскалации или общим дежурством.
5. Если бы нас попросили сократить время решения на четверть, как мы сделали бы это, не помогая пользователям? Это проверка на подгонку в миниатюре. Перечислите все действия, которые улучшили бы число, не улучшая услугу, например остановку часов, раннее закрытие или переименование приоритетов. Для каждого спросите, поймало бы его ограждение. Этот список станет началом столбца способов подгонки и покажет, где определения нужно ужесточить.
6. Как мы узнаем, что более быстрое восстановление было настоящим? Попросите доказательства: повторяемость, повторное открытие, комментарии пользователей и любой более поздний инцидент с тем же симптомом. Посмотрите на одно недавнее улучшение и спросите, держалось ли оно месяц спустя. Ведущему стоит направлять группу к долговечным исправлениям. В конце решите, какой показатель долговечности войдёт в панель.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды, которые сами эксплуатируют свои услуги, видят время инцидентов как стоимость внеплановой работы, вытесняющей плановую. Отслеживайте, какую часть каждого периода потока занимают инциденты, и рассматривайте повторяющиеся инциденты как элементы бэклога для ответственной команды. Практики выпуска, делающие откат быстрым, сокращают восстановление, поэтому время инцидентов отчасти является показателем поставки (см. тему 2.9, Операционная и внеплановая работа).
Команды услуг и эксплуатации
Команды эксплуатации владеют часами и чувствуют давление целевых показателей. Им стоит публиковать лист часов, проверять использование состояний паузы, сообщать медианы и хвостовые процентили по приоритетам и вести еженедельный список самых старых открытых инцидентов. Нагрузка дежурств и качество оповещений определяют время подтверждения и обнаружения, поэтому смотрите на них вместе (см. тему 5.7, Рутинная работа и метрики дежурств).
Руководство и управление
Руководителям стоит спрашивать, какой этап самый медленный и что с этим делается, а не почему число красное. Им стоит ожидать отчётности по процентилям, показателя долговечности рядом с любым показателем скорости и объяснения при изменении определений. Финансирование мониторинга, руководств по эксплуатации и работы с проблемами часто окупается лучше, чем давление на специалистов по реагированию, потому что оно сокращает задержку, которой те не могут управлять.
Клиенты и пользователи
Пользователи переживают ожидание, качество коммуникации и то, возвращается ли проблема. Названия этапов они видят редко. Дайте им честный первый ответ, расскажите, чего ожидать, и сообщайте новости по графику. Их комментарии в опросах и повторные обращения это лучшая проверка того, говорят ли часы заявки правду.
На практике: пример гибкого ITIL
Интернет-магазин среднего размера эксплуатирует платформу заказов, службу учётных записей клиентов и внутреннюю складскую систему. Продуктовые команды владеют своими услугами и делят дежурную ротацию с небольшой группой эксплуатации. Все числа в этом примере иллюстративны.
Руководство ставит цель «среднее время решения менее четырёх часов» для инцидентов приоритета 2. В первом квартале панель показывает среднее 3,8 часа, и цель, по-видимому, достигнута. Сотрудники склада говорят, что некоторые сбои, кажется, длятся весь день. Руководитель эксплуатации строит график 41 инцидента приоритета 2 (иллюстративно) за квартал и обнаруживает медиану 1,5 часа и 95-й процентиль 11 часов. Три инцидента объясняют большую часть длинного хвоста.
Она прослеживает три долгих инцидента. Каждый провёл большую часть времени в состоянии «ожидание поставщика» или «ожидание клиента». В двух заявка была закрыта и создана заново как новый инцидент, когда исходная «нарушила» срок, что сбросило часы. В третьем было четыре переназначения между командами за два дня. Выборка заключительных записей показывает, что 6 из 30 просмотренных заявок (иллюстративно) были закрыты после единственной попытки связаться с пользователем.
Команда вносит четыре изменения. Она добавляет в форму инцидента поле начала влияния и отметку восстановления. Она сообщает медиану, 85-й и 95-й процентили по приоритетам, а также самые старые открытые инциденты каждую неделю. Она показывает на той же странице долю времени в состояниях паузы и повторяемость. И она связывает заново созданные заявки с их оригиналами, чтобы возраст сохранялся.
К следующему разбору главное среднее вырастает до 4,6 часа, потому что заново созданные заявки теперь учитываются полностью. Команда объясняет руководству этот рост как исправление. 95-й процентиль и самая старая открытая заявка теперь те числа, над которыми она работает, а число переназначений указывает на пробел в маршрутизации между службой заказов и складской системой. Они договариваются добавить общий псевдоним дежурства и оценить эффект в следующем квартале, а не ставить новый целевой показатель сразу.
Отраслевой взгляд
Стартап. Объём низкий, поэтому процентили шумны, и график каждого инцидента лучше сводки. Часто один человек обнаруживает, реагирует и восстанавливает, поэтому разделение этапов важно меньше, чем записанная временная линия каждого инцидента. Добавляйте заметку о начале влияния в каждый отчёт после инцидента и вычисляйте простые медианы, когда накопится достаточно инцидентов.
Малый бизнес. Инцидентами может заниматься поставщик управляемых услуг или один ИТ-универсал, а контракт поставщика может определять целевое время реагирования и решения. Внимательно читайте часы из контракта, потому что они часто отличаются от опыта ваших пользователей. Ведите короткий журнал начала влияния и восстановления для важных инцидентов и просите у поставщика исходные записи, так как сводное число скрывает часы.
Предприятие. Множество команд, поставщиков и схем приоритетов делает сравнение соблазнительным и вводящим в заблуждение. Стандартизируйте определения часов и значения приоритетов по всей организации, публикуйте распределения, а не средние, и сегментируйте по услугам. Следите за дрейфом состояний паузы и переклассификацией, которые растут с числом уровней отчётности.
Государственный сектор. Контракты, обязательная отчётность и аудит могут фиксировать часы и определения приоритетов. Выполняйте эти обязательства как написано и ведите рядом второй, ориентированный на пользователя взгляд, чтобы соответствие требованиям не скрывало плохой опыт. Будьте открыты в отношении определений и исправлений при изменении правила часов (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость этой темы в основном состоит из проектирования и дисциплины. Нужно несколько часов, чтобы написать листы часов, некоторая настройка, чтобы добавить поле начала влияния и отметку восстановления, и скромные усилия для построения отчётов по процентилям. Если ITSM-средство или платформа мониторинга уже хранят отметки времени, извлечение это разовая задача. Повторяющиеся затраты это ежемесячный разбор и ежеквартальная выборка закрытых инцидентов.
Отдача приходит от лучших решений и меньшей переделки. Отчётность по распределениям показывает, сработало ли улучшение, а отчётность по этапам направляет усилия на реальную задержку, такую как передачи, пробелы обнаружения или ожидание поставщиков. Показатели долговечности предотвращают ложную экономию быстрых заплаток, которые возвращаются повторными инцидентами. Измерьте собственный базовый уровень за квартал, внесите одно изменение и сравните распределения.
Антипаттерны и ловушки
- Единственный MTTR на панели руководителя. Среднее скошенных данных вводит в заблуждение. Показывайте медиану, высокий процентиль и самый старый открытый инцидент и говорите, сколько инцидентов за каждой точкой.
- Смешивание приоритетов и услуг. Сдвиг структуры выглядит как изменение результативности. Сегментируйте по приоритету и услуге и показывайте структуру.
- Остановка часов состояниями паузы. Время исчезает в «ожидании» и «приостановлено». Перечислите разрешённые состояния, требуйте причины и сообщайте долю времени в каждом.
- Закрытие и повторное создание заявок. Это сбрасывает возраст и скрывает долгий инцидент. Связывайте заново созданные заявки с оригиналами и сообщайте связанный возраст.
- Одна отметка времени для восстановления и закрытия. Тогда команды вознаграждаются за преждевременное закрытие или наказываются за тщательное сопровождение. Записывайте оба момента и сообщайте оба.
- Ранжирование сотрудников поддержки или инженеров по времени решения. Это вознаграждает лёгкие заявки и выбор удобных, и отбивает охоту помогать и эскалировать. Сообщайте только по командам и услугам.
- Целевые показатели без показателей долговечности. Быстрая заплатка, которая сломается завтра, выглядит успехом. Показывайте повторяемость и долю повторного открытия рядом с каждым целевым показателем.
- Малые выборки как тренды. 95-й процентиль по горстке инцидентов это догадка. Рисуйте отдельные инциденты и ждите больше данных, прежде чем проводить линию.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Определения и часы | Каждый измеряет по-своему; одно «время решения» | Часы записаны для некоторых команд; этапы частично разделены | Один лист часов для всех этапов с перечнем состояний паузы | Определения пересматриваются, изменения фиксируются с причинами | Определения согласованы с поставщиками и клиентами и пересматриваются, когда перестают помогать решениям |
| Качество данных | Ручные заметки; начало влияния неизвестно | Отметки времени средства для регистрации и закрытия заявки | Начало влияния и восстановление записываются для приоритетных инцидентов | Данные проверяются выборкой; оценки помечены | Данные мониторинга и ITSM соединяются автоматически, и командам можно им доверять |
| Статистическая практика | Только среднее | Показаны среднее и медиана | Медиана и высокий процентиль по приоритетам и услугам | Используются контрольные границы; показатели долговечности в паре | Распределения связаны с опытом пользователей и используются для решения, куда инвестировать |
| Использование для улучшения | Числа используются, чтобы гоняться за людьми | Команда видит собственные числа | Команда ежемесячно разбирает время этапов и ожидание | Медленные этапы ведут к финансируемой работе по улучшению | Улучшение разделяется между командами и поставщиками, а показатели развиваются |
Контрольный список
- Для каждого этапа (обнаружение, подтверждение, реагирование, восстановление, решение) записано правило начала, остановки и паузы.
- Начало влияния и время восстановления записываются отдельными полями для приоритетных инцидентов.
- Отчёты показывают медиану и высокий процентиль по приоритетам и услугам.
- Показано число инцидентов за каждой сообщаемой точкой.
- Самые старые открытые инциденты перечисляются еженедельно.
- Состояния паузы это короткий поимённый список, и сообщается доля времени в них.
- Доля повторного открытия и повторяемость показаны рядом с каждым показателем времени.
- Заново созданные заявки связаны с оригиналами, чтобы возраст сохранялся.
- Ни один показатель времени не используется для ранжирования отдельных сотрудников поддержки или инженеров.
- Выборка закрытых инцидентов читается каждый квартал на предмет честности.
- Комментарии из опросов клиентов читаются рядом с данными заявок.
Промпты для ИИ
Сравните среднее и процентили длительностей наших инцидентов.
Я вставлю записи об инцидентах для [услуга или команда] за [период]. Поля:
[перечень полей, например время регистрации, начало влияния, время
восстановления, время закрытия, приоритет, история статусов]. Вычисли медиану,
85-й процентиль, 95-й процентиль и среднее для [название этапа, например время
восстановления] по [приоритет] и покажи, сколько инцидентов стоит за каждым
числом. Опиши, насколько среднее отличается от медианы и какие инциденты
создают эту разницу. Не выдумывай данные и эталонные значения. Перечисли свои
допущения, все исключённые строки и всё, что данные не смогли сказать.
[вставьте данные об инцидентах без персональных данных]
Составьте черновик листа часов для наших показателей времени инцидентов.
Составь черновик листа часов для [название команды], охватывающий время
обнаружения, время подтверждения, время первого ответа, время восстановления и
время решения. Наше ITSM-средство: [название средства], наш мониторинг:
[средство мониторинга], а наш рабочий процесс статусов: [перечень статусов]. Для
каждого этапа укажи начальное событие, конечное событие, состояния паузы,
основу времени ([календарное или рабочее время]), исключения, а также способ
подгонки с ограждением. Пометь каждое допущение и перечисли вопросы, на которые
мне нужно ответить, чтобы завершить лист. Не выдумывай целевые показатели.
Найдите, куда уходит прошедшее время в нескольких долгих инцидентах.
Вот история статусов для [число] долгих инцидентов из [услуга]. Для каждого
инцидента перечисли время в каждом статусе, пометь активные и ожидающие
состояния по этому правилу: [какие статусы считаются активными] и отметь каждое
переназначение между [команды или группы]. Сообщай закономерности по
инцидентам, а не по людям, и предложи, какому этапу уделить внимание первым. Не
угадывай причины, которых данные не показывают. Перечисли свои допущения и то,
какие дополнительные поля помогли бы.
[вставьте истории статусов без персональных данных]
Проведите проверку на подгонку для наших целевых показателей времени инцидентов.
Мы сообщаем [название метрики] для [приоритет или услуга], определённую как
[определение с начальным и конечным событиями]. Целевой показатель: [целевой
показатель], аудитория: [аудитория]. Перечисли реалистичные способы улучшить
число, не помогая пользователям, например остановку часов, раннее закрытие,
переименование или повторное создание заявок. Для каждого способа предложи
ограждающую метрику или практику, которая его выявит, и укажи, как само это
ограждение можно подогнать. Не выдумывай эталонные значения и статистику.
Перечисли свои допущения.
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти связанные темы и парные ограждения для показателя времени инцидентов, который вы собираетесь сообщать.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что изменение этой темы сохраняет согласованность шаблона, таблицы подгонки и перекрёстных ссылок.
Ключевые выводы
- У инцидента есть этапы, и у каждого этапа свои часы, владелец и средство. Называйте этап, который измеряете.
- Длительности инцидентов скошены, поэтому среднее вводит в заблуждение. Сообщайте медиану, высокий процентиль и возраст самого старого открытого инцидента.
- Записывайте, где запускаются и останавливаются часы, фиксируйте начало влияния и восстановление отдельно от закрытия заявки и ограничивайте состояния паузы.
- Сопровождайте каждый показатель скорости показателем долговечности, таким как повторяемость и доля повторного открытия.
- Описывайте команды и услуги, никогда отдельных сотрудников поддержки, и читайте выборку закрытых инцидентов, чтобы проверить честность чисел.
Источники и дополнительное чтение
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.