Объём и приоритет инцидентов
Считайте инциденты относительно использования, которое их породило, читайте приоритет как структуру, а не как оценку, и следите за повторами: форма спроса на устранение сбоев говорит о том, куда вкладываться, задолго до того, как это покажет время решения любого отдельного инцидента.
Обзор и мотивация
Инцидент в терминах ITIL 4 это незапланированное прерывание услуги или снижение её качества. Управление инцидентами это практика, которая восстанавливает нормальную работу услуги так быстро, как это целесообразно, и ограничивает ущерб для бизнеса. Каждый инцидент также служит сигналом: что-то в услуге, в её изменениях, у её пользователей или в её мониторинге сработало не так, как ожидалось. Поэтому число и характер инцидентов это один из самых информативных показателей спроса, которыми располагает команда эксплуатации.
Объём сам по себе плохо ориентирует. Рост числа инцидентов может означать, что услуга стала хуже, или что ею стало пользоваться больше людей, или что мониторинг улучшился и теперь видит сбои, о которых раньше не сообщали. Снижение может означать, что работа над надёжностью окупилась, или что пользователи перестали сообщать о проблемах. Эта тема о том, как читать объём с достаточным контекстом, чтобы различать эти истории: нормализовать по использованию, разбивать по категориям и услугам и следить за структурой приоритетов и долей повторов.
Приоритет составляет вторую половину темы. Практика ITIL обычно выводит приоритет из двух входных данных: влияния (насколько широко затронут бизнес) и срочности (как быстро бизнесу нужно исправление). Пара сопоставляется с уровнем приоритета, который задаёт ожидаемую реакцию. У гибких команд есть близкий аналог в сортировке бэклога: метки серьёзности и срочности у дефектов и «класс обслуживания» на доске потока, который решает, что идёт вне очереди. Слова различаются, а вопрос один: что нужно обработать первым и почему.
Взгляд ITIL рассматривает инциденты как записи, которыми владеют служба поддержки и группы решения, с категориями, приоритетами и целевыми уровнями услуг. Гибкий взгляд рассматривает внеплановую работу как прерывание потока, конкурирующее с плановой работой (см. тему 2.9, Операционная и внеплановая работа). Обоим взглядам полезны одни и те же показатели, если они описывают систему, а не людей внутри неё. Служба поддержки это место, где начинается большинство записей, а её собственные метрики рассматриваются отдельно (см. тему 3.1, Метрики службы поддержки). Как быстро на инциденты реагируют и как быстро их решают, описано в теме 3.3, Время реагирования на инциденты и их устранения. У крупных инцидентов свои показатели (см. тему 3.4, Метрики крупных инцидентов).
Ниже несколько раз встречаются некоторые термины. Процентиль это значение, ниже которого лежит заданная доля наблюдений, так что 85-й процентиль это значение, которое не превышают 85 процентов наблюдений. Соглашение об уровне услуг (SLA) это задокументированное обязательство между поставщиком и клиентом. Конфигурационная единица (CI) это компонент, которым нужно управлять для предоставления услуги. Пуассоновский процесс описывает события, которые поступают независимо друг от друга с некоторой средней интенсивностью, и это полезная первая модель для поступления инцидентов (см. тему 1.6, Статистическая грамотность для метрик услуг).
Предупреждение из темы 1.2 (Закон Гудхарта и психология метрик) действует здесь сильнее, чем в большинстве мест. Число инцидентов и приоритеты вносят люди, часто под давлением, и число, привязанное к записи, можно изменить, изменив способ её написания. У каждой метрики ниже есть способ подгонки, а ограждения входят в определение.
Ключевые принципы
- Нормализуйте, прежде чем сравнивать. Число мало что значит без использования, базы пользователей или объёма транзакций, из которых оно получено. Сравнивайте интенсивности между периодами и услугами и показывайте рядом исходное число.
- Читайте структуру, а не одно число. Распределение приоритетов, распределение категорий и доля повторов вместе говорят больше любого итога.
- Приоритет это правило, а не настроение. Выводите его из влияния и срочности по письменной матрице и измеряйте, как часто его меняют задним числом.
- Разделяйте инциденты и запросы. Запрос на что-то обычное не является сбоем. Если считать их вместе, объём инцидентов раздувается, а то, на что служба поддержки тратит время, скрывается (см. тему 3.5, Метрики выполнения запросов на обслуживание).
- Повторы это самый ценный сигнал. Инцидент, который возвращается, указывает на проблему, которая ещё не решена (см. тему 4.1, Метрики управления проблемами).
- Измеряйте услуги и команды, никогда не сотрудников. Счёт по людям приглашает к ранжированию, а ранжирование искажает данные (см. тему 1.2, Закон Гудхарта и психология метрик).
- Ожидайте, что объём будет меняться по причинам, не связанным с качеством. Выпуски, сезоны, кампании и изменения каналов обращения сдвигают счёт. Подписывайте график.
Определения метрик
В таблице перечислены метрики этой темы. Часы и границы указаны в столбце формулы. «Закрыт» и «открыт» относятся к отметкам времени в записи об инциденте: время открытия это момент создания записи или момент, когда её создаёт система мониторинга, а время закрытия это момент, когда решение инцидента подтверждено и он закрыт.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Объём инцидентов по услуге | Число инцидентов, открытых по услуге за период | инциденты со временем открытия внутри периода, отнесённые к затронутой услуге; запросы на обслуживание, дубликаты, объединённые с родительской записью, и записи, отменённые как созданные по ошибке, исключаются | число | записи об инцидентах в инструменте ITSM | Управление инцидентами | Производственные дефекты или внеплановые рабочие элементы на команду | Еженедельно, разбор ежемесячно |
| Нормализованная интенсивность инцидентов | Инциденты относительно использования услуги | инциденты, открытые за период / показатель использования за тот же период и в той же области (активные пользователи, сеансы или транзакции, выбранные и записанные для каждой услуги) x 1 000; показатель использования должен поступать из источника, не связанного с инструментом инцидентов | инцидентов на 1 000 единиц использования | инструмент ITSM плюс данные об использовании из аналитики или мониторинга | Управление инцидентами; управление уровнем услуг | Плотность дефектов на выпуск или на пользователя | Ежемесячно |
| Структура приоритетов | Доля открытых инцидентов на каждом уровне приоритета | инциденты с приоритетом, записанным при открытии / все инциденты, открытые за период, для каждого уровня; переклассифицированные инциденты учитываются по приоритету при открытии и показываются ещё раз по приоритету при закрытии | процент по уровню | инструмент ITSM, включая историю изменений приоритета | Управление инцидентами | Распределение дефектов по серьёзности; структура классов обслуживания | Ежемесячно |
| Доля переклассификации приоритета | Доля инцидентов, у которых приоритет изменился между открытием и закрытием | инциденты, закрытые за период, у которых приоритет при закрытии отличается от приоритета при открытии / инциденты, закрытые за период | процент | журнал аудита инструмента ITSM | Управление инцидентами | Доля повторной сортировки в бэклоге дефектов | Ежемесячно |
| Концентрация по категориям | Доля объёма инцидентов, приходящаяся на крупнейшие категории | инциденты в пяти крупнейших категориях по числу / все инциденты с категорией за период; инциденты без категории показываются отдельно как собственная доля | процент | поля категории и услуги в инструменте ITSM | Управление инцидентами; управление проблемами | Кластеры дефектов по компоненту или эпику | Ежемесячно |
| Доля повторяющихся инцидентов | Доля инцидентов, которые повторяются для той же услуги, конфигурационной единицы и категории в заданном окне | инциденты периода, для которых в предшествующем окне (например, 30 дней, задаётся один раз и записывается) есть более ранний закрытый инцидент с той же услугой, CI и категорией / инциденты, открытые за период; повторно открытая запись считается повторным открытием, а не повтором | процент | инструмент ITSM и связи с CMDB | Управление инцидентами; управление проблемами | Доля регрессий или ускользнувших дефектов | Ежемесячно |
| Доля повторного открытия | Доля закрытых инцидентов, которые были открыты повторно | инциденты, закрытые за период и позже открытые повторно в заданном окне (например, 7 дней) / инциденты, закрытые за период | процент | история статусов инструмента ITSM | Управление инцидентами | Повторно открытые дефекты; переделка | Ежемесячно |
| Доля обнаруженных мониторингом | Доля инцидентов, о которых первым сообщил мониторинг до сообщения пользователя | инциденты, первым событием которых стало автоматическое оповещение / все инциденты, открытые за период; инциденты, открытые человеком по оповещению, учитываются по времени оповещения | процент | инструмент ITSM, интеграция с мониторингом | Мониторинг и управление событиями; управление инцидентами | Дефекты, обнаруженные оповещениями, и дефекты, о которых сообщили клиенты | Ежемесячно |
Два замечания к определениям. Первое: «приоритет» в этой таблице это приоритет, который несёт запись, и он должен определяться по матрице влияния и срочности, а не по тому, в каком порядке люди хотят делать работу. Второе: объём за период это число открытий, а не число открытых инцидентов в конкретный день. Число открытых в любой момент это показатель бэклога, и он относится к возрасту (см. тему 3.3, Время реагирования на инциденты и их устранения).
Рекомендации
Считайте внимательно
1. Запишите, что является инцидентом, а что нет. Во многих инструментах инциденты, запросы, оповещения и проблемы хранятся в одной таблице. Решите, какие типы записей учитываются, задокументируйте фильтр и применяйте его каждый раз. Изменение фильтра меняет тренд, поэтому фиксируйте изменения с датой и причиной (см. тему 1.5, Источники данных и инструментирование).
2. Устраняйте дубликаты до отчёта. Когда один сбой порождает пятьдесят заявок, событием является родительский инцидент, а дочерние записи показывают его охват. Сообщайте оба числа: родительские инциденты показывают, сколько было сбоев, а связанные записи показывают, сколько людей их почувствовали. Если смешать их, одна крупная авария будет выглядеть как месяц рутинной работы.
3. Относите инциденты к услугам, а не только к командам. Услуга это то, что покупает и понимает бизнес. Используйте каталог услуг (в ITIL это «service catalogue»), чтобы задать перечень, и пересматривайте соответствие CI при изменении услуг. Инцидент без услуги это проблема качества данных, которую нужно исправлять, а доля таких записей заслуживает отчёта.
Нормализуйте и интерпретируйте объём
4. Нормализуйте по показателю использования из другого источника. Делите на активных пользователей, сеансы или транзакции, взятые из аналитики или мониторинга, а не из инструмента инцидентов. Услуга, у которой вдвое выросли пользователи и инциденты, не стала хуже; услуга, у которой инциденты удвоились при неизменном использовании, стала. Показывайте исходное число рядом с интенсивностью, чтобы никто не думал, что знаменатель что-то скрывает.
5. Используйте контрольную карту, а не стрелку тренда. Число инцидентов меняется от недели к неделе, даже когда ничего не изменилось. Контрольная карта показывает обычный диапазон изменчивости, так что команда реагирует на сигнал и оставляет шум в покое. Недельные значения, которые движутся внутри границ, не новость; устойчивая серия по одну сторону от среднего новость. Учитывайте сезонность, например конец квартала, праздники и циклы выпусков, сравнивая сопоставимые периоды.
6. Подписывайте график событиями. Отмечайте выпуски, миграции, кампании, сбои зависимостей и изменения канала обращения. Новая форма самообслуживания или более заметная кнопка «сообщить о проблеме» может увеличить объём при той же услуге. Большинство споров об объёме быстро заканчивается, когда график показывает, что происходило на той неделе.
Управляйте приоритетом по правилам
7. Выводите приоритет из влияния и срочности по опубликованной матрице. Определяйте влияние через затронутых пользователей и бизнес-функции, а срочность через то, как скоро вред нарастёт. Публикуйте матрицу на странице, где сотрудники выбирают значения, с двумя-тремя разобранными примерами на каждую ячейку. Избегайте полей приоритета со свободным выбором: они превращаются в переговоры, и число инцидентов «приоритета 1» становится мерой убедительности.
8. Сообщайте структуру и долю переклассификации вместе. Здоровая структура содержит небольшое число инцидентов высшего приоритета и широкую основу из более низких. Если высший уровень растёт, спросите, вырос ли вред или клиенты узнали, что «критично» привлекает внимание. Доля переклассификации показывает, насколько хорошо подходит матрица: частые изменения при закрытии означают, что правило неясно или первая оценка делается второпях. Ежемесячно проверяйте выборку переклассифицированных записей в группе, которая владеет матрицей.
9. Согласуйте приоритет и гибкий класс обслуживания. Если команды поставки получают работу, вызванную инцидентами, используйте те же слова и ту же матрицу или опубликуйте чёткое соответствие. Команда, которая называет дефект «высоким», пока эксплуатация называет тот же дефект «средним», будет терять время на перевод. Выделите явный запас на срочную работу, чтобы прерывание было видно в показателях потока (см. тему 2.1, Показатели потока).
Ищите повторы и закономерности
10. Отслеживайте повторы и повторные открытия как отдельные сигналы. Повторное открытие означает, что первое исправление не удержалось; повтор означает, что сбой того же рода вернулся после надлежащего исправления. Первое указывает на качество решения, второе на нерешённую причину. Связывайте повторяющиеся кластеры с записями о проблемах и перестаньте считать инцидент исправленным, если он, вероятно, вернётся (см. тему 4.1, Метрики управления проблемами).
11. Используйте принцип Парето, чтобы выбрать, куда смотреть. Отсортируйте категории и услуги по числу инцидентов и посмотрите, как мало из них дают большую часть объёма. Исследуйте несколько первых, прежде чем строить новые отчёты по остальным. Эта форма это повод для анализа первопричин, а не вывод, потому что категория с большим числом может быть просто той, которую легко назначить.
12. Возвращайте выводы командам поставки и службе поддержки. Делитесь видами по категориям и повторам с командами, которые создают и меняют услуги, в регулярной беседе, а не в отчёте. Для каждого повторяющегося кластера назначьте владельца, следующий шаг и дату и поместите работу в тот же бэклог, что и другие приоритеты (см. тему 2.6, Метрики бэклога и его уточнения). Объём падает, когда устраняются причины, а для этого нужна запланированная мощность.
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Объём инцидентов по услуге | Регистрация инцидентов как запросов, объединение несвязанных заявок, отговаривание пользователей от обращений или закрытие дубликатов как «сбой не обнаружен» | Объём обращений пользователей и объём запросов рядом с объёмом инцидентов; удовлетворённость и потери обращений в службе поддержки; выборка запросов, которые читаются как сбои |
| Нормализованная интенсивность инцидентов | Выбор знаменателя, который даёт лучшую цифру, или изменение определения использования между периодами | Фиксированный показатель использования для каждой услуги, записанный в реестре; исходные числа рядом с интенсивностью |
| Структура приоритетов | Занижение приоритетов, чтобы выглядеть спокойно, или завышение, чтобы привлечь внимание; назначение низкого приоритета, чтобы избежать целевого показателя реагирования | Доля переклассификации приоритета; ежемесячный выборочный разбор по матрице влияния и срочности; влияние, о котором сообщили клиенты |
| Доля переклассификации приоритета | Отказ менять приоритет, когда его нужно менять, чтобы доля выглядела стабильной; изменение его только при закрытии, чтобы уложиться в целевой показатель | Выборка записей, где влияние изменилось в ходе инцидента; разбор хронологий инцидентов |
| Концентрация по категориям | Использование универсальной категории или дробление крупной категории на несколько, чтобы скрыть концентрацию | Доля записей без категории и в категории «прочее»; периодический пересмотр списка категорий; сверка категорий с заметками о решении |
| Доля повторяющихся инцидентов | Открытие нового инцидента с другой формулировкой или CI, чтобы избежать связи; раннее закрытие, чтобы избежать повторного открытия | Разбор почти одинаковых записей по тексту и услуге; доля повторного открытия; доля привязки к записям о проблемах |
| Доля повторного открытия | Просьба к пользователям открыть новую заявку вместо повторного открытия; позднее закрытие заявок, чтобы избежать повторного открытия | Число новых заявок, ссылающихся на недавно закрытую; подтверждение решения клиентом; распределение времени до закрытия |
| Доля обнаруженных мониторингом | Создание шумных оповещений, которые автоматически открывают инциденты, или перемаркировка людьми сообщений пользователей как оповещений | Показатели качества оповещений, например доля оповещений, требующих действий (см. тему 5.5, Метрики мониторинга и качества оповещений); аудит источника инцидентов |
Здоровое чтение скучно и объяснимо. Нормализованные интенсивности стабильны или снижаются для устойчивых услуг и растут, когда растёт использование или изменения по причине, которую показывает график. Структура приоритетов стабильна, переклассификация низкая, а небольшой набор категорий получает осознанное внимание. Повторы и повторные открытия снижаются после плановой работы с проблемами, а изменение любой метрики имеет объяснение, которое кто-то может дать, не защищая само число.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Исходное число инцидентов | Просто, легко объяснить, всегда доступно | Смешивает использование, качество и поведение при обращениях в одно число |
| Интенсивности относительно использования | Позволяют честно сравнивать периоды и услуги | Нужен надёжный источник использования; знаменатели можно оспаривать |
| Фиксированная матрица влияния и срочности | Согласованный приоритет в разных командах; поддаётся аудиту | Может казаться жёсткой; крайние случаи требуют суждения и пути для отмены |
| Приоритет со свободным выбором | Быстро и гибко для опытных сотрудников | Непоследовательно, открыто для давления, трудно сравнивать во времени |
| Подробное дерево категорий | Показывает, откуда приходит спрос | Трудно использовать под давлением; люди выбирают первое совпадение или «прочее» |
| Короткий список категорий с метками | Быстро применять, согласованно | Меньше деталей; может скрывать закономерности, требующие анализа текста |
| Доля повторов по CI и категории | Указывает на нерешённые причины | Зависит от хороших данных CI; встречаются и ложные связи, и пропуски |
Примите, что нет единственной верной меры. Используйте исходные числа для планирования мощности, интенсивности для здоровья, структуру приоритетов для риска, а повторы для улучшения, и показывайте каждое как то, что оно есть. Держите список категорий достаточно коротким, чтобы им пользовались, и уточняйте дерево только тогда, когда решению нужна более тонкая детализация.
Вопросы для обсуждения с командой
1. Что у нас считается инцидентом, и одинаково ли все применяют это правило? Возьмите десять недавних записей и попросите каждого пометить их как инцидент, запрос или что-то иное. Сравните ответы и обсудите расхождения. Ведущему стоит искать такие привычки, как считать инцидентом любую заявку от старшего сотрудника, а затем согласовать одно письменное правило с примерами. Запишите дату, чтобы последующие тренды читались правильно.
2. Когда в прошлом квартале вырос объём инцидентов, что мы тогда знали об использовании и изменениях? Поставьте график рядом с хронологией выпусков, кампаний и данных об использовании. Спросите, какой рост был объяснён, а какой нет. Обсуждение обычно показывает, как редко знаменатель оказывается на странице. Согласуйте, какой показатель использования будет у каждой услуги отныне.
3. Как решается приоритет, и когда он нас в последний раз удивил? Пройдите по матрице влияния и срочности с недавним примером для каждого уровня приоритета. Спросите, где сотрудники гадают, а где клиенты или руководители давят. Сравните приоритет при открытии и при закрытии у нескольких записей. Решите, какое одно изменение матрицы или её примеров уменьшит споры.
4. Какие три категории занимают большую часть нашего объёма инцидентов, и кто работает над устранением причины? Перечислите главные категории и для каждой назовите владельца лежащей в основе причины. Если ответ «никто», это вывод. Спросите, настоящий ли это кластер или привычка маркировки. Выберите один кластер для исследования вместе с командой поставки в этом квартале.
5. Как мы отличаем повтор от повторного открытия, и что делаем с каждым? Покажите команде две-три пары записей и спросите, какие из них повторы. Обсудите, что повторное открытие говорит о качестве первого исправления, а повтор о причине. Ведущему стоит направить группу к связыванию повторяющихся кластеров с записями о проблемах вместо закрытия их по одному. Согласуйте, кто их разбирает и как часто.
6. Что нас потянуло бы изменить, если бы старшие руководители каждую неделю разбирали число наших инцидентов? Попросите группу представить это число на стене. Какие привычки сдвинутся: как всё регистрируется, как объединяются заявки, как назначаются приоритеты? Назовите это давление открыто и без обвинений. Согласуйте, какое ограждение покажет сдвиг и кто на него смотрит.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки получают результат этой темы как спрос. Виды по категориям и повторам показывают, какие части продукта вызывают больше всего проблем, а структура приоритетов показывает, сколько работы по прерываниям планировать. Командам следует считать работу, вызванную инцидентами, частью своей мощности, держать её видимой в показателях потока и использовать повторяющиеся кластеры, чтобы обосновать работу над надёжностью в бэклоге (см. тему 2.9, Операционная и внеплановая работа). Счёт инцидентов на выпуск это полезный тренд, но он никогда не должен становиться мерой для обвинения отдельных разработчиков.
Команды услуг и эксплуатации
Команды услуг и эксплуатации создают записи и ощущают давление вокруг приоритета. Им выгодны чёткая матрица, короткий список категорий и быстрые способы связывать дубликаты. Им стоит проверять данные в собственных инструментах, например долю записей без категории и долю переклассификации, прежде чем это сделают другие. Команды эксплуатации хорошо подходят для ежемесячного выборочного разбора и для передачи повторяющихся кластеров в управление проблемами.
Руководство и управление
Руководителям нужно знать, становится ли услуга лучше и куда вкладываться. Им стоит просить нормализованные интенсивности, структуру приоритетов и вид повторов с подписями и не соглашаться на единую цифру объёма. Целевые показатели «меньше инцидентов» приглашают к подавлению, поэтому ставьте ожидания по результатам, таким как влияние на клиентов и сокращение повторов. Управление должно владеть матрицей приоритетов и утверждать её изменения, отмечая влияние на линии трендов.
Клиенты и пользователи
Клиенты переживают инциденты как прерванную работу, а не как категории. Им нужен простой способ сообщить о сбое, справедливый приоритет, основанный на их влиянии, и честные обновления. Если от сообщений отговаривают или приоритеты кажутся произвольными, объём упадёт, а вместе с ним упадёт доверие. Делитесь главными выводами в терминах, понятных пользователям, например улучшенные услуги и устранённые проблемы (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
ИТ-отдел региональной больницы поддерживает систему медицинских карт, систему записи на приём и инструмент обмена сообщениями для персонала. Все числа в этом примере иллюстративные.
Ежемесячный отчёт показывает 640 инцидентов в последнем месяце квартала против 520 в предыдущем. Руководство просит план восстановления. Владелец услуги системы записи, у которой число выросло сильнее всего, просит посмотреть данные, прежде чем соглашаться, что услуга стала хуже.
Выясняются три факта. Во-первых, в тот месяц к системе записи подключилась новая группа клиник, и число активных пользователей выросло примерно на 30 процентов (иллюстративно). После нормализации интенсивность инцидентов на 1 000 сеансов осталась примерно прежней. Во-вторых, 90 дополнительных записей были связаны с одним родительским инцидентом, сбоем интерфейса с лабораторной системой, поэтому число различных сбоев выросло лишь на несколько. В-третьих, сместилась структура приоритетов: доля высшего приоритета составляла 2 процента в предыдущем месяце, а теперь 7. Доля переклассификации также удвоилась, а выборка из 20 записей показала, что примерно половина высоких приоритетов была понижена при закрытии.
Команда принимает три решения. Она сообщает родительские инциденты и связанные записи отдельно. Она добавляет в отчёт активные сеансы как знаменатель. Она проводит получасовую встречу со службой поддержки и клиническими руководителями, чтобы применить матрицу влияния и срочности к выбранным записям, и это показывает, что ситуацию «клиника не может записывать пациентов» одни сотрудники считали средней, а другие высокой. В матрицу добавляют по два клинических примера на ячейку.
Риск подгонки, который они обнаруживают, малозаметен. Руководитель попросил сотрудников избегать приоритета 1 для системы записи, потому что каждый такой случай запускал разбор, и записи открывались с более низким приоритетом и повышались позже или не повышались вовсе. Доля переклассификации и выборочный разбор выявили эту схему. Команда соглашается, что разборы нужны для обучения, публикует это заявление и отслеживает долю инцидентов, открытых с приоритетом ниже закрывающего, как ограждение. Концентрация по категориям тоже показывает сбой интерфейса в начале списка, поэтому открывается запись о проблеме и планируется исправление вместе с командой интерфейса.
Отраслевой взгляд
Стартап. Объём невелик, и команда знает каждый инцидент, поэтому интенсивности и матрицы могут казаться тяжеловесными. Ведите простой счёт по услугам и короткий список категорий и запишите на одной странице, что считается инцидентом. Следите за повторами: маленькая команда может быстро устранить повторяющийся сбой и вернуть себе время.
Малый бизнес. Служба поддержки может состоять из одного человека, использующего размещённый инструмент. Используйте стандартные отчёты инструмента, держите приоритет в нескольких уровнях с простым правилом влияния и срочности и проверяйте, что запросы не считаются инцидентами. Сравнивайте месяц с месяцем с заметками об изменениях, например о новых сотрудниках или новом программном обеспечении.
Предприятие. Множество услуг, поставщиков и служб делает главной проблемой согласованность. Договоритесь об одной матрице влияния и срочности, одной схеме категорий с ограниченной глубиной и одном правиле устранения дубликатов, а местным командам разрешите добавлять метки без изменения общей схемы. Нормализуйте по услуге и разбирайте тренды с помощью контрольных карт и подписей. Инцидентам по вине поставщиков нужно общее определение в контрактах (см. тему 5.1, Метрики SLA, OLA и XLA).
Государственный сектор. Инциденты могут влечь обязанности по отчётности, потребности аудита и общественный интерес, особенно когда услуги затрагивают права или безопасность граждан. Документируйте матрицу приоритетов и схему категорий, ведите журнал аудита изменений приоритета и будьте осторожны с любым опубликованным числом, поскольку публичная отчётность может создавать сильное давление на то, как пишутся записи. Данные об использовании могут быть ограничены правилами конфиденциальности, поэтому укажите знаменатель, который вы вправе использовать (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Мотивация состоит в управлении спросом. Инциденты потребляют время квалифицированных специалистов, прерывают плановую работу и нарушают работу пользователей. Понимание объёма, приоритета и повторов позволяет организации устранять причины, планировать штат по реальному спросу и показывать руководству, где работа над надёжностью окупится.
Затраты состоят из трёх частей. Настройка включает определение инцидента и запроса, согласование матрицы приоритетов и схемы категорий и связывание данных об использовании с услугами. Затраты на эксплуатацию это усилия на поддержание чистоты записей, ежемесячный выборочный разбор и человек, который ведёт отчёт. Третья статья затрат это время на действия по выводам, и именно оно даёт большую часть отдачи, поэтому планируйте под него мощность.
Отдачу лучше описывать как закономерности, которые вы можете измерить сами. Это меньше повторов после работы с проблемами, меньше времени на споры о приоритете, меньше неожиданных эскалаций и лучшее соответствие штата спросу. Избегайте обещаний процента снижения числа инцидентов: он зависит от услуги, исходной точки и проделанной работы. Совокупная стоимость владения в основном складывается из времени людей, поэтому учитывайте её и сравнивайте со временем, которое сейчас поглощают повторяющиеся инциденты.
Антипаттерны и ловушки
- Сообщение исходного числа как оценки здоровья. Его двигают использование, изменения и поведение при обращениях. Показывайте нормализованные интенсивности, исходные числа и подписи вместе.
- Целевые показатели «меньше инцидентов». Они вознаграждают подавление и неверную маркировку. Ставьте цели по сокращению повторов и влиянию на клиентов, а число инцидентов сохраняйте как информацию.
- Учёт запросов как инцидентов. Объём растёт, и услуга выглядит хуже, чем есть. Разделите типы записей и сообщайте каждый.
- Приоритет со свободным выбором. Приоритет становится предметом переговоров, а структура теряет смысл. Используйте опубликованную матрицу и выборочную проверку согласованности.
- Дерево категорий, которым никто не пользуется. Люди выбирают первое совпадение, и «прочее» растёт. Держите его коротким, ежемесячно пересматривайте «прочее» и убирайте неиспользуемое.
- Учёт каждой связанной заявки как отдельного сбоя. Одна авария доминирует над месяцем. Сообщайте родительские инциденты и число связанных записей.
- Ранжирование сотрудников или команд по числу инцидентов. Счёт по людям отражает распределение работы и привычки обработки заявок. Агрегируйте до услуг и разбирайте закономерности, а не людей.
- Игнорирование повторов. Один и тот же сбой исправляют снова и снова, а причиной никто не владеет. Связывайте повторы с записями о проблемах и назначайте владельца.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Определения и подсчёт | Люди расходятся во мнениях, что такое инцидент; числа берутся из разовых выгрузок | Некоторые команды отделяют запросы от инцидентов; правила различаются | Одно письменное определение, фильтр и правило устранения дубликатов для всех команд | Изменения определений фиксируются и показываются на графиках трендов; доля записей без категории отслеживается | Определения пересматриваются вместе с поставщиками и клиентами и меняются, когда перестают информировать решения |
| Нормализация и интерпретация | Только исходные числа | Данные об использовании применяют несколько услуг | Именованный показатель использования для каждой услуги из отдельного источника | Контрольные карты с подписями используются на разборах | Данные об использовании, изменениях и инцидентах связаны между командами и поставщиками, чтобы объяснять спрос |
| Практика приоритета | Приоритет выбирают на глаз | Матрица есть в некоторых командах | Одна матрица с примерами, показанная там, где выбирается приоритет | Структура и доля переклассификации ежемесячно разбираются и проверяются выборочно | Матрица настраивается вместе с клиентами и владельцами клинической или бизнес-стороны по мере изменения условий |
| Повторы и закономерности | Повторы замечают по памяти | Списки категорий изредка пересматриваются | Доли повторов и повторных открытий сообщаются ежемесячно с заданным окном | Повторяющиеся кластеры связаны с записями о проблемах с владельцами и датами | Устранение причин между командами и у поставщиков финансируется и отслеживается до снижения спроса |
Контрольный список
- Письменное определение отделяет инциденты от запросов, оповещений и проблем.
- Родительские инциденты и связанные записи сообщаются отдельно.
- Каждый инцидент отнесён к услуге из каталога услуг.
- У каждой услуги есть именованный показатель использования из источника, отличного от инструмента инцидентов.
- Отчёты показывают исходное число, нормализованную интенсивность и подписи для выпусков и кампаний.
- Контрольная карта используется до того, как кто-либо отреагирует на изменение недельного объёма.
- Приоритет выводится из опубликованной матрицы влияния и срочности с примерами.
- Структура приоритетов и доля переклассификации разбираются вместе каждый месяц.
- Список категорий короткий, а доля записей «прочее» и без категории отслеживается.
- Доли повторов и повторных открытий используют заданные окна и сообщаются отдельно.
- Повторяющиеся кластеры связаны с записями о проблемах и имеют владельца.
- Ни один отчёт не ранжирует отдельных сотрудников по числу инцидентов.
Промпты для ИИ
Проверьте определение объёма инцидентов на неоднозначность.
Мы считаем объём инцидентов для [услуга или команда] из [инструмент ITSM]. Наш
текущий фильтр: [опишите типы записей, статусы и исключения], а период: [период].
Проверьте определение на неоднозначность, включая то, как обрабатываются запросы,
дубликаты, объединённые заявки и отменённые записи. Предложите чёткое письменное
правило и короткий список примеров, которые разрешили бы разногласия. Не
выдумывайте эталонные значения. Перечислите ваши допущения и вопросы, на которые
мне нужно ответить, чтобы завершить определение.
Спроектируйте нормализованную интенсивность инцидентов.
Для услуги [название услуги] я хочу интенсивность инцидентов, нормализованную по
использованию. Доступные показатели использования: [перечень, например активные
пользователи, сеансы, транзакции] из [источник]. Сравните варианты, скажите, какой
подходит лучше и почему, и опишите, что может исказить каждый из них. Предложите,
как показать на одном графике исходное число, интенсивность и подписи для
[события, например выпуски или кампании]. Не выдумывайте числа и пороговые
значения. Перечислите ваши допущения.
Проверьте матрицу влияния и срочности.
Вот наша матрица приоритетов: [вставьте уровни влияния, уровни срочности и
получающиеся приоритеты], а вот [число] анонимизированных примеров инцидентов:
[вставьте краткие описания]. Примените матрицу к каждому примеру, укажите, где два
читателя могли бы прийти к разным приоритетам, и предложите формулировки или
примеры, которые уменьшат расхождения. Определите способы, которыми матрицу можно
подогнать. Не выдумывайте целевые показатели реагирования и эталонные значения.
Перечислите ваши допущения.
Проанализируйте категории и повторы, чтобы найти кандидатов на улучшение.
У меня есть записи об инцидентах за [период] со следующими полями: [перечислите
поля, например услуга, категория, CI, время открытия, время закрытия, признак
повторного открытия]. Опишите метод, чтобы найти главные категории, отделить
повторные открытия от повторов с окном [окно] и выбрать [число] кандидатов для
исследования проблем. Объясните, как проверить универсальные категории и почти
одинаковые записи. Не выдумывайте закономерности в данных, которых я вам не
показывал. Перечислите ваши допущения.
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти тему, определяющую связанную метрику, и ограждение, которое должно стоять рядом с ней.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что отредактированная тема о метрике сохраняет полными свои часы, способы подгонки и ограждения.
Ключевые выводы
- Объём инцидентов отражает использование, изменения и поведение при обращениях не меньше, чем качество, поэтому нормализуйте его и подписывайте.
- Читайте приоритет как структуру, выводите его из опубликованной матрицы влияния и срочности и следите за долей переклассификации.
- Сообщайте родительские инциденты и связанные записи отдельно, чтобы одна авария не выглядела как месяц рутинной работы.
- Повторы и повторные открытия это самые полезные сигналы, потому что они указывают на причины и исправления, которые не удержались.
- Агрегируйте до услуг и команд, никогда до отдельных сотрудников, и сочетайте каждую метрику с ограждением.
- Используйте контрольные карты и диаграммы Парето, чтобы решить, куда смотреть, а затем дайте каждому кластеру владельца и мощность.
Источники и дополнительное чтение
- Axelos (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO/IEC 20000-1, Information technology: Service management: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Incident management.
- Wikipedia, Help desk software.
- Wikipedia, Control chart.
- Wikipedia, Seasonality.
- Wikipedia, Pareto principle.
- Wikipedia, Root cause analysis.