Обзор и мотивация

Команда, которая быстро восстанавливает услугу, всё равно может оставаться на беговой дорожке. Одна и та же неисправность возвращается каждые несколько недель, пейджер будит тех же людей, а показатели инцидентов выглядят здорово, потому что каждый ремонт быстр. Управление проблемами это практика, которая сходит с беговой дорожки. Она смотрит на инциденты в целом, находит лежащую в основе причину и добивается её устранения или сдерживания. Эта тема охватывает числа, которые говорят, делается ли такая работа и работает ли она.

Тема держится на четырёх терминах. Инцидент это незапланированное прерывание услуги или снижение её качества в том смысле, в каком слово употребляет рамка ITIL (см. тему 3.3, Время реагирования на инциденты и их устранения). Проблема это лежащая в основе причина, или предполагаемая причина, одного или нескольких инцидентов. Известная ошибка это проблема, причина которой понята и для которой записано обходное решение, хранящееся в базе известных ошибок, чтобы следующий человек, встретивший симптом, мог его найти. Обходное решение снижает или обходит влияние инцидента или проблемы, не устраняя её причину. Постоянное исправление это изменение, которое устраняет причину.

Поиском причины занимается анализ первопричин. Распространённые приёмы включают пять «почему», диаграмму Исикавы и диаграмму Парето, которая ранжирует причины по частоте или по причинённому вреду. У сложных систем часто несколько способствующих причин и нет одного виновника, поэтому хорошая запись о проблеме называет факторы, устранение которых останавливает повторение, и сообщает, насколько команда в этом уверена.

Метрики важны, потому что у управления проблемами есть встроенная ловушка отчётности. Открыть запись о проблеме легко, и это кажется продуктивным. Закрыть её тоже легко, так как запись можно закрыть с примечанием. Ни одно из этих событий не показывает, что для пользователей что-то улучшилось. Стоящие внимания показатели лежат дальше по течению: прекращают ли повторяться инциденты, связанные с проблемой, используют ли известные ошибки те, кто дежурит, и как долго диагностированная причина ждёт своего исправления.

Взгляды ITIL и гибкости здесь встречаются почти без трения. В ITIL 4 управление проблемами это практика внутри системы создания ценности, тесно связанная с управлением инцидентами, обеспечением изменений и управлением знаниями. Её гибкий аналог это поток небольших исправлений на основе свидетельств, проходящих через бэклог команды, ретроспектива, замечающая закономерность, и привычка относиться к работе над надёжностью как к обычной продуктовой работе. Где взгляд ITIL подчёркивает записи, владение и известную ошибку, гибкий взгляд подчёркивает малые партии и быструю обратную связь. Оба хотят меньше повторяющихся инцидентов, и именно этот результат нужно держать перед глазами у всех.

Эта тема не повторяет часы инцидентов (см. тему 3.3, Время реагирования на инциденты и их устранения) и показатели крупных инцидентов (см. тему 3.4, Метрики крупных инцидентов) и рассматривает выполнение действий по итогам разборов только там, где оно питает проблемы (см. тему 4.2, Метрики разборов и обучения). Бэклог известных ошибок и более широкое понятие технического долга рассматриваются в теме 4.6, Технический долг и известные ошибки. Здесь основное внимание на записи о проблеме и результатах, которые она даёт. Показатели восстановления и сбоев, основанные на развёртывании, находятся в теме 2.8, Метрики DORA.

Ключевые принципы

  • Измеряйте повторяемость, а не бумаги. Проверка управления проблемами в том, что связанные инциденты перестают возвращаться. Число открытых и закрытых записей описывает активность и мало говорит о результате.
  • Разделяйте три момента. Обнаружение того, что закономерность существует, определение её причины и устранение причины это разные события с разными часами и разными владельцами. Их слияние скрывает, где сидит задержка.
  • Обходное решение это этап, а не конец. Записывайте его, пользуйтесь им и отслеживайте, как долго оно остаётся единственной защитой. Обходное решение, живущее годами, это долг с владельцем, которого никто не может назвать.
  • Размещайте исправление там, где идёт работа. Постоянное исправление обычно приходит как изменение или элемент бэклога, принадлежащий продуктовой команде. Измеряйте его в собственном потоке команды и показывайте команде, владеющей услугой.
  • Связывайте инциденты с проблемами у источника. Каждый показатель здесь зависит от связи между инцидентом и проблемой. Если связь слаба, слабы и числа.
  • Предпочитайте распределения и когорты средним. Длительности проблем велики и скошены, и несколько старых записей определяют любое среднее (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Описывайте команды и услуги, никогда людей. Проблемы это свойства системы. Таблица закрытых проблем на аналитика превращает расследование в квоту.

Определения метрик

Все часы используют отметки времени записи о проблеме, связанных записей об инцидентах и связанного изменения или элемента бэклога. Если строка не говорит иного, проблемы считаются по услуге и по команде-владельцу, а объединённые или дублирующие записи исключаются. Для каждой длительности предпочтительны процентили, а не средние. Числа в примере этой темы иллюстративны.

Метрика Определение Формула Единица Источник данных Практика ITIL Гибкий аналог Периодичность
Открытые и закрытые проблемы Поток записей о проблемах в открытое состояние и из него, по услуге Число открытых за период и число закрытых за период, каждое по коду закрытия (исправлено, принятый риск, дубликат, не воспроизводится); дубликаты показываются, но исключаются из счёта «исправлено» число за период Записи о проблемах в ITSM Управление проблемами Приток и пропускная способность бэклога Ежемесячно
Возраст бэклога проблем Как долго ждут открытые проблемы Для каждой открытой проблемы дата снимка минус дата создания записи; сообщайте медиану и 85-й процентиль открытых проблем и самую старую, по приоритету дни Записи о проблемах в ITSM Управление проблемами Возраст рабочего элемента на доске Ежемесячно
Доля привязки инцидентов к проблемам Доля инцидентов, указывающих на проблему или известную ошибку там, где это ожидается Инциденты за период со связанной проблемой или известной ошибкой / инциденты за период с приоритетом «высокий» и выше, либо повторно открытые, либо из повторяющейся категории; инциденты, закрытые как ошибка пользователя или дубликаты, исключаются процент Записи об инцидентах и проблемах в ITSM Управление инцидентами; управление проблемами Выявление закономерностей на ретроспективе Ежемесячно
Время до первопричины Сколько времени диагностируемая проблема идёт до записанной причины Отсчёт начинается при создании записи о проблеме и останавливается, когда причина записана и проверена вторым человеком; проблемы, закрытые без причины, исключаются и считаются отдельно; сообщайте медиану и 85-й процентиль дни Записи о проблемах в ITSM и их журнал аудита Управление проблемами Ограниченное по времени исследование (spike) Ежемесячно
Доля повторного использования известных ошибок Как часто известная ошибка используется при поступлении инцидента Инциденты, решённые со связанной известной ошибкой или её обходным решением / инциденты за период, чей симптом совпадает с известной ошибкой, существовавшей на тот момент; инциденты без подходящей известной ошибки исключаются процент Связи инцидентов в ITSM; использование статей знаний Управление знаниями; управление проблемами Использование runbook или сценария команды Ежемесячно
Время до постоянного исправления Как долго проблема остаётся открытой от диагностики до работы исправления в производственной среде Отсчёт начинается, когда причина записана, и останавливается, когда связанное изменение с исправлением внедрено и подтверждено; проблемы, закрытые как принятый риск, исключаются и считаются отдельно; сообщайте медиану и 85-й процентиль дни Записи о проблемах; записи об изменениях или события развёртывания конвейера Управление проблемами; обеспечение изменений Время цикла элемента с исправлением Ежемесячно
Доля повторяемости после исправления Доля исправленных проблем, чьи связанные симптомы вернулись Проблемы, закрытые как исправленные в когортном квартале, с новым совпадающим инцидентом в течение 90 дней после ввода исправления / проблемы, закрытые как исправленные в том квартале; окно в 90 дней приведено как пример и указывается на графике процент Записи об инцидентах и проблемах в ITSM; события развёртывания Управление проблемами; непрерывное улучшение Доля ускользнувших дефектов или регрессий Ежеквартально
Доля «только обходное решение» Доля известных проблем, защищённых только обходным решением Открытые проблемы в состоянии известной ошибки без запланированного исправления / открытые проблемы в состоянии известной ошибки; проблемы с принятым риском, имеющие названного владельца и дату пересмотра, показываются отдельной группой процент Записи о проблемах в ITSM Управление проблемами; управление рисками Реестр технического долга Ежемесячно

Окно в 90 дней, правило сопоставления симптомов и определение «ожидается» в доле привязки это примеры. Команда выбирает значения, подходящие для её услуг, и записывает их в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них). Отдельный подсчёт проблем, закрытых как «исправлено», отдельно от других кодов закрытия сохраняет честность пары «открыто и закрыто».

Рекомендации

Решите, что считается проблемой

1. Открывайте проблему на основании свидетельств и говорите, каковы они. Хорошие поводы это повторяющиеся инциденты с одним симптомом, крупный инцидент с неизвестной причиной, тенденция, найденная на разборе, или риск, замеченный до любого инцидента. Запишите повод в запись, например «пять инцидентов за шесть недель, связанных с одной услугой». Если каждый необычный инцидент становится записью о проблеме, бэклог наполняется шумом, и никто его не читает.

2. Используйте небольшой общий набор кодов закрытия. Исправлено, принятый риск, дубликат, не воспроизводится и объединено достаточно для большинства команд. У каждого кода есть смысл в одно предложение и владелец, который вправе его использовать. Структура кодов закрытия информативнее числа закрытых, потому что показывает, сколько работы устранило причину, а сколько закончилось без изменения.

Связывайте инциденты и проблемы у источника

3. Сделайте связь шагом закрытия инцидента. Просите исполнителя связать инцидент с проблемой, известной ошибкой или пометкой «не найдено» перед закрытием. Предлагайте подходящие варианты из инструмента, если он умеет, а решение оставляйте человеку. Связь, созданная через недели при массовой уборке, ненадёжна (см. тему 1.5, Источники данных и инструментирование).

4. Договоритесь, как сопоставляются симптомы. Повторяемость зависит от решения, когда два инцидента «одинаковы». Краткая таксономия причин и симптомов с определениями и примерами лучше свободного текста. Ежеквартально проверяйте выборку совпадений, поскольку несовпадения в обе стороны смещают долю повторяемости.

5. Пусть обзор закономерностей питает список проблем. Ежемесячный обзор категорий инцидентов по услугам и по диаграмме Парето показывает, какие немногие причины дают большую часть боли. Используйте обзор, чтобы открывать проблемы и расставлять им приоритеты, и направляйте повторяющиеся причины из разборов крупных инцидентов в тот же список (см. тему 3.2, Объём и приоритет инцидентов).

Измеряйте три задержки

6. Замеряйте этапы по отдельности. Измеряйте от создания записи до записанной причины и от записанной причины до работы исправления в производственной среде. Первая задержка указывает на мощность расследования, доступ к данным и квалификацию. Вторая указывает на приоритизацию, процесс изменений и конкурирующую работу над функциями. Единое «время закрытия проблемы» смешивает их и никому не даёт ясного действия.

7. Показывайте старые. Показывайте медиану и 85-й процентиль возраста открытых проблем и перечисляйте самые старые по услугам. Несколько записей возрастом в годы сдвинут среднее и мало что скажут, тогда как список самых старых побуждает к решению: исправить, принять риск с названным владельцем и датой пересмотра или закрыть с обоснованием.

Включите исправление в обычный поток

8. Рассматривайте постоянное исправление как элемент бэклога с владельцем и датой. Свяжите проблему с изменением или рабочим элементом, который несёт исправление, и показывайте исправление на той же доске, что и работу над функциями. Расставляйте приоритеты по согласованному правилу, например сопоставляя стоимость повторяющихся инцидентов с усилиями на исправление. Если исправлению нужно изменение, путь стандартного изменения должен быть быстрым для малорисковых исправлений (см. тему 4.3, Метрики управления изменениями).

9. Просите обходное решение и дату выхода вместе. Обходное решение выигрывает время. Запишите его как известную ошибку, проверьте, что дежурная команда может его найти и применить, и назначьте дату пересмотра исправления. Тогда доля «только обходное решение» станет списком решений, а не тихой кучей долга (см. тему 4.6, Технический долг и известные ошибки).

Проверяйте, что исправления сработали

10. После каждого исправления ведите окно повторяемости. Когда исправление введено, следите за совпадающими инцидентами в течение названного окна и сообщайте долю исправлений, которые удержались, по квартальным когортам. Повторяемость это самое близкое к показателю результата, что есть у этой практики. Если она высока, спросите, была ли найдена причина или лишь способствующий фактор, и вновь откройте анализ.

11. Измеряйте повторное использование известных ошибок там, где работают исполнители. Считайте, как часто известная ошибка или её обходное решение используется при поступлении подходящего инцидента. Низкая доля повторного использования при множестве известных ошибок обычно означает, что записи трудно найти, они устарели или написаны для аналитика, а не для исполнителя. Исправьте статью и её размещение, прежде чем добавлять новые (см. тему 3.6, Метрики управления знаниями).

Сохраняйте честность чисел

12. Показывайте когорты и оговорки рядом с каждым графиком. Записывайте определения, структуру кодов закрытия и любые изменения правил прямо на графике. Квартальные когорты исправленных проблем показывают повторяемость, не смешивая старую и новую работу. Сочетайте каждый подсчёт с показателем результата, чтобы ни одно число не стояло в одиночку (см. тему 1.2, Закон Гудхарта и психология метрик).

Способы подгонки и ограждения

Метрика Как её подгоняют Парное ограждение (метрика или практика)
Открытые и закрытые проблемы Открывать много тривиальных записей; дробить одну проблему на несколько; закрывать записи как дубликаты или «не воспроизводится», чтобы очистить список Структура кодов закрытия; доля повторяемости после исправления; ежеквартальное чтение выборки закрытых записей
Возраст бэклога проблем Закрывать самые старые записи без исправления; открывать заново как новую запись, чтобы сбросить часы; переклассифицировать проблему в запрос Связывать новые записи с исходными и считать возраст от первой записи; список закрытий по причинам; пересмотр принятых рисков
Доля привязки инцидентов к проблемам Привязывать каждый инцидент к расплывчатой универсальной проблеме, чтобы поднять долю Доля связей, указывающих на пять крупнейших проблем; выборка связей, проверенная на реальное совпадение; повторяемость связанных симптомов
Время до первопричины Записывать быструю поверхностную причину, чтобы остановить часы; называть «человеческую ошибку»; пропускать второго проверяющего Доля повторяемости после исправления; таксономия причин, где «человеческая ошибка» сама по себе не принимается; проверка выборки причин по свидетельствам
Доля повторного использования известных ошибок Считать связь, добавленную после закрытия инцидента; добавлять известную ошибку к каждому инциденту услуги Время между закрытием инцидента и связью; отзыв исполнителей о том, помогла ли запись; пересмотр записей, не использовавшихся 90 дней
Время до постоянного исправления Отмечать изменение внедрённым до проверки исправления; закрывать как принятый риск, чтобы избежать работы Доля повторяемости после исправления; список принятых рисков с владельцем и датой пересмотра; шаг проверки до остановки часов
Доля повторяемости после исправления Узко определять симптомы, чтобы повторения не совпадали; расширять окно закрытия, чтобы исправления попадали в более ранние когорты; откладывать связывание Таксономия причин, проверяемая кем-то вне команды-владельца; доля привязки инцидентов; окно, заданное заранее
Доля «только обходное решение» Планировать формальное исправление без реальной даты; переводить проблемы в принятый риск; снижать приоритет проблемы Возраст запланированных исправлений, которые сдвинулись; список принятых рисков, пересматриваемый с названным руководителем-владельцем; стоимость повторяющихся инцидентов по проблемам

Здоровая картина выглядит спокойной и немного скучной. Числа открытых и закрытых примерно идут вровень, у каждой из самых старых открытых проблем есть записанное решение, доля удержавшихся исправлений высока, линии когорт ровные, а известные ошибки используют те, кто встречает симптомы. Тревожная картина это длинный аккуратный счёт закрытых вместе с инцидентами, которые продолжают возвращаться. Когда числа активности выглядят отлично, а пользователи по-прежнему сталкиваются с той же неисправностью, верьте пользователям.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Формальные записи о проблемах для повторяющихся и крупных инцидентов Ясный владелец, история и связь с исправлениями; поддерживает аудит Накладные расходы процесса; записи могут устаревать
Устранение причин в бэклоге команды без записи о проблеме Быстро, легко, близко к работе Межкомандные закономерности остаются незамеченными; нет общей известной ошибки
Строгие коды закрытия и квартальные когорты Честный взгляд на результат; сопротивляется аккуратным счётам Медленнее читается; требует дисциплины при вводе данных
Число закрытых проблем как целевой показатель Легко объяснить и показать на графике Побуждает закрывать ради счёта; поощряет мелкие проблемы
Отслеживание повторяемости исправленных проблем Самый близкий из доступных показателей того, сработало ли Нужно хорошее сопоставление симптомов и достаточно длинное окно
Отслеживание повторного использования известных ошибок Показывает, помогают ли знания исполнителям Зависит от того, свяжут ли исполнители запись; можно подогнать

Команды, быстро устраняющие причины внутри собственного бэклога, всё равно должны записывать причину там, где её видит вся организация, чтобы пользу получила другая команда, встретившая тот же симптом. Вкладывайтесь сначала в связь между инцидентами и проблемами и в окно повторяемости. Эти два элемента делают интерпретируемыми все остальные показатели.

Вопросы для обсуждения с командой

1. Какие три инцидента мы чаще всего чинили в прошлом квартале и что помешало нам устранить их причину? Перечислите повторяющиеся инциденты из службы поддержки или инструмента инцидентов и отсортируйте их по числу случаев. По каждому спросите, в чём было препятствие: нет времени на расследование, нет согласованной причины, исправление конкурирует с функциями или исправление требует другой команды. Ведущему стоит искать препятствия, повторяющиеся во всех трёх, потому что они указывают на системное, а не техническое исправление.

2. Когда мы связываем инцидент с проблемой, кто это делает, когда и как мы узнаём, что это правильная проблема? Пройдите один недавний инцидент от закрытия до связи. Отметьте, делается ли связь во время инцидента, при закрытии или в последующей уборке. Вместе проверьте небольшую выборку связей на истинные совпадения. Согласуйте одно изменение, которое сделает связь проще или надёжнее.

3. Как долго диагностированная причина ждёт исправления и кто определяет порядок? Возьмите проблемы с записанной причиной и посмотрите время с момента диагностики. Спросите, кто расставляет им приоритеты и по какому правилу. Обсуждение часто показывает, что задержка это очередь перед продуктовым бэклогом, а не техническая трудность. Договоритесь, как исправления проблем сравниваются с работой над функциями.

4. Каковы наши самые старые обходные решения и что мы потеряем, если сохраним их ещё на год? Назовите три самых долгоживущих обходных решения и их цену в ручных усилиях, рисках и знаниях людей, которые ещё их помнят. Спросите, что будет, если человек, знающий обходное решение, будет отсутствовать. Для каждого решите: исправить, принять риск с владельцем и датой пересмотра или вывести услугу из эксплуатации.

5. Если исправленная проблема возвращается, узнаём ли мы об этом и как быстро? Спросите, как был бы замечен вернувшийся симптом и кто вновь открыл бы анализ. Обсудите, достаточно ли длинно окно повторяемости для данного вида сбоя. Ведущий должен помочь группе согласовать окно и правило сопоставления и решить, какая команда проверяет совпадения, чтобы команда-владелец не оценивала собственную работу.

6. Пользуются ли дежурные нашими известными ошибками и что побудило бы их к ним обратиться? Спросите исполнителей, когда они в последний раз искали известную ошибку и что нашли. Посмотрите, где живут записи, как они озаглавлены и говорят ли, что делать в первую очередь. Выберите одну запись, перепишите её вместе с исполнителем и проверьте на следующей неделе дежурства.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют большинством постоянных исправлений и чувствуют притяжение работы над функциями. Им полезно видеть стоимость инцидентов от повторяющейся неисправности рядом с усилиями на её исправление и иметь в бэклоге ясное место для элементов с исправлениями. Им стоит сопротивляться желанию считать работу над проблемами прерыванием и вместо этого резервировать для неё видимую долю мощности. Ретроспектива это естественное место, где можно заметить закономерности и открыть проблемы (см. тему 2.1, Показатели потока).

Команды услуг и эксплуатации

Команды эксплуатации первыми видят повторяющиеся симптомы и несут цену в вызовах и ручной работе. Они ведут записи о проблемах и известных ошибках, проводят обзор закономерностей и проверяют, что связи создаются. Их риск в том, чтобы тратить усилия на записи вместо устранения причин. Им стоит держать коды закрытия небольшими, делать известную ошибку первым, что видит исполнитель, и передавать исправления команде-владельцу вместе со свидетельствами.

Руководство и управление

Руководители решают, выигрывает ли работа над надёжностью у функций, и задают стимулы к тому, что записывается. Им стоит просить повторяемость по когортам и самые старые открытые проблемы прежде, чем просить числа, и считать принятый риск решением, которому нужны названный владелец и дата пересмотра. Отчёт о снижающемся бэклоге без повторяемости поощряет закрытие. Управление должно смотреть на тенденции и решения, а не на турнирную таблицу команд (см. тему 4.6, Технический долг и известные ошибки).

Клиенты и пользователи

Пользователи оценивают управление проблемами по одному: продолжает ли одно и то же идти не так. Они не видят записей о проблемах, и им неважно, сколько их закрыто. Где позволяют соглашения, сообщайте клиентам об известной проблеме, обходном решении и дате ожидаемого исправления, а затем сообщайте, когда оно доставлено. Исправление, о котором объявили и которое выполнили, создаёт больше доверия, чем тихое.

На практике: пример гибкого ITIL

ИТ-отдел региональной больницы поддерживает клиническое приложение для составления расписаний, которым пользуются палаты и амбулаторные клиники. Продуктовая команда создаёт и эксплуатирует приложение, инфраструктурная команда управляет платформой, а служба поддержки принимает звонки. Все числа в этом примере иллюстративны.

На квартальном обзоре руководитель отдела замечает, что панель проблем выглядит отлично: закрыто 46 проблем при 31 открытой, а самая старая открытая проблема насчитывает 140 дней. Старшие медсёстры по-прежнему жалуются, что экран расписания зависает при смене смены. Владелец услуги просит долю привязки инцидентов к проблемам и долю повторяемости после исправления, которых пока нет на панели.

Данные рассказывают другую историю. Структура кодов закрытия показывает, что 22 из 46 закрытий были «не воспроизводится» или «дубликат». Доля привязки для инцидентов высокого приоритета составляет 38 процентов. Инциденты с зависанием регистрировались в четырёх категориях, поэтому закономерность не была видна. Когда выборку из 30 инцидентов связали заново вручную, 17 из них указали на одну причину: блокировку базы данных, удерживаемую ночным заданием, которое затянулось до утренней смены. Повторяемость для проблем, исправленных в предыдущем квартале, составила 27 процентов, выше, чем кто-либо ожидал.

Команда принимает три решения. Во-первых, в таксономию причин и симптомов добавляется запись «зависание расписания», а связывание с проблемой или пометка «не найдено» становится обязательным шагом при закрытии инцидента. Во-вторых, проблема ночного задания переходит из бэклога инфраструктуры на доску продуктовой команды с владельцем и целевой датой, а обходное решение (плановый перезапуск после задания) записывается как известная ошибка и проверяется со службой поддержки. В-третьих, панель заменяет число закрытых тремя числами: долей исправлений, удержавшихся через 90 дней, медианой и 85-м процентилем времени от записанной причины до исправления и самыми старыми открытыми проблемами с их решениями.

Через восемь недель блокировка устранена изменением в задании. Инциденты категории зависаний падают примерно с девяти в месяц до двух, а повторное использование известных ошибок вырастает до 71 процента для оставшихся симптомов, главным образом потому, что служба поддержки теперь находит запись о перезапуске. Риск подгонки, который команда уловила, сидел в её же прежней привычке: закрывать записи как «не воспроизводится», когда инцидент случался вне рабочего времени. Структура кодов закрытия, ежеквартальное чтение выборки закрытых записей и когорта повторяемости теперь служат ограждениями. Никого не ранжируют, а обзор перечисляет услуги и решения, а не аналитиков.

Отраслевой взгляд

Стартап. Отдельного процесса проблем обычно нет. Команда устраняет причины напрямую, и риск в том, что никто не помнит почему. Ведите одностраничный список повторяющихся инцидентов и их причин, связывайте исправления с трекером задач и пересматривайте список ежемесячно. Измеряйте повторяемость и возраст самых старых элементов; пропустите формальные коды закрытия, пока команда не вырастет.

Малый бизнес. Всем может заниматься один ИТ-специалист или управляемый поставщик услуг. Попросите у поставщика его записи о проблемах и категории инцидентов за ними, а также письменное определение «решено». Короткий список пяти главных повторяющихся неисправностей с названным владельцем и датой для каждой работает лучше тяжёлого инструмента. Периодически выгружайте записи, чтобы избежать привязки к поставщику.

Предприятие. Множество услуг и поставщиков создаёт наибольшую потребность в общих определениях. Согласуйте таксономию причин, коды закрытия и окно повторяемости между командами, назначайте владельцев проблем по услугам и отчитывайтесь по услуге и когорте. Если исправление у поставщика, отслеживайте реакцию поставщика относительно соглашения (см. тему 8.4, Метрики поставщиков и контрактов) и эскалируйте по документированному маршруту.

Государственный сектор. Аудит, контроль изменений и закупки могут удлинять путь от причины к исправлению, поэтому часы времени до исправления должны показывать, где сидит задержка: расследование, согласование, закупка или планирование. Принятым рискам нужны записанные владельцы и даты пересмотра, выдерживающие аудит. К записям об инцидентах и проблемах применяются правила хранения и приватности, особенно когда в них встречаются клинические данные или данные граждан.

Бизнес-обоснование: мотивация, ROI и TCO

Затраты состоят из трёх частей. Первая это время расследования: люди с навыками и доступом для анализа инцидентов, которое конкурирует с их другой работой. Вторая это само исправление, поставляемое через бэклог и процесс изменений. Третья это стоимость записи и отчётности: связывание инцидентов, ведение таксономий, проведение обзора закономерностей и сопровождение базы известных ошибок. Эти затраты в основном время людей, поэтому считайте часы.

Отдача проявляется в инцидентах, которые перестают повторяться, в меньшем числе вызовов и меньших усилиях на ручные обходные решения, в более коротком разборе инцидентов, потому что исполнители находят известные ошибки, и в меньшем числе эскалаций инженерам. Универсальной цифры нет, поэтому оценивайте свою. Для повторяющегося инцидента умножьте число случаев в год на средние трудозатраты на обработку и оценку влияния на бизнес на один случай, затем сравните с усилиями на исправление. Обсудите оценку с владельцем услуги, назовите её оценкой и вернитесь к ней, когда окно повторяемости покажет, что произошло. Управление проблемами окупается лучше всего на тех немногих причинах, которые дают большую часть нагрузки инцидентов, а их быстро находит взгляд по Парето.

Антипаттерны и ловушки

  • Закрытие как целевой показатель. Цель по числу закрытых проблем поощряет тривиальные записи и раннее закрытие. Сообщайте сначала показатели результата и показывайте структуру кодов закрытия.
  • Записи о проблемах как кладбище. Записи висят открытыми без владельца, даты и решения. Пересматривайте список самых старых по расписанию и требуйте решения по каждому элементу.
  • Остановка на «человеческой ошибке». Это называет, кто коснулся системы, а не почему система допустила сбой. Принимайте причину, только если она называет условие, которое можно изменить.
  • Не исправлять ничего, пока первопричина не станет достоверной. У сложных сбоев может не быть единственной причины. Применяйте обходное решение и лучшее обоснованное исправление, затем наблюдайте повторяемость.
  • Обходные решения без выхода. Обходное решение без даты пересмотра становится постоянным. Записывайте владельца и дату при создании известной ошибки.
  • Слабые связи с инцидентами. Отсутствующие или небрежные связи делают повторяемость невидимой. Сделайте связывание частью закрытия инцидента и проверяйте связи выборкой.
  • Работа над проблемами вне бэклога. Исправления, живущие в отдельной очереди, ждут вечно. Поместите элемент с исправлением на доску команды-владельца и расставляйте приоритет относительно функций.
  • Сравнение аналитиков или команд по числу закрытых записей. Это поощряет лёгкие услуги и побуждает к подгонке. Сравнивайте услуги во времени с их собственной историей и читайте когорты.

Модель зрелости

Измерение 1 Начальный 2 Развивающийся 3 Стандартизованный 4 Управляемый 5 Согласованный
Выявление проблем и связывание Проблемы открываются только после крупных сбоев; связей с инцидентами нет Некоторые команды связывают инциденты; категории различаются по командам Общая таксономия и коды закрытия; связь создаётся при закрытии инцидента Доля привязки и качество совпадений проверяются выборкой и пересматриваются Закономерности выявляются между командами и поставщиками, с общими известными ошибками
Первопричина и известные ошибки Причина записывается свободным текстом, если вообще записывается Известные ошибки хранятся некоторыми командами в разных местах Одна база известных ошибок; проверка причин вторым человеком Время до первопричины и повторное использование известных ошибок отслеживаются и используются для действий Исполнители, поставщики и клиенты вносят вклад в общие записи и пользуются ими
Поставка исправлений Исправления происходят, когда у кого-то есть время Исправления отслеживаются в собственном списке команды Исправление связано с элементом бэклога или изменением, у которых есть владелец и дата Время до постоянного исправления пересматривается, под него зарезервирована мощность Приоритет исправлений задаётся совместно с продуктовыми планами и планами поставщиков
Результат и обучение Сообщаются числа записей Возраст бэклога сообщается на некоторых обзорах Повторяемость после исправления и доля «только обходное решение» сообщаются с определениями Когорты в паре с ограждениями используются в решениях о финансировании Определения пересматриваются, когда перестают информировать решения; рутина улучшения

Контрольный список

  • Реестр метрик определяет проблему, известную ошибку и каждый код закрытия.
  • Закрытие инцидента включает связь с проблемой, известной ошибкой или пометку «не найдено».
  • Существует таксономия причин и симптомов с определениями и примерами.
  • У каждой проблемы есть владелец, повод и дата решения.
  • Время до первопричины и время до постоянного исправления измеряются отдельно, с процентилями.
  • Каждое постоянное исправление связано с элементом бэклога или изменением с владельцем.
  • У каждого обходного решения есть владелец и дата пересмотра.
  • Повторяемость после исправления отслеживается по квартальным когортам с названным окном.
  • Повторное использование известных ошибок измеряется там, где работают исполнители.
  • Самые старые открытые проблемы пересматриваются по расписанию, и каждое решение записано.
  • Выборка закрытых записей читается каждый квартал для проверки кодов закрытия и причин.
  • Отчёты описывают услуги и команды, и ни одна таблица не ранжирует людей.

Промпты для ИИ

Найдите кандидатов в проблемы среди набора инцидентов.

Вот выгрузка инцидентов для [услуга или команда] с [дата начала] по [дата
окончания]: [вставьте поля инцидентов, такие как идентификатор, время
открытия, категория, краткое описание, примечание о решении]. Сгруппируйте
инциденты, которые могут иметь общую причину, объясните свидетельства для
каждой группы и ранжируйте группы по числу случаев и по [мера влияния,
например часы влияния на пользователей]. Отметьте группы со слабыми
свидетельствами. Не придумывайте причины, числа или эталонные значения.
Перечислите допущения и дополнительные данные, которые повысили бы вашу
уверенность.

Проверьте коды закрытия и записи о проблемах.

Ниже приведено [число] закрытых записей о проблемах для [услуга или команда]:
[вставьте идентификатор, код закрытия, записанную причину, ссылку на
исправление, дату закрытия]. Проверьте каждую запись на код закрытия, не
соответствующий тексту, причину, называющую человека вместо условия, и
исправление без связи. Обобщите закономерности и предложите три вопроса для
проверяющего. Не ранжируйте людей и не придумывайте факты о записях.
Перечислите допущения.

Спроектируйте показатель повторяемости.

Мы хотим измерять, остаются ли исправленные проблемы исправленными, для
[услуга или команда]. Наши инструменты: [инструмент ITSM, инструмент
развёртывания], наши категории инцидентов: [список], наши коды закрытия:
[список]. Предложите определение, формулу, начало и конец отсчёта, правило
сопоставления симптомов, окно повторяемости и исключения, с макетом графика
по квартальным когортам. Предложите, как это можно подогнать, и ограждение
для каждого случая. Попросите у меня нужные пороги вместо того, чтобы их
придумывать. Перечислите допущения.

Подготовьте обзор решений по старым проблемам.

Вот открытые проблемы старше [число] дней для [услуга или команда]: [вставьте
идентификатор, возраст, приоритет, владельца, последнее обновление, статус
обходного решения]. Составьте повестку для обзора длительностью [длительность]
минут, где каждый элемент получает одно из трёх решений: исправить с датой,
принять риск с названным владельцем и датой пересмотра или закрыть с
обоснованием. Предложите свидетельства, которые стоит принести для каждого
решения. Не придумывайте стоимость или результаты. Перечислите допущения и
вопросы, на которые мне нужно ответить в первую очередь.

Навыки ИИ

  • Agile ITIL Metrics skill: используйте, чтобы найти темы, определяющие метрики инцидентов, изменений и знаний, от которых зависят метрики проблем, и ограждение для каждой.
  • Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что новая или изменённая метрика проблем указывает свои часы, исключения, способ подгонки и ограждение.

Ключевые выводы

  • Мера управления проблемами это повторяемость: перестают ли возвращаться инциденты, связанные с проблемой.
  • Замеряйте этапы по отдельности: от записи до записанной причины и от причины до работы исправления в производственной среде.
  • Связывайте инциденты с проблемами при закрытии, договоритесь о сопоставлении симптомов и проверяйте связи выборкой.
  • Обходное решение это этап с владельцем и датой пересмотра, а доля «только обходное решение» показывает, сколько риска несётся.
  • Помещайте постоянные исправления в бэклог команды-владельца и сообщайте показатели результата прежде чисел записей.
  • Описывайте услуги, когорты и решения. Никогда не ранжируйте аналитиков или команды по закрытым проблемам.

Источники и дополнительное чтение

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
  4. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  5. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  8. Wikipedia, ITIL.
  9. Wikipedia, Known error database.
  10. Wikipedia, Workaround.
  11. Wikipedia, Root cause analysis.
  12. Wikipedia, Five whys.
  13. Wikipedia, Ishikawa diagram.
  14. Wikipedia, Pareto chart.
  15. Wikipedia, Backlog.
  16. Wikipedia, Technical debt.