Обзор и мотивация

Большинство метрик услуг попадает на панель в виде одного числа: среднее время решения, доля инцидентов, решённых в пределах целевого срока, число заявок, закрытых на этой неделе. Одно число кажется точным. Обычно же это сжатая сводка беспорядочного набора событий, и именно сжатие определяет, что увидит читатель. Статистическая грамотность в рамках этой книги это небольшой набор привычек, которые удерживают сводку честной: выбирать сводку, подходящую форме данных, знать, сколько данных за ней стоит, и отличать настоящее изменение от шума.

Форма данных услуг это первая проблема. Измерения времени, такие как время решения, время цикла и время ожидания, ограничены нулём и имеют длинный хвост справа. Большинство элементов завершается быстро, а немногие тянутся очень долго. Такие данные скошены, и среднее арифметическое смещается к хвосту, поэтому одна застрявшая заявка может сдвинуть среднее сильнее, чем сотня обычных. Медиана, то есть средний элемент отсортированного набора, затрагивается гораздо меньше. Перцентиль обобщает её: 85-й перцентиль это значение, в пределах которого завершается 85 процентов элементов. Такие длительности часто моделируют логнормальным распределением, в котором симметричен логарифм значения. Вывод таков: для скошенных данных «типичное» и «среднее» различаются.

Размер выборки это вторая проблема. Команда, которая за квартал решила 12 инцидентов приоритета 1 и сообщает «83 процента в пределах цели», описывает 10 из 12. Ещё один промах сдвинул бы показатель на восемь пунктов. Честное утверждение включает число элементов, а часто и диапазон. Доверительный интервал это диапазон, вычисленный по данным, который выражает, насколько далеко от наблюдаемого значения может правдоподобно лежать истинное. Для малых выборок интервалы широкие, для больших узкие, и это верное сообщение для квартала с 12 инцидентами.

Изменчивость это третья проблема. Любой процесс выдаёт числа, которые колеблются от недели к неделе, хотя ничего не менялось. Уолтер Шухарт, занимаясь качеством производства в 1920-х годах, отделил эту обычную рябь от сигналов, заслуживающих расследования, и подарил нам контрольную карту. Применение таких карт к процессу называется статистическим управлением процессами. Часть этой последней ошибки составляет регрессия к среднему: за экстремальным значением обычно следует менее экстремальное, поэтому неделя после ужасной недели выглядит как восстановление, сделал ли кто-нибудь что-либо или нет.

Практика гибкого потока, например использование в Kanban Guide перцентилей времени цикла и возраста рабочего элемента, уже требует распределений и прогнозов, выраженных как вероятности (см. тему 2.1, Показатели потока). В ITIL 4 практика измерения и отчётности и практика непрерывного улучшения обе зависят от показателей, которые означают то, что кажется, а управление уровнем услуг зависит от целей, заданных с учётом реалистичной изменчивости. Статистическая грамотность это общий слой под обеими. Она также поддерживает ограждение из темы 1.2, Закон Гудхарта и психология метрик: команде, которая показывает всё распределение, труднее спрятать подтасованное среднее.

Изменчивость по общим причинам заложена в сам процесс, а изменчивость по особым причинам происходит от чего-то конкретного, что изменилось или пошло не так. Соглашение об уровне услуг (SLA) это документированное обязательство перед клиентом, а цель уровня услуги (SLO) это целевое значение показателя.

Ключевые принципы

  • Подбирайте сводку под форму. Используйте медианы и перцентили для длительностей и показывайте всё распределение, когда решение важно. Среднее оставьте для данных, примерно симметричных, или для сумм, таких как затраты.
  • Каждая доля несёт своё число элементов. Процент без числителя и знаменателя это утверждение без доказательств. Ниже установленного минимального числа показывайте сами элементы вместо доли.
  • Обычная изменчивость не новость. Узнайте нормальный диапазон показателя, прежде чем реагировать. Отвечайте на сигналы, а не на каждое колебание.
  • Неопределённость входит в ответ. Выражайте прогнозы как вероятности («85 процентов элементов завершаются в пределах 9 дней»), а оценки как диапазоны, и не поддавайтесь ложной точности.
  • Показывайте распределения команде, которой принадлежит работа. Исходные элементы и гистограммы делают необычные случаи заметными и затрудняют тихие манипуляции.
  • Корреляция, отбор и время объясняют многие «улучшения». Спрашивайте, что ещё изменилось, кто выпал из данных и не была ли отправная точка необычно плохой.
  • Держите статистику соразмерной. Команде нужна горстка приёмов, применяемых последовательно, а не курс статистики. Объясняйте каждый график простыми словами.

Определения метрик

Метрики ниже описывают статистическое качество практики метрик и распределение работы по услугам. Показатели времени используют часы, указанные в каждой строке, а определения рассчитаны на повторное использование в последующих темах (см. тему 3.3, Время реагирования на инциденты и их устранения, и тему 2.2, Время выполнения, время цикла и эффективность потока).

Метрика Определение Формула Единица Источник данных Практика ITIL Гибкий аналог Периодичность
Медианное время решения Среднее по порядку время решения инцидентов, решённых за период 50-й перцентиль (метка времени решения минус метка времени создания) по инцидентам, решённым за период; часы запускаются при создании заявки и останавливаются при решении; паузы сообщаются отдельно, не вычитаются; отменённые и дублирующие заявки исключаются часы или дни История статусов в инструменте ITSM Управление инцидентами; измерение и отчётность Медиана времени цикла Еженедельно или ежемесячно
Время решения по высокому перцентилю Время, в пределах которого решается большинство инцидентов, с названным перцентилем 85-й (или 95-й) перцентиль того же затраченного времени; вычисляется, только если решено не менее 20 элементов, иначе перечисляются сами элементы часы или дни История статусов в инструменте ITSM Управление инцидентами; управление уровнем услуг Прогноз по перцентилю времени цикла Еженедельно или ежемесячно
Возраст самого старого открытого элемента Возраст самого старого ещё открытого элемента плюс число элементов старше высокого перцентиля сейчас минус метка времени создания для открытых элементов, пауза не вычитается; учитываются все открытые элементы в очереди услуги, включая ожидающие клиента дни Инструмент ITSM или трекер задач Управление инцидентами; управление проблемами Возраст рабочего элемента Еженедельно
Охват отчётности по долям Доля сообщаемых долей, которые показывают числитель, знаменатель и проверку минимального числа доли, сообщённые с числами и признаком выборки / сообщённые доли; учитываются только доли, опубликованные в пакете обзора за период процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность Рабочие соглашения Ежеквартально
Доля сигналов контрольной карты Доля точек на контрольной карте показателя, дающих сигнал об изменчивости по особым причинам по письменным правилам команды точки, отмеченные по правилам / нанесённые точки, за последние 20 и более точек; правила фиксируются заранее и ведутся в журнале процент Инструмент контрольных карт или электронная таблица Непрерывное улучшение Ретроспективный анализ процесса Ежемесячно
Ширина интервала Ширина заявленного диапазона неопределённости главной доли верхняя граница минус нижняя граница интервала по методу, названному в реестре, для главной доли периода процентные пункты Вычисляется по счётчикам ITSM Управление уровнем услуг Диапазон прогноза при планировании Ежемесячно

Если контракт называет среднее, сообщайте контрактную цифру и показывайте рядом медиану и перцентиль.

Рекомендации

Честно обобщайте данные о времени

1. По умолчанию используйте медиану и один названный высокий перцентиль. Для времени решения, времени цикла и времени исполнения публикуйте вместе медиану и 85-й или 95-й перцентиль и записывайте перцентиль в название метрики. Медиана говорит, что типично, а высокий перцентиль говорит, что можно разумно пообещать клиенту. Если для обязательства нужно выбрать одно число, выбирайте перцентиль.

2. Показывайте форму, а не только сводку. Гистограмма или диаграмма рассеяния времени решения по дате закрытия показывает кластеры, длинные хвосты и внезапные сдвиги, которых не показывает ни одна сводка. Когда картина и число расходятся, верьте картине и проверяйте число.

3. Добавьте возраст самого старого открытого элемента. Перцентили завершённой работы смотрят назад и игнорируют всё, что ещё застряло. Сообщайте самый старый открытый элемент и сколько открытых элементов уже старше вашего высокого перцентиля (см. тему 2.1, Показатели потока). Это самое полезное средство против средних, которые улучшаются потому, что трудные элементы оставляют стареть.

Уважайте малые выборки и неопределённость

4. Публикуйте число элементов вместе с каждой долей. Пишите «10 из 12 решены в пределах цели», а не «83 процента». Добавьте правило, что доли, основанные на числе элементов меньше установленного, показываются как счётчики или как сами элементы. Порог это суждение: запишите его, пересматривайте и применяйте везде.

5. Используйте интервалы для главных долей и прогнозов. Для доли, такой как процент неудачных изменений, вычисляйте доверительный интервал методом, согласованным в вашей команде, и отмечайте метод в реестре. Для прогнозов поставки диапазон на основе выборки (например, «вероятно, от 8 до 14 элементов в неделю») говорит планировщикам больше, чем одна цифра пропускной способности. Если интервал слишком широк, чтобы влиять на решение, так и скажите.

Отличайте сигнал от шума

6. Стройте контрольные карты для показателей, на основании которых действуете. Простая карта индивидуальных значений наносит каждую точку в порядке времени с центральной линией и пределами, вычисленными по данным, и отмечает точки за пределами или серии по одну сторону от центра. Начните с еженедельной медианы времени решения и еженедельного объёма. Запишите правила сигналов один раз (например, точка за пределами или серия из восьми по одну сторону) и держите их неизменными, чтобы команда не подгоняла правила, пока карта не согласится с её ощущениями.

7. Действуйте по сигналам и не трогайте изменчивость по общим причинам. Когда точка внутри пределов, воздержитесь от объяснений: процесс ведёт себя как обычно. Когда появляется сигнал, спросите, что изменилось на той неделе: выпуск, нехватка персонала, сбой поставщика, новая категория. Если процесс стабилен, но неудовлетворителен, улучшение это изменение системы, а не разговор с тем, у кого была красная неделя.

8. Ожидайте регрессию к среднему после экстремального периода. Если вы запускаете инициативу в худший месяц года, некоторое улучшение наступит само по случайности. Прежде чем приписывать заслугу инициативе, сравните с более длинной базовой линией, с похожей услугой, которая не менялась, или с контрольными пределами. Пара «до и после» из двух точек это самая слабая форма доказательства.

Рассуждайте осторожно о причинах и отборе

9. Спрашивайте, чего не хватает в данных. Ответы на опросы приходят от тех, кто решил ответить. Закрытые заявки исключают те, что ещё открыты. Прежде чем делать вывод, перечислите, кого или чего нет и как это могло исказить результат.

10. Меняйте определения намеренно и отмечайте это на графике. Новая модель статусов, новая матрица приоритетов или новый список категорий меняют данные, не меняя работу. Аннотируйте каждое изменение на графике и перезапускайте контрольные пределы после него (см. тему 1.5, Источники данных и инструментирование).

Способы подгонки и ограждения

Метрика Как её подгоняют Парное ограждение (метрика или практика)
Медианное время решения Сначала закрывают быстрые заявки, а трудные оставляют открытыми; делят заявку на несколько лёгких; ставят часы на паузу в статусе ожидания клиента Время решения по высокому перцентилю и возраст самого старого открытого элемента; доля времени в статусах паузы; доля связанных заявок
Время решения по высокому перцентилю Выбирают перцентиль, который льстит результату, или меняют его между отчётами; исключают долгие случаи как «выбросы» или переклассифицируют их Перцентиль закреплён в реестре; список исключённых элементов с причинами; возраст самого старого открытого элемента
Возраст самого старого открытого элемента Закрывают или сливают самый старый элемент, не решив его; переносят в другую очередь или категорию Доля повторных открытий; выборочный аудит самых старых закрытых элементов; число переносов между очередями
Охват отчётности по долям Прикладывают число мелким шрифтом, а в заголовках по-прежнему ведут процент; задают минимальное число настолько низким, что оно никогда не срабатывает Проверять реальную панель, а не реестр; пересматривать минимальное число вместе с шириной интервала
Доля сигналов контрольной карты Расширяют пределы, добавляют правила или перезапускают базовую линию, чтобы сигналы исчезли; сдвигают точки, меняя показатель Правила и пределы хранятся в реестре с историей изменений; сравнение с исходной гистограммой
Ширина интервала Выбирают метод или окно, дающие узкий диапазон; объединяют несходные услуги, чтобы увеличить выборку Метод назван в реестре; разбивка по услугам доступна по запросу; объединённые и необъединённые результаты сравниваются

Здоровая картина такова: медианы и перцентили движутся в ту же сторону, что и опыт пользователей, короткий список старых элементов сокращается без тихой переклассификации, а доли появляются вместе со своими числами. Доля сигналов контрольной карты должна быть низкой, но ненулевой: карта, которая никогда не даёт сигнала, возможно, на это неспособна, а карта, которая сигналит всегда, отражает нестабильный процесс или неудачно выбранные правила.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Среднее время решения Просто, соответствует многим контрактам, легко суммируется Определяется хвостом; скрывает то, что клиенты обычно переживают
Медиана плюс высокий перцентиль Устойчива к выбросам; поддерживает обещания клиентам Требует небольшого пояснения; перцентилям нужно достаточно элементов для устойчивости
Доли без числа элементов Компактны и привычны Скрывают малые выборки и провоцируют чрезмерное прочтение
Доли с числами и интервалами Честны в отношении неопределённости; отбивают охоту к чрезмерной реакции Выглядят менее решительно; методы интервалов требуют согласования
Контрольные карты Отделяют сигнал от шума; подсказывают, когда действовать Нужно достаточно точек и стабильные определения; пределы можно неверно прочесть или подтасовать
Сравнение до и после Быстро и легко объяснить Подвержено регрессии к среднему и сопутствующим изменениям

Для услуги с горсткой инцидентов в год никакая статистика не устойчива, и правильный метод это разобрать каждый инцидент. Для службы поддержки с большим объёмом показатели с учётом распределения дёшевы и явно лучше. Выбирайте по объёму и по ставкам решения.

Вопросы для обсуждения с командой

1. Какое из текущих чисел на нашей панели является средним по чему-то скошенному, и что покажут медиана и 95-й перцентиль? Выберите самый просматриваемый показатель времени и вычислите все три значения на одном и том же наборе элементов до встречи. Спросите, совпадает ли история, которую рассказывает среднее, с тем, что говорят пользователи. В конце договоритесь, какая сводка становится заголовочной и где появятся остальные.

2. Сколько элементов стоит за нашим самым цитируемым процентом, и стали бы мы его цитировать, если бы писали числа? Перечислите три процента, которые руководство читает чаще всего. Рядом с каждым запишите числитель и знаменатель за последний период. Спросите, что сделал бы с цифрой один дополнительный успех или неудача. Договоритесь о минимальном числе, ниже которого команда показывает элементы, а не долю.

3. Когда мы в последний раз приписали улучшение инициативе, и что ещё было верно в то время? Выберите недавнюю историю успеха. Спросите, когда показатель был хуже всего, как выглядит более длинная история и улучшилась ли сопоставимая услуга. Сохраняйте любознательный тон.

4. Каков нормальный диапазон наших ключевых показателей, и кто сможет сказать, что данная неделя необычна? Нанесите последние 20 и более еженедельных значений одного показателя и проведите центр и пределы или вычислите их приблизительно. Спросите, на какие недели команда реагировала, хотя они лежали внутри диапазона. Договоритесь, кому принадлежит карта и где записаны правила сигналов.

5. Кого или чего не хватает в наших данных? Перечислите источники показателя: закрытые заявки, ответы на опросы, мониторируемые услуги, инструменты с метками времени. По каждому спросите, кто исключён и почему. Зафиксируйте каждый пробел как исправление или оговорку.

6. Как объяснить руководству широкий диапазон или «пока не знаем», чтобы это не звучало как отговорка? Отрепетируйте формулировку на реальном примере: «От 70 до 95 процентов, по 12 инцидентам; мы ожидаем сузить это после следующего квартала». Спросите, что нужно аудитории для решения и меняет ли диапазон решение. Напишите на встрече короткий сценарий.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки используют время цикла и пропускную способность для прогнозов и больше всего выигрывают от прогнозов на основе перцентилей, а не средних (см. тему 2.1, Показатели потока). Прогноз, заданный как диапазон с вероятностью, защитить легче, чем дату. Не читайте изменение за один период как тренд (см. тему 2.5, Метрики прогнозирования и планирования поставки).

Команды услуг и эксплуатации

Команды эксплуатации владеют данными по заявкам и часами инцидентов, поэтому им лучше всего публиковать медианы, перцентили и самый старый открытый элемент и объяснять правила пауз. Им стоит строить графики еженедельного объёма и времени решения с контрольными пределами, чтобы настоящий сдвиг, такой как неудачный выпуск, отличался от плохой недели. Когда у услуги мало инцидентов, им следует разбирать каждый, а не вычислять доли (см. тему 3.3, Время реагирования на инциденты и их устранения).

Руководство и управление

Руководители задают вопросы, которые определяют, что показывают команды. Вопрос «почему это выросло?» к каждому колебанию приучает организацию объяснять шум и скрывать его. Руководителям стоит спрашивать, лежит ли движение внутри нормального диапазона, сколько элементов стоит за цифрой и что изменилось в процессе. Органы управления могут требовать числа при главных долях.

Клиенты и пользователи

Клиенты переживают отдельные случаи, а не средние. Они помнят тот единственный запрос, который тянулся пять недель, и среднее в два дня этой памяти не исправит. Обязательства по перцентилям («девять из десяти запросов в пределах трёх рабочих дней») лучше совпадают с мысленной моделью клиента, чем средние времена. Результаты опросов следует показывать с числом ответов, а открытые комментарии читать вместе с числами (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример гибкого ITIL

У среднего интернет-ритейлера есть служба поддержки и команда эксплуатации, обслуживающая веб-магазин. Приведённые ниже цифры иллюстративны.

Руководство видит ежемесячный заголовок: «среднее время решения инцидентов снизилось с 9,1 часа до 7,4 часа». Руководителя эксплуатации просят подтвердить это и представить план следующей цели, 6 часов. Прежде чем согласиться, она просит аналитика выгрузить исходные элементы и построить график. Из 240 инцидентов месяца (иллюстративно) медиана составляет 2,5 часа, 85-й перцентиль 14 часов, а 9 инцидентов старше 5 дней и всё ещё открыты. Месяцем раньше медиана была 2,6 часа. Среднее упало потому, что три очень долгих инцидента прошлого месяца, один из них возрастом 11 дней, случайно решились раньше в этом периоде, и потому, что партию заявок на сброс пароля переклассифицировали в быстро закрывающийся тип запроса.

Команда строит график еженедельной медианы за последние 26 недель. Центральная линия лежит около 2,6 часа, и каждая точка за последние два месяца внутри пределов. Падение в заголовке не является сигналом. Переклассификация на второй неделе изменила определение посреди графика, поэтому команда отмечает её и перезапускает пределы с этой точки.

Они решают внести три изменения. В ежемесячном отчёте будут показаны медиана, 85-й перцентиль и самый старый открытый элемент, с числом инцидентов за каждым. Предложенная средняя цель в 6 часов заменяется разговором о цели по перцентилю, которую зададут после квартала данных по новому определению. Команда также перечислит 9 старых инцидентов, у каждого с владельцем и следующим шагом.

Риск подгонки, который они ловят, возникает на следующем обзоре. Руководитель предлагает закрыть 9 самых старых инцидентов как «больше не воспроизводятся», чтобы показатель самого старого элемента выглядел здоровым. Поскольку реестр связывает возраст самого старого открытого элемента с долей повторных открытий и выборочным аудитом старых закрытий, команда читает три из предложенных закрытий, обнаруживает, что два всё ещё актуальны, и оставляет их открытыми. Показатель самого старого элемента остаётся неприятным ещё месяц. Это и есть задуманное поведение.

Отраслевой взгляд

Стартап. Объёмы малы, поэтому большинство долей состоит из нескольких элементов, а интервалы широки. Читайте каждый инцидент, а не вычисляйте статистику, ведите простой еженедельный график одного-двух показателей и не объявляйте тренды по трём точкам. По мере роста объёма переходите к медианам и перцентилям пораньше, чтобы привычки уже были на месте.

Малый бизнес. Человек, который руководит ИТ, владеет и данными, а выборка обычно мала. Для редких событий сообщайте числа, а не проценты, и сравнивайте с собственной более долгой историей. Проверьте, что на самом деле измеряют часы «времени реагирования» у поставщика.

Предприятие. Объём делает распределения осмысленными, а также поощряет сводки, смешивающие несходные услуги. Сравнивайте подобное с подобным, публикуйте определения и используемый перцентиль и ведите общую библиотеку правил графиков и расчётов, чтобы команды не считали один и тот же показатель тремя способами.

Государственный сектор. Контракты и обязательная отчётность часто фиксируют среднее или пороговый процент, и эти определения не обсуждаются. Сообщайте требуемую цифру точно по определению и показывайте рядом медиану, перцентиль и числа, чтобы надзорные органы видели полную картину. Общественное внимание делает честную неопределённость ценнее, потому что излишне самоуверенное число дорого отзывать (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивация, ROI и TCO

Требуется несколько часов, чтобы согласовать правила сводок, построить гистограмму и контрольную карту по выгрузке и добавить числа в шаблон отчёта, плюс несколько минут в каждом цикле на их обновление. Большинство инструментов уже вычисляет перцентили. Более крупная цена это разговор с людьми, привыкшими к одному утешительному числу.

Отдача состоит в лучших решениях и меньшей напрасной реакции. Команды перестают перестраиваться после плохой недели, перестают приписывать инициативам случайные улучшения и перестают обещать средние, которых половина их клиентов не испытывает. Не заимствуйте цифру: сосчитайте, как часто решения прошлого года отменялись и сколько «улучшений» исчезло в следующем периоде, и используйте эти числа для оценки обоснования.

Антипаттерны и ловушки

  • Усреднение скошенных длительностей. Среднее тянет хвост, и оно скрывает то, что чувствуют пользователи. Сообщайте медиану и названный высокий перцентиль и показывайте самый старый открытый элемент.
  • Проценты из крошечных выборок. «100 процентов» из трёх элементов это анекдот. Показывайте числа и применяйте правило минимального числа.
  • Реакция на каждое колебание. Погоня за каждой красной неделей тратит усилия и учит команды объяснять шум. Используйте контрольные пределы и письменные правила сигналов.
  • Доказательство «до и после». Две точки не могут отделить вмешательство от случайности или регрессии к среднему. Используйте более длинную базовую линию и сравнение.
  • Передвижение ворот на графике. Изменение пределов, правил или определений задним числом заставляет любой график согласиться с историей. Фиксируйте правила, ведите журнал изменений и аннотируйте их.
  • Исключение выбросов по умолчанию. Самые долгие случаи обычно те, которые клиенты помнят. Исключайте только с письменной причиной и перечисляйте, что исключено.
  • Ложная точность. Сообщать 83,3 процента по 12 элементам значит подразумевать знание, которого у данных нет. Округляйте честно и показывайте диапазон.
  • Объединение несходной работы. Смешанное время для сброса паролей и сбоев центра обработки данных не описывает ни то, ни другое. Сначала сегментируйте.

Модель зрелости

Измерение 1 Начальный 2 Развивающийся 3 Стандартизованный 4 Управляемый 5 Согласованный
Сводки данных о времени Только средние Некоторые команды показывают медианы Медиана плюс названный перцентиль и самый старый открытый элемент это стандарт Распределения пересматриваются с ограждением и отслеживаются во времени Обязательства по перцентилям согласованы с клиентами и поставщиками и пересматриваются по мере изменения данных
Размер выборки и неопределённость Доли приводятся без чисел Числа показаны в некоторых отчётах Числа и правило минимального числа при каждой доле Интервалы на главных долях, метод в реестре Неопределённостью открыто делятся с клиентами и используют в планировании между командами
Изменчивость и причинность Каждое изменение объясняется Несколько графиков с пределами Контрольные карты с письменными правилами для ключевых показателей Сигналы запускают плановое расследование; инициативы проверяются по базовой линии Общие библиотеки графиков между услугами; базовые линии сравниваются между командами без ранжирования

Контрольный список

  • Каждый показатель времени сообщает медиану и названный высокий перцентиль, а не одно среднее.
  • Сообщаются возраст самого старого открытого элемента и число элементов за пределами высокого перцентиля.
  • Каждая сообщаемая доля показывает числитель и знаменатель.
  • Правило минимального числа записано и применяется ко всем долям.
  • Главные доли и прогнозы показывают диапазон, метод назван в реестре.
  • Контрольные карты существуют для трёх показателей, на основании которых действует команда, с письменными правилами сигналов.
  • Изменения определений аннотируются на графиках и фиксируются в реестре.
  • Исключённые элементы перечислены с причинами.
  • Заявления об улучшении проверяются по более длинной базовой линии, прежде чем повторяются.
  • Способ подгонки и ограждение каждой метрики записаны в реестре (см. тему 1.4, Управление метриками и ответственность за них).

Промпты для ИИ

Проверьте, подходит ли сводка данным.

У меня есть [число] значений [показатель, например время решения инцидентов]
по [услуга] за [период]. Часы запускаются на [начальное событие] и
останавливаются на [конечное событие]. Паузы [как обрабатываются]. Значения
вставлены ниже.

Опиши форму распределения, вычисли среднее, медиану, [перцентиль, например
85-й] и [второй перцентиль, например 95-й] и скажи, какая сводка лучше всего
представляет типичный случай, а какая поддерживает обещание клиентам. Укажи
значения, которые похожи на ошибки данных, но не удаляй их. Не выдумывай
эталонные значения. Перечисли свои допущения и то, чего нельзя было определить
по данным.

[вставьте значения, удалив персональные данные]

Выразите долю вместе с её неопределённостью.

Наша команда сообщает [название доли] как [числитель] из [знаменатель] за
[период] и [услуга]. Покажи, как представить это вместе с числами, объясни
простыми словами, насколько изменил бы результат один дополнительный или один
отсутствующий успех, и вычисли доверительный интервал методом [метод или
«метод, который ты рекомендуешь и называешь»]. Предложи формулировку,
понятную нетехническому руководителю, и правило минимального числа для случаев,
когда следует показывать элементы вместо доли. Не выдумывай сравнительные
цифры. Перечисли свои допущения, включая метод и условия, которых он требует
от данных.

Определите, сигнал это или шум.

Вот [число] последовательных [еженедельных или ежемесячных] значений
[показатель] по [услуга]. Изменение произошло в [период]: [опиши вмешательство,
выпуск или изменение определения]. Построй или опиши контрольную карту с
центральной линией и пределами, примени эти правила сигналов: [перечень правил,
например одна точка за пределами или серия из восьми по одну сторону] и скажи,
какие точки дают сигнал. Скажи, отличимо ли изменение от обычной изменчивости
и какие другие объяснения, такие как регрессия к среднему или изменение
определения, мне следует исключить. Не утверждай причинность. Перечисли свои
допущения и дополнительные данные, которые помогли бы.

[вставьте значения]

Навыки ИИ

  • Agile ITIL Metrics skill: используйте, чтобы найти тему и парное ограждение для метрики времени или доли до её публикации.
  • Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что у статистического показателя, добавленного в тему, есть определение, часы, способ подгонки и ограждение.

Ключевые выводы

  • Длительности услуг скошены, поэтому сообщайте медиану и названный высокий перцентиль и добавляйте возраст самого старого открытого элемента.
  • Каждая доля несёт своё число элементов, а малые выборки показываются как элементы или с диапазоном, а не как уверенный процент.
  • Узнайте нормальный диапазон показателя по контрольной карте, прежде чем реагировать на одну неделю.
  • Относитесь с подозрением к улучшениям, измеренным по двум точкам: регрессия к среднему и изменения определений объясняют многие из них.
  • Честная неопределённость это сила отчёта и ограждение от подгонки в духе Гудхарта (см. тему 1.2, Закон Гудхарта и психология метрик).
  • Держите приёмы соразмерными: несколько последовательных методов, объяснённых простыми словами, служат команде лучше, чем множество необъяснённых.

Источники и дополнительное чтение

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Skewness.
  10. Wikipedia, Median.
  11. Wikipedia, Percentile.
  12. Wikipedia, Log-normal distribution.
  13. Wikipedia, Confidence interval.
  14. Wikipedia, Control chart.
  15. Wikipedia, Statistical process control.
  16. Wikipedia, Regression toward the mean.