Статистическая грамотность для метрик услуг
Данные по заявкам и потоку работ скошены, неравномерны и нередко скудны, поэтому сообщайте медианы и высокие перцентили вместо средних, указывайте, сколько элементов стоит за каждой долей, и отделяйте обычную изменчивость от настоящего изменения, прежде чем кто-либо начнёт реагировать.
Обзор и мотивация
Большинство метрик услуг попадает на панель в виде одного числа: среднее время решения, доля инцидентов, решённых в пределах целевого срока, число заявок, закрытых на этой неделе. Одно число кажется точным. Обычно же это сжатая сводка беспорядочного набора событий, и именно сжатие определяет, что увидит читатель. Статистическая грамотность в рамках этой книги это небольшой набор привычек, которые удерживают сводку честной: выбирать сводку, подходящую форме данных, знать, сколько данных за ней стоит, и отличать настоящее изменение от шума.
Форма данных услуг это первая проблема. Измерения времени, такие как время решения, время цикла и время ожидания, ограничены нулём и имеют длинный хвост справа. Большинство элементов завершается быстро, а немногие тянутся очень долго. Такие данные скошены, и среднее арифметическое смещается к хвосту, поэтому одна застрявшая заявка может сдвинуть среднее сильнее, чем сотня обычных. Медиана, то есть средний элемент отсортированного набора, затрагивается гораздо меньше. Перцентиль обобщает её: 85-й перцентиль это значение, в пределах которого завершается 85 процентов элементов. Такие длительности часто моделируют логнормальным распределением, в котором симметричен логарифм значения. Вывод таков: для скошенных данных «типичное» и «среднее» различаются.
Размер выборки это вторая проблема. Команда, которая за квартал решила 12 инцидентов приоритета 1 и сообщает «83 процента в пределах цели», описывает 10 из 12. Ещё один промах сдвинул бы показатель на восемь пунктов. Честное утверждение включает число элементов, а часто и диапазон. Доверительный интервал это диапазон, вычисленный по данным, который выражает, насколько далеко от наблюдаемого значения может правдоподобно лежать истинное. Для малых выборок интервалы широкие, для больших узкие, и это верное сообщение для квартала с 12 инцидентами.
Изменчивость это третья проблема. Любой процесс выдаёт числа, которые колеблются от недели к неделе, хотя ничего не менялось. Уолтер Шухарт, занимаясь качеством производства в 1920-х годах, отделил эту обычную рябь от сигналов, заслуживающих расследования, и подарил нам контрольную карту. Применение таких карт к процессу называется статистическим управлением процессами. Часть этой последней ошибки составляет регрессия к среднему: за экстремальным значением обычно следует менее экстремальное, поэтому неделя после ужасной недели выглядит как восстановление, сделал ли кто-нибудь что-либо или нет.
Практика гибкого потока, например использование в Kanban Guide перцентилей времени цикла и возраста рабочего элемента, уже требует распределений и прогнозов, выраженных как вероятности (см. тему 2.1, Показатели потока). В ITIL 4 практика измерения и отчётности и практика непрерывного улучшения обе зависят от показателей, которые означают то, что кажется, а управление уровнем услуг зависит от целей, заданных с учётом реалистичной изменчивости. Статистическая грамотность это общий слой под обеими. Она также поддерживает ограждение из темы 1.2, Закон Гудхарта и психология метрик: команде, которая показывает всё распределение, труднее спрятать подтасованное среднее.
Изменчивость по общим причинам заложена в сам процесс, а изменчивость по особым причинам происходит от чего-то конкретного, что изменилось или пошло не так. Соглашение об уровне услуг (SLA) это документированное обязательство перед клиентом, а цель уровня услуги (SLO) это целевое значение показателя.
Ключевые принципы
- Подбирайте сводку под форму. Используйте медианы и перцентили для длительностей и показывайте всё распределение, когда решение важно. Среднее оставьте для данных, примерно симметричных, или для сумм, таких как затраты.
- Каждая доля несёт своё число элементов. Процент без числителя и знаменателя это утверждение без доказательств. Ниже установленного минимального числа показывайте сами элементы вместо доли.
- Обычная изменчивость не новость. Узнайте нормальный диапазон показателя, прежде чем реагировать. Отвечайте на сигналы, а не на каждое колебание.
- Неопределённость входит в ответ. Выражайте прогнозы как вероятности («85 процентов элементов завершаются в пределах 9 дней»), а оценки как диапазоны, и не поддавайтесь ложной точности.
- Показывайте распределения команде, которой принадлежит работа. Исходные элементы и гистограммы делают необычные случаи заметными и затрудняют тихие манипуляции.
- Корреляция, отбор и время объясняют многие «улучшения». Спрашивайте, что ещё изменилось, кто выпал из данных и не была ли отправная точка необычно плохой.
- Держите статистику соразмерной. Команде нужна горстка приёмов, применяемых последовательно, а не курс статистики. Объясняйте каждый график простыми словами.
Определения метрик
Метрики ниже описывают статистическое качество практики метрик и распределение работы по услугам. Показатели времени используют часы, указанные в каждой строке, а определения рассчитаны на повторное использование в последующих темах (см. тему 3.3, Время реагирования на инциденты и их устранения, и тему 2.2, Время выполнения, время цикла и эффективность потока).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Медианное время решения | Среднее по порядку время решения инцидентов, решённых за период | 50-й перцентиль (метка времени решения минус метка времени создания) по инцидентам, решённым за период; часы запускаются при создании заявки и останавливаются при решении; паузы сообщаются отдельно, не вычитаются; отменённые и дублирующие заявки исключаются | часы или дни | История статусов в инструменте ITSM | Управление инцидентами; измерение и отчётность | Медиана времени цикла | Еженедельно или ежемесячно |
| Время решения по высокому перцентилю | Время, в пределах которого решается большинство инцидентов, с названным перцентилем | 85-й (или 95-й) перцентиль того же затраченного времени; вычисляется, только если решено не менее 20 элементов, иначе перечисляются сами элементы | часы или дни | История статусов в инструменте ITSM | Управление инцидентами; управление уровнем услуг | Прогноз по перцентилю времени цикла | Еженедельно или ежемесячно |
| Возраст самого старого открытого элемента | Возраст самого старого ещё открытого элемента плюс число элементов старше высокого перцентиля | сейчас минус метка времени создания для открытых элементов, пауза не вычитается; учитываются все открытые элементы в очереди услуги, включая ожидающие клиента | дни | Инструмент ITSM или трекер задач | Управление инцидентами; управление проблемами | Возраст рабочего элемента | Еженедельно |
| Охват отчётности по долям | Доля сообщаемых долей, которые показывают числитель, знаменатель и проверку минимального числа | доли, сообщённые с числами и признаком выборки / сообщённые доли; учитываются только доли, опубликованные в пакете обзора за период | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность | Рабочие соглашения | Ежеквартально |
| Доля сигналов контрольной карты | Доля точек на контрольной карте показателя, дающих сигнал об изменчивости по особым причинам по письменным правилам команды | точки, отмеченные по правилам / нанесённые точки, за последние 20 и более точек; правила фиксируются заранее и ведутся в журнале | процент | Инструмент контрольных карт или электронная таблица | Непрерывное улучшение | Ретроспективный анализ процесса | Ежемесячно |
| Ширина интервала | Ширина заявленного диапазона неопределённости главной доли | верхняя граница минус нижняя граница интервала по методу, названному в реестре, для главной доли периода | процентные пункты | Вычисляется по счётчикам ITSM | Управление уровнем услуг | Диапазон прогноза при планировании | Ежемесячно |
Если контракт называет среднее, сообщайте контрактную цифру и показывайте рядом медиану и перцентиль.
Рекомендации
Честно обобщайте данные о времени
1. По умолчанию используйте медиану и один названный высокий перцентиль. Для времени решения, времени цикла и времени исполнения публикуйте вместе медиану и 85-й или 95-й перцентиль и записывайте перцентиль в название метрики. Медиана говорит, что типично, а высокий перцентиль говорит, что можно разумно пообещать клиенту. Если для обязательства нужно выбрать одно число, выбирайте перцентиль.
2. Показывайте форму, а не только сводку. Гистограмма или диаграмма рассеяния времени решения по дате закрытия показывает кластеры, длинные хвосты и внезапные сдвиги, которых не показывает ни одна сводка. Когда картина и число расходятся, верьте картине и проверяйте число.
3. Добавьте возраст самого старого открытого элемента. Перцентили завершённой работы смотрят назад и игнорируют всё, что ещё застряло. Сообщайте самый старый открытый элемент и сколько открытых элементов уже старше вашего высокого перцентиля (см. тему 2.1, Показатели потока). Это самое полезное средство против средних, которые улучшаются потому, что трудные элементы оставляют стареть.
Уважайте малые выборки и неопределённость
4. Публикуйте число элементов вместе с каждой долей. Пишите «10 из 12 решены в пределах цели», а не «83 процента». Добавьте правило, что доли, основанные на числе элементов меньше установленного, показываются как счётчики или как сами элементы. Порог это суждение: запишите его, пересматривайте и применяйте везде.
5. Используйте интервалы для главных долей и прогнозов. Для доли, такой как процент неудачных изменений, вычисляйте доверительный интервал методом, согласованным в вашей команде, и отмечайте метод в реестре. Для прогнозов поставки диапазон на основе выборки (например, «вероятно, от 8 до 14 элементов в неделю») говорит планировщикам больше, чем одна цифра пропускной способности. Если интервал слишком широк, чтобы влиять на решение, так и скажите.
Отличайте сигнал от шума
6. Стройте контрольные карты для показателей, на основании которых действуете. Простая карта индивидуальных значений наносит каждую точку в порядке времени с центральной линией и пределами, вычисленными по данным, и отмечает точки за пределами или серии по одну сторону от центра. Начните с еженедельной медианы времени решения и еженедельного объёма. Запишите правила сигналов один раз (например, точка за пределами или серия из восьми по одну сторону) и держите их неизменными, чтобы команда не подгоняла правила, пока карта не согласится с её ощущениями.
7. Действуйте по сигналам и не трогайте изменчивость по общим причинам. Когда точка внутри пределов, воздержитесь от объяснений: процесс ведёт себя как обычно. Когда появляется сигнал, спросите, что изменилось на той неделе: выпуск, нехватка персонала, сбой поставщика, новая категория. Если процесс стабилен, но неудовлетворителен, улучшение это изменение системы, а не разговор с тем, у кого была красная неделя.
8. Ожидайте регрессию к среднему после экстремального периода. Если вы запускаете инициативу в худший месяц года, некоторое улучшение наступит само по случайности. Прежде чем приписывать заслугу инициативе, сравните с более длинной базовой линией, с похожей услугой, которая не менялась, или с контрольными пределами. Пара «до и после» из двух точек это самая слабая форма доказательства.
Рассуждайте осторожно о причинах и отборе
9. Спрашивайте, чего не хватает в данных. Ответы на опросы приходят от тех, кто решил ответить. Закрытые заявки исключают те, что ещё открыты. Прежде чем делать вывод, перечислите, кого или чего нет и как это могло исказить результат.
10. Меняйте определения намеренно и отмечайте это на графике. Новая модель статусов, новая матрица приоритетов или новый список категорий меняют данные, не меняя работу. Аннотируйте каждое изменение на графике и перезапускайте контрольные пределы после него (см. тему 1.5, Источники данных и инструментирование).
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Медианное время решения | Сначала закрывают быстрые заявки, а трудные оставляют открытыми; делят заявку на несколько лёгких; ставят часы на паузу в статусе ожидания клиента | Время решения по высокому перцентилю и возраст самого старого открытого элемента; доля времени в статусах паузы; доля связанных заявок |
| Время решения по высокому перцентилю | Выбирают перцентиль, который льстит результату, или меняют его между отчётами; исключают долгие случаи как «выбросы» или переклассифицируют их | Перцентиль закреплён в реестре; список исключённых элементов с причинами; возраст самого старого открытого элемента |
| Возраст самого старого открытого элемента | Закрывают или сливают самый старый элемент, не решив его; переносят в другую очередь или категорию | Доля повторных открытий; выборочный аудит самых старых закрытых элементов; число переносов между очередями |
| Охват отчётности по долям | Прикладывают число мелким шрифтом, а в заголовках по-прежнему ведут процент; задают минимальное число настолько низким, что оно никогда не срабатывает | Проверять реальную панель, а не реестр; пересматривать минимальное число вместе с шириной интервала |
| Доля сигналов контрольной карты | Расширяют пределы, добавляют правила или перезапускают базовую линию, чтобы сигналы исчезли; сдвигают точки, меняя показатель | Правила и пределы хранятся в реестре с историей изменений; сравнение с исходной гистограммой |
| Ширина интервала | Выбирают метод или окно, дающие узкий диапазон; объединяют несходные услуги, чтобы увеличить выборку | Метод назван в реестре; разбивка по услугам доступна по запросу; объединённые и необъединённые результаты сравниваются |
Здоровая картина такова: медианы и перцентили движутся в ту же сторону, что и опыт пользователей, короткий список старых элементов сокращается без тихой переклассификации, а доли появляются вместе со своими числами. Доля сигналов контрольной карты должна быть низкой, но ненулевой: карта, которая никогда не даёт сигнала, возможно, на это неспособна, а карта, которая сигналит всегда, отражает нестабильный процесс или неудачно выбранные правила.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Среднее время решения | Просто, соответствует многим контрактам, легко суммируется | Определяется хвостом; скрывает то, что клиенты обычно переживают |
| Медиана плюс высокий перцентиль | Устойчива к выбросам; поддерживает обещания клиентам | Требует небольшого пояснения; перцентилям нужно достаточно элементов для устойчивости |
| Доли без числа элементов | Компактны и привычны | Скрывают малые выборки и провоцируют чрезмерное прочтение |
| Доли с числами и интервалами | Честны в отношении неопределённости; отбивают охоту к чрезмерной реакции | Выглядят менее решительно; методы интервалов требуют согласования |
| Контрольные карты | Отделяют сигнал от шума; подсказывают, когда действовать | Нужно достаточно точек и стабильные определения; пределы можно неверно прочесть или подтасовать |
| Сравнение до и после | Быстро и легко объяснить | Подвержено регрессии к среднему и сопутствующим изменениям |
Для услуги с горсткой инцидентов в год никакая статистика не устойчива, и правильный метод это разобрать каждый инцидент. Для службы поддержки с большим объёмом показатели с учётом распределения дёшевы и явно лучше. Выбирайте по объёму и по ставкам решения.
Вопросы для обсуждения с командой
1. Какое из текущих чисел на нашей панели является средним по чему-то скошенному, и что покажут медиана и 95-й перцентиль? Выберите самый просматриваемый показатель времени и вычислите все три значения на одном и том же наборе элементов до встречи. Спросите, совпадает ли история, которую рассказывает среднее, с тем, что говорят пользователи. В конце договоритесь, какая сводка становится заголовочной и где появятся остальные.
2. Сколько элементов стоит за нашим самым цитируемым процентом, и стали бы мы его цитировать, если бы писали числа? Перечислите три процента, которые руководство читает чаще всего. Рядом с каждым запишите числитель и знаменатель за последний период. Спросите, что сделал бы с цифрой один дополнительный успех или неудача. Договоритесь о минимальном числе, ниже которого команда показывает элементы, а не долю.
3. Когда мы в последний раз приписали улучшение инициативе, и что ещё было верно в то время? Выберите недавнюю историю успеха. Спросите, когда показатель был хуже всего, как выглядит более длинная история и улучшилась ли сопоставимая услуга. Сохраняйте любознательный тон.
4. Каков нормальный диапазон наших ключевых показателей, и кто сможет сказать, что данная неделя необычна? Нанесите последние 20 и более еженедельных значений одного показателя и проведите центр и пределы или вычислите их приблизительно. Спросите, на какие недели команда реагировала, хотя они лежали внутри диапазона. Договоритесь, кому принадлежит карта и где записаны правила сигналов.
5. Кого или чего не хватает в наших данных? Перечислите источники показателя: закрытые заявки, ответы на опросы, мониторируемые услуги, инструменты с метками времени. По каждому спросите, кто исключён и почему. Зафиксируйте каждый пробел как исправление или оговорку.
6. Как объяснить руководству широкий диапазон или «пока не знаем», чтобы это не звучало как отговорка? Отрепетируйте формулировку на реальном примере: «От 70 до 95 процентов, по 12 инцидентам; мы ожидаем сузить это после следующего квартала». Спросите, что нужно аудитории для решения и меняет ли диапазон решение. Напишите на встрече короткий сценарий.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки используют время цикла и пропускную способность для прогнозов и больше всего выигрывают от прогнозов на основе перцентилей, а не средних (см. тему 2.1, Показатели потока). Прогноз, заданный как диапазон с вероятностью, защитить легче, чем дату. Не читайте изменение за один период как тренд (см. тему 2.5, Метрики прогнозирования и планирования поставки).
Команды услуг и эксплуатации
Команды эксплуатации владеют данными по заявкам и часами инцидентов, поэтому им лучше всего публиковать медианы, перцентили и самый старый открытый элемент и объяснять правила пауз. Им стоит строить графики еженедельного объёма и времени решения с контрольными пределами, чтобы настоящий сдвиг, такой как неудачный выпуск, отличался от плохой недели. Когда у услуги мало инцидентов, им следует разбирать каждый, а не вычислять доли (см. тему 3.3, Время реагирования на инциденты и их устранения).
Руководство и управление
Руководители задают вопросы, которые определяют, что показывают команды. Вопрос «почему это выросло?» к каждому колебанию приучает организацию объяснять шум и скрывать его. Руководителям стоит спрашивать, лежит ли движение внутри нормального диапазона, сколько элементов стоит за цифрой и что изменилось в процессе. Органы управления могут требовать числа при главных долях.
Клиенты и пользователи
Клиенты переживают отдельные случаи, а не средние. Они помнят тот единственный запрос, который тянулся пять недель, и среднее в два дня этой памяти не исправит. Обязательства по перцентилям («девять из десяти запросов в пределах трёх рабочих дней») лучше совпадают с мысленной моделью клиента, чем средние времена. Результаты опросов следует показывать с числом ответов, а открытые комментарии читать вместе с числами (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример гибкого ITIL
У среднего интернет-ритейлера есть служба поддержки и команда эксплуатации, обслуживающая веб-магазин. Приведённые ниже цифры иллюстративны.
Руководство видит ежемесячный заголовок: «среднее время решения инцидентов снизилось с 9,1 часа до 7,4 часа». Руководителя эксплуатации просят подтвердить это и представить план следующей цели, 6 часов. Прежде чем согласиться, она просит аналитика выгрузить исходные элементы и построить график. Из 240 инцидентов месяца (иллюстративно) медиана составляет 2,5 часа, 85-й перцентиль 14 часов, а 9 инцидентов старше 5 дней и всё ещё открыты. Месяцем раньше медиана была 2,6 часа. Среднее упало потому, что три очень долгих инцидента прошлого месяца, один из них возрастом 11 дней, случайно решились раньше в этом периоде, и потому, что партию заявок на сброс пароля переклассифицировали в быстро закрывающийся тип запроса.
Команда строит график еженедельной медианы за последние 26 недель. Центральная линия лежит около 2,6 часа, и каждая точка за последние два месяца внутри пределов. Падение в заголовке не является сигналом. Переклассификация на второй неделе изменила определение посреди графика, поэтому команда отмечает её и перезапускает пределы с этой точки.
Они решают внести три изменения. В ежемесячном отчёте будут показаны медиана, 85-й перцентиль и самый старый открытый элемент, с числом инцидентов за каждым. Предложенная средняя цель в 6 часов заменяется разговором о цели по перцентилю, которую зададут после квартала данных по новому определению. Команда также перечислит 9 старых инцидентов, у каждого с владельцем и следующим шагом.
Риск подгонки, который они ловят, возникает на следующем обзоре. Руководитель предлагает закрыть 9 самых старых инцидентов как «больше не воспроизводятся», чтобы показатель самого старого элемента выглядел здоровым. Поскольку реестр связывает возраст самого старого открытого элемента с долей повторных открытий и выборочным аудитом старых закрытий, команда читает три из предложенных закрытий, обнаруживает, что два всё ещё актуальны, и оставляет их открытыми. Показатель самого старого элемента остаётся неприятным ещё месяц. Это и есть задуманное поведение.
Отраслевой взгляд
Стартап. Объёмы малы, поэтому большинство долей состоит из нескольких элементов, а интервалы широки. Читайте каждый инцидент, а не вычисляйте статистику, ведите простой еженедельный график одного-двух показателей и не объявляйте тренды по трём точкам. По мере роста объёма переходите к медианам и перцентилям пораньше, чтобы привычки уже были на месте.
Малый бизнес. Человек, который руководит ИТ, владеет и данными, а выборка обычно мала. Для редких событий сообщайте числа, а не проценты, и сравнивайте с собственной более долгой историей. Проверьте, что на самом деле измеряют часы «времени реагирования» у поставщика.
Предприятие. Объём делает распределения осмысленными, а также поощряет сводки, смешивающие несходные услуги. Сравнивайте подобное с подобным, публикуйте определения и используемый перцентиль и ведите общую библиотеку правил графиков и расчётов, чтобы команды не считали один и тот же показатель тремя способами.
Государственный сектор. Контракты и обязательная отчётность часто фиксируют среднее или пороговый процент, и эти определения не обсуждаются. Сообщайте требуемую цифру точно по определению и показывайте рядом медиану, перцентиль и числа, чтобы надзорные органы видели полную картину. Общественное внимание делает честную неопределённость ценнее, потому что излишне самоуверенное число дорого отзывать (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Требуется несколько часов, чтобы согласовать правила сводок, построить гистограмму и контрольную карту по выгрузке и добавить числа в шаблон отчёта, плюс несколько минут в каждом цикле на их обновление. Большинство инструментов уже вычисляет перцентили. Более крупная цена это разговор с людьми, привыкшими к одному утешительному числу.
Отдача состоит в лучших решениях и меньшей напрасной реакции. Команды перестают перестраиваться после плохой недели, перестают приписывать инициативам случайные улучшения и перестают обещать средние, которых половина их клиентов не испытывает. Не заимствуйте цифру: сосчитайте, как часто решения прошлого года отменялись и сколько «улучшений» исчезло в следующем периоде, и используйте эти числа для оценки обоснования.
Антипаттерны и ловушки
- Усреднение скошенных длительностей. Среднее тянет хвост, и оно скрывает то, что чувствуют пользователи. Сообщайте медиану и названный высокий перцентиль и показывайте самый старый открытый элемент.
- Проценты из крошечных выборок. «100 процентов» из трёх элементов это анекдот. Показывайте числа и применяйте правило минимального числа.
- Реакция на каждое колебание. Погоня за каждой красной неделей тратит усилия и учит команды объяснять шум. Используйте контрольные пределы и письменные правила сигналов.
- Доказательство «до и после». Две точки не могут отделить вмешательство от случайности или регрессии к среднему. Используйте более длинную базовую линию и сравнение.
- Передвижение ворот на графике. Изменение пределов, правил или определений задним числом заставляет любой график согласиться с историей. Фиксируйте правила, ведите журнал изменений и аннотируйте их.
- Исключение выбросов по умолчанию. Самые долгие случаи обычно те, которые клиенты помнят. Исключайте только с письменной причиной и перечисляйте, что исключено.
- Ложная точность. Сообщать 83,3 процента по 12 элементам значит подразумевать знание, которого у данных нет. Округляйте честно и показывайте диапазон.
- Объединение несходной работы. Смешанное время для сброса паролей и сбоев центра обработки данных не описывает ни то, ни другое. Сначала сегментируйте.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Сводки данных о времени | Только средние | Некоторые команды показывают медианы | Медиана плюс названный перцентиль и самый старый открытый элемент это стандарт | Распределения пересматриваются с ограждением и отслеживаются во времени | Обязательства по перцентилям согласованы с клиентами и поставщиками и пересматриваются по мере изменения данных |
| Размер выборки и неопределённость | Доли приводятся без чисел | Числа показаны в некоторых отчётах | Числа и правило минимального числа при каждой доле | Интервалы на главных долях, метод в реестре | Неопределённостью открыто делятся с клиентами и используют в планировании между командами |
| Изменчивость и причинность | Каждое изменение объясняется | Несколько графиков с пределами | Контрольные карты с письменными правилами для ключевых показателей | Сигналы запускают плановое расследование; инициативы проверяются по базовой линии | Общие библиотеки графиков между услугами; базовые линии сравниваются между командами без ранжирования |
Контрольный список
- Каждый показатель времени сообщает медиану и названный высокий перцентиль, а не одно среднее.
- Сообщаются возраст самого старого открытого элемента и число элементов за пределами высокого перцентиля.
- Каждая сообщаемая доля показывает числитель и знаменатель.
- Правило минимального числа записано и применяется ко всем долям.
- Главные доли и прогнозы показывают диапазон, метод назван в реестре.
- Контрольные карты существуют для трёх показателей, на основании которых действует команда, с письменными правилами сигналов.
- Изменения определений аннотируются на графиках и фиксируются в реестре.
- Исключённые элементы перечислены с причинами.
- Заявления об улучшении проверяются по более длинной базовой линии, прежде чем повторяются.
- Способ подгонки и ограждение каждой метрики записаны в реестре (см. тему 1.4, Управление метриками и ответственность за них).
Промпты для ИИ
Проверьте, подходит ли сводка данным.
У меня есть [число] значений [показатель, например время решения инцидентов]
по [услуга] за [период]. Часы запускаются на [начальное событие] и
останавливаются на [конечное событие]. Паузы [как обрабатываются]. Значения
вставлены ниже.
Опиши форму распределения, вычисли среднее, медиану, [перцентиль, например
85-й] и [второй перцентиль, например 95-й] и скажи, какая сводка лучше всего
представляет типичный случай, а какая поддерживает обещание клиентам. Укажи
значения, которые похожи на ошибки данных, но не удаляй их. Не выдумывай
эталонные значения. Перечисли свои допущения и то, чего нельзя было определить
по данным.
[вставьте значения, удалив персональные данные]
Выразите долю вместе с её неопределённостью.
Наша команда сообщает [название доли] как [числитель] из [знаменатель] за
[период] и [услуга]. Покажи, как представить это вместе с числами, объясни
простыми словами, насколько изменил бы результат один дополнительный или один
отсутствующий успех, и вычисли доверительный интервал методом [метод или
«метод, который ты рекомендуешь и называешь»]. Предложи формулировку,
понятную нетехническому руководителю, и правило минимального числа для случаев,
когда следует показывать элементы вместо доли. Не выдумывай сравнительные
цифры. Перечисли свои допущения, включая метод и условия, которых он требует
от данных.
Определите, сигнал это или шум.
Вот [число] последовательных [еженедельных или ежемесячных] значений
[показатель] по [услуга]. Изменение произошло в [период]: [опиши вмешательство,
выпуск или изменение определения]. Построй или опиши контрольную карту с
центральной линией и пределами, примени эти правила сигналов: [перечень правил,
например одна точка за пределами или серия из восьми по одну сторону] и скажи,
какие точки дают сигнал. Скажи, отличимо ли изменение от обычной изменчивости
и какие другие объяснения, такие как регрессия к среднему или изменение
определения, мне следует исключить. Не утверждай причинность. Перечисли свои
допущения и дополнительные данные, которые помогли бы.
[вставьте значения]
Навыки ИИ
- Agile ITIL Metrics skill: используйте, чтобы найти тему и парное ограждение для метрики времени или доли до её публикации.
- Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что у статистического показателя, добавленного в тему, есть определение, часы, способ подгонки и ограждение.
Ключевые выводы
- Длительности услуг скошены, поэтому сообщайте медиану и названный высокий перцентиль и добавляйте возраст самого старого открытого элемента.
- Каждая доля несёт своё число элементов, а малые выборки показываются как элементы или с диапазоном, а не как уверенный процент.
- Узнайте нормальный диапазон показателя по контрольной карте, прежде чем реагировать на одну неделю.
- Относитесь с подозрением к улучшениям, измеренным по двум точкам: регрессия к среднему и изменения определений объясняют многие из них.
- Честная неопределённость это сила отчёта и ограждение от подгонки в духе Гудхарта (см. тему 1.2, Закон Гудхарта и психология метрик).
- Держите приёмы соразмерными: несколько последовательных методов, объяснённых простыми словами, служат команде лучше, чем множество необъяснённых.
Источники и дополнительное чтение
- Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
- Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
- Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
- Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Skewness.
- Wikipedia, Median.
- Wikipedia, Percentile.
- Wikipedia, Log-normal distribution.
- Wikipedia, Confidence interval.
- Wikipedia, Control chart.
- Wikipedia, Statistical process control.
- Wikipedia, Regression toward the mean.