Источники данных и инструментирование
Метрика заслуживает доверия лишь настолько, насколько надёжны события под ней, поэтому назовите систему учёта для каждого числа, фиксируйте события автоматически в момент их возникновения и проверяйте конвейер данных так же тщательно, как проверяете диаграмму.
Обзор и мотивация
Большинство программ метрик тратят силы на панели и почти ничего не тратят на трубы, которые их питают. Это неверный порядок. Отполированная диаграмма, построенная на несогласованных метках времени, поле статуса, которое никто не обновляет, или интеграции, тихо остановившейся в прошлом месяце, выглядит авторитетно, но ошибается. Эта тема описывает непарадный фундамент для остальной книги: откуда берутся данные об услугах и поставке, насколько надёжен каждый источник и какие сбои качества данных обесценивают метрику раньше, чем кто-либо это заметит.
Источники делятся на несколько семейств. Инструмент управления ИТ-услугами (ITSM) хранит инциденты, запросы, проблемы и изменения, которые ITIL считает основными записями эксплуатации услуг. Система отслеживания задач хранит бэклог и движение рабочих элементов гибких команд. Система контроля версий хранит коммиты, ветки и слияния. Конвейер непрерывной интеграции и поставки (CI/CD) хранит сборки, результаты тестов и развёртывания. Платформы мониторинга и наблюдаемости выдают телеметрию: метрики, журналы и трассировки работающих систем. База данных управления конфигурациями (CMDB) хранит услуги и компоненты, с которыми связано всё остальное. Опросы фиксируют то, чего не видит ни одна система, например удовлетворённость и усилия.
Событие развёртывания, записанное конвейером, объективно и его трудно подделать. Статус задачи, изменённый через несколько часов после работы, это воспоминание. Ответ в опросе это восприятие. Зная, какая запись стоит за числом, вы знаете, какой сбой искать в первую очередь.
Гибкий взгляд и взгляд ITIL сходятся на одних и тех же данных: оба описывают конечные автоматы с метками времени, поэтому записывайте каждое изменение состояния как событие с надёжным временем и выводите метрики из событий.
В этой теме повторяются три термина. Система учёта это единственный источник, авторитетный для некоего факта, например конвейер для факта «развёртывание произошло». Инструментирование это намеренный сбор событий кодом, конфигурацией или интеграцией инструментов, чтобы метрику можно было вычислить без ручного ввода. Модель статусов это набор состояний, в которых может находиться рабочий элемент или запись, и допустимые переходы между ними. Модель статусов определяет, какие часы вообще можно вычислить.
В масштабе предприятия и государственного сектора проблема усугубляется. Данные проходят через коннекторы, задания извлечения, преобразования и загрузки (ETL) и слои отчётности, и на каждом переходе смысл может сместиться. Поле, означающее одно в источнике, может означать нечто чуть иное в хранилище, а число всё равно выглядит правдоподобно. Средство против этого: сократить расстояние между событием и панелью и проверять конвейер по расписанию.
Ключевые принципы
- Фиксируйте события, а не сводки. Храните исходные изменения состояния с метками времени и вычисляйте метрики из них, чтобы определение можно было менять без потери истории.
- Наблюдение лучше самоотчёта. Там, где система видит событие, используйте её данные; отчёты людей оставьте для того, что могут сказать только люди.
- Назовите одну систему учёта для каждого факта. Дублирующие источники расходятся, а расхождение подрывает доверие к обоим.
- Проектируйте модель статусов раньше метрики. Часы нельзя вычислить из состояний, которых нет или которые у разных команд означают разное.
- Относитесь к конвейеру как к продукту. У него есть владельцы, тесты, мониторинг и журнал изменений, потому что качество данных снижается незаметно.
- Показывайте происхождение. Каждое число на панели должно вести к исходным записям за один-два щелчка.
- Собирайте только то, что будете использовать, и защищайте это. Каждое поле стоит затрат, а если оно касается людей, то и обязанности защищать приватность.
Определения метрик
Метрики ниже измеряют состояние самого снабжения данными. Это приборная панель для приборов.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Гибкий аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват источников | Доля услуг и команд в области охвата, чьи события попадают в хранилище метрик автоматически | услуги или команды с автоматической подачей / услуги или команды в области охвата; «область охвата» перечислена в реестре метрик | процент | Реестр метрик и конфигурация конвейера | Измерение и отчётность; управление конфигурацией услуг | Рабочее соглашение команды об инструментах | Раз в квартал |
| Полнота меток времени | Доля закрытых рабочих элементов, у которых есть все метки времени, нужные для часов метрики | закрытые элементы со всеми нужными метками смены состояния / элементы, закрытые за период; ещё открытые элементы исключаются | процент | История инструмента ITSM или трекера задач | Управление инцидентами; управление запросами на обслуживание | История доски или рабочего процесса | Раз в месяц |
| Доля записей задним числом | Доля изменений состояния, записанных после события, измеряемая разрывом между временем события и временем ввода | изменения состояния, введённые позже чем через 24 часа после времени события / изменения состояния за период; часы запускаются событием, останавливаются вводом | процент | Журнал аудита трекера или время события в конвейере в сравнении со временем ввода | Обеспечение изменений; управление инцидентами | Критерии готовности | Раз в месяц |
| Свежесть данных | Насколько стары самые новые данные на панели в момент просмотра | время просмотра минус время самого нового загруженного события; указывайте медиану и 95-й процентиль | часы | Журнал запусков конвейера и журнал загрузки панели | Измерение и отчётность | Подготовка к обзору для заинтересованных сторон | Раз в неделю |
| Расхождение при сверке | Расхождение двух источников для одного и того же счёта | абсолютная разность двух счётов / счёт из системы учёта, за фиксированный период и в фиксированной области | процент | Система учёта и слой отчётности | Управление уровнем услуг; управление финансами | Проверки отчёта о выпуске | Раз в месяц |
| Дрейф модели статусов | Число различных названий статусов или переходов, применяемых на практике, по сравнению с задокументированной моделью | недокументированные статусы или переходы, замеченные за период (число); задокументированные исключаются | число | Конфигурация рабочего процесса трекера и история событий | Непрерывное улучшение | Рабочие соглашения о процессе | Раз в квартал |
| Доля ответивших на опрос | Доля приглашённых, завершивших опрос | завершённые ответы / доставленные приглашения; недоставленные приглашения исключаются | процент | Инструмент опросов | Управление уровнем услуг; клиентский опыт | Обзор для заинтересованных сторон и обратная связь об улучшении | На каждую волну опроса |
Полнота меток времени учитывает только закрытые элементы, поэтому множество старых открытых элементов не скроет пробел. Доля записей задним числом использует порог в 24 часа как пример; команда выбирает порог, подходящий её работе, и записывает его.
Рекомендации
Сопоставьте каждую метрику с её источником
1. Постройте карту источников раньше, чем панель. Для каждой метрики запишите систему учёта, событие, запускающее часы, событие, останавливающее их, владельца источника и известный способ отказа. Если вы не можете назвать систему, вы ещё не знаете, откуда берётся число. Храните карту в реестре метрик (см. тему 1.4, Управление метриками и ответственность за них).
2. Выберите одну систему учёта для каждого факта. Развёртывание записывает конвейер, инцидент записывает инструмент ITSM, изменение кода записывает система контроля версий, связь услуг записывает CMDB. Если один и тот же факт хранят два инструмента, решите, какой из них главнее, и сделайте так, чтобы другой читал из него. Тогда сверка становится проверкой, а не спором.
Фиксируйте события в момент их возникновения
3. Инструментируйте событие, а не отчёт. Пусть развёртывание записывает конвейер, слияние записывает хост системы контроля версий, а оповещение записывает система мониторинга. Данные, зависящие от того, что кто-то вспомнит обновить поле, ухудшаются по мере удаления от события и роста нагрузки. Если есть автоматическое событие, предпочитайте его вводимому человеком заменителю того же факта (см. тему 2.8, Метрики DORA).
4. Пусть смена статуса будет побочным эффектом работы. Если слияние ветки переводит рабочий элемент в «на проверке», а развёртывание переводит его в «выпущено», помнить никому не нужно. Интеграции между системой контроля версий, конвейером и трекером устраняют большую часть записей задним числом.
5. Храните исходные события и храните их неизменяемыми. Сохраняйте каждое изменение состояния с временем события, временем ввода и типом действующего лица (человек или автоматика). Записывайте исправления как новые события, а не как перезапись, чтобы история исправления сама была данными.
Правильно обращайтесь со временем
6. Записывайте время по одному стандарту. Храните метки времени в всемирном координированном времени (UTC) в однозначном формате, например определённом ISO 8601 и RFC 3339, а в местное время переводите только для показа. Смешанные часовые пояса и переходы на летнее время незаметно порождают отрицательные длительности и часы со сдвигом на час.
7. Записывайте правила часов там, где живут данные. Для каждой меры времени укажите, какое событие запускает часы, какое останавливает и какие статусы ставят их на паузу. Состояние паузы это проектное решение. Сообщайте, как часто используется каждое состояние паузы, потому что именно на часах чаще всего «лепят» данные об услугах (см. тему 3.3, Время реагирования на инциденты и их устранения).
Проектируйте модель статусов
8. Держите модель статусов небольшой, общей и задокументированной. Каждый лишний статус приглашает каждую команду толковать его по-своему. Определите в одном предложении, что означает каждое состояние, кто может переводить в него работу и какие переходы разрешены. Возраст рабочего элемента и показатели потока зависят от этой модели (см. тему 2.1, Показатели потока), а сопоставление команд зависит от того, что команды называют одинаковые состояния одинаковыми словами. Если данные вас удивляют, сначала подозревайте рабочий процесс: записывайте каждое изменение процесса или поля с датой и причиной, а недокументированные статусы считайте признаком дрейфа.
Сохраняйте честность конвейера
9. Тестируйте конвейер как программное обеспечение. Сверяйте число строк с источником, проверяйте наличие обязательных полей, ищите дубликаты и подавайте сигнал, когда поток данных прекращается. Добавьте на каждую панель индикатор свежести, чтобы зрители видели возраст данных. Тихий сбой коннектора, из-за которого на экране остаются числа прошлого месяца, входит в число самых частых и самых вредных сбоев в этой области (см. тему 11.1, Проектирование панели метрик услуг).
10. Сверяйте по расписанию и выборочно читайте вручную. Сравнивайте счёт в слое отчётности со счётом в источнике за фиксированный период и разбирайтесь в разнице. Затем прочитайте небольшую выборку исходных записей. Пятнадцатиминутная выборка часто находит то, что не находят автоматические проверки, например статус, применяемый неожиданным образом.
Осторожно обращайтесь с людьми и опросами
11. Оставьте опросы для того, что может сообщить только человек. Удовлетворённость, усилия, доверие и самочувствие нельзя наблюдать по данным систем. Спрашивайте напрямую, делайте опросы короткими, меняйте время и сообщайте долю ответивших и кто ответил, ведь отвечающие отличаются от неотвечающих, это форма систематической ошибки отбора. Читайте открытые комментарии целиком (см. тему 6.1, Метрики удовлетворённости клиентов).
12. Защищайте персональные данные и держите данные на уровне команды. Данные о событиях в работе могут идентифицировать людей через авторство коммитов, поля исполнителя и записи чатов. Собирайте на том уровне, который нужен метрике, агрегируйте до команд и услуг и применяйте правила приватности вашей юрисдикции и организации. Данные на уровне отдельных людей, однажды собранные, склонны использоваться для ранжирования, а это портит источник (см. тему 1.2, Закон Гудхарта и психология метрик).
Способы подгонки и ограждения
| Метрика | Как её подгоняют | Парное ограждение (метрика или практика) |
|---|---|---|
| Охват источников | Считать услугу охваченной после подключения потока, даже если он почти не несёт событий; оставлять трудные услуги за пределами области охвата | Объём событий на охваченную услугу в сравнении с известной активностью услуги; сверка списка области охвата с каталогом услуг |
| Полнота меток времени | Заполнять обязательные метки временем закрытия, чтобы пройти проверку | Распределение промежутков между последовательными состояниями; выборка закрытых элементов, чтобы убедиться в правдоподобии времён |
| Доля записей задним числом | Вводить изменения чуть внутри порога; расширять порог; записывать все изменения одним массовым обновлением | Распределение времени ввода по часам; доля изменений, сделанных автоматикой и вручную; аудит массовых правок |
| Свежесть данных | Показывать время последнего обновления вместо времени самого нового события | Время самого нового события, показанное на панели; оповещение, когда поток не приносит новых событий |
| Расхождение при сверке | Выбирать период или область, которые сходятся; подгонять слой отчётности под источник, не находя причины | Заранее фиксировать область и период; записывать каждую найденную причину и раз в квартал разбирать причины |
| Дрейф модели статусов | Использовать существующий статус для нового смысла, чтобы не попасть в отчёт; добавлять статусы, не записывая их | Сравнивать конфигурацию рабочего процесса с реестром при каждом обзоре; читать выборку элементов в необычных состояниях |
| Доля ответивших на опрос | Приглашать только тех, кто, вероятно, ответит; слать напоминания довольным пользователям; предлагать вознаграждения, искажающие ответы | Состав ответивших в сравнении с составом пользователей; распределение ответов по волнам; открытые комментарии, прочитанные на обзоре |
Здоровое состояние это набор скучных чисел: охват высокий, доля записей задним числом низкая и снижается, свежесть в пределах заявленного обещания, а при ненулевом расхождении при сверке всегда известна причина. Когда число меняется, кто-то может сказать, изменилась работа или прибор.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Автоматический сбор событий | Объективен, своевременен, требует мало усилий после создания | Охватывает только то, что инструментировано; тихо ломается при смене инструментов |
| Ручной ввод и обновление статусов | Передаёт контекст и суждение; работает без интеграции | Запаздывает, непоследователен и открыт для подгонки |
| Одно центральное хранилище метрик | Одно определение, одно место для тестирования и управления | Нужны финансирование и владелец; может стать узким местом |
| Каждая команда держит свои данные | Подходит местной работе; быстрый старт | Определения расходятся; сводные показатели ненадёжны |
| Долгое хранение исходных событий | Определения можно менять и пересчитывать историю | Затраты на хранение и приватность; больше всего нужно защищать |
Автоматизируйте наблюдаемое, о ненаблюдаемом спрашивайте людей и сохраняйте исходную запись. Сначала вкладывайтесь в источники, стоящие за двумя-тремя метриками, которыми команда действительно пользуется, а не в платформу данных для любого мыслимого числа.
Вопросы для обсуждения с командой
1. Какая система служит системой учёта для нашей самой важной метрики, и откуда мы это знаем? Попросите группу проследить число от панели до первого события. Отметьте каждое место, где человек или преобразование касается данных. Ведущему стоит искать шаги, которые никто не может объяснить, потому что именно с них нужно начинать первое расследование.
2. Какие из наших меток времени записывает система, а какие вводит человек? Перечислите используемые часы, например время реагирования, время устранения и время цикла. Отметьте каждый запуск и остановку как автоматические или ручные. Для ручных спросите, через какое время после события обычно делается запись. Обсуждение часто показывает, что самая спорная метрика опирается на самую ненадёжную метку времени.
3. Что означают наши статусы и одно и то же ли они означают для всех команд? Выложите рабочий процесс на доску и попросите людей из разных команд объяснить каждое состояние своими словами. Сравните объяснения. Посчитайте состояния, в которых часы встают на паузу, и спросите, кто и зачем их использует. Договоритесь об одном изменении, устраняющем неоднозначность, и запишите его с причиной.
4. Как мы узнаем, что поток данных тихо остановился? Спросите, когда кто-либо в последний раз проверял, что данные на панели актуальны. Обсудите, какое оповещение или какой индикатор свежести поймал бы остановившийся коннектор в течение суток. Ведущему стоит добиваться названного владельца и конкретной проверки, а не общего намерения быть внимательным.
5. Что мы собираем, но никогда не используем, и что мы используем, но собираем плохо? Положите рядом список полей и список метрик. Отметьте поля, не питающие ни одного решения, и метрики, опирающиеся на плохие поля. Решите, какое одно поле перестать собирать и какое одно улучшить в этом квартале.
6. Кто отвечает на наши опросы, а кто нет? Сравните ответивших с совокупностью пользователей или членов команды. Посмотрите на долю ответивших по группам и по времени суток или недели. Обсудите, что может означать молчание и как добраться до молчащих групп без давления. Договоритесь, как доля ответивших будет показана рядом с каждым результатом опроса.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки порождают большую часть объективных данных: коммиты, проверки, сборки и развёртывания. Им полезно инструментирование, делающее смену статуса побочным эффектом работы, так что доска остаётся честной без лишних усилий. Им следует держать рабочий процесс небольшим и остерегаться использовать активность в системе контроля версий как меру усилий (см. тему 2.2, Время выполнения, время цикла и эффективность потока).
Команды услуг и эксплуатации
Команды услуг зависят от записей, созданных людьми под давлением, часто во время инцидента. Правила часов, состояния паузы и поля приоритета это места, где возникает дрейф. Командам эксплуатации следует по возможности автоматизировать запись ключевых времён, например времени оповещения и времени подтверждения, проверять использование состояний паузы и держать данные мониторинга отдельно от записи заявки, чтобы одно проверяло другое (см. тему 5.5, Метрики мониторинга и качества оповещений).
Руководство и управление
Руководители решают, сколько вкладывать в основы данных, и задают стимулы, от которых зависит, останутся ли данные честными. Им следует спрашивать, откуда берётся число, раньше, чем спрашивать, почему оно изменилось, финансировать владение конвейером как постоянную работу и ожидать дату свежести и определение в каждом отчёте. Органам управления следует считать задокументированное изменение источника или определения обычным событием, а не сбоем.
Клиенты и пользователи
Пользователи поставляют данные, важнейшие для понимания опыта, обычно отвечая на опросы, оценивая обращения или сообщая о проблемах. Им нужно знать, что собирается, зачем и что изменится в результате. Короткие опросы и заметная реакция поддерживают здоровую долю ответивших. Клиентские отчёты об уровне услуг должны указывать свои источники и определения (см. тему 5.2, SLI, SLO и бюджеты ошибок).
На практике: пример гибкого ITIL
В среднем интернет-магазине есть платформенная команда, три продуктовые команды и служба поддержки. Все числа в этом примере иллюстративны.
Руководство спрашивает, почему время выполнения изменений в ежемесячном отчёте за один квартал упало с медианы 9 дней до 3 дней, хотя продуктовые команды сообщают, что работают так же. Руководитель платформенной инженерии подозревает прибор и просит карту источников для этой метрики.
Карта показывает, что время выполнения начинается, когда в инструменте ITSM создаётся запись об изменении, и заканчивается, когда её статус устанавливается в «внедрено». Две продуктовые команды стали создавать запись, когда работа уже была готова, так что часы запускались поздно. Выборка из 40 записей показывает, что 12 были созданы в день развёртывания. Доля записей задним числом, измеренная как разрыв между событием развёртывания в конвейере и вводом статуса «внедрено», составила 31 процент при пороге в 24 часа, установленном командой.
Команда вносит три изменения. Во-первых, начало часов переносится на первый коммит, связанный с изменением, из системы контроля версий, а остановка переносится на событие развёртывания, записанное конвейером. Во-вторых, инструмент ITSM получает статус от конвейера, так что «внедрено» больше не вводится вручную. В-третьих, на панели появляются индикатор свежести и проверка сверки числа изменений между конвейером и инструментом ITSM.
По новому определению медиана времени выполнения составляет 7 дней, а 95-й процентиль 21 день, и доля записей задним числом падает до 4 процентов. Сначала руководство воспринимает 7 дней как худший результат. Руководитель платформы объясняет, что прежнее число было артефактом поздно создаваемых записей. Решение, записанное в журнале решений, состоит в том, чтобы пересчитать два предыдущих квартала по исходным событиям и пометить смену определения на диаграмме. Риск подгонки, который заметила команда, был тонким: никто не фальсифицировал число, но поздно созданные записи дали лестную картину. Расхождение при сверке теперь служит ограждением, а выборка исходных записей разбирается каждый квартал.
Отраслевой взгляд
Стартап. Данных мало, а доверия много, и это помогает. Используйте как главные источники конвейер и систему контроля версий, потому что они не требуют дополнительных усилий, и держите модель статусов в пределах нескольких состояний. Запишите каждое определение и его источник на одной странице и пересмотрите её, когда команда вырастет вдвое.
Малый бизнес. ИТ часто ведёт один человек на размещённой службе поддержки. Пользуйтесь отчётами инструмента, просите у поставщика определения в письменном виде и периодически выгружайте исходные данные, чтобы не попасть в зависимость от поставщика.
Предприятие. Множество инструментов, множество команд и слои интеграции создают наибольший риск дрейфа определений. Вкладывайтесь в общую модель событий, центральное хранилище метрик с названными владельцами и автоматические проверки сверки и свежести. Договоритесь о небольшом общепредприятийном словаре статусов и разрешайте командам добавлять местные состояния только с заявленным соответствием этому словарю.
Государственный сектор. На записи могут распространяться законы о хранении, аудите, доступе и приватности, а закупки могут привязать к инструментам и форматам данных. Считайте это входными данными для проектирования: ведите журнал аудита, документируйте происхождение данных от события до отчёта и договаривайтесь в контрактах о правах на выгрузку данных. Обязательства по отчётности делают задокументированные определения необходимыми (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивация, ROI и TCO
Стоимость этой темы состоит из трёх частей. Первая это усилия на создание: интеграции, хранилище метрик и наведение порядка в модели статусов. Вторая это усилия на эксплуатацию: владелец конвейера, мониторинг потоков и квартальная процедура сверки и выборки. Третья это стоимость мер приватности и безопасности для хранимых данных.
Отдача приходит от решений, принятых на основе чисел, которые означают то, что кажутся означающими. Плохие данные ведут к неверным инвестициям, спорам о том, чьё число правильно, и пересчитанным результатам, подрывающим доверие. Описывайте выгоду через закономерности, которые вы можете измерить сами: время подготовки ежемесячного отчёта до и после, число споров о сверке за квартал, доля записей задним числом и полнота меток времени во времени. Совокупная стоимость владения определяется в основном людьми, поэтому считайте часы владельца конвейера.
Антипаттерны и ловушки
- Построить панель раньше карты источников. Диаграмма выглядит законченной, а её смысл неизвестен. Сначала сопоставьте источник, часы и владельца.
- Доверять ручным обновлениям статусов для мер времени. Запоздалый ввод превращает часы в вымысел. Автоматизируйте переходы по событиям конвейера и системы контроля версий везде, где они есть.
- Несколько систем учёта для одного факта. Следуют споры. Выберите одну, а остальные заставьте читать из неё.
- Тихие изменения определений. Линия тренда теряет смысл. Записывайте каждое изменение с причиной и отмечайте его на диаграмме.
- Средние значения по неполным данным. Недостающие метки времени не случайны, ведь неудобные элементы часто и пропускают. Сообщайте полноту меток времени рядом с результатом.
- Собирать всё на случай, если пригодится. Затраты и риск для приватности растут, а ни одно решение не обслуживается. Собирайте то, что нужно названному вопросу.
- Нет индикатора свежести. Устаревшая панель выглядит так же, как актуальная. Показывайте возраст самого нового события в каждом представлении.
- Данные на уровне отдельных людей без цели. Они искушают ранжированием и вредят источнику. Агрегируйте до уровня команд и услуг и ограничивайте доступ.
Модель зрелости
| Измерение | 1 Начальный | 2 Развивающийся | 3 Стандартизованный | 4 Управляемый | 5 Согласованный |
|---|---|---|---|---|---|
| Источники и сбор | Числа собираются вручную из выгрузок | Некоторые инструменты подают отчёт автоматически; другие нет | У каждой метрики одна названная система учёта и автоматический сбор там, где есть событие | Охват и полнота измеряются и отслеживаются во времени | События делятся между командами и поставщиками через согласованные интерфейсы, с контрактами на выгрузку |
| Модели времени и статусов | Каждый человек записывает и читает время по-своему | Некоторые команды документируют свой процесс | Один стандарт времени и общий словарь статусов с письменными правилами часов | Дрейф и записи задним числом отслеживаются, изменения записываются с причинами | Модели пересматриваются совместно с поставщиками и клиентами, когда перестают информировать решения |
| Качество конвейера | Сбои обнаруживаются, когда кто-то жалуется | Редкие ручные проверки | Подсчёт строк, проверка дубликатов и индикатор свежести на каждой панели | Сверка по расписанию, причины разбираются; у конвейера есть владелец | О здоровье конвейера сообщают как об услуге, улучшения финансируются |
| Практика опросов и приватности | Разовые опросы; нет проверки приватности | Стандартные вопросы в некоторых командах | Короткие регулярные опросы с показанной долей ответивших; данные хранятся на уровне команды | Состав ответивших пересматривается, и по нему принимаются меры | Результаты опросов и практика приватности открыто доступны пользователям |
Контрольный список
- У каждой отчётной метрики есть названная система учёта и названный владелец источника.
- Карта источников хранится в реестре метрик.
- Для каждой меры времени указано, где часы запускаются, останавливаются и ставятся на паузу.
- Метки времени хранятся в UTC в однозначном формате, а часы серверов синхронизированы.
- Смены статусов порождаются автоматикой везде, где есть событие.
- Исходные события хранятся со временем события и временем ввода, а исправления являются новыми событиями.
- Модель статусов задокументирована, и каждое изменение записано с причиной.
- Каждая панель показывает возраст своих самых новых данных.
- Счета сверяются с источником по расписанию, причины записываются.
- Выборка исходных записей читается каждый квартал.
- Доля ответивших на опрос и состав ответивших показываются с каждым результатом опроса.
- Персональные данные сведены к минимуму и агрегированы до уровня команд и услуг.
Промпты для ИИ
Постройте карту источников для метрики.
Я документирую данные, стоящие за этой метрикой: [название метрики], определённой
как [определение]. Наши инструменты: [список инструментов, например трекер,
инструмент ITSM, конвейер, мониторинг]. Составь черновик карты источников со
следующими полями: событие, запускающее часы, событие, останавливающее их, система
учёта для каждого, кто или что создаёт событие (человек или автоматика), вероятные
способы отказа и проверки, которые обнаружили бы каждый отказ. Не придумывай
возможности инструментов и эталонные значения. Перечисли свои допущения и вопросы,
на которые мне нужно ответить, чтобы завершить карту.
Проверьте модель статусов на неоднозначность.
Вот рабочий процесс для [команда или услуга]: [список статусов и допустимых
переходов, с однострочным значением каждого, если оно известно]. Часы, которые мы
вычисляем по нему: [список часов]. Определи неоднозначные статусы, состояния, в
которых часы могут остановиться или встать на паузу вводящим в заблуждение образом,
и места, где две команды могут по-разному читать одно слово. Предложи более
компактную модель, которая всё ещё поддерживает часы, и скажи, что будет потеряно.
Не угадывай, как настроен наш инструмент. Перечисли свои допущения.
Спроектируйте проверки качества данных для потока.
Мы загружаем [тип данных, например записи об изменениях] из [исходная система] в
[место назначения] с периодичностью [расписание]. Обязательные поля: [список
полей]. Предложи практичный набор проверок полноты, дубликатов, свежести и сверки с
источником, с предлагаемым оповещением и ролью владельца для каждой. Сделай набор
достаточно небольшим, чтобы команда из [размер команды] могла его поддерживать. Не
придумывай пороги; спроси у меня те, которые тебе нужны. Перечисли свои допущения.
Составьте короткий опрос и план по доле ответивших.
Я хочу измерить [тема опыта, например усилия на выполнение запроса] для
[аудитория]. Составь [число] нейтральных вопросов, план того, когда и как их
отправлять, и как сообщать долю ответивших и состав ответивших. Отметь формулировки,
которые могут исказить ответы, и учти вопросы приватности с учётом того, что данные
будут храниться в [инструмент или место]. Не придумывай эталонные значения доли
ответивших. Перечисли свои допущения.
Навыки ИИ
- Навык Agile ITIL Metrics: используйте, чтобы найти, какая тема определяет инструментируемую вами метрику и какое ограждение должно стоять рядом с ней.
- Навык сопровождающего Agile ITIL Metrics: используйте, чтобы проверить, что новая или изменённая тема о метриках называет свой источник данных и часы.
Ключевые выводы
- Каждая метрика зависит от названной системы учёта, поэтому сопоставьте источник раньше, чем строить диаграмму.
- Фиксируйте события автоматически в момент их возникновения и храните исходные события, чтобы определения можно было менять без потери истории.
- Время это тоже данные: используйте один стандарт, записывайте правила часов и следите за записями задним числом.
- Держите модель статусов небольшой, общей и задокументированной и записывайте каждое изменение.
- Относитесь к конвейеру как к продукту с владельцем, тестами, индикатором свежести и сверкой по расписанию.
- Используйте опросы для того, что могут сказать только люди, показывайте долю ответивших и держите персональные данные на уровне команды.
Источники и дополнительное чтение
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
- ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
- Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Information technology service management.
- Wikipedia, ITIL.
- Wikipedia, Issue tracking system.
- Wikipedia, Version control.
- Wikipedia, CI/CD.
- Wikipedia, Observability (software).
- Wikipedia, Configuration management database.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data quality.
- Wikipedia, Coordinated Universal Time.
- Wikipedia, Selection bias.