Обзор и мотивация

Команда услуг накапливает знания каждый день: как восстановить службу, что на самом деле означает запутанное сообщение об ошибке, какое обходное решение сработало в прошлый раз. Управление знаниями это дисциплина, которая делает эти знания доступными следующему человеку, которому они понадобятся. В ITIL 4 (издании 2019 года рамки, опубликованной AXELOS, и широко документированной основе этой книги) управление знаниями является самостоятельной практикой, а ITIL ожидает также, что оно поддерживает работу с инцидентами, работу с проблемами и службу поддержки. Эта тема о том, как понять, реальна ли такая поддержка.

Большая часть пригодного к использованию результата управления знаниями оказывается в базе знаний: хранилище статей, runbook-ов, записей об известных ошибках и коротких ответов «как сделать». Runbook это записанный набор шагов для рутинной операции или восстановления. Статьи составляют явную часть того, что знает команда. Неявное знание опытных людей, например ощущение, что сигнал тревоги это шум, нельзя полностью записать, и ни одна метрика этой темы не измеряет его напрямую.

С точки зрения ITIL знания это управляемый актив с жизненным циклом: они создаются, проверяются, публикуются, используются и выводятся из обращения. С точки зрения гибкого подхода документация должна заслужить своё место, разговор и работа в паре несут очень многое, а записанное знание является побочным продуктом завершённой работы. Обе точки зрения согласны в проверке: помогло ли знание кому-то решить реальную проблему быстрее или лучше, чем без него?

Метод, который связывает эти две точки зрения наиболее прямо, это Knowledge-Centered Service (KCS), методология Consortium for Service Innovation. В KCS знания фиксируются и улучшаются в ходе решения задачи, а не после неё. Люди работают в двух контурах. Контур решения это момент разрешения: найти существующую статью, использовать и улучшить её, если она есть, создать, если нет. Контур развития это более долгий цикл, который изучает, как работают знания, и улучшает окружающую их систему. KCS предлагает и собственные индикаторы, например долю решённых обращений, привязанных к статьям. Эта тема излагает эти идеи кратко и независимо от поставщиков; командам, которые внедряют KCS формально, стоит прочитать руководство по практикам самого Consortium.

Количество статей в базе знаний это инвентарь, а не результат, и оно растёт от небрежности так же легко, как от заботы. Приведённые ниже метрики привязаны к моменту использования: закрытое обращение, выполненный поиск, реакция читателя. Но и их можно исказить (см. тему 1.2, Закон Гудхарта и психология метрик).

Показатели обращений и обработки относятся к службе поддержки (см. тему 3.1, Метрики службы поддержки). Объём и повторяющиеся закономерности берутся из данных об инцидентах (см. тему 3.2, Объём и приоритет инцидентов). Успешность самообслуживания, когда пользователи читают статьи без сотрудника поддержки, рассматривается отдельно (см. тему 3.7, Метрики самообслуживания и автоматизации). Эта тема остаётся с состоянием самих знаний и их использованием теми, кто решает проблемы.

Ключевые принципы

  • Измеряйте использование в точке работы. Статья, привязанная к решённому обращению или найденная поиском, это свидетельство ценности. Статья, которая просто существует, не свидетельство.
  • Фиксируйте в потоке работы. Знания, записанные во время решения, свежее и дешевле знаний, записанных в отдельной кампании по документированию, поэтому метрики должны поощрять фиксацию как часть завершения работы.
  • Читайте свежесть вместе с использованием. Старое не значит неверное. Усилия на проверку нужно направлять на статьи, которые используются часто, а не раскладывать поровну на каталог из преимущественно непрочитанных страниц.
  • Выбирайте образцы для проверки уместности. Связь между обращением и статьёй доказывает лишь, что кто-то создал эту связь. Небольшая выборка, в которой человек оценивает, действительно ли статья подошла, показывает, имеет ли связь смысл.
  • Описывайте команды и области знаний, а не отдельных людей. Счётчики вклада на человека превращают общий актив в соревнование и учат людей писать мусор (см. тему 1.2, Закон Гудхарта и психология метрик).
  • Сопровождайте каждую метрику объёма сигналом качества. Долю привязки с уместностью, создание статей с дубликатами, повторное использование с отзывами читателей.

Определения метрик

В таблице семь метрик. Временные окна (например, период проверки для свежести) команда выбирает сама и записывает; ни одно значение здесь не является эталоном. Везде «обращение» означает запись об инциденте или запросе на обслуживание в ITSM-средстве (средстве управления ИТ-услугами), а крупные инциденты отчитываются отдельно, чтобы не искажать соотношения (см. тему 3.4, Метрики крупных инцидентов).

Метрика Определение Формула Единица Источник данных Практика ITIL Гибкий аналог Периодичность
Доля привязки знаний Доля решённых обращений, к которым в момент решения привязана хотя бы одна статья знаний обращения, решённые за период и имеющие хотя бы одну привязанную статью / обращения, решённые за период. Считается по дате решения; исключаются крупные инциденты, обращения, закрытые как дубликаты, и обращения, закрытые автоматически без работы человека процент ITSM-средство: таблицы обращений и связей со статьями Управление знаниями; управление инцидентами Определение готовности включает фиксацию того, что узнали Еженедельно для команды; ежемесячно для обзора
Коэффициент повторного использования Доля привязок к статьям, которые указывают на уже существовавшую статью, а не на статью, созданную в ходе этого обращения привязки к статьям, существовавшим до открытия обращения / все привязки к статьям на решённых обращениях за период. Привязки, добавленные после закрытия обращения, исключаются процент ITSM-средство: дата создания статьи относительно даты открытия обращения Управление знаниями; непрерывное улучшение Повторное использование вместо переделки; общее владение кодом и его документацией Ежемесячно
Свежесть статей Доля используемых статей, которые были проверены или использованы и подтверждены как верные в пределах заданного окна проверки используемые статьи с датой проверки или подтверждённого использования внутри окна / используемые статьи. Статья считается используемой, если за последние 12 месяцев (выбор команды) она была привязана к обращению или просмотрена читателем; черновики и выведенные из обращения статьи исключаются процент Метаданные базы знаний и журнал просмотров Управление знаниями; служба поддержки Уточнение бэклога документации; действия по итогам ретроспектив Ежемесячно
Доля поисков без результата Доля поисков по знаниям, не вернувших ни одной статьи поиски с нулём результатов / все поиски. Поиски ботов и автоматических проверок исключаются; повторный поиск в течение минуты считается один раз процент Журнал поиска базы знаний или портала Управление знаниями; служба поддержки; управление запросами на обслуживание Выявление неудовлетворённой потребности пользователей; вход для бэклога Еженедельно
Доля полезных отзывов Доля отзывов читателей, в которых сказано, что статья помогла, с указанием доли ответивших голоса «помогло» / (голоса «помогло» + голоса «не помогло») для статей за период; доля ответивших = голоса отзывов / просмотры статей процент, с долей ответивших Виджет отзывов базы знаний и журнал просмотров Управление знаниями; клиентский опыт Отзывы заинтересованных сторон о документации Ежемесячно
Время до публикации Время от создания черновика статьи до момента, когда она проверена и видна своей аудитории часы запускаются при создании черновика и останавливаются при публикации (или при первом утверждённом видимом состоянии). Время в состоянии «на паузе, ожидание выпуска продукта» исключается; сообщается медиана и 85-й процентиль дни (медиана и 85-й процентиль) История рабочего процесса базы знаний Управление знаниями Время выполнения рабочего элемента от начала до готовности (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Ежемесячно
Широта вклада Распределение создания и улучшения статей по команде, измеряемое без имён различные авторы, создавшие или улучшившие статью за период / члены команды, решавшие обращения за период. Сообщается только для команды, никогда списком имён процент История правок базы знаний, соединённая с составом команды Управление знаниями; непрерывное улучшение Коллективное владение; работа в паре и роем Ежеквартально

У доли привязки знаний есть часы, которые легко упустить. Связь должна существовать в момент решения обращения, а не тогда, когда кто-то наводит порядок неделей позже: позднее связывание измеряет уборку и ничего не говорит об использовании во время решения. Коэффициент повторного использования зависит от надёжной даты создания статьи. Если статьи переносятся или импортируются массово, их даты создания обнуляются, и коэффициент будет вводить в заблуждение, пока перенос не отмечен.

Рекомендации

Решите, для чего нужны знания

1. Привяжите каждую метрику знаний к сценарию использования. Назовите людей, которым служат знания: аналитики службы поддержки, решающие задачу при первом контакте, дежурные инженеры, обрабатывающие сигнал тревоги, или пользователи, помогающие себе сами. Каждой аудитории нужны свои показатели. Runbook для дежурного инженера оценивается тем, восстановили ли шаги службу, а статья о сбросе пароля оценивается тем, перестал ли пользователь обращаться в службу поддержки. Запишите это в реестр (см. тему 1.4, Управление метриками и ответственность за них).

2. Начинайте с доли привязки и уместности, а не с количества статей. Доля привязки показывает, попадают ли знания в момент решения вообще. С самого начала дополните её небольшой ежемесячной выборкой, в которой человек читает 20 или 30 привязанных обращений и судит, подошла ли статья. Доля привязки 70 процентов, при которой половина привязок неуместна, хуже доли 40 процентов с честными привязками, потому что первая скрывает пробел в знаниях, а вторая его обнаруживает.

3. Разделяйте «статьи не существует» и «статья есть, но её не нашли». Когда обращение закрывается без привязки, причины различаются, как и способы исправления. Добавьте короткий выбор при закрытии, например «статьи не существовало» и «статью не нашли», и сообщайте их как доли обращений без привязки. Первая причина указывает на содержимое, которое нужно написать; вторая указывает на поиск, названия и структуру. Оставьте этот выбор необязательным там, где он замедлил бы работу, и вместо этого берите выборку.

Фиксируйте знания по мере завершения работы

4. Сделайте фиксацию частью определения готовности. В гибкой команде рабочий элемент, который меняет поведение службы, не готов, пока не обновлены runbook, запись об известной ошибке или справочная статья. В службе поддержки обращение, потребовавшее выяснения, не решено, пока выясненное не зафиксировано или пока не улучшена существующая статья. Это идея KCS о работе в контуре решения, и она держит стоимость записи низкой, потому что у пишущего контекст ещё свеж.

5. Допустите облегчённое состояние черновика. Многие команды теряют знания, потому что каждая статья должна пройти тяжёлую проверку, прежде чем её кто-то увидит. Практика в духе KCS различает статью в работе, видимую команде, и подтверждённую статью, видимую более широкой аудитории. Измеряйте время до публикации для обоих этапов отдельно, как медиану и 85-й процентиль, чтобы медленные проверки проявлялись как очередь, а не как смутная жалоба (см. тему 1.6, Статистическая грамотность для метрик услуг).

6. Предпочитайте улучшение созданию. Растущая куча почти одинаковых статей ухудшает поиск и затрудняет поддержание свежести. Следите за коэффициентом повторного использования рядом с числом созданных статей, а когда создание растёт, а повторное использование падает, ищите дубликаты. Сделайте слияние и вывод из обращения простыми и заметными и засчитывайте слияние как положительный вклад.

Держите знания актуальными и находимыми

7. Проверяйте те статьи, которые используются. Сосредоточьте усилия на проверку там, где использование велико. Отсортируйте используемые статьи по частоте привязки или просмотра и задайте для верхней группы окно проверки короче, чем для длинного хвоста. Устаревшая статья, которую никто не читает, стоит мало; устаревшая статья, которая встречается в трети решений, может ввести в заблуждение сотни обращений. Сообщайте свежесть для сильно используемой группы отдельной строкой, чтобы среднее по всей базе её не скрывало.

8. Рассматривайте неудачные поиски как элементы бэклога. Каждый месяц читайте самые частые поиски без результата и решайте по каждому, написать ли статью, добавить синоним, переименовать статью или признать, что вопрос относится к другому месту. Так метрика превращается в короткий конкретный список, с которым команда может работать. Это же показывает реальный словарь, потому что пользователи и аналитики редко употребляют слова, которые использует каталог услуг.

9. Читайте слова за голосами. Доля полезных отзывов дёшева и шумна. Доля ответивших обычно низка и смещена в сторону сильных мнений. Показывайте долю ответивших рядом с долей полезных отзывов и читайте письменные комментарии к самым просматриваемым статьям на регулярном обзоре. Один комментарий вроде «шага 4 в новой версии больше нет» ценнее тысячи неподписанных голосов.

10. Связывайте знания с проблемами и разборами. Повторяющийся инцидент, который раз за разом решается одной и той же статьёй, это сигнал для управления проблемами, которое ищет первопричину и может устранить потребность в статье (см. тему 4.1, Метрики управления проблемами). Записи об известных ошибках и уроки разборов это активы знаний со своим жизненным циклом (см. тему 4.2, Метрики разборов и обучения, и тему 4.6, Технический долг и известные ошибки). Каждый квартал смотрите десять самых привязываемых статей и спрашивайте, какие из них следует вывести из обращения, устранив причину.

Управляйте без ранжирования

11. Сообщайте вклад на уровне команды. Широта вклада показывает, распределена ли работа со знаниями или сосредоточена у двух человек. Это риск, который стоит видеть, потому что это тот же образ, что и фактор автобуса, равный двум. Она никогда не должна превращаться в рейтинг авторов, который вознаграждал бы число правок и учил бы людей дробить статьи или вносить тривиальные изменения. Если концентрация обнаружена, рассматривайте её как разговор в команде о времени, поддержке и разрешении писать (см. тему 9.4, Метрики навыков и обучения).

12. Отказывайтесь от показателей, которые перестали помогать. Если никто не действует по доле привязки, переведите внимание на уместность или свежесть сильно используемой группы. Фиксируйте изменения определений вместе с причиной, потому что изменённая формула ломает линию тренда (см. тему 1.5, Источники данных и инструментирование).

Способы подгонки и ограждения

Каждая метрика из таблицы определений есть и здесь. Метрики знаний особенно уязвимы, потому что привязка или проверка это быстрый щелчок, тогда как настоящая ценность лежит в содержании.

Метрика Как её подгоняют Парное ограждение (метрика или практика)
Доля привязки знаний Привязывание любой статьи, часто общей или очень популярной, к каждому обращению перед закрытием; массовое связывание задним числом Ежемесячная выборка для проверки уместности привязанных обращений; доля привязок, ведущих на одни и те же немногие статьи; отметка времени привязки против отметки времени решения
Коэффициент повторного использования Создание новой статьи для каждого обращения с немедленной привязкой, чтобы в следующий раз это считалось повторным использованием; или полный отказ от создания, чтобы коэффициент выглядел идеальным Доля дубликатов статей, найденная периодическим поиском; доля обращений, закрытых с причиной «статьи не существовало»
Свежесть статей Отметка статей как проверенных без проверки; сброс даты проверки тривиальными правками; учёт только тех статей, которые легко проверить Выборка недавно проверенных статей, сверенных с реальной службой; доля полезных отзывов и письменные комментарии к тем же статьям
Доля поисков без результата Добавление расплывчатых или универсальных статей, подходящих под любой запрос; набивка ключевыми словами; исключение неудобных поисковых запросов из журнала Переход по ссылке с последующим обращением по той же теме в короткое окно; доля полезных отзывов; ручное чтение самых частых поисковых запросов
Доля полезных отзывов Просьба оставить голос только у довольных читателей; скрытие варианта «не помогло»; голосование изнутри команды Доля ответивших и состав ответивших, показанные рядом с долей; письменные комментарии; интенсивность обращений после прочтения статьи
Время до публикации Публикация тонкой заглушки, чтобы остановить часы; разбиение статьи на части; перенос черновиков в состояние, которое часы исключают Уместность и доля полезных отзывов недавно опубликованных статей; число и возраст черновиков в исключаемых состояниях
Широта вклада Тривиальные правки, чтобы все выглядели авторами; просьбы добавить по предложению ради выполнения квоты Выборка по размеру и существу правок; повторное использование и доля полезных отзывов для статей, к которым внесён вклад; в отчёте нет имён

Здоровая картина выглядит так: привязанные статьи, уместность которых подтверждает выборка, проверяемая человеком; коэффициент повторного использования, который растёт по мере зрелости базы; сильно используемый набор статей с недавними подтверждёнными проверками; короткий список неудачных поисков, который команда разбирает; вклад, распределённый по команде. Некоторое число обращений без статьи, потому что они действительно были новыми, это признак честной базы, а не неудачной.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Целевой показатель высокой доли привязки Вводит фиксацию и повторное использование в ежедневную рутину; прост для понимания Провоцирует бессмысленные привязки; скрывает пробелы там, где статьи нет
Ручная выборка для проверки уместности Показывает, имеют ли привязки смысл; формирует общие стандарты Требует времени аналитика; малые выборки шумны; зависит от суждения того, кто берёт выборку
Проверка всего по фиксированному графику Легко планировать и проверять; применяется равномерно Тратит силы на статьи, которые никто не читает; не уделяет внимания сильно используемым
Проверка по использованию Направляет усилия туда, где неверное знание вредит больше всего Нужны надёжные данные о просмотрах и привязках; статьи длинного хвоста могут незаметно портиться
Формальное внедрение KCS Даёт связный, проверенный набор практик и индикаторов Требует устойчивых вложений, наставничества и поддержки средствами; тяжело для очень малой команды
Разговор и работа в паре вместо статей Передаёт суждение и контекст; малые накладные расходы Не масштабируется на смены, отпуска и текучесть; знания уходят с людьми

Измеряйте ровно столько, чтобы видеть, используют ли знания и доверяют ли им, а сэкономленные силы тратьте на содержание. Для малой команды доля привязки с ежемесячной выборкой на уместность и короткий список неудачных поисков это полноценная программа. Для большой службы поддержки полный набор окупается, только если кто-то отвечает за проверку и действует по её итогам.

Вопросы для обсуждения с командой

1. Когда мы в последний раз решали трудное обращение, откуда пришли знания и куда они делись потом? Возьмите недавнее обращение, потребовавшее настоящих усилий, и проследите путь выясненного. Была ли найдена статья, спросили ли коллегу или ответ выработали с нуля? Спросите, найдёт ли следующий человек с той же проблемой ответ менее чем за пять минут. Ведущему стоит искать разрыв между тем, что знает команда, и тем, что хранит база знаний.

2. Если бы мы подняли долю привязки до заданного целевого показателя в следующем месяце, как это можно было бы сделать, никому не помогая? Сделайте список способов подгонки явным и воспринимайте его как исходные данные для проектирования, а не как обвинение. Обычные ответы: привязать общую статью, связывать массово при закрытии, выбирать самую популярную статью. По каждому ответу спросите, какое ограждение из таблицы поймало бы это и как быстро. Ведущему стоит уйти по меньшей мере с одной новой проверкой, например ежемесячной выборкой на уместность, и её владельцем.

3. На какие пять статей мы опираемся больше всего и когда их в последний раз сверяли с реальной службой? Посмотрите самые привязываемые и самые просматриваемые статьи и прочитайте вместе вслух две из них. Разговор часто показывает, что статьи с наибольшим влиянием получают меньше всего заботы, и это довод в пользу проверки по использованию.

4. Что люди ищут, а у нас этого нет? Принесите самые частые поиски без результата и причины обращений без привязки. Сгруппируйте их на статьи, которые нужно написать, слова, которые нужно добавить, и вопросы, которые относятся к другой команде. Ведущему стоит зафиксировать короткий список из трёх следующих пунктов и спланировать, как их напишут в ходе обычной работы, а не в особом проекте.

5. Кто пишет наши знания и чего это стоит пишущим? Обсудите фиксацию честно. Считается ли письмо частью работы или дополнительной работой после работы? Спросите, что замедляет: тяжёлый шаблон, медленная проверка, страх ошибиться или нехватка времени в конце трудной смены. Ведущему стоит уводить разговор от поиска виноватых к изменениям в инструментах, времени и разрешении.

6. Какие из наших статей нам следует перестать нуждаться? Возьмите самые повторно используемые статьи и спросите, какую повторяющуюся причину они обходят. Процедура сброса, применяемая 200 раз в месяц, может быть симптомом дефекта в продукте, запутанного экрана или отсутствующей автоматизации. Решите, что передать управлению проблемами или команде продукта, а что автоматизировать (см. тему 3.7, Метрики самообслуживания и автоматизации). Ведущему стоит отметить, что лучший результат хорошей работы со знаниями иногда состоит в меньшем числе статей.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки создают значительную часть знаний, которые понадобятся услуге: как ведёт себя функция, что означает новая ошибка, как откатить. Если эти знания не зафиксированы до выпуска, служба поддержки и дежурные команды узнают их на горьком опыте. Включите runbook и справочную статью в определение готовности и следите за долей привязки и неудачными поисками по услугам, которыми вы владеете, как за обратной связью. Когда одна и та же статья привязывается много раз, воспринимайте это как сообщение о дефекте продукта, а не как успех документации.

Команды услуг и эксплуатации

Службы поддержки и эксплуатации главные производители и потребители базы знаний, поэтому метрики в основном их инструмент. Честно работайте в контуре решения: сначала искать, использовать повторно и улучшать, создавать, когда ничто не подходит. Применяйте долю привязки с выборкой на уместность и читайте поиски без результата как бэклог. Избегайте любых турнирных таблиц авторов или редакторов, поскольку база знаний это общий инструмент, а личные счётчики вредят ему (см. тему 3.1, Метрики службы поддержки).

Руководство и управление

Руководители решают, получит ли работа со знаниями время, а значит, решают качество знаний. Просите выборку на уместность и свежесть сильно используемых статей раньше, чем число статей. Сопротивляйтесь целевым показателям по доле привязки или созданию статей без ограждения и ожидайте, что числа будут падать по хорошим причинам, например из-за слияния набора дубликатов. Финансируйте проверку статей с высоким использованием и исправления, которые делают статьи ненужными.

Клиенты и пользователи

Пользователи встречают знания через поиск, портал, чат-бот или ответ, который даёт им аналитик. Они замечают, верен ли первый ответ и приходится ли им повторяться. Их собственные отзывы о статьях, их поиски, закончившиеся ничем, и их повторные обращения это лучшие ограждения для всего в этой теме. Если пользователей просят оценивать статьи, скажите им, что происходит с отзывами, и действуйте по ним заметно (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример гибкого ITIL

Страховая компания среднего размера держит внутреннюю ИТ-службу поддержки примерно из дюжины аналитиков, обслуживающую сотрудников в нескольких офисах. Служба поддержки делит базу знаний с двумя продуктовыми командами, которые владеют приложением для урегулирования страховых случаев и порталом документов. Все числа в этом примере иллюстративны.

Руководство просит улучшить решение при первом контакте (см. тему 3.1, Метрики службы поддержки) и устанавливает целевую долю привязки знаний 60 процентов при исходных иллюстративных 38 процентах. За шесть недель панель показывает 64 процента. Руководитель службы поддержки не убеждён, потому что аналитики по-прежнему жалуются, что не могут найти ответы, а руководитель продуктовой команды отмечает, что три статьи, которыми она владеет, встречаются в большинстве закрытых обращений.

Команда проводит обзор подгонки и выборку на уместность. Они читают 30 привязанных обращений, случайно отобранных за прошлый месяц, и оценивают, подошла ли статья к обращению. В иллюстративном подсчёте 11 из 30 привязок ведут на общую статью «Как завести заявку» или на общий обзор сети, которые не касались проблемы. Они также обнаруживают, что привязки делались за несколько секунд до закрытия обращения, и это закономерность, указывающая на привычку, а не на использование. Руководитель службы поддержки смотрит на коэффициент повторного использования, который вырос, и на долю обращений без привязки с причиной «статьи не существовало», которая упала почти до нуля, потому что аналитики теперь выбирают ближайшую статью. Пробел в знаниях стал невидимым.

Команда принимает три решения. Во-первых, целевой показатель по доле привязки отменяется и заменяется видом с поправкой на уместность: доля привязки сообщается рядом с долей уместных привязок в выборке, а причину закрытия «статьи не существовало» делают простой для выбора и не считают неудачей. Во-вторых, поиски без результата читаются каждый месяц, и пять самых частых становятся следующими задачами на написание, распределёнными по службе поддержки. В-третьих, 20 самых привязываемых статей проверяются на свежесть в течение месяца, ими владеет соответствующая продуктовая команда, а любая статья, привязанная более чем к четверти обращений одной услуги, передаётся управлению проблемами как кандидат на постоянное исправление (см. тему 4.1, Метрики управления проблемами).

Два месяца спустя основная доля привязки снизилась до иллюстративных 51 процента, что воспринимается как плохая новость. Уместность в выборке выросла с 63 до 85 процентов в иллюстративных величинах, доля поисков без результата упала, а повторяющаяся проблема входа на портал документов исправлена в корне, что вывело из обращения три статьи. Руководитель просит руководство оценивать программу по уместности и выведенным обходным решениям, а не по сырой доле привязки.

Отраслевой взгляд

Стартап. Знания живут в нескольких головах и в истории чата. Напишите короткий список runbook-ов для того, что ломается ночью, и записывайте исправление после каждого инцидента. Ежемесячной проверки того, что главные runbook-и по-прежнему работают, достаточно для измерения.

Малый бизнес. Часто один человек служит и службой поддержки, и администратором, и владельцем знаний. Риск в факторе автобуса: знания исчезают, если исчезает человек. Используйте простое общее хранилище, делайте статьи короткими и просите подрядчика или коллегу проверять ключевые процедуры. Регулярное прочтение самых используемых страниц лучше любой панели.

Предприятие. Масштаб приносит дубликаты статей и неравномерное качество. Используйте общие определения доли привязки, свежести и повторного использования, сообщайте по услугам и командам и назначайте владельцев сильно используемых статей. Избегайте сравнения команд, потому что состав услуг и возраст базы различаются.

Государственный сектор. Правила ведения записей, требования доступности и ожидания аудита могут определять, как знания хранятся, проверяются и выводятся из обращения. Воспринимайте это как исходные данные для проектирования: сохраняйте путь утверждения для статей, затрагивающих граждан, и публикуйте доступное содержание. Отзывы и неудачные поиски граждан особенно ценны (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивация, ROI и TCO

Затраты на метрики знаний скромны. Данные средств обычно уже есть в ITSM-платформе и базе знаний. Основные затраты: время на определение показателей, небольшая ежемесячная выборка для проверки уместности, время на проверку статей с высоким использованием и дисциплина фиксации знаний во время решения проблем. Если в платформе знаний нет пригодных данных о привязках или поиске, стоимость инструментирования нужно включить в расчёт (см. тему 1.5, Источники данных и инструментирование).

Отдача это закономерность, и эта книга не приводит для неё цифру. Когда аналитики быстро находят верную статью, решение идёт быстрее и последовательнее, новые сотрудники становятся полезны раньше, а дежурные инженеры меньше зависят от нескольких экспертов. Когда пользователи находят ответы сами, служба поддержки получает меньше повторных обращений по известным вопросам. Метрики помогают, показывая, где знаний не хватает, где они устарели или не используются, так что скудное время на написание уходит на важные статьи.

Совокупная стоимость владения включает поддержание. Статьи устаревают, когда службы меняются, поэтому время на проверку это постоянные затраты, и программа, которая их игнорирует, завысит выгоду. Чтобы оценить отдачу для своей команды, сравните выборку собственных обращений до и после и обозначьте свои допущения.

Антипаттерны и ловушки

  • Подсчёт статей или просмотров как успех. Объём растёт с беспорядком, а просмотры могут говорить о замешательстве. Измеряйте использование при решении, уместность и отзывы.
  • Целевая доля привязки без проверки уместности. Люди будут прикреплять любую статью. Ежемесячно берите выборку привязанных обращений и сообщайте долю уместных рядом с общей долей.
  • Ранжирование авторов или редакторов. Личные счётчики порождают тонкие правки и дробление статей. Сообщайте широту вклада для команды и обсуждайте её как вопрос мощности.
  • Проверка всех статей по одному фиксированному графику. Силы уходят на страницы, которые никто не читает. Проверяйте по использованию и выводите неиспользуемые из обращения.
  • Публикация заглушек для остановки часов. Быстрая тонкая статья подрывает время до публикации. Сопоставляйте её с долей полезных отзывов и долей повторных обращений.
  • Игнорирование неудачных поисков. Неудачные поиски самый ясный сигнал неудовлетворённой потребности. Читайте их каждый месяц и превращайте главные пункты в работу.
  • Отделение знаний от работы. Проект по документированию в конце квартала производит устаревшие страницы. Фиксируйте во время решения и в определении готовности.
  • Восприятие базы знаний как постоянной. Содержание устаревает. Сделайте вывод из обращения и слияние рутинными и засчитываемыми.

Модель зрелости

Измерение 1 Начальный 2 Развивающийся 3 Стандартизованный 4 Управляемый 5 Согласованный
Фиксация и привязка Знания живут в головах и чате; привязки редки Некоторые команды привязывают статьи к обращениям, практика различается Одно письменное правило для привязки и фиксации; причины закрытия записываются Доля привязки и выборка на уместность рассматриваются ежемесячно и связаны с улучшением Фиксация входит в рабочий процесс во всех службах поддержки, эксплуатации и продуктовых командах; определения пересматриваются, когда перестают информировать решения
Свежесть и владение Владельцев нет; статьи стареют незаметно Названы владельцы ключевых услуг Установлены окна проверки, короче для сильно используемых статей Свежесть статей с высоким использованием отслеживается в динамике и финансируется Ответственность за проверку разделяется с поставщиками и продуктовыми командами; вывод из обращения рутинен
Находимость и отзывы Поиск случаен; данных о поиске нет Журнал поиска есть, но его не читают Поиски без результата и отзывы читателей рассматриваются с установленной периодичностью Неудачные поиски питают бэклог и сопоставляются с данными об обращениях Пользователи, аналитики и чат-боты опираются на один источник знаний; отзывы заметно меняют содержание
Использование в улучшении Метрики, если есть, это счётчики Счётчики показывают команде Метрики сопровождены ограждениями и сначала показываются команде Сильно привязываемые статьи питают решения управления проблемами и автоматизации Бэклоги знаний, проблем и продукта ведутся совместно во всех командах

Контрольный список

  • Каждая метрика знаний называет аудиторию, которой она служит, и решение, которое она информирует.
  • У доли привязки есть письменное определение, включая часы, исключения и обращение с крупными инцидентами.
  • Ежемесячная выборка проверяет, что привязанные статьи уместны для обращений.
  • При закрытии обращения записываются «статьи не существовало» и «статью не нашли» как различные причины.
  • Время до публикации сообщается как медиана и высокий процентиль, с разделением этапов черновика и публикации.
  • Для используемых статей задано окно проверки, короче для самых используемых.
  • Самые частые поиски без результата читаются каждый месяц и превращаются в элементы бэклога.
  • Отзывы читателей показываются вместе с долей ответивших, а комментарии к главным статьям читаются.
  • Вклад сообщается только для команды, без списков имён.
  • Самые привязываемые статьи рассматриваются каждый квартал как кандидаты на постоянные исправления.
  • Изменения определений фиксируются с причинами.

Промпты для ИИ

Проверьте, подходят ли привязанные статьи к своим обращениям.

Я веду проверки знаний для [название команды], которая поддерживает [тип
услуги]. Ниже приведены [число] решённых обращений, у каждого есть краткое
описание, заметки о решении, а также название и текст привязанной статьи. Для
каждой пары оцените, подходит ли статья к обращению как уместный ответ,
частичный ответ или несвязанная привязка, и дайте причину в одной строке.
Сообщите закономерности по статьям и по услугам. Не называйте и не ранжируйте
отдельных аналитиков. Не выдумывайте факты об услуге. Перечислите свои
допущения и всё, что не смогли оценить по тексту.

[вставьте обращения и статьи, удалив личные данные]

Превратите неудачные поиски в бэклог для написания.

Вот самые частые поиски в [название базы знаний или портала], которые не вернули
результатов за [период]: [список поисковых запросов с числом]. Сгруппируйте их
по темам. Для каждой темы предложите, нужна ли новая статья, синоним или
переименование существующей статьи ([список названий связанных статей]), ссылка
на другую команду или никаких действий. Не выдумывайте статьи и факты о наших
системах. Перечислите свои допущения и вопросы, на которые мне нужно ответить,
прежде чем что-либо писать.

Спроектируйте облегчённый набор показателей знаний.

Спроектируйте небольшой набор показателей управления знаниями для [название
команды], команды из [размер команды] человек, которая использует [ITSM-средство]
и [средство знаний]. Наша главная цель: [цель, например более быстрое решение
при первом контакте или меньшая зависимость от экспертов]. Для каждого
показателя дайте определение, часы или границу, источник данных, вероятный
способ подгонки и ограждение. Не предлагайте индивидуальных рейтингов, не
выдумывайте эталонные значения и не ссылайтесь на источники. Перечислите свои
допущения и поля данных, которые вам понадобятся и о которых я не упомянул.

Навыки ИИ

  • Agile ITIL Metrics skill: используйте, чтобы найти связанные темы и парное ограждение, когда добавляете метрику знаний на свою панель.
  • Agile ITIL Metrics maintainer skill: используйте, чтобы проверить, что метрика знаний несёт свой способ подгонки, ограждение и перекрёстные ссылки в правильной форме.

Ключевые выводы

  • Измеряйте знания в момент использования: привязаны при решении, найдены поиском, подтверждены читателями.
  • Сопровождайте долю привязки выборкой уместности, проверяемой человеком, потому что привязка доказывает лишь, что кто-то щёлкнул.
  • Проверяйте свежесть по использованию, направляя усилия туда, где неверная статья ввела бы в заблуждение больше всего обращений.
  • Воспринимайте неудачные поиски и сильно привязываемые статьи как сигналы к новому содержанию, лучшим названиям или постоянному исправлению.
  • Сообщайте вклад для команды и никогда не ранжируйте авторов.
  • Меньше, но лучше статей часто указывает на более здоровую базу, чем большее число.

Источники и дополнительное чтение

  1. Consortium for Service Innovation, KCS v6 Practices Guide, first released 2016 and updated since, https://library.serviceinnovation.org/KCS/KCS_v6/KCS_v6_Practices_Guide (check the page for the current version).
  2. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  3. Nonaka, I., and Takeuchi, H., The Knowledge-Creating Company, Oxford University Press, 1995.
  4. Hansen, M. T., Nohria, N., and Tierney, T., "What's your strategy for managing knowledge?", Harvard Business Review, March-April 1999.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Wikipedia, Knowledge management.
  8. Wikipedia, ITIL.
  9. Wikipedia, Knowledge base.
  10. Wikipedia, Runbook.
  11. Wikipedia, Tacit knowledge.
  12. Wikipedia, Knowledge-centered support.
  13. Wikipedia, Service desk.
  14. Wikipedia, Bus factor.