概要と動機

サービスを素早く復旧させるチームでも、ランニングマシンの上に乗ったままのことがあります。同じ障害が数週間ごとに戻り、同じ人々が呼び出され、一回ごとの修復が速いために、インシデントの数字は健全に見えます。問題管理は、そのランニングマシンから降りるプラクティスです。インシデントを横断して見て、根底にある原因を見つけ、その原因を取り除くか封じ込めます。このトピックは、その作業が行われているか、機能しているかを教えてくれる数字を扱います。

このトピックは、四つの用語で成り立ちます。インシデントは、ITILのフレームワークがその言葉を使うとおり、サービスの計画外の中断、またはその品質の低下です(トピック3.3「インシデントの対応時間と解決時間」を参照)。問題は、一つ以上のインシデントの根底にある原因、または原因と疑われるものです。既知のエラーは、原因が理解され、回避策が記録された問題で、症状に次に出会う人が見つけられるように、既知のエラーデータベースに保管されます。回避策は、原因を取り除かずに、インシデントや問題の影響を減らす、または避けるものです。恒久的な修正は、原因を取り除く変更です。

原因を見つけるのは、根本原因分析の仕事です。よくある手法には、なぜなぜ分析、特性要因図(石川ダイアグラム)、原因を発生頻度や害の大きさで順位付けするパレート図があります。複雑なシステムには、しばしば複数の寄与する原因があり、一人の犯人はいません。そのため、よい問題の記録は、取り除けば再発が止まる要因を名指しし、チームがどれだけ確信しているかを述べます。

メトリクスが重要なのは、問題管理には、組み込まれた報告の罠があるからです。問題の記録を開くことは簡単で、生産的に感じられます。閉じることも簡単で、記録はメモ一つで閉じられます。どちらの出来事も、ユーザーにとって何かが良くなったことを示しません。見る価値のある尺度は、もっと下流にあります。問題にリンクされたインシデントが再発しなくなるか、既知のエラーが、オンコールの人々に実際に使われているか、診断された原因が修正を待つ時間がどれくらいか。

ITILとアジャイルの見方は、ここでは摩擦なく出会います。ITIL 4では、問題管理は、サービスバリューシステムの中のプラクティスで、インシデント管理、変更実現、ナレッジマネジメントに近いものです。そのアジャイルの対応物は、チームのバックログを流れる、根拠に基づく小さな修正の流れ、パターンに気づくレトロスペクティブ、信頼性の作業を通常のプロダクトの作業として扱う習慣です。ITILの見方が、記録、オーナーシップ、既知のエラーを強調するところで、アジャイルの見方は、小さなバッチと速いフィードバックを強調します。両方が、繰り返しのインシデントが減ることを望み、その成果が、みなの目の前に置いておくべき尺度です。

このトピックは、インシデントの時計(トピック3.3「インシデントの対応時間と解決時間」を参照)や、重大インシデントの尺度(トピック3.4「重大インシデントのメトリクス」を参照)を繰り返さず、レビューのやり遂げは、それが問題に流れ込む場合にだけ扱います(トピック4.2「ポストモーテムと学習のメトリクス」を参照)。既知のエラーのバックログと、技術的負債のより広い考え方は、トピック4.6「技術的負債と既知のエラー」で扱います。ここでの焦点は、問題の記録と、それが生む成果です。デプロイに基づく復旧と失敗の尺度は、トピック2.8「DORAメトリクス」にあります。

重要な原則

  • 書類ではなく、再発を測る。 問題管理のテストは、リンクされたインシデントが戻ってこなくなることである。開いた記録と閉じた記録の数は、活動を記述するが、結果についてはほとんど語らない。
  • 三つの瞬間を分ける。 パターンが存在すると検知すること、その原因を特定すること、原因を取り除くことは、異なる時計と異なるオーナーを持つ、異なる出来事である。それらを混ぜると、遅れがどこにあるかが隠れる。
  • 回避策は終わりではなく、段階である。 それを記録し、使い、それが唯一の防護である期間を追跡する。何年も続く回避策は、誰も名前を挙げられないオーナーを持つ負債である。
  • 修正を作業のある場所に置く。 恒久的な修正は、通常、プロダクトチームが所有する変更かバックログの項目として着地する。チーム自身のフローで測り、サービスを所有するチームに見せる。
  • インシデントと問題を、発生源でリンクする。 ここにあるすべての尺度は、インシデントと問題のリンクに依存する。リンクが弱ければ、数字も弱い。
  • 平均よりも、分布とコホートを好む。 問題の継続期間は長く偏っており、少数の古い記録が、どんな平均も支配する(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • チームとサービスを記述し、人は決して記述しない。 問題はシステムの性質である。アナリストごとの閉じた問題の表は、調査をノルマに変える。

メトリクスの定義

すべての時計は、問題の記録、リンクされたインシデントの記録、リンクされた変更またはバックログ項目のタイムスタンプを使います。行に別の記載がない限り、問題はサービスと所有チームごとに数え、統合または重複した記録は除外します。すべての継続期間について、平均よりパーセンタイルを好みます。このトピックの例の数字は例示です。

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
開いた問題と閉じた問題 問題の記録が、開いた状態に入り、出ていく流れ。サービス別 期間内に開いた数と、期間内に閉じた数を、それぞれクローズコード(修正済み、リスクの受容、重複、再現できない)別に数える。重複は示すが、「修正済み」の数からは除外する 期間あたりの件数 ITSMの問題の記録 問題管理 バックログの流入とスループット 月次
問題のバックログの経過期間 開いている問題が待っている時間 開いている各問題について、スナップショットの日付 - 記録の作成日。開いている問題の中央値と85パーセンタイル、および最も古いものを、優先度別に報告する 日 ITSMの問題の記録 問題管理 ボード上の作業項目の経過期間 月次
インシデントと問題のリンク率 問題または既知のエラーがあると期待されるところで、それを指しているインシデントの割合 期間内に、リンクされた問題または既知のエラーを持つインシデント数 ÷ 期間内の、優先度が高以上の、または再オープンされた、または繰り返しのカテゴリのインシデント数。ユーザーエラーまたは重複として閉じたインシデントは除外する パーセント ITSMのインシデントと問題の記録 インシデント管理、問題管理 レトロスペクティブでのパターンの発見 月次
根本原因までの時間 診断された問題が、記録された原因に至るまでにかかる時間 時計は問題の記録が作られたときに始まり、原因が記録され、二人目がレビューしたときに止まる。原因なしで閉じた問題は除外し、別に数える。中央値と85パーセンタイルを報告する 日 ITSMの問題の記録とその監査証跡 問題管理 スパイクまたは調査のタイムボックス 月次
既知のエラーの再利用率 インシデントが来たときに、既知のエラーがどれくらい使われるか リンクされた既知のエラーまたはその回避策で解決されたインシデント数 ÷ その時点で存在した既知のエラーに症状が合致した、期間内のインシデント数。合致する既知のエラーがないインシデントは除外する パーセント ITSMのインシデントのリンク、ナレッジ記事の使用 ナレッジマネジメント、問題管理 チームのランブックまたはプレイブックの使用 月次
恒久的な修正までの時間 診断から、修正が本番で動くまでに、問題がさらされる時間 時計は原因が記録されたときに始まり、リンクされた修正の変更が実施され確認されたときに止まる。リスクの受容として閉じた問題は除外し、別に数える。中央値と85パーセンタイルを報告する 日 問題の記録、変更の記録またはパイプラインのデプロイイベント 問題管理、変更実現 修正項目のサイクルタイム 月次
修正後の再発率 修正された問題のうち、リンクされた症状が戻ってきたものの割合 あるコホートの四半期に修正済みとして閉じた問題のうち、修正が稼働してから90日以内に、新たに合致するインシデントがあったもの ÷ その四半期に修正済みとして閉じた問題数。90日の期間は一例であり、グラフに明記する パーセント ITSMのインシデントと問題の記録、デプロイイベント 問題管理、継続的改善 流出した欠陥、またはリグレッションの率 四半期
回避策のみの割合 回避策だけで守られている既知の問題の割合 修正が予定されていない、既知のエラーの状態にある開いた問題数 ÷ 既知のエラーの状態にある開いた問題数。オーナーの名前とレビュー日があるリスク受容の問題は、別のグループとして示す パーセント ITSMの問題の記録 問題管理、リスク管理 技術的負債の台帳 月次

90日の期間、症状の照合の規則、リンク率の「期待される」の定義は、例です。チームは、自分たちのサービスに合う値を選び、メトリクス台帳に書きます(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。「修正済み」として閉じた問題を、ほかのクローズコードと別に数えることで、開いた数と閉じた数のペアが正直に保たれます。

推奨事項

何が問題に数えられるかを決める

1. 証拠に基づいて問題を開き、その証拠が何かを述べる。 よいきっかけは、同じ症状の繰り返しのインシデント、原因不明の重大インシデント、レビューで見つかった傾向、インシデントの前に見つかったリスクです。記録にきっかけを書きます。たとえば「同じサービスにリンクされた六週間で五件のインシデント」。変わったインシデントがすべて問題の記録になると、バックログはノイズで満ち、誰も読まなくなります。

2. 小さな、共有のクローズコードの集合を使う。 修正済み、リスクの受容、重複、再現できない、統合で、ほとんどのチームには足ります。各コードには、一文の意味と、それを使える権限を持つオーナーがあります。クローズコードの構成は、閉じた数より多くを教えます。どれだけの作業が原因を取り除き、どれだけが変更なしに終わったかを示すからです。

インシデントと問題を、発生源でリンクする

3. リンクを、インシデントのクローズの一手順にする。 クローズする前に、対応者に、インシデントを問題、既知のエラー、または「見つからず」にリンクするよう求めます。ツールが可能なら、合致の候補を提案し、人に決めさせます。数週間後の一括の作業で作られたリンクは、信頼できません(トピック1.5「データソースと計装」を参照)。

4. 症状をどう照合するかを合意する。 再発は、二つのインシデントがいつ「同じ」かを決めることに依存します。定義と例を持つ、原因と症状の短い分類は、自由記述より優れています。毎四半期、合致の標本をレビューしてください。どちらの方向の誤った合致も、再発率に偏りを与えるからです。

5. パターンのレビューが、問題のリストに流れ込むようにする。 サービス別、パレート図別の、インシデントのカテゴリの毎月のレビューは、どの少数の原因が痛みの大半を生んでいるかを示します。そのレビューを、問題を開き、優先順位を付けるために使い、重大インシデントのレビューから繰り返される原因を、同じリストに送ります(トピック3.2「インシデントの件数と優先度」を参照)。

三つの遅れを測る

6. 段階を別々に計時する。 記録の作成から記録された原因まで、記録された原因から修正が本番で動くまでを測ります。最初の遅れは、調査の能力、データへのアクセス、スキルを指します。二つ目の遅れは、優先順位付け、変更のプロセス、競合する機能の作業を指します。単一の「問題を閉じるまでの時間」は、両者を混ぜ、誰にも明確な行動を与えません。

7. 古いものを報告する。 開いている問題の経過期間の中央値と85パーセンタイルを示し、サービス別に最も古いものを挙げます。何年も前の数件の記録は、平均を動かすのに、ほとんど何も教えませんが、最も古いものの一覧は、決定を促します。修正する、名前のあるオーナーとレビュー日とともにリスクを受容する、理由を付けて閉じる、のいずれかです。

修正を通常のフローに入れる

8. 恒久的な修正を、オーナーと日付のあるバックログ項目として扱う。 問題を、修正を担う変更または作業項目にリンクし、機能の作業と同じボードに修正を示します。繰り返されるインシデントのコストと、修正の労力を天秤にかけるような、合意した規則で優先順位を付けます。修正に変更が要るところでは、リスクの低い訂正のために、標準変更の経路が速くなければなりません(トピック4.3「変更実現のメトリクス」を参照)。

9. 回避策と出口の日付を一緒に求める。 回避策は時間を買います。それを既知のエラーとして記録し、オンコールのチームがそれを見つけて実行できることを試し、修正のレビュー日を設定します。そうすると、回避策のみの割合は、静かな負債の山ではなく、決定の一覧になります(トピック4.6「技術的負債と既知のエラー」を参照)。

修正が効いたかを確認する

10. すべての修正の後に、再発の期間を設ける。 修正が稼働したら、述べた期間のあいだ、合致するインシデントを見張り、四半期のコホート別に、保たれた修正の割合を報告します。再発は、このプラクティスが持つ成果の尺度に最も近いものです。それが高ければ、原因が見つかったのか、寄与する要因だけだったのかを問い、分析を再開します。

11. 既知のエラーの再利用を、対応者が働く場所で測る。 合致するインシデントが来たときに、既知のエラーまたはその回避策がどれくらい使われるかを数えます。既知のエラーが多いのに再利用率が低いなら、たいていエントリが見つけにくいか、古いか、対応者ではなくアナリストのために書かれています。もっと加える前に、記事とその置き場所を直してください(トピック3.6「ナレッジマネジメントのメトリクス」を参照)。

数字を正直に保つ

12. すべてのグラフの隣に、コホートと但し書きを示す。 定義、クローズコードの構成、規則の変更を、グラフ自体に記録します。修正された問題の四半期のコホートは、古い作業と新しい作業を混ぜずに、再発を示します。すべての数を、成果の尺度と組にし、どの数字も単独で立たないようにしてください(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
開いた問題と閉じた問題 取るに足りない記録をたくさん開く。一つの問題を複数に分ける。リストを片付けるために、記録を重複や「再現できない」として閉じる クローズコードの構成。修正後の再発率。毎四半期に読む、閉じた記録の標本
問題のバックログの経過期間 修正なしに最も古い記録を閉じる。時計をリセットするために新しい記録として再オープンする。問題をリクエストとして再分類する 新しい記録を元の記録にリンクし、最初の記録から経過期間を報告する。理由別のクローズの一覧。リスク受容のレビュー
インシデントと問題のリンク率 率を上げるために、すべてのインシデントを曖昧な何でも受ける問題にリンクする 最大の五つの問題を指すリンクの割合。本物の合致かを確認したリンクの標本。リンクされた症状の再発
根本原因までの時間 時計を止めるために、速くて浅い原因を記録する。「ヒューマンエラー」と名指しする。二人目のレビューアを省く 修正後の再発率。「ヒューマンエラー」だけでは受け入れない原因の分類。原因の標本を証拠に照らしたレビュー
既知のエラーの再利用率 インシデントのクローズ後に追加したリンクを数える。サービスのすべてのインシデントに既知のエラーを加える インシデントのクローズからリンクまでの時間。エントリが役立ったかについての対応者のフィードバック。90日使われていないエントリのレビュー
恒久的な修正までの時間 修正が検証される前に、変更を実施済みとする。作業を避けるために、リスクの受容として閉じる 修正後の再発率。オーナーとレビュー日のあるリスク受容の一覧。時計が止まる前の検証の手順
修正後の再発率 再発が合致しないように、症状を狭く定義する。修正がより早いコホートに入るように、クローズの期間を広げる。リンクを遅らせる 所有チームの外の誰かがレビューする原因の分類。インシデントのリンク率。事前に述べた固定の期間
回避策のみの割合 本当の日付のない、仮の修正を予定する。問題をリスクの受容に移す。問題の優先度を下げる 遅れた予定の修正の経過期間。名前のある経営層のオーナーとレビューするリスク受容の一覧。問題別の繰り返しのインシデントのコスト

健全な読み取りは、静かで、少し退屈に見えます。開いた数と閉じた数がほぼ歩調を合わせ、最も古い開いている問題のそれぞれに記録された決定があり、保たれた修正の割合が高くコホートの線が安定し、既知のエラーが、症状に出会う人々に使われている。警告のパターンは、長くきれいな閉じた数の隣で、インシデントが戻り続けることです。活動の数字が見事に見えるのに、ユーザーが同じ障害に当たり続けているなら、ユーザーを信じてください。

トレードオフ:長所と短所

アプローチ 強み 弱み
繰り返しのインシデントと重大インシデントのための正式な問題の記録 明確なオーナー、履歴、修正へのリンク。監査を支える プロセスのオーバーヘッド。記録が古くなりうる
問題の記録なしに、チームのバックログの中で原因を直す 速く、軽く、作業に近い チームをまたぐパターンが見えない。共有の既知のエラーがない
厳格なクローズコードと四半期のコホート 成果についての正直な見方。きれいな数に強い 読むのが遅く、データ入力に規律が要る
閉じた問題の数を目標にする 説明しやすく、グラフにしやすい 数のために閉じることを誘い、小さな問題に報いる
修正された問題の再発の追跡 効いたかについて、使える最も近い尺度 よい症状の照合と、十分に長い期間が要る
既知のエラーの再利用の追跡 ナレッジが対応者を助けているかを示す 対応者がエントリをリンクすることに依存し、ゲーミングされうる

チーム自身のバックログの中で、原因を素早く直すチームも、同じ症状に出会う別のチームが恩恵を受けられるように、より広い組織に見える場所に原因を記録すべきです。まず、インシデントと問題のリンクと、再発の期間に投資してください。その二つが、ほかのすべての尺度を解釈できるものにします。

チームで話し合う問い

1. 前四半期に最も頻繁に修復した三つのインシデントはどれで、その原因を直すのを妨げたものは何か。 サービスデスクまたはインシデントのツールから、繰り返しのインシデントを挙げ、発生数で並べ替えます。それぞれについて、障害が何だったかを問います。調査の時間がない、合意された原因がない、機能と競合する修正、別のチームを要する修正。ファシリテーターは、三つにわたって繰り返す障害を探してください。それは、技術的な修正ではなく、システムの修正を指しているからです。

2. インシデントを問題にリンクするとき、誰が、いつそれを行い、それが正しい問題だとどうやってわかるか。 最近のインシデント一件を、クローズからリンクまでたどります。リンクがインシデントの最中、クローズのとき、後の片付けのどれで作られるかを記します。リンクの小さな標本を、本物の合致かどうか、一緒にレビューします。リンクをより簡単に、またはより確実にする一つの変更に合意してください。

3. 診断された原因は、修正まで、どれくらい待つか。そして誰が順番を決めるか。 記録された原因のある問題を取り上げ、診断からの経過時間を見ます。誰がそれらの優先順位を付け、どんな規則を使うかを問います。議論はしばしば、遅れが技術的な困難ではなく、プロダクトのバックログの前の待ち行列だと示します。問題の修正を、機能の作業とどう比べるかに合意してください。

4. 私たちの最も古い回避策は何で、もう一年それを続けたら、何を失うか。 最も長く生きている三つの回避策を挙げ、それが手作業の労力、リスク、それをまだ覚えている人々の知識において、何を費やしているかを挙げます。その回避策を知っている人が不在なら、何が起きるかを問います。それぞれについて、直すか、オーナーとレビュー日とともにリスクを受容するか、サービスを廃止するかを決めます。

5. 修正された問題が戻ってきたら、私たちはそれに気づくか。どれくらい速いか。 戻ってきた症状がどう気づかれ、誰が分析を再開するかを問います。再発の期間が、その種類の障害にとって十分長いかを話し合います。ファシリテーターは、期間と照合の規則に合意できるようグループを助け、所有チームが自分の作業に印を付けないように、どのチームが合致をレビューするかを決めてください。

6. オンコールの人々は私たちの既知のエラーを使うか。何があれば、それに手を伸ばすか。 対応者に、最後に既知のエラーを検索したのはいつで、何を見つけたかを尋ねます。エントリがどこにあり、どう題され、最初に何をすべきかを述べているかを見ます。一つのエントリを選び、対応者と一緒に書き直して、次のオンコールの週に試してください。

四つの視点

プロダクトチームとデリバリーチーム

デリバリーチームは、ほとんどの恒久的な修正を所有し、機能の作業の引力を感じます。繰り返される障害のインシデントのコストを、修正の労力の隣に見ること、そして修正の項目のためのはっきりした場所がバックログにあることから、恩恵を受けます。問題の作業を割り込みとして扱うことに抵抗し、代わりに、そのために目に見える割合の余力を確保すべきです。レトロスペクティブは、パターンに気づき、問題を開く自然な場所です(トピック2.1「フロー指標」を参照)。

サービスチームと運用チーム

運用チームは、繰り返される症状を最初に見て、呼び出しと手作業でコストを担います。問題と既知のエラーの記録を保ち、パターンのレビューを運営し、リンクが作られていることを確認します。彼らのリスクは、原因を取り除く代わりに、記録に労力を費やすことです。クローズコードを小さく保ち、既知のエラーを対応者が最初に見るものにし、証拠を添えて、修正を所有チームに渡すべきです。

リーダーシップとガバナンス

リーダーは、信頼性の作業が機能に勝つかを決め、何が記録されるかについてのインセンティブを設定します。件数を求める前に、コホート別の再発と、最も古い開いている問題を求め、リスクの受容を、名前のあるオーナーとレビュー日が要る決定として扱うべきです。再発なしに減るバックログを報告することは、閉じることに報います。ガバナンスは、チームの順位表ではなく、傾向と決定を見るべきです(トピック4.6「技術的負債と既知のエラー」を参照)。

顧客とユーザー

ユーザーは、問題管理を一つのことで判断します。同じことが間違い続けるか。彼らは問題の記録を見ず、いくつ閉じられたかを気にしません。合意が許すところでは、顧客に、既知の問題、回避策、修正が期待される日付を伝え、着地したら報告してください。告知され、届けられた修正は、静かな修正より多くの信頼を築きます。

実践:アジャイルITILの例

ある地域の病院のIT部門は、病棟と外来の診療科が使う、臨床のスケジューリングアプリケーションを支えています。プロダクトチームがアプリケーションを作って運用し、インフラチームがプラットフォームを運用し、サービスデスクが電話を受けます。この例の数字はすべて例示です。

四半期のレビューで、部門長は、問題のダッシュボードが見事に見えることに気づきます。開いた31件に対して、閉じた問題が46件で、最も古い開いている問題は140日です。それでも病棟の管理者たちは、交代の時間にスケジューリングの画面が固まると不満を言います。サービスのオーナーは、まだダッシュボードにない、インシデントと問題のリンク率と、修正後の再発率を求めます。

データは違う話をします。クローズコードの構成は、46件のクローズのうち22件が「再現できない」または「重複」だったことを示します。優先度の高いインシデントのリンク率は38パーセントです。固まるインシデントは四つのカテゴリに記録されていたので、パターンが見えませんでした。30件のインシデントの標本が手でリンクし直されると、そのうち17件が一つの原因を指していました。朝のシフトにまで長引く夜間のジョブが保持していたデータベースのロックです。前の四半期に修正された問題の再発は27パーセントで、誰もが予想したより高いものでした。

チームは三つの決定をします。第一に、原因と症状の分類に「スケジューリングの固まり」の項目が加わり、問題または「見つからず」をリンクすることが、インシデントのクローズでの必須の手順になります。第二に、夜間のジョブの問題が、インフラのバックログから、オーナーと目標日付とともにプロダクトチームのボードに移り、回避策(ジョブの後の予定された再起動)が既知のエラーとして記録され、サービスデスクとともに試されます。第三に、ダッシュボードは、閉じた数を三つの数字に置き換えます。90日後に保たれた修正の割合、記録された原因から修正までの時間の中央値と85パーセンタイル、そして決定とともに最も古い開いている問題です。

八週間後、ジョブの変更でロックが取り除かれます。固まりのカテゴリのインシデントは月に約九件から二件に減り、既知のエラーの再利用は、残る症状について71パーセントに上がります。おもに、サービスデスクが再起動のエントリを見つけるようになったからです。チームが捉えたゲーミングのリスクは、自分たち自身の以前の習慣にありました。インシデントが勤務時間外に起きたときに、記録を「再現できない」として閉じることです。クローズコードの構成、毎四半期に読む閉じた記録の標本、再発のコホートが、いまは防護柵として働いています。誰も順位付けされず、レビューはアナリストではなく、サービスと決定を挙げます。

業種別の視点

スタートアップ。 別の問題のプロセスがあることは、まれです。チームは原因を直接直し、リスクは、誰もその理由を覚えていないことです。繰り返されるインシデントとその原因の一ページの一覧を持ち、修正をイシュートラッカーにリンクし、一覧を毎月レビューしてください。再発と最も古い項目の経過期間を測り、チームが大きくなるまで、正式なクローズコードは省きます。

小規模事業者。 一人のIT担当者か、マネージドサービスプロバイダーがすべてを運営していることがあります。プロバイダーに、その問題の記録と背後のインシデントのカテゴリ、そして「解決」の書かれた定義を求めてください。名前のあるオーナーと日付を付けた、上位五つの繰り返しの問題の短い一覧は、重いツールに勝ります。ロックインを避けるために、記録を定期的にエクスポートします。

大企業。 多くのサービスとサプライヤーが、共有された定義の最大の必要を生みます。チームをまたいで、原因の分類、クローズコード、再発の期間に合意し、サービスごとに問題のオーナーを指名し、サービスとコホートごとに報告します。サプライヤーが修正を握っているところでは、サプライヤーの対応を契約に照らして追跡し(トピック8.4「サプライヤーと契約のメトリクス」を参照)、文書化された経路でエスカレーションします。

政府・公共部門。 監査、変更統制、調達は、原因から修正までの道を長くしうるので、修正までの時間の時計は、遅れがどこにあるかを示すべきです。調査、承認、調達、日程調整。リスクの受容には、監査に耐える、記録されたオーナーとレビュー日が要ります。保持とプライバシーの規則は、インシデントと問題の記録に当てはまり、とくに臨床や市民のデータがそこに現れるところで当てはまります。

ビジネスケース:動機、ROI、TCO

コストは三つの部分からなります。第一は調査の時間です。インシデントを分析するスキルとアクセスを持つ人々で、彼らのほかの作業と競合します。第二は修正そのもので、バックログと変更のプロセスを通じて届けられます。第三は、記録と報告のコストです。インシデントのリンク、分類の維持、パターンのレビューの運営、既知のエラーデータベースの維持。これらのコストは、おもに人々の時間なので、時間を数えてください。

リターンは、再発しなくなるインシデント、少ない呼び出しと手作業の回避策の労力、対応者が既知のエラーを見つけるためのインシデント対応の短縮、エンジニアへのエスカレーションの減少として現れます。普遍的な数字は当てはまらないので、自分たちのものを見積もってください。繰り返されるインシデントについて、年間の発生回数に、平均の対応の労力と、一回あたりの事業への影響の見積もりを掛け、それを修正の労力と比べます。見積もりをサービスのオーナーとレビューし、見積もりとして述べ、再発の期間が何が起きたかを示した後に、見直してください。問題管理は、インシデントの負荷の大半を生む少数の原因で、最もよく元が取れ、パレートの見方がそれをすぐに見つけます。

アンチパターンと落とし穴

  • 目標としてのクローズ。 閉じた問題の目標は、取るに足りない記録と早すぎるクローズに報いる。成果の尺度を先に報告し、クローズコードの構成を示す。
  • 墓場としての問題の記録。 記録が、オーナーも日付も決定もなく開いたまま置かれる。最も古い一覧を周期的にレビューし、各項目に決定を求める。
  • 「ヒューマンエラー」で止まる。 システムに触れた人を名指しするだけで、システムがなぜその失敗を許したかを示さない。変更できる条件を名指しする原因だけを受け入れる。
  • 根本原因が確実になるまで何も直さない。 複雑な失敗には、単一の原因がないことがある。回避策と、最も裏付けのある修正を適用し、そのうえで再発を見る。
  • 出口のない回避策。 レビュー日のない回避策は、恒久になる。既知のエラーを作るときに、オーナーと日付を記録する。
  • 弱いインシデントのリンク。 欠けた、またはいい加減なリンクは、再発を見えなくする。リンクをインシデントのクローズの一部にし、リンクを標本調査する。
  • バックログの外の問題の作業。 別のキューにある修正は、永遠に待つ。修正の項目を所有チームのボードに置き、機能に対して優先順位を付ける。
  • 閉じた記録の数でアナリストやチームを比べる。 簡単なサービスに報い、ゲーミングを誘う。サービスを、自分自身の履歴に対して時間をかけて比べ、コホートを読む。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
問題の特定とリンク 問題は大きな障害の後にだけ開かれ、インシデントのリンクがない 一部のチームがインシデントをリンクし、カテゴリはチームごとに異なる 共有の分類とクローズコードがあり、リンクはインシデントのクローズで作られる リンク率と合致の質が標本調査されレビューされる パターンがチームとサプライヤーをまたいで検知され、既知のエラーが共有される
根本原因と既知のエラー 原因が、あっても自由記述で記録される 既知のエラーが、一部のチームによって、異なる場所に保管される 一つの既知のエラーデータベースがあり、原因を二人目がレビューする 根本原因までの時間と既知のエラーの再利用がトレンドで見られ、それに基づいて動く 対応者、サプライヤー、顧客が、共有のエントリに貢献し、それを使う
修正のデリバリー 修正は、誰かに時間があるときに行われる 修正がチーム自身の一覧で追跡される 修正が、オーナーと日付のあるバックログ項目または変更にリンクされる 恒久的な修正までの時間がレビューされ、そのための余力が確保される 修正の優先度が、プロダクトとサプライヤーのロードマップと共同で設定される
成果と学び 記録の数が報告される バックログの経過期間が、一部のレビューで報告される 修正後の再発と回避策のみの割合が、定義とともに報告される コホートが防護柵と組になり、資金の意思決定に使われる 定義が、意思決定に役立たなくなったら改訂され、改善が日常的になる

チェックリスト

  • メトリクス台帳が、問題、既知のエラー、各クローズコードを定義している。
  • インシデントのクローズに、問題、既知のエラー、または「見つからず」へのリンクが含まれる。
  • 定義と例を持つ、原因と症状の分類がある。
  • すべての問題に、オーナー、きっかけ、決定の日付がある。
  • 根本原因までの時間と恒久的な修正までの時間が、別々に、パーセンタイルで測られている。
  • 各恒久的な修正が、オーナーのあるバックログ項目または変更にリンクされている。
  • すべての回避策に、オーナーとレビュー日がある。
  • 修正後の再発が、述べられた期間とともに、四半期のコホート別に追跡されている。
  • 既知のエラーの再利用が、対応者が働く場所で測られている。
  • 最も古い開いている問題が、周期的にレビューされ、各決定が記録されている。
  • クローズコードと原因を確認するために、閉じた記録の標本が毎四半期に読まれている。
  • レポートがサービスとチームを記述し、個人を順位付けする表がない。

AI プロンプト

インシデントの集まりから、問題の候補を見つける。

Here is an export of incidents for [service or team] from [start date] to [end
date]: [paste incident fields such as id, opened time, category, short
description, resolution note]. Group incidents that may share an underlying
cause, explain the evidence for each group, and rank groups by occurrence count
and by [impact measure, for example hours of user impact]. Mark groups where the
evidence is weak. Do not invent causes, counts, or benchmark values. List your
assumptions and the extra data that would raise your confidence.

問題のクローズコードと記録をレビューする。

Below are [number] closed problem records for [service or team]: [paste id,
closing code, recorded cause, fix reference, closing date]. Check each record
for a closing code that does not match its text, a cause that names a person
instead of a condition, and a fix with no link. Summarize patterns and suggest
three questions for a reviewer. Do not rank people or invent facts about the
records. List your assumptions.

再発の尺度を設計する。

We want to measure whether fixed problems stay fixed for [service or team]. Our
tools are [ITSM tool, deployment tool], our incident categories are [list], and
our closing codes are [list]. Propose a definition, formula, clock start and
stop, matching rule for symptoms, recurrence window, and exclusions, with a
chart layout showing quarterly cohorts. Suggest how it could be gamed and a
guardrail for each case. Ask me for the thresholds you need instead of
inventing them. List your assumptions.

経過期間の長い問題の決定レビューを準備する。

Here are the open problems older than [number] days for [service or team]:
[paste id, age, priority, owner, last update, workaround status]. Draft an agenda
for a [length]-minute review in which each item receives one of three decisions:
fix with a date, accept the risk with a named owner and review date, or close
with a reason. Suggest the evidence to bring for each decision. Do not invent
costs or outcomes. List your assumptions and the questions I should answer
first.

AI スキル

  • Agile ITIL Metrics スキル:問題のメトリクスが依存する、インシデント、変更、ナレッジの尺度を定義するトピックと、それぞれに組にする防護柵を見つけるために使います。
  • Agile ITIL Metrics メンテナースキル:新しい、または編集された問題のメトリクスが、時計、除外、ゲーミングの手口、防護柵を述べているかを確認するために使います。

重要なポイント

  • 問題管理の尺度は再発であり、問題にリンクされたインシデントが戻ってこなくなるかどうかである。
  • 段階を別々に計時する。記録から記録された原因まで、そして原因から本番で動く修正まで。
  • クローズのときにインシデントを問題にリンクし、症状の照合の方法に合意し、リンクを標本調査する。
  • 回避策は、オーナーとレビュー日のある段階であり、回避策のみの割合は、どれだけのリスクを抱えているかを示す。
  • 恒久的な修正を所有チームのバックログに置き、記録の数より先に、成果の尺度を報告する。
  • サービス、コホート、決定を記述する。閉じた問題の数で、アナリストやチームを順位付けしない。

参考文献とさらなる読み物

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
  4. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  5. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  8. Wikipedia, ITIL.
  9. Wikipedia, Known error database.
  10. Wikipedia, Workaround.
  11. Wikipedia, Root cause analysis.
  12. Wikipedia, Five whys.
  13. Wikipedia, Ishikawa diagram.
  14. Wikipedia, Pareto chart.
  15. Wikipedia, Backlog.
  16. Wikipedia, Technical debt.