インシデントの対応時間と解決時間
インシデントの時間の測定値は、ユーザーが各ステージでどれだけ待つかを記述します。だから、時計を書き留めたうえで分布として報告し、単一の平均では決して報告せず、すべての速さの数字を、修正が持ちこたえたかの測定値と組にしてください。
概要と動機
IT サービスマネジメント(ITSM)におけるインシデントとは、サービスへの計画外の中断、またはその品質の低下です。Incident management(インシデント管理)は、通常のサービスを、安全に可能な限り速く復旧するプラクティスです。ITIL 4 では、そのプラクティスはインシデント管理と呼ばれ、ITIL フレームワークのサービスマネジメントのプラクティスの一つです。そのアジャイルの対応物は、計画外の仕事を第一級の仕事の流れとして扱うチームの習慣と、ソフトウェアエンジニアリングの手法でサービスを運用する規律であるsite reliability engineering(サイト信頼性エンジニアリング、SRE)から来た、オンコールと非難のないレビューのプラクティスです。
時間は、インシデントを記述する最も自然な方法であり、最も誤用されやすい方法でもあります。一つのインシデントは、いくつかのステージを通ります。何かが壊れ、監視またはユーザーが気づき、人がアラートを確認し、誰かが作業を始め、ユーザーにとってサービスが復旧し、原因が処理または先送りされるとチケットが閉じられます。これらのイベントのうち二つの間の各ギャップは、それぞれ別の測定値であり、別のオーナー、別の遅れの原因、別の対策を持ちます。そのすべてを「解決時間」と呼ぶと、遅れがどこにあるかが隠れます。
このトピックは、インシデントを最初から最後までたどる経過時間の測定値を扱います。検知までの時間、確認までの時間、最初の応答までの時間、復旧までの時間、解決までの時間です。また、未解決のインシデントの経過時間、インシデントが担当を移る回数、最もよく知られた要約である、復旧または解決までの平均時間(MTTR)の統計上の問題も扱います。件数、カテゴリ、優先度は別の場所で扱います(トピック3.2「インシデントの件数と優先度」を参照)。大規模で異例のインシデントには、独自の測定値があります(トピック3.4「重大インシデントのメトリクス」を参照)。
このトピックで使う用語
- 検知までの時間(TTD)。 不具合がユーザーに影響し始めてから、組織が監視またはユーザーの報告によってそれを知るまでの経過時間。
- 確認までの時間(TTA)。 アラートまたはチケットが起票されてから、名前のある人またはチームがオーナーシップを引き受けるまでの経過時間。
- 最初の応答までの時間。 インシデントが記録されてから、影響を受けたユーザーへの最初の意味のある行動またはメッセージまでの経過時間。自動返信は数えません。
- 復旧までの時間。 ユーザー影響の開始から、根本の原因が回避策で対処されただけであっても、ユーザーが再びサービスを使えるようになるまでの経過時間。
- 解決までの時間。 インシデントが記録されてから、サービスが復旧し、ユーザーが確認したか、確認する妥当な機会が与えられたためにインシデントが閉じられるまでの経過時間。
- 復旧または解決までの平均時間(MTTR)。 それらの期間のいずれかを、インシデントの集合にわたって算術平均したもの。R の文字は、誰が話しているかによって、修理、回復、復旧、解決、対応のいずれかと読まれ、これが略語の最初の問題です。Wikipedia article on mean time to repair(平均修復時間の Wikipedia 記事)が、その変種を挙げています。
- サービスレベル合意(SLA)。 service-level agreement(サービスレベル合意)は、提供者と顧客の間の、サービスのレベルについてのコミットメントで、優先度ごとの対応時間と解決時間の目標を含むことがよくあります。
平均が貧しい要約である理由
インシデントの継続時間は、対称ではありません。ほとんどのインシデントは短く、少数が非常に長く、長いものが、あらゆる平均を支配します。この種の継続時間は、log-normal distribution(対数正規分布)のような、右に裾の長い形でよく記述されます。歪んだデータでは、平均は典型的なインシデントの姿をはるかに上回ることがあり、一回の長い障害が、一か月分の改善より大きく平均を動かすことがあります。
Google の SRE チームは、この問題の分析を公開しています。それは、研究したインシデントのデータセットについて、インシデントの継続時間のばらつきが十分に広く、MTTR が本当の改善を隠したり、ノイズである変化を示したりしうると論じ、代わりに分布を見ることを勧めています(Davidovič、2021年、参考文献に記載)。この論拠はよく知られた統計に基づいているので、誰かの結論を信頼しなくても、自分のデータで確かめられます。インシデントの継続時間をプロットし、平均とmedian(中央値)を計算して、どれだけ離れているかを見てください(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
代替はpercentiles(パーセンタイル)です。中央値は、典型的なユーザーがどれだけ待ったかを語ります。85パーセンタイルや95パーセンタイルは、不運だった人々がどれだけ待ったかを語ります。顧客が覚えているのは平均ではなく長い待ちなので、「この優先度のインシデントの10件中9件を、述べられた時間内に復旧する」のようなパーセンタイルのコミットメントは、平均よりはるかによく彼らの経験に合います。
ITIL とアジャイルの見方の違い
ITIL の見方は、優先度と目標から始まる傾向があります。影響と緊急度が優先度を決め、優先度が対応と解決の目標時間を決め、サービスレベル合意は、それを守れなかった場合の結果を付けることがあります。これは整然としていて監査しやすく、目標が招くゲーミングを受けやすいものです(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
アジャイルと SRE の見方は、ユーザーへの影響とフローから始まります。チームがどれだけ速く被害を抑えるか、インシデントの経過時間のうち、どれだけが能動的な作業で、どれだけが待ちだったか、チームが何を学んだかを問います。チケットのステータスの測定値よりも影響の測定値(影響を受けたユーザー、サービスが劣化した分数)を好み、チケットの時計を、便利だが不完全な代理として扱います。二つの見方は両立します。何を、誰のために測るかを決めるには ITIL の優先度の構造を使い、その数字が意味を持つかを決めるには、フローと影響の考え方を使います。
重要な原則
- 「解決」ではなく、ステージに名前を付ける。 検知、確認、応答、復旧、解決は、異なるオーナーを持つ異なる問いです。それぞれを、それ自身の名前で報告します。
- 両方の時計を書き留める。 あらゆる時間の測定値は、どのイベントがそれを始め、どのイベントが止め、どの状態が一時停止するかを述べます。ゲーミングの大半は、これらの境界にあります。
- 分布を報告する。 中央値、高いパーセンタイル、最も古い未解決のインシデントの経過時間を示します。歪んだデータでは信頼できない、単独の平均は避けます。
- 復旧を、クローズと分けて測る。 ユーザーが気にするのは、サービスがいつ戻ったかです。チケットは、原因が処理された後で、あとから閉じられてかまいません。
- 速さを、持続性と組にする。 同じインシデントが翌日に元に戻してしまう速い復旧は、改善ではありません。すべての時間の測定値の隣に、再発率と再オープン率を示します。
- チーム、サービス、システムを記述する。 応答時間や解決時間で、個々のエージェントやエンジニアを順位付けすることは決してしません。
- 比べる前に分割する。 優先度とサービスで、同じものどうしを比べます。混ぜた数字は、パスワードのリセットとデータベースの障害を混ぜるからです。
メトリクスの定義
各行は、その時計を述べています。暦の時間と営業時間は異なるので、どちらを使うかを述べてください。測定値がパーセンタイルを使う場合、表は50パーセンタイルと95パーセンタイルを示し、チームは85パーセンタイルを加えてかまいません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 検知までの時間 | 組織が知るまでに、不具合がどれだけ長くユーザーに影響したか | 時計はユーザー影響の最初の瞬間(監視データ、またはレビューに記録された確認済みの影響開始から取る)に始まり、最初のアラートまたはユーザーの報告で止まる。サービスごとの中央値と95パーセンタイルとして報告する。影響の開始が分からないインシデントは、捨てずに数えて別に報告する | 分 | 監視とアラートの基盤、影響開始のフィールドを持つインシデントレコード | インシデント管理、監視とイベント管理 | オブザーバビリティとアラートの品質の取り組み(トピック5.5「監視とアラート品質のメトリクス」を参照) | 毎月 |
| 確認までの時間 | 起票されたアラートまたはチケットが、人が所有するまでにどれだけ待つか | 時計はアラートが発火した、またはチケットが記録されたときに始まり、名前のある人またはチームがそれを引き受けたときに止まる。自動割り当てでは時計は止まらない。優先度ごとの中央値と95パーセンタイルとして報告する | 分 | ページングのツール、ITSM ツールの割り当て履歴 | インシデント管理、サービスデスク | SRE のローテーションにおけるオンコールの応答 | 毎月 |
| 最初の応答までの時間 | ユーザーが最初の人間による有用な返信をどれだけ待つか | 時計はインシデントが記録されたときに始まり、報告に対処する最初の人間のメッセージまたは行動で止まる。自動的な受領確認と定型の受領は除外する。営業時間の時計を述べる | 分または営業時間 | ITSM ツールのコミュニケーションログ | サービスデスク、インシデント管理 | ワーキングアグリーメントにあるような、ユーザーへのタイムリーなフィードバック | 毎週 |
| 復旧までの時間 | ユーザーが動作するサービスなしで過ごした時間 | 時計はユーザー影響の開始に始まり、回避策やロールバックによるものを含め、ユーザーが再びサービスを使えるようになったときに止まる。後で原因が直されても、延長されない。優先度とサービスごとの中央値と95パーセンタイルとして報告する | 分または時間 | 影響開始と復旧のタイムスタンプを持つインシデントレコード、監視 | インシデント管理 | DORA の言葉での復旧までの平均時間。分布として読む(トピック2.8「DORAメトリクス」を参照) | 毎月 |
| 解決までの時間 | インシデントのレコードが閉じられるまでにどれだけ長く開いていたか | 時計はインシデントが記録されたときに始まり、復旧とユーザーの確認、または妥当な待ちの後で閉じられたときに止まる。「顧客待ち」の時間は、見出しから差し引かず、別の報告される割合として示す。優先度ごとの中央値と95パーセンタイルとして報告する | 時間または営業時間 | ITSM ツールのステータス履歴 | インシデント管理 | 計画外の仕事のサイクルタイム(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎月 |
| 最も古い未解決インシデントの経過時間 | 最も長く残っている未解決のインシデントが、どれだけ長く開いているか | 未解決の各インシデントについて、現在引く記録時刻。優先度ごとに最も古いいくつかを列挙する。一時停止の状態は差し引かない | 日 | ITSM ツールの未解決インシデント一覧 | インシデント管理 | チームのボード上の作業項目の経過時間(トピック2.1「フロー指標」を参照) | 毎週 |
| 能動的な時間の割合 | インシデントの経過時間のうち、待ちではなく能動的な作業に費やされた割合 | 期間中にクローズされたインシデントについて、能動的な状態にいた時間の合計 / 記録からクローズまでの総時間。能動的な状態とは、人がインシデントに取り組んでいる状態であり、待ちの状態は定義に列挙する | パーセント | ITSM ツールのステータス履歴 | インシデント管理 | フロー効率(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと |
| 再割り当ての回数 | 復旧前に、インシデントが担当チームを何回変えるか | 記録から復旧までの割り当てグループの変更の回数。中央値と、三回以上の割合として要約する。サービスと優先度ごとに数え、エージェントごとには決して数えない | 回数 | ITSM ツールの割り当て履歴 | インシデント管理、サービスデスク | 引き継ぎ回数(トピック9.3「協働と引き継ぎのメトリクス」を参照) | 毎月 |
データについての二つの注記があります。第一に、復旧時間の質は、その開始時刻の質で決まります。多くのインシデントのレコードは、誰かがチケットを入力した時刻を捉えており、それは実際の影響の開始から何時間も遅れていることがあります。ツールに影響開始のフィールドがないなら追加し、推定された開始は推定として扱います(トピック1.5「データソースと計装」を参照)。第二に、期間を比べるときは、同じ優先度の定義を保ちます。そうしないと、トレンドの線は再分類を反映します。
推奨事項
時計を定義する
1. 各時間の測定値について、時計のシートを書く。 各ステージについて、開始イベント、終了イベント、時計を一時停止する状態、時間の基準(暦か営業時間)、除外を列挙します。メトリクス台帳に保ちます(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
2. 復旧をクローズと分ける。 サービスがユーザーにとって戻った時刻を、チケットが閉じた時刻とは別のタイムスタンプとして記録します。復旧はユーザーが感じるものであり、クローズには、検証、文書化、原因の処理が含まれます。両方に一つのタイムスタンプを使うチームは、チケットを早く閉じることに報われ、丁寧なフォローアップを罰せられます。
3. 記録時刻だけでなく、影響の開始を記録する。 対応者に、ユーザーが最初に影響を感じた時刻を、可能なら監視データを使って記入してもらいます。推定である場合は、フィールドにそうマークします。検知までの時間は、それなしでは無意味で、復旧時間は、その欠如によって歪みます。
4. 一時停止の状態を制限し、その使用を報告する。 顧客やサプライヤーを待つことは、ときに正当です。名前のある短い一時停止の状態の一覧を許可し、理由を求め、それぞれの状態にインシデントの時間がどれだけ費やされたかの割合を示します。増える一時停止の時間の割合は、速さではなく、ドリフトの兆候です。
誠実に報告する
5. 平均を、中央値と高いパーセンタイルに置き換える。 各ステージについて、優先度ごとの50パーセンタイルと95パーセンタイルを、時系列として示します。各点の背後にあるインシデントの数を示します。十件のインシデントからのパーセンタイルは、弱い数字だからです。件数が少ない場合は、個々のインシデントを点としてプロットし、要約の線は省きます。
6. 最も古い未解決のインシデントの経過時間を示す。 閉じたインシデントの継続時間のチャートは、まだ開いている、最悪のインシデントが見えません。最も古い未解決のインシデントを、優先度ごとに毎週列挙します。これは、仕事を終えずには改善しにくいので、あらゆる解決時間のチャートの有用な相棒になります。
7. 優先度とサービスで分ける。 混ぜた解決時間は、すべての種類のインシデントがより速く処理されていても、構成が複雑なインシデントに偏ると上昇します。優先度の中、サービスの中で比較し、構成を時間の隣に示します(トピック3.2「インシデントの件数と優先度」を参照)。構成が変わった月から結論を導いてはいけません。
8. 管理限界を使って、シグナルとノイズを分ける。 インシデントの継続時間は、何も変わらなくても週ごとに大きくばらつきます。安定した期間から計算した限界を持つ管理図は、説明する価値があるほど変化が大きいかを示します(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
速さを持続性と組にする
9. すべての時間の測定値の隣に、再オープン率と再発率を示す。 再オープン率は、述べられた窓の中で再オープンされたインシデントの割合です。再発は、同じサービスと症状が窓の中で再び現れることです。復旧時間が下がる一方で再発が上がるなら、チームは急場しのぎのパッチを当てています。再発するインシデントは、問題管理に送ります(トピック4.1「問題管理のメトリクス」を参照)。
10. 時間が行く場所である、待ちと引き継ぎを測る。 ほとんどのサービスで、インシデントの経過時間の多くは、作業ではなく、人、決定、サプライヤーを待つことです。能動的な時間の割合と再割り当ての回数は、どこを見るべきかを示します。長い解決時間への対策は、多くの場合、より速い入力ではなく、より明確な振り分けのルールか、共有のオンコールです。
11. 人が関与する形で、パーセンタイルに目標を置く。 目標が必要なら、「優先度2のインシデントの10件中9件を、述べられた時間内に復旧する」のように、優先度に対するパーセンタイルのコミットメントとして述べ、それを守る人々と合意します。違反は、オンコールの人の落ち度ではなく、システムについての問いとしてレビューします(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。
12. ユーザーに体験を尋ねる。 クローズしたインシデントのサンプルへの短いアンケートと、コメントを読むことで、数字が待ちの感じ方と一致するかが分かります。ユーザーは、復旧の正確な分より、タイムリーなコミュニケーションを気にすることがよくあります(トピック6.1「顧客満足度のメトリクス」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 検知までの時間 | 影響の開始を実際より遅く設定する。より少ない不具合がインシデントとして数えられるようアラートのしきい値を広げる。監視が捉えたインシデントだけを数える | 監視ではなくユーザーによって最初に報告されたインシデントの割合。影響開始の推定を、監視データと照らして定期的にレビューする |
| 確認までの時間 | 時計を止めるために自動割り当てや自動確認を使う。アラートを確認してから何もしない | 同じインシデントの最初の応答までの時間と復旧までの時間。確認されたがその後の活動がないアラートのサンプル |
| 最初の応答までの時間 | 時計を止めるために、定型の、または一語の返信を送る | 最初の返信のサンプルを実質についてレビューする。再問い合わせとアンケートのコメント |
| 復旧までの時間 | ユーザーが使えるようになる前にサービスが復旧したと宣言する。症状を抑え込んで復旧させる。障害を計画メンテナンスとして記録する | 窓の中での再発。復旧時刻の後にユーザーが報告する影響。事後に再ラベルされたインシデントの割合 |
| 解決までの時間 | チケットを「顧客待ち」や「保留」に移す。一回の連絡の試みの後で閉じる。親を早く閉じるためにインシデントを子に分割する | 一時停止の状態にいた時間の割合。再オープン率。最も古い未解決のインシデントの経過時間。クローズのメモのサンプルを読む |
| 最も古い未解決インシデントの経過時間 | 最も古いチケットを閉じて再起票する。リストから外すために、問題やリクエストとして再分類する | 重複を元のものにリンクし、リンクされた経過時間を報告する。各期間に問題やリクエストに変換されたインシデントの数 |
| 能動的な時間の割合 | 時間を能動的とマークするために、短く意味のない作業を記録する。労力なしに能動的な状態に移す | 能動的な時間を、復旧時間のような成果と比べる。作業メモのサンプル |
| 再割り当ての回数 | 引き継ぐ代わりに同じチームの下で再オープンする。ツールに引き継ぎが表示されないよう、別のチャネルで仕事を渡す | 復旧までの時間とユーザー満足度。仕事がチーム間でどう動くかの定期的な観察 |
健全な読み取りは、中央値と裾のパーセンタイルが一緒に動き、一時停止の時間の割合が小さく安定し、ユーザーが最初に報告したインシデントが少なく、再発が減り、アンケートのコメントがチケットのデータと一致します。単独で現れる見出しの改善は、ゲーミングのレビューのきっかけとして扱います。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| 復旧までの平均時間 | 馴染みがある。数字が一つ。トレンドを追いやすい | 少数の長いインシデントに支配される。本当の変化を隠す。小さなサンプルに向かない |
| 中央値と高いパーセンタイル | 典型的な経験と不運な経験を記述する。外れ値に強い | 十分なインシデント数が必要。説明すべき数字が二つ |
| すべてのインシデントをプロットする | 全体の形と外れ値を示す。少ない件数でも誠実 | 件数が多いと読みにくい。ファシリテーターが必要 |
| 優先度ごとの目標 | 明確な期待。契約とエスカレーションを支える | 再分類と時計の一時停止を招く。目標の境界に努力を向けさせうる |
| チケットの時計による測定値 | 安価で、すべての ITSM ツールで入手できる | ユーザーの経験ではなくチケットを測る。ステータスのワークフローに敏感 |
| 影響に基づく測定値 | ユーザーが感じることに近い。チケットの小細工に強い | 監視データと影響開始のフィールドが必要。監査しにくい |
実際的な答えは、すべてのツールにあるのでチケットの時計は保ち、監視が許す場所では影響に基づく復旧のタイムスタンプを加え、両方に分布を使うことです。平均は、単一で安定した、似たインシデントの大きな集合の大まかな記述としては許容できますが、ページ上の唯一の数字であってはなりません。
チームで話し合う問い
1. 私たちにとって、インシデントのどのステージが最も長くかかるか。それをどうやって知るのか。 影響の開始からクローズまでのステージとともに、インシデントのタイムラインをボードに描きます。直近の十件のインシデントを取り、ツールのデータと対応者の記憶を使って、各ステージがどれだけかかったかを記します。ファシリテーターは、時間が集中するステージを探します。それはしばしば、技術的な作業ではなく、引き継ぎや決定を待つことです。最初に注意を払う価値のあるステージに合意します。
2. 私たちの時計はどこで始まり止まるのか。誰が決めたのか。 各自に、インシデントがいつ「始まった」と信じ、いつ「終わった」と信じるかを言ってもらいます。答えは異なり、その違いが発見です。それをツールのフィールドとステータスのワークフローと比べます。合意した定義をメトリクス台帳に記録し、ツールがまだそれを支えられない場所を記します。
3. 私たちの平均が隠していることを、中央値と95パーセンタイルは何を示すだろうか。 会議の前に、直近の四半期のインシデントについて、優先度ごとの平均、中央値、95パーセンタイルを計算します。並べて示し、継続時間をプロットします。それぞれからチームが何を結論づけるかを尋ねます。ファシリテーターは、一つか二つのインシデントが平均を動かしていないかに気づき、チームが中央値を典型的なユーザーの待ちを表すと信じているかを話し合います。
4. 私たちは作業ではなく待ちにどれだけの時間を費やしていて、それはなぜか。 長いインシデントを三つ選び、そのステータス履歴をたどります。能動的な状態にいた時間と、待ちの状態にいた時間を数え、誰または何を待っていたかを記します。決定、より明確なエスカレーション経路、共有のオンコールによって、どの待ちが短縮できるかを尋ねます。
5. 解決時間を四分の一削れと求められたら、ユーザーの役に立たずに、どうやってそうするか。 これは、ゲーミングのレビューの縮図です。サービスを改善せずに数字を改善する、すべての手を列挙します。時計の一時停止、早いクローズ、優先度の再ラベルなどです。各手について、防護柵がそれを捉えるかを問います。そのリストは、ゲーミングの手口の列の出発点であり、定義をどこで引き締める必要があるかを示します。
6. より速い復旧が本物だったと、どうやって知るのか。 証拠を求めます。再発、再オープン、ユーザーのコメント、同じ症状を持つ後のインシデントです。最近の改善を一つ見て、一か月後にも持ちこたえたかを尋ねます。ファシリテーターは、グループを持続的な修正に向けて導きます。ダッシュボードに加える持続性の測定値を決めて終えます。
四つの視点
プロダクトチームとデリバリーチーム
自分たちのサービスを運用するプロダクトチームは、インシデントの時間を、計画された仕事を押しのける、計画外の仕事のコストとして見ます。各フローの期間のうち、どれだけがインシデントに取られるかを追跡し、繰り返されるインシデントを、所有するチームのバックログ項目として扱います。ロールバックを素早くするリリースのプラクティスは復旧を短縮するので、インシデントの時間は、部分的にはデリバリーの測定値です(トピック2.9「運用作業と計画外作業」を参照)。
サービスチームと運用チーム
運用チームは時計を所有し、目標の圧力を感じます。時計のシートを公開し、一時停止の状態の使用を監査し、優先度ごとの中央値と裾のパーセンタイルを報告し、最も古い未解決のインシデントの週次リストを保つべきです。オンコールの負荷とアラートの品質は、確認と検知の時間を形づくるので、一緒に見ます(トピック5.7「トイルとオンコールのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、なぜ数字が赤いのかではなく、どのステージが最も遅く、それについて何が行われているかを問うべきです。パーセンタイルでの報告、あらゆる速さの測定値の隣の持続性の測定値、定義が変わったときの説明を期待するべきです。監視、ランブック、問題の仕事への資金は、対応者への圧力より、しばしば多くを返します。対応者が制御できない遅れを減らすからです。
顧客とユーザー
ユーザーは、待ち、コミュニケーションの質、問題が戻ってくるかを経験します。ステージの名前を目にすることはめったにありません。誠実な最初の応答を与え、何を期待すべきかを伝え、予定に沿って更新します。彼らのアンケートのコメントと再問い合わせは、チケットの時計が真実を語っているかの最良の確認です。
実践:アジャイルITILの例
ある中規模のオンライン小売業者は、注文プラットフォーム、顧客アカウントサービス、社内の倉庫システムを運営しています。プロダクトチームが自分たちのサービスを所有し、小さな運用グループとオンコールのローテーションを共有しています。この例の数字はすべて説明用です。
リーダーシップは、優先度2のインシデントについて「平均解決時間4時間未満」というゴールを設定します。第1四半期に、ダッシュボードは3.8時間の平均を示し、ゴールは達成されたように見えます。倉庫のスタッフは、一部の障害が一日中続くように思えると言います。運用リードは、その四半期の優先度2のインシデント41件(説明用)をプロットし、中央値が1.5時間、95パーセンタイルが11時間であることを見つけます。長い裾の大半を、三つのインシデントが占めています。
彼女は三つの長いインシデントをたどります。それぞれが、時間の大半を「サプライヤー待ち」または「顧客待ち」で過ごしていました。二つでは、元のものが「違反」したときにチケットが閉じられて新しいインシデントとして再起票され、時計がリセットされていました。三つ目は、二日間でチーム間の再割り当てが四回ありました。クローズのメモのサンプルは、レビューした30件のチケットのうち6件(説明用)が、ユーザーへの一回の連絡の試みの後で閉じられていたことを示します。
チームは四つの変更をします。インシデントのフォームに、影響開始のフィールドと復旧のタイムスタンプを加えます。優先度ごとの中央値、85パーセンタイル、95パーセンタイルと、最も古い未解決のインシデントを毎週報告します。同じページに、一時停止の状態の時間の割合と再発率を示します。そして、再起票されたチケットを元のものにリンクし、経過時間が引き継がれるようにします。
次のレビューで、再起票されたチケットが全体として数えられるようになったため、見出しの平均は4.6時間に上がっています。チームはこの上昇を、修正としてリーダーシップに説明します。95パーセンタイルと最も古い未解決のチケットが、今や彼らが取り組む数字であり、再割り当ての回数は、注文サービスと倉庫システムの間の振り分けのギャップを指しています。彼らは、共有のオンコールのエイリアスを追加し、すぐに新しい目標を設定するのではなく、次の四半期にわたって効果をレビューすることに合意します。
業種別の視点
スタートアップ。 件数が少ないので、パーセンタイルはノイズが多く、要約よりも各インシデントのプロットのほうが優れています。一人が検知、応答、復旧をすべて行うことが多いので、ステージの分離は、各インシデントの書かれたタイムラインほど重要ではありません。すべてのインシデント後の記録に、影響開始のメモを加え、十分なインシデントが集まったら単純な中央値を計算します。
小規模事業。 マネージドサービスプロバイダーや一人の IT ゼネラリストがインシデントを扱い、プロバイダーの契約が対応と解決の目標を定めているかもしれません。契約の時計は、ユーザーの経験とよく異なるので、注意深く読みます。重要なインシデントについて、影響開始と復旧の簡単なログを保ち、プロバイダーに根底にある記録を求めます。要約の数字は、時計を隠すからです。
大企業。 多くのチーム、サプライヤー、優先度の体系は、比較を魅力的にし、誤解させやすくします。時計の定義と優先度の意味を組織全体で標準化し、平均ではなく分布を公開し、サービスで分けます。報告の階層の数とともに増える、一時停止の状態のドリフトと再分類に注意します。
政府・公共部門。 契約、法定の報告、監査が、時計と優先度の定義を固定することがあります。それらの義務を書かれたとおりに満たし、コンプライアンスが貧しい体験を隠さないよう、その隣に、ユーザー志向の第二のビューを保ちます。定義と、時計のルールが変わったときの修正について、率直であってください(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
このトピックのコストは、大半が設計と規律です。時計のシートを書くのに数時間、影響開始のフィールドと復旧のタイムスタンプを加えるための設定、パーセンタイルのレポートを作るための控えめな労力がかかります。ITSM ツールまたは監視基盤がすでにタイムスタンプを保持している場合、抽出は一度きりの作業です。繰り返しのコストは、毎月のレビューと、クローズしたインシデントの四半期ごとのサンプルです。
リターンは、より良い意思決定と少ない手戻りから来ます。分布での報告は、改善が効いたかを示し、ステージごとの報告は、引き継ぎ、検知のギャップ、サプライヤーの待ちのような本当の遅れに労力を向けます。持続性の測定値は、繰り返しのインシデントとして戻ってくる、急場しのぎのパッチの偽りの節約を防ぎます。一四半期の間、自分自身のベースラインを測り、一つの変更を行い、分布を比べてください。
アンチパターンと落とし穴
- 経営層のダッシュボード上の単一の MTTR。 歪んだデータの平均は誤解を招きます。中央値、高いパーセンタイル、最も古い未解決のインシデントを示し、各点の背後にいくつのインシデントがあるかを述べます。
- 優先度とサービスを混ぜる。 構成の変化が、パフォーマンスの変化のように見えます。優先度とサービスで分け、構成を示します。
- 一時停止の状態で時計を止める。 時間が「待ち」と「保留」の中に消えます。許可する状態を列挙し、理由を求め、それぞれの状態にいた時間の割合を報告します。
- チケットを閉じて再起票する。 経過時間をリセットし、長いインシデントを隠します。再起票されたチケットを元のものにリンクし、リンクされた経過時間を報告します。
- 復旧とクローズに一つのタイムスタンプを使う。 するとチームは、早すぎるクローズに報われ、丁寧なフォローアップを罰せられます。両方を記録し、両方を報告します。
- 解決時間でエージェントやエンジニアを順位付けする。 簡単なチケットの選り好みに報い、助けやエスカレーションを思いとどまらせます。チームとサービスだけで報告します。
- 持続性の測定値のない目標。 明日失敗する速いパッチは、成功のように見えます。すべての目標の隣に、再発率と再オープン率を示します。
- 小さなサンプルをトレンドとして扱う。 少数のインシデントからの95パーセンタイルは、推測です。個々のインシデントをプロットし、線を引く前に、より多くのデータを待ちます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 定義と時計 | 各自が異なる形で測る。「解決時間」が一つ | 一部のチームに時計が書かれている。ステージが部分的に分かれている | 一時停止の状態を列挙した、すべてのステージの時計のシートが一つある | 定義がレビューされ、変更が理由とともに記録される | 定義がサプライヤーや顧客と揃えられ、意思決定に役立たなくなったときに見直される |
| データの品質 | 手作業のメモ。影響開始が不明 | チケットの記録とクローズのツールのタイムスタンプ | 優先度の高いインシデントについて、影響開始と復旧が記録される | データがサンプリングで監査され、推定にフラグが付く | 監視と ITSM のデータが自動的に結合され、チームをまたいで信頼される |
| 統計のプラクティス | 平均のみ | 平均と中央値が示される | 優先度とサービスごとの、中央値と高いパーセンタイル | 管理限界が使われ、持続性の測定値が組にされる | 分布がユーザーの経験に結び付けられ、どこに投資するかの決定に使われる |
| 改善での活用 | 数字が個人を追及するために使われる | チームが自分たちの数字を見る | チームがステージの時間と待ちを毎月レビューする | 遅いステージが、資金の付いた改善の仕事につながる | 改善がチームとサプライヤーの間で共有され、測定値が進化する |
チェックリスト
- 各ステージ(検知、確認、応答、復旧、解決)に、書かれた開始、終了、一時停止のルールがある。
- 優先度の高いインシデントについて、影響開始と復旧時刻が別のフィールドとして記録されている。
- レポートが、優先度とサービスごとに、中央値と高いパーセンタイルを示している。
- 報告される各点の背後にあるインシデントの数が示されている。
- 最も古い未解決のインシデントが毎週列挙されている。
- 一時停止の状態が短い名前のある一覧になっていて、その時間の割合が報告されている。
- 再オープン率と再発率が、すべての時間の測定値の隣に示されている。
- 再起票されたチケットが元のものにリンクされ、経過時間が引き継がれている。
- どの時間の測定値も、個々のエージェントやエンジニアの順位付けに使われていない。
- クローズしたインシデントのサンプルが、誠実さのために四半期ごとに読まれている。
- 顧客アンケートのコメントが、チケットのデータの隣で読まれている。
AI プロンプト
私たちのインシデントの継続時間の平均とパーセンタイルを比べる。
I will paste incident records for [service or team] covering [period]. Fields:
[list fields such as logged time, impact start, restore time, closed time,
priority, status history]. Compute the median, the 85th percentile, the 95th
percentile, and the mean of [stage name, for example time to restore] by
[priority], and show how many incidents sit behind each figure. Describe how far
the mean differs from the median and which incidents drive that difference. Do
not invent data or benchmark values. List your assumptions, any rows you
excluded, and anything the data could not tell you.
[paste incident data with personal data removed]
私たちのインシデントの時間の測定値のための時計のシートを下書きする。
Draft a clock sheet for [team name] covering time to detect, time to
acknowledge, time to first response, time to restore, and time to resolve. Our
ITSM tool is [tool name], our monitoring is [monitoring tool], and our status
workflow is [list of statuses]. For each stage, give the start event, stop
event, pause states, time basis ([calendar or business hours]), exclusions, and
a gaming vector with a guardrail. Mark every item you had to assume and list
questions I should answer to complete the sheet. Do not invent targets.
いくつかの長いインシデントで、経過時間がどこに行くかを見つける。
Here is the status history for [number] long incidents from [service]. For each
incident, list the time spent in each status, mark the active and waiting
states using this rule: [which statuses count as active], and note every
reassignment between [teams or groups]. Report patterns across incidents, not
individuals, and suggest which stage deserves attention first. Do not guess at
causes the data does not show. List your assumptions and what extra fields
would help.
[paste status histories with personal data removed]
私たちのインシデントの時間の目標に、ゲーミングのレビューを行う。
We report [metric name] for [priority or service], defined as [definition with
start and stop events]. The target is [target] and the audience is [audience].
List realistic ways the number could improve without helping users, such as
clock pausing, early closure, relabelling, or re-raising tickets. For each way,
propose a guardrail measure or practice that would reveal it, and state how that
guardrail could itself be gamed. Do not invent benchmarks or statistics. List
your assumptions.
AI スキル
- Agile ITIL Metrics スキル:報告しようとしているインシデントの時間の測定値について、関連するトピックと組にする防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:このトピックへの変更が、テンプレート、ゲーミングの表、相互参照の整合性を保っているかを確認するために使います。
重要なポイント
- インシデントにはステージがあり、各ステージに独自の時計、オーナー、対策があります。測っているステージに名前を付けます。
- インシデントの継続時間は歪んでいるので、平均は誤解を招きます。中央値、高いパーセンタイル、最も古い未解決のインシデントの経過時間を報告します。
- 各時計がどこで始まり止まるかを書き留め、影響開始と復旧をチケットのクローズとは別に記録し、一時停止の状態を制限します。
- すべての速さの測定値を、再発率や再オープン率のような持続性の測定値と組にします。
- チームとサービスを記述し、個々のエージェントは決して記述せず、クローズしたインシデントのサンプルを読んで、数字が誠実であることを確かめます。
参考文献とさらなる読み物
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.