概要と動機

重大インシデントとは、通常の手順を超える対応が必要になるほど深刻なインシデントです。ITサービスマネジメントで最もよく知られたフレームワークであるITILは、インシデント管理を、通常のサービス運用をできるだけ速く復旧させることと述べ、組織が最も深刻なインシデントを、独立した、より調整された経路で扱うことを期待しています。その線をどこに引くかは、組織自身の判断です。よくある選択は、多くのユーザーまたは重要なサービスに影響し、一人の調整役の下で複数のチームが協力する必要があるインシデントです。自分たちの定義を書き留めてください。このトピックのすべてのメトリクスが、それに依存するからです。

重大インシデントは数が少ないものです。チームは、通常のインシデントを週に数十件、重大なものを四半期に二、三件見るかもしれません。それが測り方を変えます。インシデントの件数と解決時間の通常の統計(トピック3.2「インシデントの件数と優先度」とトピック3.3「インシデントの対応時間と解決時間」を参照)は、多数の事象を前提とし、平均に報います。期間あたりの重大インシデントが一握りだと、平均はひどい夜一回に支配され、トレンド線はほとんどノイズになり、パーセンタイルは五つのデータ点では意味を持ちません(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。誠実なやり方は、すべての重大インシデントを、それ自身のタイムラインを持つ独立した行として示し、要約は長い期間にわたってだけ行うことです。

アジャイルとITILの見方は、この本のどこよりも直接に、ここで出会います。ITILは構造を提供します。宣言された重大インシデント、指名された調整役、影響を受ける関係者への定められたコミュニケーション、事後のレビューです。アジャイルとサイト信頼性エンジニアリング(SRE)の伝統は、習慣を提供します。対応を率いるインシデントコマンダー、何が起きたかの非難なしのレビュー、継続的改善につながる学びへの焦点です。Googleの『Site Reliability Engineering』は、インシデントコマンドのパターンとポストモーテムレビューの実践の両方を述べています(参考文献を参照)。この意味でのポストモーテムは、インシデント、その原因、それに続くアクションの文書による記録であり、ここでは「インシデント後レビュー」と同じ意味で使います。

このトピックは五つの問いを扱います。重大インシデントはどれくらいの頻度で起きるか。どれくらい続き、そのうちどれだけが誰かが宣言する前に費やされるか。何人の、どのユーザーがそれを感じたか。私たちは、適時に、安定したリズムで知らせたか。そして、約束したフォローアップは行われたか。関連するトピックは、その周りにあるものを扱います。可用性(トピック5.3「可用性のメトリクス」を参照)、文書によるレビューの質(トピック4.2「ポストモーテムと学習のメトリクス」を参照)、根本にある原因(トピック4.1「問題管理のメトリクス」を参照)、そしてしばしばそれを引き起こす変更(トピック4.4「変更の失敗と手戻り」を参照)です。

このトピックで使う用語:

  • 重大インシデント: 書かれた宣言基準を満たし、重大インシデントのプロセスを起動するインシデント。
  • 宣言: 権限を持つ誰かが、重大インシデントのプロセスを正式に発動する瞬間。
  • 復旧までの時間: 顧客への影響の開始から、ユーザーのサービスが復旧する瞬間までの時間。サービスを復旧する瞬間は、根本原因を見つけることと同じではありません。
  • インシデントコマンダー: 対応を調整し、タスクを割り当て、決定する役割。インシデントの間だけの役割であり、職位ではありません。
  • インシデント後レビュー: サービスが復旧した後に行う、構造化された、非難なしのインシデントの検討。
  • アクション項目: レビューから導かれる、担当者と期日のある具体的な変更。

重要な原則

  • まず事象を示し、それから要約する。 稀な事象には、それぞれのタイムラインがふさわしい。重大インシデントを一件ずつ報告し、要約統計は長い期間にわたってだけ、件数を添えて使う。
  • 時計は、認識ではなく影響の時点で始める。 誰かが気づいたときに始まる継続時間は、検知の遅れを隠す。それはしばしば、話の最大の部分である。
  • チームの労力ではなく、ユーザーの体験を測る。 顧客への影響が、このプロセスが存在する理由である。対応者の労力の時間は追跡すべきコストであり、決してスコアではない。
  • コミュニケーションは復旧の一部である。 サービスが復旧しても、ユーザーがまだ推測しているなら、半分しか直っていない。更新の適時性を、対応の尺度として扱う。
  • アクションが終わるまで、レビューは終わらない。 未完了のアクションを抱えた完成した文書は、何も変えていない。レビューの存在だけでなく、やり遂げを測る。
  • 人を順位付けせず、宣言を罰しない。 重大インシデントを宣言することが、レポートの中で宣言者のチームを傷つけるなら、宣言は減り、サービスが悪化する一方でメトリクスは改善する。
  • 宣言基準を安定させる。 閾値を動かすと、このトピックのすべてのメトリクスが変わる。変更のたびに、その理由と日付を記録する。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
重大インシデントの件数 期間内に宣言された重大インシデント、サービス別 宣言基準を満たし、期間内に宣言されたインシデントの件数を宣言時刻で数える。最初の一時間以内に格下げされたインシデントは別に記載し、除外する 四半期あたりの件数 重大インシデントのフラグを持つITSMツールのインシデント記録 インシデント管理 チームまたはサービスのヘルスレビュー 月次レポート、四半期のトレンド
重大インシデントの継続時間 顧客が影響を受けていた時間 インシデントごとに、サービス復旧時刻から影響開始時刻を引く。影響開始は、監視での最も早い証拠か最初のユーザー報告のうち、早いほう。部分的な復旧は独自の事象として記録し、完全な復旧で時計が止まる 分、インシデントごと 監視のタイムライン、ITSMツールのインシデントタイムライン インシデント管理、サービスレベル管理 デリバリーメトリクスの復旧時間(トピック2.8「DORAメトリクス」を参照) インシデントごと。長期間の中央値と最大値を四半期ごと
宣言までの時間 影響の開始から重大インシデントの宣言までの遅れ インシデントごとに、宣言時刻から影響開始時刻を引く。宣言されなかったインシデントは、通常の高影響インシデントの四半期レビューで見つけ、宣言時刻を n/a(未宣言)として含める 分、インシデントごと 監視のタイムライン、ITSMツールの監査証跡 インシデント管理、監視とイベント管理 チームの作業合意におけるエスカレーションの準備完了の定義 インシデントごと
顧客への影響 何人のユーザーと、どれだけの利用が影響を受けたか 影響を受けたユーザー(または失敗したリクエスト)に影響を受けた分数を掛ける、インシデントごと。影響の時間帯にサービスを使おうとしたユーザーだけを数える。計画メンテナンスは除外する ユーザー分、または失敗したリクエスト サービスのテレメトリ、サポートへの問い合わせ記録 サービスレベル管理、インシデント管理 ユーザー向けのサービスレベル指標(トピック5.2「SLI、SLO、エラーバジェット」を参照) インシデントごと
コミュニケーションの適時性 影響を受ける関係者に、時間どおりに知らせたか 宣言後、最初の顧客向け通知が目標以内に出た重大インシデントの割合と、予定された更新が合意した間隔内に送られた割合。時計は宣言で始まる。社内向けだけのメッセージは除外する インシデントの割合、更新の割合 ステータスページの履歴、ITSMツールのコミュニケーション記録 インシデント管理、サービスレベル管理 チームの作業合意におけるステークホルダーとのコミュニケーション インシデントごと。四半期の要約
レビュー完了の適時性 レビューが、役に立つほど早く行われたか 復旧後、合意した営業日数以内にレビューが公開された重大インシデントの割合。時計は、最初のドラフトではなく公開で止まる。まだ期間内にあるインシデントは除外する パーセント レビューのリポジトリ、ITSMツール 継続的改善、問題管理 改善のフォローアップ 四半期
アクション項目のやり遂げ レビューのアクションが完了されるか 期日までに完了したレビューのアクション ÷ 期間内に期日が来たレビューのアクション。「やらない」として閉じたアクションは、隠さずに、理由を付けて別に数える パーセント、期限超過の件数 レビューにリンクされた課題トラッカー 継続的改善、問題管理 レトロスペクティブから出るバックログ項目 月次
重大インシデントの再発率 同じ原因の再発 期間内の重大インシデントのうち、記録された原因が、過去十二か月の以前の重大インシデントの原因と一致するもの ÷ 期間内の重大インシデント。一致は原因フィールドで判断し、人の手で確認する パーセント、件数を併記 レビュー記録、問題記録 問題管理 バックログにある予防の作業 四半期

どの行も、信頼する前に、書かれた時計の規則が必要です。影響開始と復旧時刻をめぐる論争はよくあり、事前に決着させておくのが最善です(トピック1.5「データソースと計装」を参照)。

推奨事項

何が重大なのかを書き留める

オンコールの誰もが適用できる宣言基準を公開しましょう。 基準は通常、影響(影響を受けたユーザー、劣化した重要なサービス、安全または法的なリスク)と、調整の必要性(複数のチームが必要)を組み合わせます。長い表より、例の付いた短いリストのほうがよいものです。誰が宣言できるかを示し、善意での宣言は、インシデントが軽微だと分かった場合でも、決して間違いではないことを明確にします。

基準のバージョンを、すべてのインシデント記録に残しましょう。 閾値が動くと、トレンドも一緒に動きます。各記録のバージョン番号または日付があれば、同じもの同士を比べられ、規則の変更から生じた件数の跳ね上がりを説明できます。

件数を目標にせずに、数えて分類する

件数は、文脈とともに報告しましょう。 四半期あたりの重大インシデントの数を、サービス、きっかけ(変更、キャパシティ、依存先、セキュリティ、その他)、基準のバージョンの隣に示します。文脈のない件数は、「四半期に三件未満」のような目標を招き、人々に宣言しないことを教えます。件数の減少は、宣言までの時間と顧客への影響が安定しているときだけ、良い知らせとして扱います。

宣言されたもの、格下げされたもの、見逃されたものを分けましょう。 宣言されて格下げされたインシデントを追跡します。基準が妥当かどうかが分かるからです。毎四半期、通常のインシデントの標本をレビューして、宣言すべきだったものを探します。見逃されたものが、最も情報に富んでいます。

ユーザー側からインシデントの時間を測る

顧客が影響を受けたときに時計を始めましょう。 最も早い確かな証拠を使います。それはしばしば、最初のチケットより前の監視の信号です。始まりが不確かなときは、誰かが気づいた時刻ではなく、見積もりとその出所を記録します。影響開始から宣言までの隔たりは、それ自体がメトリクスであり、通常は最も安く改善できます。

タイムラインをフェーズに分けましょう。 検知、宣言、診断、緩和、完全復旧には、それぞれ異なる遅れの原因と、異なる担当者がいます。インシデントごとのフェーズの内訳は、平均を使わずに、時間がどこに行ったかを示します。回避策でサービスを復旧することと、原因を直すことは別の事象であり、後者は問題管理に属します。

長い期間にわたっては、件数を添えて、中央値と最悪のケースを使いましょう。 一年分のデータでは、中央値と最長の継続時間を報告し、それらがいくつのインシデントから来ているかを述べます。重大インシデントについて、単一の平均復旧時間は避けます。事象が少ないと不安定で、一回の長い停止でゆがみます(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。

ユーザーが分かる言葉で、顧客への影響の大きさを見積もる

サーバー側の影響より、ユーザー側の影響を優先しましょう。 失敗したリクエスト、影響を受けたユーザー、影響を受けたトランザクションは、人々に起きたことを記述します。コンポーネントで劣化したサービスの分数は、機械に起きたことを記述します。サービスレベル指標があるなら、それを使い(トピック5.2「SLI、SLO、エラーバジェット」を参照)、インシデントを可用性の全体像につなげます(トピック5.3「可用性のメトリクス」を参照)。

各記録に、平易な言葉の影響の説明を加えましょう。 誰が影響を受け、何ができなかったかを述べる一、二文です。サポートへの問い合わせ、ソーシャルメディアでの言及、顧客のエスカレーションは、説明の証拠であり、最大化すべきメトリクスではありません。

コミュニケーションを対応の一部として測る

コミュニケーションの目標は、受け手ごとに設定しましょう。 影響を受ける顧客、社内のステークホルダー、経営層には、異なる時点で異なるメッセージが必要です。宣言後の最初の通知の目標と、更新の安定したリズムに合意し、インシデントごとに順守を測ります。内容よりリズムのほうが重要です。「変化なし、次の更新は30分後」と書かれ、時間どおりに届く更新は、沈黙よりも多くの信頼を築きます。

対応とコミュニケーションを、別々の手に置きましょう。 コミュニケーション担当がいれば、インシデントコマンダーは診断に集中できます。小さなチームは、チェックリストと事前に書いたテンプレートを使えます。

学びのループを閉じる

レビューを早く行い、公開しましょう。 記憶は薄れるので、レビューの期間を設定し、それが守られたかを測ります。レビューの完了より、レビューが何を変えるかのほうが重要なので、やり遂げと組にします。Googleの『Site Reliability Engineering』は、非難なしのレビューと、それを書き残すことの意義を論じており(参考文献を参照)、トピック4.2(ポストモーテムと学習のメトリクス)がレビューの質を扱います。

アクションを最後まで追跡し、正直な「やらない」を認めましょう。 各アクションを、担当チームがすでに使っているバックログに、担当者と期日を付けて入れます。却下したアクションは、放置して腐らせずに、理由を付けて記録します。期限を過ぎたアクションを運用レビューまたはサービスレビューで見直し、何がそれを妨げているかを尋ねます。一回のレビューあたりのアクション数に上限を設け、残るものが重要なものになるようにします。

インシデントをまたいだパターンを探し、問題管理に送りましょう。 繰り返される原因、共通のきっかけ、繰り返される検知の隙間は、個々のレビューが見逃すシグナルです。それらを、問題と既知のエラーのプロセス(トピック4.1「問題管理のメトリクス」を参照)と、サービスを担当するチームの計画に送り込みます。再発率の上昇は、判決ではなく、調査のきっかけとして扱います。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
重大インシデントの件数 宣言の閾値を上げる、インシデントを「高」の優先度に留めて宣言されないようにする、一つの事象を複数の記録に分ける、または複数を一つにまとめる 固定でバージョン付きの基準。高影響の通常インシデントの四半期の標本。件数の隣で追跡する顧客への影響と宣言までの時間
重大インシデントの継続時間 時計を遅い影響開始に戻す、ユーザーがまだ失敗しているのに「復旧」と宣言する、閉じて新しい記録を開き直す 監視から取る影響開始。ユーザー向けの指標で確認される復旧。再オープンされたものとリンクされた記録は一つのインシデントとして数える
宣言までの時間 速く見せるために何でも早く宣言する、または宣言を影響開始に遡って記録する 宣言されたあとで格下げされたインシデントの割合。宣言時刻の監査証跡。生の監視に対するタイムラインの標本
顧客への影響 「影響を受けた」の定義を狭める、チケットを起こしたユーザーだけを数える、稼働し続けた依存先を測る 問い合わせに加えて、テレメトリから導く影響。インシデントレビューで見直す平易な言葉の影響の説明
コミュニケーションの適時性 時計を始めるために曖昧な通知を出す、内容のない更新を送る、社内メッセージを数える 更新の標本の内容チェック。分かりやすさについての顧客のフィードバック。顧客向けの通知だけを数える
レビュー完了の適時性 期日に間に合わせるために薄い文書を公開する、またはレビューを「不要」と宣言する 標本に対する同僚によるレビューの質の確認(トピック4.2「ポストモーテムと学習のメトリクス」を参照)。免除されたレビューの割合を示す
アクション項目のやり遂げ 閉じやすい曖昧または些細なアクションを書く、作業をせずにアクションを閉じる、「やらない」に付け替える アクションの質の標本調査。閉じたアクションをシステムの変更と照合して検証。「やらない」の割合と理由のレビュー
重大インシデントの再発率 言い回しを変えて、毎回の原因を新しいものとして記録する、またはすべてを「ヒューマンエラー」に帰す 定義付きの短い原因の分類。インシデントの外にいる人が原因フィールドをレビューする。システムによる説明のない「ヒューマンエラー」は原因として受け入れない

健全な読み方は、宣言されたインシデントの件数が適度でかなり安定しており、ときどき格下げがあり、レビューで見つかる見逃しがときどきあることです。宣言までの時間は短く、減少しており、インシデントごとの顧客への影響は把握されていて、予防の作業が行われたところで減少し、顧客向けの更新のほぼすべてが予定どおりです。レビューは時間どおりに公開され、そのアクションはほぼ完了し、却下されたアクションの小さく正直な集合があります。すべてが完璧に見えるなら、基準がずれていないか、人々が宣言をやめていないかを問いましょう(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。チャールズ・グッドハートにちなんで名付けられた法則は、ここで最も見えやすくなります。悪い数字のコストが、警報を上げる意欲の低下だからです。

トレードオフ:長所と短所

アプローチ 強み 弱み
各インシデントを一行で示す 文脈を保ち、少ない件数での誤解を招く平均を避ける リーダーには要約しにくい。インシデントごとに短い説明が必要
重大インシデントの件数を報告する 単純で、なじみがあり、経営層に見える 目標にされやすい。基準の変更に反応する
影響開始からの時間 ユーザーの体験を反映し、検知の隙間を露わにする 影響開始が不確かなことがあり、判断を要する
宣言からの時間 取りやすく、比較しやすい 遅い検知と遅い宣言を隠す
影響のユーザー分 インシデントとサービスをまたいで比較できる テレメトリが必要。すべてのユーザーと分を等しく扱う
レビューの完了率 集めやすく、習慣を後押しする 学びではなく文書に報いる
アクションのやり遂げ率 レビューを変化に結びつける 些細なアクションでゲーミングされうる。担当者とバックログが必要

一つを最適化するのではなく、サイクル全体(宣言、復旧、知らせる、学ぶ、やり遂げる)をカバーする少数の尺度を使います。影響の尺度は、テレメトリがあるときにだけ加えます。テレメトリがないところでは、作り上げた数字より、丁寧に書かれた影響の説明のほうが役に立ちます。

チームで話し合う問い

1. ここで、インシデントを重大にするものは正確には何か。オンコールの全員が同意しているか。 定義は、他のすべての数字の土台です。三人に最近の同じインシデントを分類してもらい、答えを比べます。不一致は、基準が曖昧なところを示します。ファシリテーターは、書かれた基準に加える例を記録し、誰が宣言できるかを合意します。最後に、インシデントがあとで格下げされても、善意での宣言は常に許されると確認して締めくくります。

2. 直近の重大インシデントでは、影響の開始から宣言までにどれくらいあったか。 記憶ではなく、監視からタイムラインを再構成します。その隔たりは、予想より大きく、ときに最長のフェーズです。どんなシグナルがあり、誰が見たかを尋ね、隔たりが、不明確な基準、欠けたアラート、宣言をためらう気持ちのどれから来たかを問います。それを短くする変更を一つ選び、どうやって知るかを決めます。

3. 誰が影響を受け、どうやってそれを知っているか。 チームがそのときに信じていたことと、後からテレメトリとサポートへの問い合わせが示すことを比べます。もしいれば、どの顧客が他より強く影響を受けたか、その人たちがビジネスにとって最も重要な人か、対処する力が最も低い人かを尋ねます。影響の説明が、顧客が見て分かるものかを話し合います。次回、確実に集められる影響の尺度を一つ合意します。

4. 必要なときに私たちから連絡があったか。メッセージは役に立ったか。 最初の通知と各更新を、合意したリズムと照らして確認します。実際のメッセージを、顧客として読みます。分かっていること、分かっていないこと、次の更新がいつ来るかが書かれていたかを問います。インシデントの間、コミュニケーションを誰が担当するか、その人がそれを行える余裕があるかを話し合います。

5. 直近三回のレビューのアクションはどうなったか。 アクションを一つのリストに引き出し、それぞれを、完了、進行中、期限超過、却下に分類します。期限超過のものについては、何が妨げているか(キャパシティ、担当、優先度、不明確な範囲)を問います。期限超過のアクションを、次の運用会議または計画会議でどう取り上げるかを決めます。

6. 重大インシデントの件数で測られるとしたら、私たちは何を違うふうにするだろうか。それで顧客は良くなるか。 この問いは、ゲーミングの手口が起きる前に表に出します。グループに、閾値、ラベル、誰が宣言するかなど、何を変えるかもしれないかを率直に語ってもらいます。そのうえで、より良い目標は何かを問います。良い答えは、顧客への影響、宣言までの時間、やり遂げに向かいます。それらは、ユーザーを助けずにゲーミングするのが難しいものです。答えを防護柵として記録します。

四つの視点

プロダクトチームとデリバリーチーム

プロダクトチームは、重大インシデントを、計画した作業への割り込みとして、また自分たちの変更へのフィードバックとして経験します。最も得るのは、明確な影響の数字、自分たちのインシデントタイムラインへの速いアクセス、そして余裕を持って取り組める、バックログに入るレビューのアクションです。インシデントのフォローアップのためにキャパシティを確保し、アクションを機能と同じ地位の仕事として扱いましょう。原因のカテゴリを共有して、繰り返されるきっかけが、実践の変化につながるようにします(トピック2.9「運用作業と計画外作業」を参照)。

サービスチームと運用チーム

運用チームは対応を行い、深夜の作業のコストを負います。午前3時に適用できる基準、人員を配置できるコマンダーとコミュニケーションの役割、事後に記憶からではなく、出来事が起きるときにタイムラインを記録するツールが必要です。重大インシデントが少人数のグループにかける負荷に注意し(トピック5.7「トイルとオンコールのメトリクス」を参照)、このトピックのメトリクスを、対応者を比べるためではなく、予防の作業を求めるために使います。

リーダーシップとガバナンス

リーダーは、人々が速く宣言し、正直に報告するかどうかを決める雰囲気を作ります。各重大インシデントの物語と一年のトレンドを求め、件数に目標を置かず、顧客への影響、検知の隙間、完了したアクションについて尋ねるべきです。レビューが推奨する予防の作業に資金を出し、デリバリーの計画と同じ場でそれをレビューします。そうすれば、ガバナンスは、教訓が変化になるかどうかを見られます(信頼性と投資を結びつける方法については、トピック5.2「SLI、SLO、エラーバジェット」を参照)。

顧客とユーザー

顧客は、重大インシデントを、どれくらい影響を受けたか、知らされたか、再び起きるかで判断します。遅い洗練された通知より、早い正直な通知のほうが役に立ちます。状況を伝えるチャネル、頼れるリズム、何が起き、何が変わるかについての事後の明確な説明を提供します。契約が適用される場合は、サービスレベル合意で合意した条件で報告します(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。インシデント後の満足度は、尋ねる価値があります(トピック6.1「顧客満足度のメトリクス」を参照)。

実践:アジャイルITILの例

中規模のオンライン小売業者が、ストアフロント、決済サービス、受注管理サービスを運用しており、それぞれをプロダクトチームが担当し、共有のプラットフォームチームがオンコールに就いています。小さなサービスマネジメントグループが、重大インシデントのプロセスを運営しています。この例の数字はすべて例示です。

過去二つの四半期に、この小売業者は五件の重大インシデントを宣言しました(例示)。サービスマネジメントグループは、それぞれを一行で示し、影響開始、宣言時刻、復旧時刻、失敗した注文の推定数、最初の顧客向け通知の時刻、レビューの状況を載せます。影響開始から宣言までの隔たりの中央値が38分(例示)で、宣言から復旧までの時間の中央値52分(例示)にほぼ匹敵することに気づきます。五件しかないので、両方の数字をおおまかなものとして扱い、タイムラインを読みます。五件のうち三件で、早い時点で鳴った監視のアラートが、共有チャネルで確認されないまま放置されていました。

チームは、そのクラスのアラートをオンコールのポケベルに回すことと、チケットを待たずに、持続するチェックアウト失敗の信号があれば宣言するのに十分だという一行を基準に加えることを決めます。また、宣言から20分以内(例示)という最初の顧客向け通知の目標を設定し、インシデントごとに確認します。五件のうち二件が達成しました。デプロイのチームは、コミュニケーション担当が圧力の下で埋められるステータスページのテンプレートを加えます。

同じレビューの中で、ゲーミングのリスクを見つけます。あるプロダクトチームのマネージャーが、「重大インシデントは二件まで」という四半期の目標を提案していました。サービスマネジメントグループは、前の四半期に、顧客がチェックアウトで失敗している状態で四時間、高の優先度に留まったインシデントが一件あり、チームが上限に近かったために宣言されなかったことを指摘します。彼らはその目標を三つの尺度に置き換えます。宣言までの時間、インシデントごとの失敗した注文、期限内に完了したレビューのアクションの割合です。担当チームの外の人が読む、高い優先度のインシデントの四半期の標本という防護柵を加えます。次の四半期には、宣言された件数が四件に増え(例示)、宣言までの時間の中央値が下がり、標本のレビューでは宣言の見逃しは見つかりません。

業種別の視点

スタートアップ。 スタートアップには正式な重大インシデントのプロセスがなく、起きている人が対応するだけかもしれません。一段落の定義、事象ごとに指名された調整役、タイムラインを記録する共有文書から始めます。インシデントを数え、影響を一文で記します。レビューは半ページのメモでよく、フォローアップはチームのバックログの項目にします。

小規模事業。 小規模事業は、サービスの多くをサプライヤーに頼ることが多く、タイムラインにはサプライヤーを待つ時間が含まれます。サプライヤーへの連絡と対応の時間をインシデントのタイムラインに記録します。それが継続時間の多くを説明し、契約の話し合いの証拠になるからです。顧客へのコミュニケーションは単純に保ちます。一つのチャネル、一人の担当者、述べられた更新の間隔です。

大企業。 大企業は多くのサービスを運用し、各期間に多くのインシデントがあるので、サービスごとの件数と、その集計の両方が役に立ちます。リスクは、部門間で基準が一貫しないことと、宣言を遅らせるほど重いプロセスです。定義をそろえ、最初の十五分はプロセスを軽く保ち、影響とコミュニケーションを比較できるよう、共通の記録の形式を使います。

政府・公共部門。 公共機関には、規制当局や公衆への通知など、法定の義務があることが多く、代替手段のない市民にとっての失敗のコストが高くなります。通知義務の順守と、弱い立場のグループへの影響の尺度を加え、監査と情報公開請求に耐える記録を保ちます。調達のサイクルがアクション項目を遅らせうるので、妨げられたアクションを追跡し、エスカレートします。

ビジネスケース:動機、ROI、TCO

動機は、最も痛手になるインシデントのコストを減らすことです。失われた収益やサービス、傷ついた信頼、スタッフの燃え尽き、規制上のリスクなどです。一貫した小さな重大インシデントのメトリクスの集合は、そのコストがどこから来ているか、検知とコミュニケーションが改善しているか、予防への投資が実を結んでいるかを示します。件数しか示さないメトリクスは、コストをインシデントの隠蔽に押し込みます。

データがすでにITSMツール、監視システム、課題トラッカーにあるなら、収集のコストは控えめです。主なコストは、定義の合意、インシデント記録の、監視とアクションのバックログへのリンク、各レビューを書くのにかかる時間です。メトリクスのコストは、記録を一貫させることのほかには、ほとんどありません。

見返りは、宣言までの時間の短縮、より明確なコミュニケーション、繰り返されるインシデントの減少、手戻りの減少として現れます。普遍的な数字はないので、自分で見積もります。過去一年の重大インシデントを取り、各サービスの一時間の影響のコストを財務部門と見積もり、繰り返される原因を防ぐのに必要になるフォローアップの作業のコストと比べます。総所有コストには、レビューする人の時間、タイムラインとステータスページのツール、フォローアップのアクションのために確保するキャパシティが含まれ、そこがほとんどのプログラムが投資不足になるところです。

アンチパターンと落とし穴

  • 重大インシデントの数の目標。 人々に宣言を避けることを教える。代わりに、宣言までの時間、影響、やり遂げを追跡し、見逃された宣言を標本調査する。
  • 重大インシデントの単一の平均復旧時間。 事象が少ないと、一回の長い停止が支配する。代わりに、各インシデントを示し、それから一年の中央値と最長を件数とともに示す。
  • 宣言で時計を始める。 検知と宣言の遅れを隠す。代わりに、顧客への影響の最も早い証拠で始め、その隔たりを別に報告する。
  • インシデントのメトリクスで対応者やチームを順位付けする。 率直さを破壊し、レビューを壊す。代わりに、サービスとシステム別に報告し、名前をデータに入れない。
  • 文書が公開されたらレビューが終わったと扱う。 要点は変化である。代わりに、アクションのやり遂げを測り、期限超過のアクションを毎月見る。
  • 黙っての閾値の変更。 トレンドが無意味になる。代わりに、基準にバージョンを付け、変更をレポートに記す。
  • チケットだけを影響として数える。 影響を受けた多くのユーザーは、連絡してこない。代わりに、テレメトリを使い、平易な言葉の影響の説明を加える。
  • メトリクスを責任の追及に使う。 人々が事実を隠すようになる。代わりに、レビューを非難なしに保ち、状況と判断に焦点を当て、システムの原因を探す。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
定義と時計 重大とは、最も声の大きい人が言うもの。時間は記憶から取る 一部のチームに基準があり、開始と終了の時刻を書き留める 一つの書かれた、バージョン付きの定義と、影響開始、宣言、復旧の時計の規則 定義と時計を監視に照らして監査し、変更を理由とともに記録する 基準と時計をサプライヤーと顧客と合意し、意思決定に役立たなくなったら改訂する
影響とコミュニケーション 影響は逸話で記述され、更新は誰かが思い出したときに送られる 一部のインシデントで影響を見積もり、一部のチームがステータスページを使う 主要なサービスで影響をテレメトリから測り、更新の目標を設定して追跡する 影響とコミュニケーションをトレンドで見て、顧客のフィードバックにつなげる 影響を共通の形式で顧客とサプライヤーと共有し、共同の改善アクションを持つ
レビューとやり遂げ レビューはまれで書かれず、アクションは忘れられる 一部のチームがレビューを書き、アクションは記録されるが追跡されない すべての重大インシデントが時間どおりにレビューされ、アクションはチームのバックログで追跡される 期限超過のアクションと繰り返される原因を一定の周期でレビューし、予防の作業に資金がある パターンをチームとサプライヤーをまたいで共有し、学びが設計と計画を日常的に変える
意思決定での利用 数字は事後に引用される 件数が文脈なしでリーダーに示される タイムラインとトレンドが、サービスを担当するチームに示される メトリクスを防護柵と組にし、信頼性の作業の優先順位付けに使う 信頼性への投資を、サービスをまたぐ影響と再発の証拠を使って共同で決める

チェックリスト

  • 宣言基準が書かれ、バージョン付けされ、オンコールの全員に知られている。
  • 善意での宣言が明示的に安全であり、件数に目標が存在しない。
  • 影響開始、宣言、復旧の時刻が定義され、監視または監査証跡から取られている。
  • 各重大インシデントが、フェーズのタイムラインとともに独自の行として示されている。
  • 顧客への影響が、あるところではテレメトリから導かれ、平易な言葉の説明で記述されている。
  • 最初の通知と更新のリズムの目標が設定され、インシデントごとに確認されている。
  • レビューが合意した期間内に公開され、そのアクションが担当チームのバックログにある。
  • 期限超過のアクションと繰り返される原因が、定期的にレビューされている。
  • 高影響の通常インシデントの四半期の標本が、見逃された宣言を確認している。
  • すべてのメトリクスに名前付きの防護柵があり、個人を順位付けするために使われるメトリクスはない。

AI プロンプト

レビュー用に宣言基準の案を作る。

I am drafting criteria for declaring a major incident in [organization type].
Our services are [list of services] and our teams are [list of teams]. Users
are [description of users]. Propose a short set of declaration criteria with
two or three examples for each, a list of ambiguities a team might argue about,
and questions I should settle with [stakeholders]. Do not invent thresholds or
benchmark values; use [placeholders] where a number is needed. List your
assumptions.

インシデントのタイムラインを再構成し、批評する。

Here is the timeline of a major incident: [paste timeline with timestamps and
sources]. Identify the impact start, the declaration, mitigation, and full
restoration, and say which timestamps are uncertain and why. Split the duration
into phases and note where the largest delays occurred. Suggest questions to ask
the responders and monitoring evidence to look for. Do not invent facts that are
not in the timeline. List your assumptions.

インシデント後のアクションの集合をレビューする。

Below are the actions from [number] post-incident reviews for [service]:
[paste actions with owner, due date, and status]. Group them by theme, flag any
that are vague, trivial, or unowned, and identify patterns that suggest a
problem record or a backlog item for [owning team]. Do not rank individuals or
teams by performance. Do not invent causes. List your assumptions and the
information you would need to improve the analysis.

提案するメトリクスのゲーミングを試す。

We plan to track [metric name], defined as [definition] and measured from
[data source]. Describe how this metric could be gamed by [role], what honest
behavior it might discourage, and which paired guardrail metric or practice
would catch each case. Keep the suggestions practical for a team of
[team size]. Do not invent benchmark values or sources. List your assumptions.

AI スキル

重要なポイント

  • 重大インシデントは稀なので、それぞれをタイムラインとともに示し、要約は長い期間にわたってだけ、数字の隣に件数を添えて行う。
  • 時計は顧客への影響で始め、宣言までの隔たりを独自の尺度として報告する。
  • 影響をユーザーと利用の観点で測り、数字が見逃すものについては、平易な言葉の説明を加える。
  • コミュニケーションの適時性を対応の一部として扱い、受け手ごとの目標と、安定した更新のリズムを持つ。
  • レビューは、そのアクションが終わったときに終わるので、やり遂げと繰り返される原因を追跡する。
  • 件数に目標を置かず、人を順位付けせず、宣言を安全に保つ。

参考文献とさらなる読み物

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
  3. Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  7. Wikipedia, ITIL.
  8. Wikipedia, Incident management (ITSM).
  9. Wikipedia, Percentile.
  10. Wikipedia, Agile software development.
  11. Wikipedia, Site reliability engineering.
  12. Wikipedia, Incident commander.
  13. Wikipedia, Postmortem documentation.
  14. Wikipedia, Root cause analysis.
  15. Wikipedia, Goodhart's law.