可用性のメトリクス
可用性とは、サービスがユーザーの必要とすることを果たした時間、またはユーザーリクエストの割合です。「稼働中」の意味をユーザー側から定義し、計画停止と計画外停止を別々に数え、ナインの算術を理解したうえで約束して初めて、この数字は真実を語ります。
概要と動機
可用性は、サービスマネジメントで最も頻繁に引用される数字であり、同時に最も曖昧にしか定義されていない数字の一つでもあります。「先月のサービス可用性は99.9パーセントでした」という文は正確に聞こえますが、少なくとも四つの判断が隠れています。何をサービスと見なしたか、何を「利用可能」と見なしたか、どの時間帯を対象としたか、どの停止を除外したか、です。二つのチームが同じ月の同じサービスを報告して、算術の誤りがなくても、桁が違うほど異なる数字を公表することがあり得ます。
このトピックは、それらの判断を明示します。稼働時間と停止時間の計算、ユーザー加重の可用性、計画停止と計画外停止の区別、ナインの算術を扱います。サービスレベル指標(SLI)、サービスレベル目標(SLO)、エラーバジェット(トピック5.2「SLI、SLO、エラーバジェット」を参照)と、サービスレベルの契約上の見方(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)を土台にしています。それらのトピックは目標の選び方を述べます。このトピックは、目標と比べる数字の計算方法を述べます。
このトピックで使う用語
- 可用性とは、ユーザーが必要とするときに必要とすることをサービスが果たせる能力で、通常は一定期間に対するパーセンテージで表します。一般的な概念は、高可用性の記事で説明されています。
- ダウンタイムとは、サービスが利用できない期間です。このトピックでは、ダウンタイムの連続した一つの出来事を停止、サービスは動くが合意した品質を下回る期間を劣化と呼びます。
- 稼働時間は、計測ウィンドウ内でダウンタイムを除いた残りです。時間ベースの可用性は、稼働時間を対象時間の合計で割ったものです。
- リクエストベースの可用性とは、有効なリクエストのうち成功した割合です。リクエストの5パーセントに1時間影響する障害は、丸1時間のダウンタイムではなく、1時間分のトラフィックの5パーセントとして数えます。
- ユーザー加重の可用性は、リクエストベースの見方を拡張し、影響を受けたユーザーの数や重要度で失敗に重みを付けます。たとえば、生のリクエストではなく、失敗したセッションや失敗したジャーニーを数えます。
- サービスレベル合意(SLA)は顧客に対する約束であり、サービスレベル目標(SLO)は指標に対する内部目標です。一般的な定義は、サービスレベル合意とサービスレベル目標の記事にあります。
- 計画停止とは、事前に告知され、変更実現を通じて承認された停止です。計画外停止はそれ以外すべてです。両者の境界は、可用性報告で最も争われる線の一つです。
- 平均故障間隔(MTBF)は停止と停止の間の平均稼働時間であり、平均修復時間は復旧までの平均時間です。どちらも平均値なので、本書では分布として読みます(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
- 合成監視は、ユーザーのように振る舞うスクリプト化されたプローブを使い、成功か失敗かを報告します。実ユーザー監視は、実際のユーザーがサービスを使うときの体験を記録します。
- ITILは、ITサービスマネジメントで最もよく知られたフレームワークです。ITIL 4では、可用性管理プラクティスは、サービスが合意された水準の可用性を提供することを確実にする役割を持ち、監視とイベント管理、インシデント管理、サービス継続管理と密接に連携します。
一つの数字では決して足りない理由
4分の停止が10回ある場合と、40分の停止が1回ある場合は、停止時間の合計が同じです。しかしユーザーの感じ方は異なり、必要な対応も異なります。前者は脆いサービスを示し、後者は検知や復旧が遅いことを示します。そのため、ここで扱うメトリクスは小さな組になっており、それぞれに防護柵があります。チームがナインの多さを競うことなく、可用性について率直に話し合えるようにするためです。
ITILとアジャイルの見方の違い
ITILでは、可用性はサービスの管理された属性です。顧客と合意し、サービスレベル管理が明示された目標に対して報告します。サービス時間や、計画メンテナンスなどの除外も明確にします。
アジャイルとサイト信頼性エンジニアリング(SRE)の実践では、可用性は複数あるSLIの一つであり、SLOと比べます。GoogleのSite Reliability Engineeringの書籍によると、時間ベースの可用性は単一のシステムに向き、リクエスト成功率は常に一部が稼働している分散サービスに向きます。同書は、コストが一つナインを足すごとに急激に上がるため、100パーセントが適切な目標であることはほとんどないとも述べています。
分母を定義するには、合意された範囲、時間、除外というITILの規律を使います。分子を定義し、結果をどうするかを決めるには、ユーザー中心の指標とエラーバジェットというSREの規律を使います。
重要な原則
- 「利用可能」をユーザー側から定義します。 ヘルスチェックには応答しても、ユーザーがサインインできないサービスは、重要な人々にとっては停止しています。
- 分母を書き留めます。 何かを計算する前に、サービスの境界、対象時間、タイムゾーン、計測ウィンドウを明記します。
- 計画停止と計画外停止を別々に数えます。 両方を一緒に報告し、一方が他方に隠れないようにします。
- 分散サービスにはリクエストベースとユーザー加重の指標を優先します。 部分的な障害は、完全な稼働でも完全な停止でもありません。
- ナインを分に換算します。 目標が理解されるのは、月に何分の障害を許すのかを人々が言えるときだけです。
- ユーザーが必要とするだけのナインを選びます。 それを超えると、追加の一つのナインは得られる価値より多くのコストがかかります。
- サービスを描き、人は描きません。 可用性はサービスとそれを運用するチームのものであり、個人のスコアではありません。
メトリクスの定義
各行は、時計と境界を明記します。行に別の記載がない限り、暦時間を使います。分布を使う指標では、中央値と95パーセンタイルを報告し、ウィンドウを明記します。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 時間ベースの可用性 | サービスが「稼働中」の文書化された定義を満たした対象時間の割合 | (ウィンドウ内の対象分数 − 計画外ダウンタイムの分数)/ウィンドウ内の対象分数。時計は、後にユーザー影響と確認された最初の失敗プローブ、またはインシデントレビューに記録された確認済みの影響開始から始まり、サービスが再び定義を満たした時点で止まります。合意されたサービス時間内の計画ダウンタイムは別に示し、合意されたサービス時間外の時間は分母から除きます | パーセント | 合成監視の結果、影響開始と復旧のタイムスタンプを持つインシデント記録 | 可用性管理、サービスレベル管理 | 単一システムの時間ベースSLI(トピック5.2「SLI、SLO、エラーバジェット」を参照) | 月次 |
| リクエストベースの可用性 | 有効なリクエストのうち成功した割合 | 成功した有効リクエスト数/ウィンドウ内の有効リクエスト総数。有効リクエストからは、不正な形式のリクエストと、呼び出し側が原因のクライアントエラーを除きます。タイムアウトを含め、サービスが原因の失敗は失敗として数えます。サービスごと、ユーザージャーニーごとに報告します | パーセント | ロードバランサー、ゲートウェイ、またはアプリケーションのログとメトリクス | 可用性管理、監視とイベント管理 | SLOとエラーバジェットを伴う成功率SLI(トピック5.2「SLI、SLO、エラーバジェット」を参照) | 日次の傾向、月次の報告 |
| ユーザー加重の可用性 | 影響を受けたユーザーまたはジャーニーで重み付けした可用性。ピーク時の停止は夜間の停止より重く数えます | ウィンドウ内で、1 −(失敗したユーザーセッションまたはジャーニー数/ユーザーセッションまたはジャーニー総数)。定義された重要ステップが失敗した場合にセッションを失敗と数えます。部分的な成功は、折り込まず、別の劣化割合として報告します | パーセント | 実ユーザー監視、アプリケーションのセッションログ、分析イベント | 可用性管理、サービスレベル管理 | ジャーニーベースのSLIと、トピック6.2の体験指標(トピック6.2「体験レベル合意」を参照) | 月次 |
| 計画外ダウンタイム | 事前に承認された告知なしにサービスが利用できなかった分数 | 開始前に変更実現を通じて告知・承認されていなかった停止について、確認済みの影響開始から確認済みの復旧までの停止時間をウィンドウ内で合計したもの。同じサービスで重複する停止は、合計せず統合します。総分数、停止回数、停止時間の中央値と95パーセンタイルとして報告します | 分 | 影響開始と復旧のタイムスタンプを持つインシデント記録 | インシデント管理、可用性管理 | 分布として読む復旧時間(トピック3.3「インシデントの対応時間と解決時間」を参照) | 月次 |
| 計画ダウンタイムの割合 | 全ダウンタイムのうち、事前に告知され承認されていたものの割合 | ウィンドウ内の計画ダウンタイムの分数/(計画と計画外のダウンタイムの分数の合計)。停止が計画済みと数えられるのは、開始前に変更記録で承認され、開始と終了の時刻がユーザーに伝えられていた場合に限ります。承認された枠を超えた分は、枠が終わった時点から計画外に再分類します | パーセント | 承認された枠を持つ変更記録、インシデント記録、ステータスページの履歴 | 変更実現、可用性管理 | ゼロダウンタイムのデプロイを重視するリリースとメンテナンスの実践(トピック4.3「変更実現のメトリクス」を参照) | 月次 |
| 停止の頻度と間隔 | 停止がどれくらいの頻度で始まり、停止と停止の間にサービスがどれだけ稼働するか | ウィンドウ内に始まった停止の回数。連続する停止の各組について、最初の停止の復旧から次の停止の開始までの稼働分数を、中央値と5パーセンタイルで要約します。間隔が10未満のときは、単一の平均値として報告しません | 回数、分 | インシデント記録、監視履歴 | インシデント管理、問題管理 | 変更失敗率と並ぶ安定性のシグナル(トピック4.4「変更の失敗と手戻り」を参照) | 月次 |
| 劣化の割合 | サービスは動いていたが、合意された品質を下回っていた時間 | 遅延、エラー、または正確性の指標がしきい値を超えた分数(すでにダウンタイムとして数えた分を除く)/対象分数。しきい値はサービスごとに、たとえばSLOに明記します | パーセント | 監視とSLIの計測値 | 可用性管理、キャパシティとパフォーマンス管理 | 遅延SLI(トピック5.4「キャパシティとパフォーマンスのメトリクス」を参照) | 月次 |
| 計測カバレッジ | 可用性の計測が、サービスのユーザー向けの振る舞いをどれだけ実際に観測しているか | アクティブなプローブまたは実ユーザー計測のある重要ユーザージャーニー数/サービス定義に挙げた重要ユーザージャーニー数 | パーセント | サービス定義、監視の設定 | 監視とイベント管理、可用性管理 | オブザーバビリティのカバレッジとアラートの質(トピック5.5「監視とアラート品質のメトリクス」を参照) | 四半期 |
データに関する注意が二つあります。5分ごとに確認するプローブでは2分の停止を検出できません。そのため、プローブの間隔を数字の横に記録し、インシデント記録の影響開始フィールドを使います(トピック1.5「データソースと計装」を参照)。「稼働中」の定義が変わったときは、必ず傾向グラフに印を付けます。
推奨事項
計測を定義する
1. パーセンテージの前にサービス定義を書く。 サービスの境界、重要ユーザージャーニー、対象時間、タイムゾーン、ウィンドウ(通常は暦月)を列挙します。どの依存先を数えるかも述べます。決済プロバイダーが障害を起こしてユーザーが支払えない場合、それは自分たちの停止でしょうか。答えはメトリクス台帳に記録します(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。可用性をめぐる争いの大半は、このページをめぐる争いであり、停止の後で決着をつけるより、事前に決着をつけるほうがはるかに安く済みます。
2. 「稼働中」をサーバーの状態ではなく、ユーザーの成果として定義する。 サインインが壊れているのに成功を返すヘルスチェックは、誤ったものを測っています。「アイテムを検索して表示する」「サインインする」「申請を提出する」といった少数の重要ジャーニーを選び、それぞれの成功をユーザーが認識できる言葉で定義します。ジャーニーをエンドツーエンドでプローブし、合意したしきい値を超えて遅い応答は、稼働中ではなく劣化として扱います。
3. 分散サービスにはリクエストベースの指標を、本当にオンかオフのサービスには時間ベースの指標を使う。 グローバルなサービスが完全に停止することはまれなので、全面障害の分数だけを数えると、実際の障害の大半を見逃します。可能なら両方を報告し、どちらが主な数字で、なぜそうなのかを述べます。
4. 負荷が不均一な場合はユーザー加重を加える。 午前4時の10分間の停止と、取引日の始まりの10分間の停止は、長さが同じでもコストが大きく違います。障害が起きた分のセッション数やトランザクション数で重み付けするか、ピーク時の停止分数を別の数字として報告します。
5. 障害ドメインの外から計測する。 サービスと同じネットワークやリージョンの内側にあるプローブは、サービスと一緒に失敗するか、ユーザーが通る経路が壊れていても成功を報告し続けます。合成プローブは少なくとも二つの独立した場所から実行し、実ユーザーのデータと照合します。
計画停止と計画外停止を正直に扱う
6. 計画ダウンタイムと計画外ダウンタイムを並べて報告する。 多くの合意は計画メンテナンスを除外しており、それは妥当です。それでもユーザーはそれをダウンタイムとして体験するため、除外した分数と計画の割合を主な数字の隣に示します(トピック4.3「変更実現のメトリクス」を参照)。
7. 「計画済み」のラベルを得にくくする。 計画済みとは、停止の開始前に変更記録で承認され、開始と終了の時刻が事前にユーザーに伝えられていることと定義します。始まってから告知された停止は計画外です。承認された枠を超えた分は、枠が終わった時点から計画外です。この三つのルールが、ラベルが障害の言い換えの手段になることを防ぎます。
8. 計画ダウンタイムを縮める努力をする。 ローリングデプロイ、フィーチャーフラグ、ロックを伴わないスキーマ移行、ブルーグリーンリリースにより、チームはサービスを止めずに変更できます。計画ダウンタイムの分数を傾向として追跡し、それをゼロに近づけるには何が必要かを問います。
数字をよく読む
9. ナインを分に換算して示す。 下の表は、30日の月(43,200分)と365日の年(525,600分)の算術を示します。許容される分数を目標の隣にダッシュボードに置き、ウィンドウ内でこれまでに使った分数も示します。人は「スリーナイン」より「月に43分」のほうが、よい判断を下せます。
| 可用性の目標 | 30日の月に許容されるダウンタイム | 365日の年に許容されるダウンタイム |
|---|---|---|
| 99パーセント | 432分(7.2時間) | 5,256分(87.6時間) |
| 99.5パーセント | 216分(3.6時間) | 2,628分(43.8時間) |
| 99.9パーセント | 43.2分 | 525.6分(8.76時間) |
| 99.95パーセント | 21.6分 | 262.8分(4.38時間) |
| 99.99パーセント | 4.32分 | 52.56分 |
| 99.999パーセント | 約26秒 | 約5.26分 |
これらの値は、ウィンドウ全体で時計が動いていることを前提にしています。合意されたサービス時間だけを計測する場合、許容される分数は比例して減るため、そのことを明記します。
10. ナイン一つごとのコストと、依存先の限界を尊重する。 SREの書籍は、信頼性のコストがナインを足すごとに急激に上がること、そして目標はユーザーが必要とするものと事業が支払うものを反映すべきことを述べています。サービスが、直列に必要とする依存先より高い可用性を持つことはまれです。三つの必須コンポーネントがそれぞれ99.9パーセントを達成し、リクエストが三つすべてを必要とする場合、コンポーネントが独立であれば失敗確率が足し合わされるため、組み合わせの最良の期待可用性はおよそ99.7パーセントです。数字を約束する前に、掛け算をしてください。
11. 合計だけでなく、間隔と形も見る。 短い障害が頻発する場合と、まれに長い障害が1回起きる場合とでは、必要な対応が異なります。長い障害は、検知と復旧に結び付けます(トピック3.3「インシデントの対応時間と解決時間」を参照)。また、重大インシデントの見方にも結び付けます(トピック3.4「重大インシデントのメトリクス」を参照)。
12. エラーバジェットと問題レコードでループを閉じる。 可用性の目標が役に立つのは、チームの行動を変えるときです。許容されるダウンタイムの月次バジェットを使い切りそうなら、リスクの高い変更を減速し、信頼性向上の作業に力を移します。これはエラーバジェットポリシーに記載します(トピック5.2「SLI、SLO、エラーバジェット」を参照)。同じ原因が再発するなら、問題レコードを起票し、修正まで追跡します(トピック4.1「問題管理のメトリクス」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 対になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 時間ベースの可用性 | 実際のジャーニーが失敗していても稼働し続ける単純なページをプローブする。プローブの間隔を延ばし、短い障害が確認の合間に収まるようにする。対象時間帯を狭める。障害を性能劣化として数える | ユーザー加重の可用性と実ユーザーモニタリング。数字の隣にプローブ間隔を明記する。インシデントを監視記録と突き合わせて抜き取り検査する |
| リクエストベースの可用性 | 簡単なリクエスト(ヘルスチェック、キャッシュされたアセット)を分母に入れて失敗を薄める。サーバーエラーをクライアントエラーに分類する。ユーザーが失敗として体験したリトライを除外する | リクエストごとではなく、重要なジャーニーごとの成功率。除外リストのレビュー。ユーザーから報告されたインシデントとの比較 |
| ユーザー加重の可用性 | ピーク時の失敗がほとんど効かないように重み付けを選ぶ。壊れたステップが通ってしまうほど「成功」セッションの定義を緩くする | 重み付けのルールとジャーニーの一覧を公開する。障害中の苦情件数やサポートへの連絡と比較する |
| 計画外ダウンタイム | 事後に障害を計画済みへ再分類する。確認済みの影響開始を遅らせる。1回の障害を2回に分けて短く見せる | 計画済みダウンタイムの比率。開始後に告知された障害は計画外とするルールを添える。影響開始を監視データと比較する |
| 計画済みダウンタイムの比率 | 変更を承認済みウィンドウとして登録し、超過や失敗を計画済みに数える。不要なメンテナンスを予定して計画済みの比率を膨らませる | 超過した分数は計画外に再分類する。変更失敗率と緊急変更の比率(トピック4.4「変更の失敗と手戻り」を参照) |
| 障害の頻度と間隔 | インシデントを統合する、または長い間隔が空いてから新しいインシデントを起票して件数を少なく保つ。アラートを抑制し、短い障害を記録に残さない | 生の監視イベントに対するアラートとインシデントの抜き取り検査。監視のカバレッジとアラートの品質(トピック5.5「監視とアラート品質のメトリクス」を参照) |
| 性能劣化の割合 | 遅いサービスがいつまでも閾値を超えないよう、閾値を緩く設定する。性能劣化の時間を稼働として申告する | 数字の隣でレイテンシのパーセンタイルとユーザー報告の遅さをレビューする(トピック5.4「キャパシティとパフォーマンスのメトリクス」を参照) |
| 計測のカバレッジ | プローブしやすいジャーニーだけを一覧に載せ、カバレッジを100パーセントに見せる。一度も実行されないプローブでジャーニーをカバー済みと数える | サービスオーナーとユーザーが合意したジャーニーの一覧。四半期ごとにプローブの実行履歴を抜き取り検査する |
健全な読み方では、数字がチームの説明できる理由で動き、計画済みと計画外のダウンタイムがどちらも見え、ユーザー加重の数字が見出しの数字に近くなります。苦情を伴う完璧な月には疑いを持ってください。ときどき正直に下がることは、記録の仕組みが機能している証拠です。
トレードオフ:長所と短所
| アプローチ | 長所 | 短所 |
|---|---|---|
| 時間ベースの可用性 | 単純で広く理解され、契約と比較しやすい | 部分的な障害を全か無かで扱う。いつ、誰に起きたかを無視する |
| リクエストベースの可用性 | 部分的な障害を反映する。分散サービスに合わせて拡張できる | 有効なリクエストの定義が妥当であることに依存する。簡単なトラフィックで薄まることがある |
| ユーザー加重の可用性 | ユーザーが体験したものに近い。ピーク時の失敗の代償が見える | セッションやジャーニーのデータが必要。説明に手間がかかる |
| 計画済みダウンタイムの除外 | 多くの合意に合致する。事前の告知が報われる | 実際の影響を隠すことがある。再ラベリングを招く |
| エラーバジェット付きの控えめな目標 | 信頼性とデリバリー速度のバランスが取れる | バジェットを使い切ったときに行動する規律が要る |
実務上の答えは、サービスに合う最も単純な指標を選び、負荷が偏るところにはユーザー加重を加え、除外はすべて明示することです。少し洗練に欠けても全員が理解している指標は、誰も信頼しない高度な指標よりも役に立ちます。
チームで話し合う問い
1. 最も重要なサービスで「利用可能」とは何を意味し、ユーザーはそれに同意するか。 サービスが稼働していると数えるには、ユーザーが何をできなければならないかを、1人ずつ1文で述べてもらいます。答えを、書かれた定義およびダッシュボードに数字を送るプローブと比べます。ファシリテーターは、サインイン、検索、決済などがプローブでは動いているのに実際には失敗している、といった食い違いに耳を傾けます。最後に、定義に明記すべきユーザージャーニーを合意します。
2. 前四半期の障害のうち、今の計算ならどれが除外されていたか。それは公平だったか。 障害を一覧にし、それぞれを計画済み、計画外、除外のいずれかに分類します。誰がいつ判断したかを尋ねます。ファシリテーターは、ユーザーならそのラベルに同意しなかったであろう事例を記録し、ルールを厳密にするために使います。
3. 目標が許容するダウンタイムは何分で、このウィンドウで何分使ったか。 ホワイトボードで、目標を月と年の分数に換算します。ここまでに使った分数と比べます。バジェットが20パーセントしか残っていなければ、チームは何を変えるかを尋ねます。これで抽象的な目標が具体的になり、数字がエラーバジェットポリシーに結び付きます。
4. 計測がユーザーの感じる失敗を見逃しうるのはどこか。 プローブの場所、間隔、カバーするジャーニー、依存先を順に確認します。すべてのプローブを通過しながら、ユーザーにとってはサービスが壊れている、という失敗は何かを尋ねます。追加するプローブまたは実ユーザーの計測を1つ合意します。
5. 避けられるはずの停止を計画していないか。 半年間の計画済みダウンタイムを見て、それぞれの停止が何によって必要になったかを尋ねます。ベンダーの要件のように避けられないものもあります。リリースや移行のやり方を変えれば避けられるものもあります。最大の原因を取り除くには何が要るか、その作業は誰が担うかを尋ねます。
6. 見出しの数字が完璧に見えるとき、何があれば疑うか。 ダッシュボードと矛盾するシグナルを挙げます。苦情件数、サポートへの連絡、オンコールチームの記憶などです。今それらが存在するかを確認します。ダッシュボードに載せる比較を1つ合意します。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、サービスを変更するたびに可用性に影響を与えます。ゼロダウンタイムのデプロイを設計し、フィーチャーフラグで影響範囲を限定し、エラーバジェットをリリース判断の入力として扱えます。可用性はデプロイのメトリクスと並べて読みます(トピック2.8「DORAメトリクス」を参照)。
サービスチームと運用チーム
運用チームは、データを生み出すプローブ、インシデント記録、ローテーションを所有します。定義と除外リストを最新に保ち、影響開始を正直に記録し、監視を実際のインシデントと照らしてレビューします。可用性はサービスとそのローテーションに属し、オンコールの個人1人に属するものではありません(トピック5.7「トイルとオンコールのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、可用性データが率直であるかどうかを左右するインセンティブを設定します。「なぜナインを1つ失ったのか」と問うレビューは、チームに障害を除外の中へ隠すことを教えます。代わりに、チームが何を学んだか、どの投資が障害を減らすかを尋ね、ユーザーが気付く以上のナインを求めないでください(サプライヤーとの約束についてはトピック8.4「サプライヤーと契約のメトリクス」を参照)。
顧客とユーザー
ユーザーは、来た目的を果たせたかどうかで可用性を判断します。予告されたメンテナンスウィンドウは、不意の停止よりはるかに許容されます。正直な開始時刻と終了時刻を載せたステータスページを提供し、数字と並べてユーザーのフィードバックを読んでください(トピック6.2「体験レベル合意」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、ストアフロント、チェックアウトサービス、注文追跡サービスを運用しています。この例の数字は説明用です。
チェックアウトチームは、月の時間ベースの可用性を99.95パーセントと報告しています。これは計画外のダウンタイム21.6分を許容する値で、ダッシュボードは99.96パーセントを示しています。カスタマーサポートの責任者は不安を感じています。同じ月に、決済失敗に関するサポートへの連絡が増えたからです。責任者はチームに、計測のレビューを依頼します。
チームは3つの問題を見つけます。プローブが確認しているのは「チェックアウトに到達できる」ページで、5分ごとに1回、決済のジャーニー全体ではありません。リクエストベースのデータでは、2日の夜に決済プロバイダーのタイムアウトが原因で、決済試行の約4パーセントが、それぞれおよそ50分間失敗していました。ページ自体は読み込めていたため、プローブはそれに気付きませんでした。さらに、承認されたウィンドウを18分超過したデータベース移行が、全体として計画済みメンテナンスと記録されていました。
チームは4つの変更を加えます。決済ジャーニー全体の合成プローブを、2か所から1分間隔で追加します。決済ステップに到達したセッションを使い、リクエストベースとユーザー加重の数字を追加します。超過した分数を計画外に再分類します。そして、計画済みダウンタイムの比率と計測のカバレッジをレポートに加えます。
修正後の基準では、その月の時間ベースの可用性は99.93パーセント、リクエストベースの可用性は99.90パーセント、ユーザー加重の可用性は99.84パーセントでした。失敗が夜のピークに集中していたためです。3つとも99.95パーセントの目標に届かず、気まずい結果です。チームとサポート責任者は、以前の数字が甘すぎたことで合意します。修正した定義をメトリクスレジスターに書き込み、エラーバジェットポリシーを発動します。翌月は、バジェットが回復するまでチェックアウトへのリスクの高い変更を待たせ、チームは決済プロバイダーのタイムアウトについて問題レコードを起票します(トピック4.1「問題管理のメトリクス」を参照)。
チームが食い止めたゲーミングのリスクは、再ラベリングです。ある管理者が、目標を守るために超過分を「延長メンテナンス」と呼ぶことを提案しました。超過は計画外になるというルールを持つ計画済みダウンタイムの比率が、再分類を可視化し、チームは正直な数字を維持しました。
業種別の視点
スタートアップ。 小さなチームでは、サービスが1つで監視もわずかなことがよくあります。最も重要なジャーニーに対するプローブ1つと、「稼働」の定義を1段落で書くことから始めます。控えめな目標を選んで分数に換算し、まだ計測できないナインを約束するのは避けます。
小規模事業者。 サービスはホスト型ツールに少数のカスタムシステムを加えたものが多く、可用性はサプライヤーに左右されます。サプライヤーの障害は、自社のユーザーに及んだ影響として記録し、サプライヤーの報告と比べ、数字は2つか3つにとどめます。
大企業。 多くのサービス、多くのチーム、多くのサプライヤーによって、使われる定義が増えていきます。可用性の標準定義を1つ公開し、許容するバリエーションの短い一覧を添え、メトリクスレジスターを最新に保ちます。比較する前に、計画済みと計画外のルールがチーム間で同じであることを確認します。サービスごとに負荷も重要度も異なるため、チーム別のランキングよりサービスレベルの報告を選びます。
政府・公共部門。 公共サービスには、法定のサービス時間、公表された約束、正式なクレジットを伴う契約があることが多くあります。それらに対して書かれたとおりに報告し、ユーザー加重の見方を並べて示し、除外について率直であってください(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
主なコストは、サービス定義とレジスターを書く時間、障害ドメインの外から重要なジャーニーをプローブする監視、計画済みと計画外のダウンタイムを切り分けられるようにインシデント、変更、監視のデータをつなぐ作業です。実ユーザーモニタリングには、ツールとストレージのコストが加わります。多くの組織はすでにデータの一部を持っているため、最初の投資は通常、定義に向けられます。
見返りは、より良い判断と、少ない争いから生まれます。ユーザー側から計測するチームは、ヘルスチェックが見逃す失敗を見つけます。定義が1つなら合意の管理が楽になり、ナインを1つ増やすコストを、それがユーザーにもたらす価値と比べられます。効果は、合意のレビューでの驚きが減るといったパターンとして述べ、見出しの数字とユーザー加重の数字の差のような、自組織のベースラインを測ってください。他組織の数字を借りてはいけません。
アンチパターンと落とし穴
- 分数なしでナインだけを示す。 許容されるダウンタイムに換算できない目標は、判断の指針になりません。すべての目標の隣に、許容分数と使用分数を示します。
- ジャーニーではなくサーバーを計測する。 ヘルスチェックが緑でも、サインインは壊れていることがあります。重要なジャーニーをエンドツーエンドでプローブし、実ユーザーのデータと比べます。
- 計画済みのラベルに失敗を吸収させる。 主張しやすい計画済みカテゴリは、計画外の数字を空っぽにします。停止の前に承認を求め、告知し、超過は再分類します。
- サービスや時間帯をまたいで平均する。 混ぜた数字は、重要なサービスと繁忙時間帯を隠します。サービスごとに報告し、ユーザー加重の見方を加えます。
- 依存先が許す以上のナインを約束する。 直列のコンポーネントは、その合成した可用性を超えられません。約束する前に掛け算をし、サプライヤーに実測値を尋ねます。
- 100パーセントを目標にする。 コストは急激に上がり、変更は遅くなります。ユーザーの必要から目標を選び、エラーバジェットを使います。
- ナインでチームや個人をランク付けする。 サービスごとに負荷も重要度も異なり、ランキング表はチームに障害を隠すことを教えます。各サービスに自分の傾向を示し、自分の目標と比べます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 定義とクロック | 「稼働」は監視ツールが示すものを意味する。停止時刻は事後に推定する | 一部のサービスで文書化されている。プローブとインシデントの時刻が食い違う | サービスごとに、ジャーニー、時間帯、除外、クロックのルールを含む定義が1つ書かれている | 定義を定期的にレビューし、変更を記録してチャートに印を付ける | 定義がサプライヤーや顧客と揃っており、判断に役立たなくなれば見直される |
| 計測の品質 | 手作業のレポートまたは単一のヘルスチェック | 一部のサービスにプローブがある。一部のログにリクエストデータがある | 重要なジャーニーに対する外部からのプローブと、標準のソースからのリクエストベースの数字 | 実ユーザーデータからのユーザー加重の数字。カバレッジを追跡し、抜き取り検査する | 計測をチームやサプライヤー間で共有し、自動的に突き合わせる |
| 計画済みと計画外の扱い | 区別がない。メンテナンスはその場限りで数える | 一部のチームが計画済みのラベルを使い、ルールが異なる | ルールは1つ。停止の前に承認し告知する。超過は再分類する | 計画済みの比率を傾向として追い、減らす目標を持つ | ゼロダウンタイムの変更が標準であり、計画済みダウンタイムはまれで、交渉の対象 |
| 判断での活用 | 苦情のあとで報告される | 運用が毎月レビューする | 目標を分数で示す | エラーバジェットポリシーが作業を変え、予算が付く | 可用性、コスト、体験を合わせてトレードオフする |
チェックリスト
- 各サービスに、重要なユーザージャーニーを明記した「利用可能」の定義が書かれている。
- すべての数字に、計測ウィンドウ、対象時間帯、タイムゾーンが明記されている。
- 除外リストが書き出され、レビューされ、見出しの数字の隣に示されている。
- 計画済みダウンタイムには承認済みの変更と事前の告知が必須であり、超過は計画外として数えられている。
- プローブは障害ドメインの外から、明記された間隔で、重要なジャーニーに対して実行されている。
- リクエストベースまたはユーザー加重の数字が、時間ベースの数字の隣に示されている。
- 各目標が、現在のウィンドウの許容分数と使用分数として示されている。
- 障害の件数と継続時間のパーセンタイルが、合計だけでなく報告されている。
- 目標を約束する前に、依存先の可用性が掛け合わされている。
- 定義の変更が記録され、傾向チャートに印が付けられている。
- 可用性はサービスごとに報告され、個人ごとには報告されていない。
AI プロンプト
サービスの可用性の定義を起案する。
I am writing an availability definition for [service name], a [type of service]
used by [user groups]. Its critical user journeys are [list journeys]. Agreed
service hours are [hours and time zone]. Known dependencies are [list]. Our
monitoring consists of [probes, logs, real user data].
Draft a one-page definition covering: what counts as up for each journey, the
measurement window, the in-scope hours, the exclusions, the rule for planned
versus unplanned downtime, the clock start and stop for an outage, and the
metrics to report. Do not invent targets or benchmark values. List your
assumptions and the questions I should answer to finish the definition.
目標を許容ダウンタイムに換算して検証する。
Our target for [service name] is [availability percentage] over [window, for
example a 30-day month]. In-scope time is [hours]. Our essential dependencies
and their stated or measured availability are [list, or "unknown"].
Calculate the downtime this target allows in minutes for the window and for a
year, using the in-scope hours. Then estimate the best combined availability if
the dependencies are needed in series and fail independently, and explain the
formula you used. Flag where my inputs are too uncertain to conclude anything.
Do not supply availability figures for any dependency that I did not give you.
List your assumptions.
1か月分の障害を分類の問題がないか見直す。
Here are the outage records for [service name] for [month]: [paste records with
impact start, restore time, planned or unplanned label, approval time, and
notes, with personal data removed].
For each outage, check whether the planned or unplanned label follows this
rule: [paste your rule]. Identify records where the impact start looks late,
where one outage appears to be split or merged, and where an overrun should have
been reclassified. Summarize patterns by service and cause, never by person.
Tell me what you could not judge from the data. List your assumptions.
AI スキル
- Agile ITIL Metrics スキル:報告しようとしている可用性の指標について、関連するトピックと対になる防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:このトピックの改訂後も、すべてのメトリクスがゲーミングの手口と防護柵と対になっていることを確認するために使います。
重要なポイント
- 可用性が意味を持つのは、「稼働」、サービスの境界、時間帯、除外がユーザーの側から書き出されたときだけです。
- リクエストベースとユーザー加重の指標は、全面障害の分数よりも、分散サービスと偏った負荷をよく表します。
- 計画済みと計画外のダウンタイムを併せて報告し、計画済みのラベルは得にくいものにします。
- すべての目標を分数に換算し、ナインを約束する前に直列の依存先を掛け合わせます。
- ナインを1つ増やすたびにコストは前より増えるため、目標はユーザーの必要から選び、エラーバジェットで行動に結び付けます。
- 記述の対象はサービスとローテーションであり、人ではありません。見出しの数字はすべて、ユーザーの体験に照らして検証します。
参考文献とさらなる読み物
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, High availability.
- Wikipedia, Downtime.
- Wikipedia, Service-level agreement.
- Wikipedia, Service-level objective.
- Wikipedia, Mean time between failures.
- Wikipedia, Mean time to repair.
- Wikipedia, Synthetic monitoring.
- Wikipedia, Real user monitoring.
- Wikipedia, ITIL.