概要と動機

どのサービスにも、測定されているかどうかにかかわらず、すでに信頼性の水準があります。誰もそれを明示しなければ、ユーザーはある水準を想定し、プロダクトチームは別の水準を想定し、運用チームは三つ目の水準を守ろうとします。その差は、障害の最中に初めて明らかになります。このトピックでは、サイト信頼性エンジニアリング(SRE)がこの差を埋めるために使う、三つの関連する考え方を扱います。サービスレベル指標、サービスレベル目標、そしてエラーバジェットです。

サービスレベル指標(SLI)は、ユーザーが体験するとおりのサービスの一つの側面を測定したものです。典型的な側面は、リクエストが成功したか、どれだけ時間がかかったか、返されたデータが新しかったか、そして正しかったか、です。優れたSLIは比率として表されます。定義された期間における、有効なイベントの数に対する良好なイベントの数です。サービスレベル目標(SLO)は、ある期間におけるその比率の目標値です。たとえば「直近28日間のローリング期間で、有効なチェックアウトリクエストの99.9パーセントが成功する」といったものです。エラーバジェットは、その目標が失敗を許容する分です。つまり100パーセントからSLOを引いた値です。99.9パーセントなら、バジェットは有効なイベントの0.1パーセントになります。

エラーバジェットは対話を変えます。サービスがバジェットをほとんど使っていなければ、チームにはより速くリリースし、リスクのある変更を試し、実験を行う余地があります。バジェットがほぼ尽きていれば、同じチームは機能開発の速度を落とし、バジェットが回復するまで信頼性に労力を向けます。判断は事前に合意した数値から導かれるので、会議で誰が最も上位か、あるいは最も説得力があるかには左右されません。

バーンレートは、バジェットが消費されている速さを、ちょうど期間の終わりにすべてを使い切る速さと比べたものです。バーンレートが1であれば、バジェットは期間の終わりにちょうど尽きます。バーンレートが10であれば、期間の10分の1で尽きます。バーンレートは、SLOからアラートへの橋渡しです。問題の緊急度を、目標に与える損失という言葉で示してくれるからです。

アジャイルとITILの見方はここで出会いますが、関連する考え方に対して異なる語彙を使います。ITIL 4では、サービスレベル管理がサービスレベルを設定し、測定し、報告するプラクティスであり、サービスレベル合意書(SLA)は、プロバイダーと顧客の間で文書化された合意です(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。SLOは内部の目標であり、通常はSLAより厳しく、サービスを運用するチームが所有します。SLAにはクレジットやペナルティといった結果が伴います。SLOには意思決定のルールが伴います。自分たちのサービスを所有するアジャイルのチーム(「作った者が運用する」)は、SLOを使って、信頼性のコストを機能と同じバックログの中で見えるようにします。ITILのプラクティスに従うチームは、SLIを、顧客が必要だと言っていることを測定可能にした形として扱い、SLOを、SLAを守るための作業上の目標として扱えます。

可用性は最もなじみのあるSLIで、別の箇所で詳しく扱います(トピック5.3「可用性のメトリクス」を参照)。レイテンシー、正確性、鮮度、スループットも候補です。大切なのは、集めやすいものからではなく、ユーザーが気にすることから指標を選ぶ技術です。サーバーのCPU使用率は集めやすいものの、顧客が支払えたかどうかについてはほとんど何も語りません。2秒以内に完了した支払いリクエストの割合は、多くを語ります。レイテンシーについては、平均ではなくパーセンタイルを報告してください。平均は、ユーザーが気づく遅い裾野を隠してしまうからです(トピック1.6「サービスメトリクスのための統計リテラシー」とトピック5.4「キャパシティとパフォーマンスのメトリクス」を参照)。

重要な原則

  • サーバーではなくユーザーから始める。 「自分の支払いが通った」のように、人が認識できる体験を表す指標を選び、そこから逆算して何を測定するかを決めます。
  • 100パーセント未満の目標は、敗北の承認ではなく意思決定である。 完全な信頼性は達成できず、費用も賄えず、ある点を超えるとユーザーは通常その違いに気づけません。バジェットは、そのトレードオフを明示します。
  • 目標は、それに依存する人々と一緒に設定する。 SLOは、プロダクト、運用、顧客の間で交渉された合意であり、一つのチームだけが選ぶ数値ではありません。
  • バジェットが尽きる前に、その結果を合意しておく。 穏やかな週に書かれたエラーバジェットポリシーは、ストレスの多い週にも守られます。障害の最中に作られたポリシーは、議論の的になります。
  • 一つひとつの揺らぎではなく、バーンにアラートを出す。 目標を脅かすほど速くバジェットが消費されているときだけ人を呼び出し、遅いバーンはチケットに回します。
  • SLOはサービスを表すものであり、人を表すものではない。 バジェットはサービスとそのチームに属します。エンジニア個人のスコアにはなりません。

メトリクスの定義

以下のメトリクスは、サービスのSLOの仕組みを表します。最初の四つが実践の中核で、最後の二つは実践そのものの健全性を表します。すべての時計と境界は、計算式の列に明記されています。「有効なイベント」とは、SLOの文書で合意した除外を適用したあとにSLIの対象となるイベントです。たとえば、チーム自身の負荷テストからのリクエストは除外されます。

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
SLI達成率 一つのサービスの一つの指標について、良好だった有効イベントの割合 報告期間の開始から終了までの期間における、良好なイベント数 / 有効なイベント数。SLOの文書で除外されたイベント(負荷テスト、SLOがそう定める場合は事前に告知された計画メンテナンス)は、分子と分母の両方から取り除く パーセント ロードバランサー、アプリケーション、または合成プローブのテレメトリー。監視またはオブザーバビリティのプラットフォーム サービスレベル管理、監視とイベント管理 運用性についての完了の定義、サービスの健全性に関するステークホルダーレビュー 継続的、日次とウィンドウごとに報告
SLO達成状況 SLO期間にSLIが目標を満たしたか、直近の何ウィンドウで満たしたか 直近12か月で、SLI達成率が目標以上だったウィンドウ数 / 評価したウィンドウ数。まだ終わっていないウィンドウは除く ウィンドウの割合(パーセント) SLI達成率の履歴 サービスレベル管理、継続的改善 信頼性に関するチームの目標またはワーキングアグリーメント 月次、四半期ごとの傾向を付ける
残りのエラーバジェット 現在のウィンドウで、まだ使っていないバジェットの部分 1 - (ここまでの不良イベント数 / ウィンドウ全体で許容される不良イベント数)。ここで許容される不良イベント数 = (1 - SLO)x ウィンドウ全体で見込まれる有効イベント数。時計はウィンドウの開始で始まり、終了で止まる バジェットの割合(パーセント) SLI達成率と量の予測 サービスレベル管理、リスク管理 リリース準備の確認、計画作業への入力 日次、週次でレビュー
バーンレート 均等に消費する速さと比べた、バジェットが消費されている速さ (振り返り期間の不良イベント数 / 有効なイベント数)/(1 - SLO)。振り返り期間は、たとえば1時間や6時間のように明記する 比率(1はちょうどバジェット通り) 細かい時間解像度のSLIテレメトリー 監視とイベント管理、インシデント管理 オンコールのアラートルール、スウォーミングのトリガー 継続的、アラートルールで評価
バジェットポリシーの遵守 エラーバジェットポリシーのトリガーに達したとき、合意した結果がどれだけ適用されたか 期間内で、合意した時間内にポリシーの措置が取られたトリガー数 / 期間内に達したトリガー数。記録された理由とともに正式に免除されたトリガーは、取り除かずに別に数える パーセント ポリシー文書、意思決定ログ、バックログの履歴 サービスレベル管理、変更実現 ワーキングアグリーメント、レトロスペクティブでの実行のフォローアップ 四半期ごと
SLOカバレッジ 現行のSLOと動作するSLIを持つ、重要なユーザージャーニーまたは対象サービスの割合 直近7日間にSLIデータが届いたSLOを少なくとも一つ持つ、対象のサービスまたはジャーニー数 / 対象のサービスまたはジャーニー数。「対象」はサービスカタログ(ITILの用語ではサービスカタログ)に列挙する パーセント サービスカタログ、SLO台帳、監視の設定 サービスカタログ管理、サービスレベル管理 チームのサービス所有リスト 四半期ごと

バーンレートの振り返り期間とSLOウィンドウは、選択の問題です。28日のローリングウィンドウは、週をちょうど含みます。この選択をSLOの文書に明記し、安定させてください。そうしないと、傾向が誤解を招きます。

推奨事項

指標をユーザーが気にすることから選ぶ

1. 重要なユーザージャーニーから始める。 サービスが使う価値のあるものであるために、ユーザーができなければならないことを三つから六つ挙げます。たとえば、サインイン、検索、支払い、明細のダウンロードです。それぞれをユーザー側の一文として書きます。次に、その一文が真だったかどうかを示すSLIを選びます。こうすればSLOの数が少なく保たれ、誰も読まない技術的なゲージの一覧になることを防げます。

2. 各SLIを、良好なイベントを有効なイベントで割った形で表す。 比率は、説明しやすく、集計しやすく、バジェットに変えやすいものです。「良好」は、ユーザーが受け入れられるしきい値で定義します。「有効」は、不正利用でブロックされたリクエストなど、合理的に処理できないトラフィックが文書化された形で除外されるように定義します。両方の定義をSLOの文書に書いてください。意見の食い違いの多くは、分母に潜んでいるからです。

3. 実用的な範囲で、できるだけユーザーに近いところで測定する。 サーバー側の成功率が完璧でも、ネットワークやクライアントの問題でサービスが使えなくなることがあります。ロードバランサーやエッジで測定し、最も重要なジャーニーには合成プローブやクライアント側の測定を加えます。測定点にはそれぞれコストと死角があるので、各SLIがどれを使っているかを記録してください(トピック1.5「データソースと計装」を参照)。

4. レイテンシーにはしきい値付きのパーセンタイルを使う。 「検索リクエストの95パーセントが800ミリ秒未満で完了する」はSLIです。「平均レイテンシー」はそうではありません。少数の速いリクエストが多数の遅いリクエストを相殺してしまうからです。役立つ場合は、中央値と99パーセンタイルのように二つのしきい値を使います。遅い裾野がサービスの感触を左右するからです(トピック5.4「キャパシティとパフォーマンスのメトリクス」を参照)。

人が擁護できる目標を設定する

5. 最初のSLOは現在の性能とユーザーのニーズから設定し、その後で引き締める。 SLIを数週間測定し、ユーザーとサポート担当者にどの水準なら気づくかを尋ね、サービスが今日、多少の余裕をもって満たせる目標を設定します。現在の性能をはるかに上回る目標は、恒久的な違反となり、人々は見るのをやめます。ユーザーが得ているものをはるかに下回る目標は、品質の低下を気づかれないまま許します。四半期後に見直してください。

6. SLOはSLAより厳しくし、両者を分けておく。 顧客との合意が99.5パーセントを約束しているなら、チームの目標は99.9パーセントとし、契約上の線を越える前にバジェットが尽きるようにします。SLOとSLAを同じ数値にしてはならず、一方を他方として報告してもなりません。合意は商業上・法律上の文書であり、目標は工学的な意思決定ルールです(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。

7. 依存関係を考慮に入れる。 サービスは、段階的に縮退できる場合を除き、依存するものより信頼できることはありません。サプライヤーを含む主要な依存関係を挙げ、その実際の性能があなたの目標に何を意味するかを問います。

バジェットを意思決定の道具として運用する

8. 必要になる前にエラーバジェットポリシーを書く。 ポリシーは、定義された消費の水準で何が起きるかを定めます。簡単な版は三つの段階を持ちます。バジェットが残っている間は通常運用、定めた割合を使ったらリスクのある変更の追加レビューと信頼性作業の優先、使い切ったらバジェットが回復するまで、不可欠でない機能のリリースを停止します。誰が例外を認められるか、それをどう記録するかを明記します。プロダクトと運用の両方のリーダーが署名し、ポリシーが双方に等しく適用されるようにしてください。

9. バジェットを意図的に使う。 まったく触れられないバジェットは、目標が厳しすぎるか、チームが慎重すぎることを示唆します。余ったバジェットは、実験、より速いリリース頻度、カナリアロールアウト、限られた露出で本番環境でテストできるフィーチャートグルに使い、カナリアリリースで、影響を受けるユーザーがごく一部のうちに問題を見つけます。バジェットがいつも手つかずであれば、目標がユーザーのニーズに合っているかを問い直す契機として扱ってください(トピック4.5「リリースとデプロイのメトリクス」を参照)。

10. 複数のバーンレートでアラートを出す。 一時間以内にバジェットの大きな割合を使い切るほどの速いバーンは、人を呼び出します。数日以内にバジェットを使い切る程度の穏やかな遅いバーンは、勤務時間内に対応するチケットを作ります。二つ以上の振り返りウィンドウを使えば、突然の障害とゆっくりした漏れの両方を捉えられ、バジェットをほとんど使わない短い揺らぎでの呼び出しも減ります。Site Reliability WorkbookのSLOに基づくアラートの章がこのパターンを説明しており、しきい値は写すのではなく、自分のサービスに合わせて調整するべきです(トピック5.5「監視とアラート品質のメトリクス」を参照)。

11. インシデント、問題、学びをバジェットと結びつける。 インシデントのあとで、その継続時間と影響とともに、どれだけのバジェットを消費したかを記録します。その数値を使って、問題レコードとフォローアップの措置を優先づけます(トピック4.1「問題管理のメトリクス」とトピック4.2「ポストモーテムと学習のメトリクス」を参照)。バジェットのコストは、重大インシデントのレビューに、まったく異なる障害を比べるための共通の単位も与えてくれます(トピック3.4「重大インシデントのメトリクス」を参照)。

実践を正直に、生きたものに保つ

12. 四半期ごとに、SLOを現実と照らし合わせて見直す。 SLOを、サポートへの問い合わせ、苦情、満足度の結果と比べます。SLOが緑なのにユーザーが不満なら、SLIが間違っているか、目標が緩すぎます。SLOが赤なのに誰も苦情を言わないなら、目標が厳しすぎるのかもしれません。変更とその理由をそれぞれ記録し、変更を傾向チャートに示してください(トピック6.2「体験レベル合意」を参照)。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
SLI達成率 失敗が消えるまで「有効」なイベントを絞り込む(再試行されたリクエストやエラーの種類全体を除外するなど)、最も健全なコンポーネントだけを測る、有利な場所からだけプローブする SLIの定義と除外を、変更履歴付きでSLOの文書に公開する。SLIをサポートへの問い合わせやユーザーの苦情と比べる。除外されたイベントとその量を定期的にレビューする
SLO達成状況 常に達成できるほど目標を低く設定する、悪い期間のあとでウィンドウの長さを変える、違反をメンテナンス期間として再定義する ユーザーの意見を取り入れて設定し、予定に沿って見直した目標。文書で固定したウィンドウ。除外の数とウィンドウの計画外の変更を、達成状況と並べて報告する
残りのエラーバジェット 不良イベントを除外として再分類する、許容される不良数が大きく見えるよう見込み量を水増しする、ウィンドウを早めにリセットする ウィンドウ終了時の実際の量から計算した、許容される不良イベント数。バジェットの横に示す除外イベントの量。あらかじめ固定したウィンドウの日付
バーンレート バーンが決してトリガーしないようアラートのしきい値を調整する、速いバーンが平均化されて消えるほど長い振り返りを使う 過去のインシデントを使ったアラートのカバレッジテスト(「このルールなら呼び出せたか」)。対応可能なアラートの割合と検知漏れの数(トピック5.5「監視とアラート品質のメトリクス」を参照)
バジェットポリシーの遵守 例外をなし崩しに認める、到達できないトリガーでポリシーを書く、形だけの信頼性チケットをポリシーの措置として数える 例外を別に数えてレビューする。期間内の例外の割合。完了した信頼性作業(トピック4.1「問題管理のメトリクス」を参照)
SLOカバレッジ 割合を上げるため、すべてのサービスに些末なSLOを追加する、データが流れていないのにジャーニーをカバー済みと数える SLIデータの鮮度の確認(直近7日間にデータが届いたか)。SLOが副次的なエンドポイントではなく重要なジャーニーをカバーしているかのレビュー

健全な読み取りでは、SLIがユーザーの報告と一致し、目標は時に達成されず、時に余裕をもって達成され、バジェットは意図的に使われています。トリガーに達したらポリシーが適用され、例外はまれで記録され、定義の変更はすべてチャートで見えます。バジェットがいつも100パーセント残っているサービスや、いつも違反しているサービスは、称賛や非難ではなく、目標についての対話に値します。どの一つの数値も、問いのきっかけにすぎないことを忘れないでください(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。

トレードオフ:長所と短所

アプローチ 強み 弱み
ユーザージャーニーのSLI ユーザーが感じることと一致する。数が少ない。エンジニアでない人にも説明しやすい エンドツーエンドで計装する労力が必要。まだユーザーに届いていない内部の障害を見逃す可能性がある
コンポーネントまたはリソースのSLI(CPU、メモリ、キューの深さ) 集めるのが安い。診断とキャパシティに役立つ ユーザー体験の代理としては貧弱。重要でないアラートを大量に生む
ローリングウィンドウ なめらか。月末に崖がない。常に最新 カレンダー月より経営層に説明しにくい。悪い一日がウィンドウ全体にわたって残る
バーンレートによるアラート 目標が本当に危うい場合に呼び出す。誤報が少ない 設定とテストがより複雑。しきい値をサービスごとに調整する必要がある

SLIは少数にし、ユーザーと一緒に設定し、変化のペースはバジェットに決めさせてください。適切な厳しさとは、ユーザーを満足させ続けられる最も緩い目標です。九が一つ増えるごとに、前の九より多くのコストがかかるからです。

チームで話し合う問い

1. このサービスのユーザーは何ができる必要があり、できなくなったことをどうやって知るか。 ダッシュボードを見ずに、ユーザーがこのサービスで行う最も重要なことを三つ書き出すよう、全員に頼んでください。リストを比べ、プロダクト、運用、サポートの違いを書き留めます。次に、そのジャーニーのうちどれに今 SLI があるかを尋ねます。ファシリテーターは、測定のない重要なジャーニーと、どのジャーニーも表していない測定を探してください。

2. SLO が 99.9 パーセントで、それを達成したら、ユーザーは満足しているか。それをどうやって知るか。 現在の SLO を、直近四半期のサポートへの連絡、苦情、満足度の結果の隣に置きます。両者が一致しているかを尋ねてください。SLO が緑なのにユーザーが不満なら、SLI か目標に手を入れる必要があります。ユーザーが満足しているのに SLO が赤なら、目標が誰の必要よりも厳しすぎるのかもしれません。目標と体験を近づけるための行動を一つ合意します。

3. エラーバジェットが尽きたら、実際に何を変えるか。 現在のエラーバジェットポリシーを声に出して読むか、なければ一緒に下書きします。誰が何を止めるのか、例外を認める権限は誰にあるのかを尋ねてください。ファシリテーターは、一般的な意図ではなく、重要でないリリースの一時停止や、名前の挙がった人を信頼性の仕事に移すといった具体的な行動を求めます。誰も守られると思っていないポリシーは、ないよりも悪いものです。

4. バジェットに余裕があるからとリスクを取ったのは、最後にいつか。 チームがバジェットを使っているのか、守っているだけなのかを話し合います。直近の四半期を見て、リリースが遅いのにバジェットがほとんど手つかずの時期がなかったかを確認してください。安全だと分かっていたら何を試したかを尋ねます。この問いは過度の慎重さを浮かび上がらせ、答えはしばしば、カナリアリリース、トグル、より速いパイプラインなど、チームがバジェットをうまく使えるようになるものを指します。

5. 直近の悪いインシデントに間に合ったアラートはどれで、無駄に鳴ったのはどれか。 直近の重大なインシデントを取り上げ、アラートの履歴を重ねて再生します。届いたページの数、影響の開始からどれだけ後だったか、バジェットをほとんど消費しない出来事のために届いたページの数を数えます。バーンレートのアラートならもっとうまくいったかを話し合ってください。目標は、それぞれに担当者の付いたアラート変更の短いリストであり、誰が当番だったかという責任追及の議論ではありません。

6. 各 SLO のオーナーは誰で、最後に意図して SLO を変えたのはいつか。 SLO を並べ、それぞれの隣にチームか役割としてオーナーを書きます。それぞれが最後にいつ見直され、何が変わったかを尋ねてください。一年間誰も触れていない SLO は、もう意思決定の材料になっていないという兆候です。それぞれの見直し日を合意し、役に立たなくなった SLO を廃止する権利を誰が持つかも合意します。

四つの視点

プロダクトチームとデリバリーチーム

デリバリーチームは、どのくらいの速さで進むかについての明確なルールを得ます。バジェットが残っているときは、より頻繁にリリースし、より大胆な変更を試せます。残りが少ないときは、長い交渉をせずに、信頼性の仕事をバックログに載せます。どのジャーニーが重要かを知っているので、指標の選択を手伝うべきであり、新機能は最初から SLI を念頭に置いて計装するべきです(トピック2.8「DORAメトリクス」を参照)。バジェットは計画に使うチームの資源であり、隠すための数字ではありません。

サービスチームと運用チーム

運用チームは、SLO を使って、ページに値するものと朝まで待てるものを決めます。バーンレートによるアラートはノイズを減らし、当番の仕事をユーザーが感じることに結び付けます(トピック5.7「トイルとオンコールのメトリクス」を参照)。SLI の定義を誠実に保ち、その背後のテレメトリを維持し、バジェットのコストをインシデントと問題のレコードに記録します。

リーダーシップとガバナンス

リーダーは三つの問いを投げかけるべきです。目標は何か、バジェットはどれだけ残っているか、尽きたら何をするのか。エラーバジェットポリシーに署名し、ポリシーが減速を求めたときにはチームを支えます。SLO の遵守をボーナスの指標にするのは避けてください。定義を狭め、緩い目標を設定することを招くからです。

顧客とユーザー

顧客は、目標が自分たちの必要を反映し、サービスがそれに対してどう機能しているかを見られるときに利益を得ます。遅さや停止への許容度は、作業の種類や時間帯によって異なるため、目標を設定するときには意見を聞くべきです。満足度や手間といった体験の測定は、SLO がユーザーの感じることを捉えているかを確かめます(トピック6.1「顧客満足度のメトリクス」を参照)。

実践:アジャイルITILの例

中規模のオンライン小売業者に、チェックアウトチーム、プラットフォームチーム、サービスデスクがあります。チェックアウトサービスは事業にとって重要です。この例の数字はすべて説明用です。

チームは「注文の支払い」というジャーニーに一つの SLI を定義します。ロードバランサーで測定し、2 秒以内に成功を返した有効な支払いリクエストの割合です。有効なリクエストからは、チーム自身の負荷テストと、不正対策サービスが設計どおりに拒否したリクエストを除きます。SLO は直近 28 日のローリングで 99.9 パーセントです。このウィンドウでは有効なリクエストが 12,000,000 件と見込まれるので、バジェットは 12,000 件の不良リクエスト(0.1 パーセント)です。プロダクト責任者とプラットフォーム責任者が署名したエラーバジェットポリシーには、三つのレベルがあります。バジェットの 50 パーセントを使った時点で、リスクのある変更には二人目のレビュアーとカナリアロールアウトが必要です。75 パーセントの時点で、次の計画の話し合いで信頼性の仕事が優先されます。100 パーセントの時点で、バジェットが回復するまで、重要でない機能のリリースを一時停止します。

ウィンドウの 10 日目に、チームはこれまでに見込まれる約 4,285,714 件のうち 7,800 件の不良リクエストを確認します。SLI の達成率は約 99.82 パーセント、バジェットの 65 パーセントを消費済みで、ウィンドウは 36 パーセントしか経過していません。この期間のバーンレートは約 1.8 で、このペースだと 15 日目あたりでバジェットがなくなります。失敗のうち 5,000 件は、悪いデプロイによるものでした。インシデントのレコードによると、失敗は 22 分間続き、重大インシデントのレビューでパイプラインのチェック漏れが特定され、インシデントのバジェットコストは問題レコードに記録されます(トピック4.1「問題管理のメトリクス」を参照)。

チームはポリシーに従います。第二レベルの行動がすぐに適用され、リスクのある変更にはカナリアロールアウトが必要になり、計画会議ではパイプラインのチェックが作業キューの先頭に移されます。プロダクトオーナーは、緊急ではないプロモーション機能の一時停止を受け入れます。28 日目には、バジェットの 94 パーセントが使われ、チームは目標の範囲内でウィンドウを終えます。

ゲーミングのリスクは、レビューで現れます。小売業者の検索サービスを運用する別のチームは、四半期を 99.95 パーセントと報告しましたが、サービスデスクは「検索が動かない」という連絡の増加を記録していました。調べたプラットフォームチームは、検索チームが「有効」を再定義し、5 秒以内に再試行されたリクエストを除外していたことを見つけました。これにより、多くの実際の失敗が消えていました。レビューは元の定義を復元し、その四半期を修正して報告し直し、二つの防護柵を加えました。定義のどんな変更も理由とともに SLO の文書に記録すること、そして SLI の達成率を毎月サポートへの連絡と比べることです。誰も嘘をついておらず、変更はノイズを減らすために行われたので、対応は叱責ではなく、より明確な定義でした。

業種別の視点

スタートアップ。 最も重要なジャーニーについて、エッジで測定した一つの SLO から始め、一ページに収まる単純なポリシーを添えます。数十の SLO のためのプラットフォームを作らないでください。バジェットは、小さなチームが金曜日にリリースすべきかをめぐる議論を減らす助けになります。

小規模事業。 小規模事業はホスト型のツールやサプライヤーに頼ることが多いので、SLI はサプライヤーのステータスデータや単純な外部プローブから得られるかもしれません。サプライヤーのサービスレベルを書面で読み、自分たちの必要と照らし合わせて確認してください。

エンタープライズ。 多くのサービス、チーム、サプライヤーがあると、一貫性の重要性が高まります。SLO 文書の共有テンプレート、共通の台帳、達成率とバジェットを計算する標準的な方法を用意すれば、リーダーは定義をめぐって争わずに比較し、集約できます。SLO はサービスチームが所有し、台帳は中央で管理します。

政府・公共部門。 サービスは法定の目標や公表された目標を満たさなければならないことが多く、失敗が公に報告される場合もあります。契約上または法定の約束を内部の目標から切り離し、内部の SLO をより厳しくしてください。監査のために SLI の定義、除外、データの系譜を文書化し、アクセシビリティと、別の提供者を選べないユーザーへの配慮を計画します(トピック8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

動機は、信頼性についての議論を減らし、判断を良くすることです。目標がなければ、信頼性の仕事は、最も声の大きい人の強さで機能と競い合います。目標とバジェットがあれば、トレードオフは見える形で事前に合意され、ユーザーは必要なだけ信頼できるサービスを得られ、チームはその点を超えた信頼性にコストを払わずに済みます。

コストは四つの部分からなります。第一は設計で、ジャーニー、指標、目標を選び、ポリシーを書くためのワークショップです。第二は計装で、適切な場所のテレメトリ、プローブ、イベントを達成率とバジェットに変えるパイプラインです(トピック1.5「データソースと計装」を参照)。第三は運用で、アラートルール、ダッシュボード、四半期ごとのレビュー、定義を最新に保つ時間です。第四は、ポリシーが機能の仕事を止めたときの機会費用で、これは合意を守るコストであり、プレッシャーがかかる前に合意しておく理由です。

リターンは、チームが自分で追跡できるパターンに現れます。対応が不要だったページの減少、リリースすべきかをめぐる議論の短縮、大規模インシデントの後ではなくバジェットが尽きる前にスケジュールされる信頼性の仕事、顧客にとっての驚きの減少です。利益は、当番期間あたりのページ数や、最大のインシデントが消費したバジェットの割合など、導入前後のチーム自身の数字を比べて説明してください。

アンチパターンと落とし穴

  • SLO が多すぎる。 数十の目標は注意を分散させ、どれが重要かを誰も言えなくなります。重要なユーザージャーニーから始め、残りは廃止します。
  • SLO が SLA と同じになる。 一つの数字を両方として報告すると、安全マージンが失われ、エンジニアリングのルールと商業上の約束が混ざります。目標は合意よりも厳しく保ちます。
  • 強制されないポリシー。 バジェットが尽きても何も変わらなければ、この実践は信頼を失います。リーダーにポリシーへ署名してもらい、すべての例外を理由とともに記録します。
  • バジェットを人のスコアカードとして使う。 消費したバジェットでエンジニアや当番の担当者を順位付けすると、人はインシデントを隠し、定義を狭めます。バジェットはサービスに帰属させ、原因はシステムのレベルで話し合います(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
  • あらゆる低下でアラートを出す。 生の症状でページを出すとアラート疲れを生み、ページを無視するよう人を慣らします。バーンレートでページを出し、ゆっくりした燃焼はチケットに送ります。
  • 設定して忘れる。 誰も見直さない SLO は、ユーザーの必要から離れていきます。四半期ごとのレビューを予定し、何がなぜ変わったかを記録します。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
指標と目標 信頼性は言葉で説明され、サーバーの稼働時間が報告される 一部のチームが SLI を定義する。目標はまちまちで、めったに見直されない 重要なユーザージャーニーに、共有テンプレートで文書化された SLI と SLO がある SLO は傾向が追跡され、ユーザーのフィードバックと照合され、根拠をもって厳しくも緩くもされる SLO は顧客やサプライヤーと合意され、依存するサービスや契約と整合している
エラーバジェットとポリシー バジェットがない。信頼性と機能は議論で決まる 一部のサービスでバジェットが計算されるが、合意された結果はない プロダクトと運用が署名した、明確なトリガーを持つ文書化されたポリシーがある ポリシーの遵守が測定され、例外がレビューされ、バジェットがリリース計画に反映される 依存関係を共有するチーム間でバジェットの判断が調整され、状況に応じてポリシーが改訂される
アラートと対応 生のリソースに対するしきい値アラートで、ページが多い 一部にバーンレートのアラートがあるが、しきい値は例からの借用である 主要な SLO に複数ウィンドウのバーンレートアラートがあり、ゆっくりした燃焼にはチケットが使われる アラートの質が測定され、過去のインシデントを使って調整される アラートがサービスチェーン全体で整合し、合同のレビューによって改善が進む

チェックリスト

  • サービスの重要なユーザージャーニーが列挙され、それぞれがユーザーの側から書かれている。
  • それぞれの SLI が、有効なイベントに対する良いイベントとして定義され、除外が書き留められている。
  • レイテンシの SLI は、平均ではなく、パーセンタイルと明記されたしきい値を使っている。
  • それぞれの SLO が、目標、ウィンドウ、SLI を測定する場所を明記している。
  • SLO はどの SLA よりも厳しく、両者は別々に報告されている。
  • エラーバジェットポリシーがあり、プロダクトと運用のリーダーが署名し、誰が例外を認められるかが明記されている。
  • バーンレートのアラートは少なくとも二つの振り返り期間を使い、ゆっくりした燃焼はページではなくチケットを作る。
  • 各インシデントのレコードに、消費したバジェットが示されている。
  • SLI の達成率が、毎月サポートへの連絡と満足度の結果と比べられている。
  • すべての SLO にオーナー(チームか役割)と見直し日があり、変更が理由とともに記録されている。
  • SLO の結果は、個人の順位付けや報酬に使われていない。

AI プロンプト

ユーザージャーニーから候補の SLI を下書きする。

I run [service name], used by [type of users] to do [list of critical user
journeys]. We can measure at [list of measurement points, for example load
balancer, application logs, synthetic probe]. For each journey, propose one or two
candidate SLIs written as good events over valid events, with a suggested
definition of "good," "valid," and exclusions. Note the strengths and blind spots
of each measurement point. Do not invent target values or benchmarks; ask me what
users tolerate. List your assumptions.

エラーバジェットポリシーを下書きする。

Help me draft an error budget policy for [service name] with an SLO of [target]
over [window]. Stakeholders are [product role] and [operations role]. Propose
trigger levels, the action at each, who may grant an exception and how it is
recorded, and how the policy is reviewed. Keep it to one page and flag decisions
that need a human sponsor. Do not invent thresholds from other organizations;
present options and trade-offs. List your assumptions.

SLO のゲーミングのリスクをレビューする。

Here is our SLO document for [service name]: [paste SLI definition, exclusions,
target, window, and change log]. Identify ways the SLI could be narrowed, the
window or target changed, or events excluded in a way that would make results look
better than the user experience. For each risk, suggest a guardrail metric or
practice. Do not assume intent. List your assumptions and the questions I should
answer.

AI スキル

  • Agile ITIL Metrics スキル:可用性、アラートの質、重大インシデントなどの関連トピックと、各 SLO の測定値の隣に置くべき防護柵を見つけるために使います。
  • Agile ITIL Metrics メンテナースキル:このトピックの編集が、ゲーミングの表のすべてのメトリクスと、タイトル付きのすべての相互参照を保っているかを確認するために使います。

重要なポイント

  • ユーザーが行うことから少数の SLI を選び、それぞれを有効なイベントに対する良いイベントとして表します。
  • 100 パーセント未満の SLO はリスクについての決定であり、エラーバジェットは、その決定が変更のために残す余地です。
  • エラーバジェットポリシーは事前に書き、リーダーシップのレベルで署名し、すべての例外を記録します。
  • 複数の振り返りウィンドウでバーンレートにアラートを出し、ページが目標への本当のリスクを反映するようにします。
  • 定義を守ります。すべての変更を記録し、SLI の結果をユーザーの報告と比べます。
  • バジェットはサービスとチームに帰属させ、個人には決して帰属させず、各 SLO を少なくとも四半期ごとに見直します。

参考文献とさらなる読み物

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  4. "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
  5. "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Site reliability engineering.
  9. Wikipedia, Service level indicator.
  10. Wikipedia, Service-level objective.
  11. Wikipedia, Service-level agreement.
  12. Wikipedia, Availability.
  13. Wikipedia, Percentile.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Canary release.