概要と動機

サービスレベル合意(SLA)は、サービス提供者と顧客の間で、サービスが何を提供するかについて文書化されたコミットメントです。対象は、提供時間、可用性、提供者がインシデントにどれだけ早く対応して解決するか、リクエストをどれだけ早く履行するかです。ITIL 4(フレームワークの所有者である、現在は PeopleCert 傘下の AXELOS が発行した2019年版)では、サービスレベル管理プラクティスがこれらの目標を定義し、監視し、報告します。運用レベル合意(OLA)は社内版にあたり、同じ組織のチーム間の合意です。たとえば、顧客向けの SLA を満たすために、サービスデスクとネットワークチームがそれぞれ何をどれだけ早く行うかを定めます。支援契約(underpinning contract)は、外部のサプライヤーに対して同じ役割を果たします(トピック8.4「サプライヤーと契約のメトリクス」を参照)。

体験レベル合意(XLA)は、三つの中で最も新しいものです。人々がサービスをどう体験するかという観点で、合意された成果を記録します。たとえば、仕事がどれだけ楽に片付いたか、やり取りをどう感じたか、サービスが目標の達成に役立ったかどうかです。SLA は満たされていても利用者が不満を抱えていることがあるため、この考え方はサービスマネジメントの実務で広がってきました。このトピックは三つの合意とその報告を扱います。体験をどう測定するかの詳細はトピック6.2「体験レベル合意」に、目標のエンジニアリング側の対応物はトピック5.2「SLI、SLO、エラーバジェット」に属します。

三つのアジャイルと信頼性の概念が、これらの合意の隣に位置します。サービスレベル指標(SLI)は、リクエストが成功して処理された割合のような、サービスの測定された性質です。サービスレベル目標(SLO)は SLI に対する社内の目標で、通常は顧客に約束したものより厳しく設定されます。サイト信頼性エンジニアリング(SRE)のプラクティスは、SLO と、そこから導かれるエラーバジェットを、プロダクトと運用が共有する意思決定の道具として扱います。SLA は契約、SLO はエンジニアリング上の狙い、SLI は測定です。三つを分けておくと、契約上のペナルティ条項が日々のエンジニアリングの判断を左右してしまうという、よくある混乱を避けられます。

この家族には、ウォーターメロン報告(watermelon reporting)と呼ばれるよく知られた失敗があります。外側は緑で、内側は赤い報告です。SLA のすべての行が達成と表示されているのに、顧客は不満を抱えています。測定値が、顧客が気にすることではなく提供者が確実に達成できることのために選ばれたか、平均が悪い裾を隠したか、最悪の待ち時間の間ずっと時計が止められていたためです。対処は、一部は技術的(パーセンタイル、正直な時計、利用者中心の指標)であり、一部は社会的(対話として交渉され、ケイデンスでレビューされ、チームへの判決ではなくサービスへの問いとして読まれる合意)です。目標になってしまう測定値についてのより広い警告は、トピック1.2「グッドハートの法則とメトリクスの心理学」にあります。

アジャイルのチームは目標と予算で考え、ITIL のサービスレベルマネージャーは合意とレビューで考えます。二つの見方は組み合わさります。合意が成果を述べ、目標と指標はチームが約束を守る方法であり、体験の測定値がそれに意味があったことを確認します。

最後に一つ用語です。パーセンタイルは、観測の述べられた割合がそれを下回る値です。解決時間の85パーセンタイルは、チケットの85パーセントが解決された時間です。ほとんどの SLA の目標はパーセンタイルまたは割合として書かれるため、パーセンタイルをどう計算し、何を含めるかが、このトピックの中心です(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。

重要な原則

  • 顧客と成果に合意し、それから測定する。 合意とは、顧客が必要とし、提供者が持続できることについての交渉された記述であり、顧客の言葉で書かれ、一緒にレビューされます。
  • 分布と割合を報告し、単一の平均は決して報告しない。 目標を満たす平均解決時間の下に、非常に遅れた仕事の長い裾が隠れていることがあります。パーセンタイル、母集団、件数を述べます。
  • 時計を正直にする。 どの目標にも、開始イベント、停止イベント、一時停止の条件の一覧があります。時計のルールを公開し、それぞれの一時停止がどれだけ使われているかを報告します。
  • 合意を階層にする。 SLA は OLA とサプライヤー契約の上に築かれ、チーム内で設定する目標は、外に向けた約束よりも厳しくあるべきです。どの階層のギャップも、最上位では違反として現れます。
  • すべての運用の測定値を、体験の測定値と組にする。 目標が達成されているのに体験が悪い、またはその逆は、報告で最も役に立つシグナルです。
  • ニアミスを数える。 限界の内側ぎりぎりで終わった仕事は、はるか内側で終わった仕事よりも、リスクについて多くを教えてくれます。
  • チームとサービスについて報告し、人については決して報告しない。 合意は、サービスやチームが何にコミットするかを記述します。個人を順位づける手段ではありません。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
SLA 達成率 期間内に、測定された項目(インシデント、リクエスト、または時間枠)のうち、述べられた SLA の目標を満たしたものの割合 目標を満たした項目を、測定された項目で割る。時計は合意で定義された記録時刻(たとえばチケットの作成)で始まり、定義された停止イベント(たとえば復旧の確認)で止まる。除外:重複としてキャンセルされた項目と、計画メンテナンスのような合意された除外の間の時間。割合の隣に件数を報告する パーセント(n 付き) ITSM ツールのタイムスタンプ、時間ベースの目標には監視データ サービスレベル管理、インシデント管理、サービスリクエスト管理 ローリングウィンドウ上のサービスレベル目標の達成(トピック5.2「SLI、SLO、エラーバジェット」を参照) 月次、週次の内部ビュー付き
ニアミスの割合 目標は満たしたが、許容時間の最後の10分の1以内で終わった項目の割合 目標時間の90パーセント以上で終わり、かつ目標内に収まった項目を、目標を満たした項目で割る。時計は SLA と同じ。時間枠には該当しない(目標までの時間の測定値にのみ適用される) パーセント ITSM ツールのタイムスタンプ サービスレベル管理 フローチャート上の、サービスレベル期待に近い仕事の割合(トピック2.1「フロー指標」を参照) 月次
時計の一時停止の割合 SLA の時計を止める状態で費やされた、チケットの経過時間全体の割合 対象の項目について、一時停止時間の合計を、開始から停止までの経過時間の合計で割る。一時停止状態を使わなかった項目は除外する。一時停止状態別に報告する パーセント ITSM ツールのステータス履歴 サービスレベル管理、インシデント管理 フロー視点での、ブロックされた時間と待ち時間(トピック2.4「バリューストリームのメトリクス」を参照) 月次
OLA 達成率 二つのチーム間の社内の引き継ぎのうち、OLA の目標を満たしたものの割合 OLA の目標内に完了した引き継ぎを、受け取った引き継ぎで割る。時計は受け手のチームが割り当てられたときに始まり、それが項目を返すか閉じたときに止まる。除外:誤って再割り当てされた項目(別に数える) パーセント(n 付き) ITSM ツールの割り当て履歴 サービスレベル管理、インシデント管理 チーム間の引き継ぎの待ち時間とブロックされた仕事(トピック9.3「協働と引き継ぎのメトリクス」を参照) 月次
引き継ぎの待ち時間(85パーセンタイル) 作業が始まる前に、項目が受け手のチームのキューで待つ時間 受け手のチームへの割り当てから、そのチームによる最初の記録された行動までの時間の85パーセンタイル。除外:顧客を待っている項目 時間または分 ITSM ツールの割り当てと活動の履歴 サービスレベル管理、インシデント管理 フロー視点でのキュー時間(トピック2.3「仕掛かり作業と待ち行列」を参照) 週次
ジャーニー別の体験スコア 新しいノートパソコンを入手する、障害から回復するといった、定義されたジャーニーを、サービスがどれだけ支えたかについての顧客または利用者の評価 期間内に完了したジャーニーについて、固定の尺度による調査評価の平均と分布。回答率と回答者の構成を報告する。除外:途中までの回答。単一の平均ではないので、分布を示す 評価尺度(回答率付き) やり取りの後の短い調査、ITSM ツールからのジャーニーのイベント サービスレベル管理、顧客満足のプラクティス(トピック6.1「顧客満足度のメトリクス」を参照) 顧客のフィードバックと成果の測定値 月次、各ウェーブを示す
ウォーターメロンギャップ SLA が達成と読めるのに、体験の測定値または利用者への影響の測定値が悪いと読める報告期間またはサービスの割合 SLA 達成率が目標以上で、かつ体験が合意された水準を下回るサービス(または期間)を、SLA 達成率が目標以上のサービス(または期間)で割る。体験の水準は、期間を採点する前に合意されていなければならない 緑のサービスのパーセント SLA 達成率と体験スコアの組 サービスレベル管理、継続的改善 成果に対する結果のレトロスペクティブ 四半期
合意のカバレッジと鮮度 SLA、OLA、サプライヤー契約が存在し、合意された間隔内にレビューされている稼働中サービスの割合 三つの階層すべてが文書化され、間隔内にレビューされたサービスを、サービスカタログ(ITIL 自身の綴りでは service catalogue)の稼働中サービスで割る。間隔は組織が定める。除外:廃止中のサービス パーセント サービスカタログと合意の台帳 サービスレベル管理、サービスカタログ管理、サプライヤー管理 定期的にレビューされるワーキングアグリーメントとチームチャーター 四半期

推奨事項

合意を整える

1. それぞれの SLA を顧客の言葉で書き、一つの成果に結びつける。 「ロックアウトされた従業員がすぐに仕事に戻れる」のような、顧客が必要とすることから始め、それから測定値を選びます。意味のある少数の目標を持つ短い合意は、誰も読まない長い合意に勝ります。各目標の時計を書き留めます。開始イベント、停止イベント、一時停止の条件です(トピック3.3「インシデントの対応時間と解決時間」を参照)。

2. 目標を、母集団を明記したパーセンタイルまたは割合として述べる。 「優先度2のインシデントの90パーセントを4時間以内に復旧する」は、「平均復旧時間は2時間未満」よりも多くを伝えます。何を数えるかに合意します。どの優先度か、どの時間帯か、どのリクエストの種類かです。件数をすべてのパーセンテージに添え、インシデントが8件の月が800件の月のように読まれないようにします。

3. SLA から OLA を導き、それぞれに名前のあるオーナーチームを置く。 顧客の目標から逆算します。顧客に4時間以内の復旧を約束しているなら、OLA は、検知、トリアージ、引き継ぎ、修正のための余地を残さなければなりません。それぞれの OLA を、受け手のチーム、期待される応答時間、紛争の経路を持つ短い相互の合意として書きます。OLA はチームが計画するのを助けるために存在するので、関係が許す限り軽くしておきます。

4. 目標を約束より厳しくしておく。 社内の SLO を SLA より厳しい水準に設定し、悪い週が、顧客から見える違反になる前に気づかれて修正されるようにします(トピック5.2「SLI、SLO、エラーバジェット」を参照)。SLA を、財務と法務が気にする下限として扱い、SLO を、エンジニアが舵取りに使う数字として扱います。エラーバジェットを、プロダクトと運用が機能開発と信頼性向上の仕事のどちらを選ぶかを決める方法として使います。

正直に測定する

5. 時計のルールを公開し、一時停止について報告する。 緑の報告への最も一般的な道は、寛大な一時停止状態です。たとえば、待っているのが提供者のほうなのに使われる「顧客待ち」です。一時停止状態別に時計の一時停止の割合を報告し、毎月、一時停止されたチケットをいくつかサンプルし、顧客が時計を止めるべきだったことに同意するかを問います。許される一時停止の理由の一覧は短く保ち、合意に書き込みます。

6. 目標の隣に分布全体を示す。 中央値、85または95パーセンタイル、最悪の10分位を、達成率の隣に置きます。一律の95パーセントの達成は、何日もかかった仕事の裾を隠すことがあります(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。

7. ニアミスと違反の原因を追跡する。 ニアミスの割合は、緑の数字にどれだけ運が含まれるかを教えてくれます。違反が起きたら、原因のカテゴリと、それが容量、引き継ぎ、サプライヤー、定義のどの問題だったかを記録します。最大のカテゴリを問題管理につなげます(トピック4.1「問題管理のメトリクス」を参照)。

8. 達成率だけでなく OLA のキューを測定する。 85パーセンタイルの引き継ぎの待ち時間は、SLA 違反が現れるずっと前に、仕事がどこで滞るかを示します。送り手と受け手の両方のチームと共有し、二つの間のフローの性質として説明します。会話はキューについてであり、その中にいる人々についてではありません(トピック2.3「仕掛かり作業と待ち行列」を参照)。

体験を加えてギャップを閉じる

9. それぞれの SLA を、同じジャーニーの体験の測定値と組にする。 やり取りの後に、それがうまくいったか、どれだけ大変だったかについて短い質問を利用者にし、回答率と回答者の構成を報告します。どの水準が十分に良いかをあらかじめ合意しておき、XLA が後から作り上げた数字ではなく、交渉された成果になるようにします(トピック6.2「体験レベル合意」とトピック6.1「顧客満足度のメトリクス」を参照)。

10. ウォーターメロンギャップを報告し、発見として扱う。 SLA が達成される一方で体験が悪い頻度を追跡します。ギャップの拡大は、SLA の測定値が利用者の気にすることから離れつつあることを示しており、正しい対応は、食い違いを説明することではなく、測定値を改めることです。顧客の代表が同席して、四半期ごとにレビューします。

11. 合意をスケジュールに沿ってレビューし、誰も使わないものは廃止する。 それぞれの合意を、サービスカタログ、サプライヤー契約、実際の仕事と照らし合わせて確認します。稼働中の合意が少ないほうが、報告しやすく、ゲーミングしにくくなります。

12. 各サービスを、三つの階層すべてを組み合わせた一つのビューで報告する。 各サービスについて、SLA 達成率、分布、OLA の引き継ぎの待ち時間、体験スコア、進行中の改善の仕事を一つのページに示します。状態は、サービスオーナーが選んだ色ではなく、データから導きます。ページを顧客とチームに開きます(トピック11.1「サービスメトリクスのダッシュボード設計」を参照)。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
SLA 達成率 目標を達成しやすく選ぶ。チケットを早く閉じて後で再オープンする。優先度を下げて再分類する。難しいケースを「対象外」として除外する 再オープン率と優先度の再分類率、顧客と一緒に読むクローズ済みチケットのサンプル、四半期ごとの除外リストのレビュー
ニアミスの割合 限界の1分前に時計を止め、その後、記録に残さず作業を続ける。チケットを二つの短いものに分割する 最後の顧客とのやり取りから復旧確認までの時間、インシデントあたりのリンクされた子チケットの数
時計の一時停止の割合 顧客を待っていないチケットで一時停止状態を使う。仕事を数えられない状態に移す サンプルで監査した一時停止の理由、顧客に取り消された一時停止の割合、一時停止されたチケットの体験スコア
OLA 達成率 引き継ぎを送り手に突き返して時計をやり直す。作業を始めずに項目を受け入れ済みにする 項目あたりの差し戻し回数とチーム全体での復旧までの総時間、エンドツーエンドの SLA の成果
引き継ぎの待ち時間(85パーセンタイル) 待ちを隠すために、チームのキューではなく個人に割り当てる。形だけの最初の行動を記録する 最初の行動の質のサンプル、割り当てから顧客に見える最初の更新までの時間
ジャーニー別の体験スコア 満足している利用者にだけ調査を送る。誘導的な質問をする。回答者に高い評価をつけるよう指導する 母集団に対する回答者の構成、スコアの隣に示す回答率、レビューで読む自由記述のコメント
ウォーターメロンギャップ ギャップが小さいままになるよう体験の水準を低く設定する。下がったときに体験の測定値を変える あらかじめ合意された体験の水準と、理由付きで記録された変更、分布全体のトレンド
合意のカバレッジと鮮度 実際のレビューなしに合意をレビュー済みとする。中身のない文書を SLA として数える レビューの証拠(出席者、変更、決定)、実際の内容と顧客の承認について読まれる合意のサンプル

健全な読み方では、達成率は理解できる理由で動き、ニアミスは少なく説明がついていて、一時停止は合意された一覧の範囲に収まり、引き継ぎの待ち時間はそれを所有するチームによって議論され、体験の測定値は SLA とおおむね一致します。二つが食い違うところでは、チームはすでに原因のメモと改善項目を持っています。

トレードオフ:長所と短所

アプローチ 強み 弱み
ペナルティ付きの契約上の SLA 明確で、執行可能で、法的に認められる 時計のゲームや防衛的な報告を促す。ペナルティは関係を損なうことがある
ペナルティなしで、定期的にレビューする SLA 信頼と正直なデータを築く。学びに焦点を当てる サプライヤーが目標を繰り返し外すときの交渉力が小さい
すべてのチーム間の詳細な OLA 明確な期待と少ない紛争 官僚主義。チームが顧客の時計ではなく自分の時計に最適化する
共有されたエンドツーエンドの目標を伴う軽い OLA 協力を促す。書類が少ない 紛争を解決するには、信頼と良好なキューの可視性が必要
SLA に XLA を加える サービスが人々の役に立っているかを示す 調査データはノイズが多く遅い。要因の特定が難しい

合意は小さく保ち、分布を報告し、体験のデータを運用のデータの確認に使ってください。時計のルールと引き継ぎに労力をかけます。数字をめぐる意見の相違の大半は、そこで生じるからです。

チームで話し合う問い

1. SLA の報告がすべて緑なら、利用者はサービスについて何と言うと私たちは予想するか。 数か月間緑だったサービスを一つ挙げてもらい、利用者がコメントや苦情で実際に言っていることを集めます。二つを比較します。ファシリテーターは、測定値と実際の体験とのギャップを探し、達成しやすいという理由で選ばれた測定値に注目します。

2. 私たちの時計はどこで止まり、それは誰が決めたのか。 重要な目標を一つ選び、開始、停止、一時停止のルールを順にたどり、それぞれを誰が書いたかを尋ねます。一時停止状態にあるチケットの割合を見て、顧客が同意するかを問います。厳しくする、または明確にするルールを一つ合意します。

3. 私たちの OLA のうち、チームが計画するのに役立つものはどれで、単に責任を押しつけるものはどれか。 社内の合意を一覧にして、それぞれを誰がいつ読むかを尋ねます。OLA を外したあとに何が起きるかを話し合います。キューについての会話か、落ち度探しかです。狙いは、議論をチーム間の仕事のフローに向けることです。簡素化または廃止する OLA を一つ選びます。

4. 私たちの緑のどれだけが運なのか。 最も重要な目標のニアミスの割合を示します。来月、難しいケースが少し増えたり、対応できる人が少し減ったりしたら何が起きるかを話し合います。チームに余裕があるか、それはどこにあるかを問います。

5. 顧客が約束してほしいと思うことのうち、今日は測定していないものは何か。 顧客の代表または利用者に、自分たちにとって大切なことを自分の言葉で説明してもらいます。たとえば、人に連絡が取れること、初日の前にノートパソコンが届くことです。二つか三つの成果を書き留めます。そのどれが短い調査の質問や、すでにデータにあるイベントになりうるか、そして良い水準にどう合意するかを決めます。

6. SLA の測定値が利用者の気にすることから離れてしまったら、どうやってそれに気づくのか。 ウォーターメロンギャップをシグナルとして話し合い、誰がそれを見ているかを問います。合意がどのくらいの頻度でレビューされ、顧客が出席しているかを検討します。レビューの日付と、持ち寄る証拠を合意します。証拠には、チケットのサンプルと最新の体験の結果を含めます。

四つの視点

プロダクトチームとデリバリーチーム

自分たちのサービスも運用するデリバリーチームは、自分たちの目標とエラーバジェットを通じて SLA を満たし、SLA のペナルティや顧客のエスカレーションが計画した仕事を中断させたときに、そのコストを感じます。SLO を SLA より厳しく保ち、SLA を日々の目標ではなく安全のための下限として扱うべきです(トピック5.2「SLI、SLO、エラーバジェット」を参照)。

サービスチームと運用チーム

運用チームは時計を担います。開始、停止、一時停止の条件の明確なルール、受け手のキューの名前を挙げた共有の OLA、引き継ぎの待ち時間の可視性が必要です。違反の原因を率直に報告し、問題とキャパシティの仕事への入力として使うべきです(トピック4.1「問題管理のメトリクス」を参照)。原因を直す代わりに、時計を通じて結果を説明しようとする圧力に抵抗すべきです。

リーダーシップとガバナンス

リーダーは SLA の報告を、コミットメントが守られているか、どこに投資するかを見るために使います。分布、時計の一時停止の割合、ニアミスの割合、ウォーターメロンギャップを求め、途切れなく続く緑に好奇心を持って向き合うべきです。違反の分析に続く改善の仕事に資金を出すことと、正直な報告を非難から守ることは、目標そのものよりも重要です(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。

顧客とユーザー

顧客は、合意が自分たちの感じることを記述してほしいと考えています。問題がどれだけ早く直るか、どれだけ頻繁に再発するか、助けてくれる人に連絡できるかです。合意のレビューに参加し、緑の報告が自分の体験と合わないときにそう言える手段を持つべきです。違反の理由と計画された修正を添えた、読みやすい1ページの要約は、達成率の長い表よりも多くの信頼を築きます。

実践:アジャイルITILの例

地域の病院の IT 部門が、病棟のスタッフが使う臨床スケジューリングシステムを支援しています。サービスオーナー、サービスデスク、アプリケーションチーム、インフラチームが毎月集まります。以下の数字はすべて例示です。

SLA は、優先度2のインシデント(病棟に影響する機能の部分的な喪失)の90パーセントを、チケット作成から測って4時間以内に復旧すると約束しており、サービスは24時間、週7日です。月次の報告は、36件のインシデントで達成率94パーセント(例示)と、十分に緑であることを示します。優先度2のクローズごとに送られる体験調査の回答率は41パーセント(例示)で、5段階の尺度の中央値は3であり、サービスオーナーと病棟の管理者が XLA として合意していた4の水準を大きく下回っています。ウォーターメロンギャップは、3か月連続で見えています。

チームは分布を見ます。復旧の中央値は1時間40分(例示)ですが、95パーセンタイルは3時間50分(例示)で、ニアミスの割合は31パーセント(例示)です。「達成」したインシデントのほぼ3分の1が、許容時間の最後の10分の1で終わっていました。時計の一時停止の割合を見ると、経過時間の22パーセント(例示)が「顧客待ち」の状態で費やされています。一時停止されたチケット10件のサンプルでは、4件で病棟が返信していたのに次のシフトまでチケットが一時停止のままで、ほかの3件ではアプリケーションチームがインフラチームを待っていました。インフラのキューについての85パーセンタイルの引き継ぎの待ち時間は、30分(例示)の OLA に対して2時間10分(例示)で、その引き継ぎの OLA 達成率は58パーセント(例示)です。

決定は実際的です。「顧客待ち」は、顧客への文書化された依頼の後にのみ使ってよく、時計は次の返信で再開するよう、時計のルールを変更します。病棟の時間帯のインフラのキューにオンコールの経路を追加し、より小さな OLA に合意して、1か月後にレビューします。体験の測定値とウォーターメロンギャップを月次の1ページの報告に加え、病棟の管理者をレビューに招きます。また、社内の SLO を、インシデントの95パーセントを4時間以内に復旧するというより厳しいものに引き下げ、SLA が危うくなる前にチームが問題に気づけるようにします。

2か月目に、ゲーミングのリスクが現れます。一時停止のルールの変更後、達成率が89パーセント(例示)に下がり、マネージャーがサービスデスクに「優先度を再確認する」よう求めます。チームは優先度2から優先度3への格下げの急増に気づき、達成率を再分類率と再オープン率と組にして、優先度のあらゆる変更に記録上の理由を求めます。3か月目には、達成率は91パーセント(例示)で、95パーセンタイルは下がり、ニアミスの割合は減り、体験評価の中央値は3.8(例示)に上がっています。ギャップが縮まったのは仕事が改善したからであり、数字は信頼できます。

業種別の視点

スタートアップ。 小さな会社には、正式な SLA がまったくなく、数社の初期の顧客への非公式な約束だけであることがよくあります。サービスの提供時間、応答の目標、パーセンタイルとして述べた復旧の目標を挙げる1ページを書き、SLO はチーム内に置きます。顧客との会話が XLA の代わりになるので、最も重要な三つの顧客が毎月言うことを書き留めます。

小規模事業者。 小さな IT チームは通常、外部のサプライヤーに大きく依存しているので、社内の OLA よりも支援契約のほうが重要です。各サプライヤーのコミットメントが、自分の利用者に与える SLA と少なくとも同じ厳しさかを確認し、サプライヤーの実際のパフォーマンスを追跡します(トピック8.4「サプライヤーと契約のメトリクス」を参照)。達成率、ニアミス、短い利用者調査を載せた、月次のシンプルな1ページで十分です。

大企業。 大きな組織には、合意の台帳とカバレッジの測定値が必要です。ロールアップが意味を持つよう、サービス全体で時計のルールと定義を標準化します(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。管理層向けのロールアップでのウォーターメロン効果に注意してください。何百もの緑の行が、利用者に深刻な苦痛のある少数のサービスを隠してしまいます。

政府・公共部門。 公的機関には、法定のサービス基準、SLA を契約に固定する調達ルール、結果を公開する義務があることがよくあります。公開する測定値は明確で検証可能に保ち、時計のルールと証拠を監査のために保持し、市民を、レビューで発言権を持つ顧客として扱います(トピック8.5「規制対応・行政向け報告」を参照)。契約が硬直しているときは、契約の文言を変えずに、その隣に体験の測定値を加えます。

ビジネスケース:動機、ROI、TCO

合意のメトリクスを改善するビジネスケースは、信頼と、無駄な労力を避けることのケースです。利用者の感覚に合う報告は、エスカレーションと紛争を減らし、どちらの数字が正しいかをめぐる毎月の議論を短くし、リーダーが重要な仕事に資金を出せるようにします。明確な OLA は引き継ぎの遅れを減らします。それは、長い復旧の最大の要因の一つです。早期に見つかったウォーターメロンギャップは、顧客との関係や契約更新がうまくいかなくなる、より大きなコストを避けます。

コストは控えめです。合意を書いてレビューする時間、信頼できる時計と引き継ぎのデータ(トピック1.5「データソースと計装」を参照)、短い調査、月次のレビューです。総コストは合意の数に応じて増えるので、少なくて単純な合意のほうが、所有するコストは低くなります。

見返りは、驚きの違反が減ること、報告の説明に費やす時間が減ること、より十分な情報に基づく投資の選択として現れます。これらは計算ではなく、観察して時間とともに比較するパターンとして扱います。月次のレビューの労力を、自分の組織でエスカレーションされた紛争一件や失われた更新一件のコストと、自分のデータを使って比較してください(トピック7.7「投資対効果とビジネスケース」を参照)。

アンチパターンと落とし穴

  • 平均だけを報告する。 平均は、遅れた仕事の長い裾を隠します。パーセンタイル、ニアミスの割合、件数を報告します。
  • 達成しやすいものを中心に SLA を書く。 楽さのために選ばれた目標は、常に緑の報告を生みます。顧客が必要とすることから始め、ギャップを率直に示します。
  • 数字を良くするために時計を止める。 寛大な一時停止状態は、SLA を作り話にします。一時停止のルールを公開し、サンプルを監査し、一時停止の割合を報告します。
  • 武器としての OLA。 次のチームを責めるために使われる OLA は、チームに仕事を投げ返すことを教えます。外れたことをキューについての情報として扱い、フローを直します。
  • ペナルティ主導の報告。 重いペナルティは、防衛的な分類と時計をめぐる紛争を促します。ペナルティは控えめに使い、再オープン率と再分類率と組にします。
  • 回答率のない体験データ。 小さく自己選択されたサンプルによる高いスコアは誤解を招きます。すべての結果の隣に、回答率と回答者の構成を示します。
  • 誰もレビューしない合意。 古くなった合意は、もはや存在しないサービスを記述しています。レビューをスケジュールし、使われていないものを廃止します。
  • チームの合意から作られる個人の目標。 チームの SLA を個人のノルマに分割すると、慌ただしいクローズと順位づけにつながります。合意はサービスとチームのレベルに保ちます。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
合意の設計 口頭の約束やコピーしたテンプレート、習慣で選ばれた目標 一部に書かれた SLA がある。OLA はまれ。チームごとに時計が異なる 成果ベースの目標、パーセンタイル、書かれた時計のルールを持つ短いテンプレート 合意がケイデンスで、顧客とともにレビューされ、SLO に結びつけられている 条件の変化に応じて、SLA、OLA、サプライヤー契約、SLO の階層が一緒に調整される
測定の質 手作業の集計、平均、文書化されていない一時停止 一部のサービスにツールベースの達成率がある。一時停止の使用はレビューされない 一つの定義とデータソース、分布と一時停止の割合が示される ニアミス、違反の原因、引き継ぎの待ち時間がトレンド化されサンプルされる チーム横断とサプライヤーのデータが突き合わされ、定義は意思決定に役立たなくなったときに見直される
体験との結びつき SLA に結びついた利用者のフィードバックがない 一部のサービスに場当たり的な調査がある 主要なジャーニーに、回答率付きの短い調査がある 顧客と体験の目標が合意され、ウォーターメロンギャップが報告される 体験と運用の測定値が、顧客との共有された改善の仕事を導く
改善での活用 苦情の後に報告される 違反がチームの会議で話し合われる オーナーとアクションを伴う月次のレビュー 違反の原因が、資金のついた改善と問題の仕事に反映される 顧客、サプライヤー、チームが同じビューから一緒に改善を計画する

チェックリスト

  • それぞれの SLA が、その成果、パーセンタイルまたは割合としての目標、母集団を述べている。
  • すべての目標について、開始イベント、停止イベント、許される一時停止の条件が書かれている。
  • 顧客向けの各 SLA に、その範囲に収まる OLA またはサプライヤー契約があり、それぞれに名前のあるオーナーチームがいる。
  • 社内の目標が、約束された SLA の目標より厳しい。
  • 報告が、分布、件数、ニアミスの割合、時計の一時停止の割合を示している。
  • 一時停止されたチケットとクローズされたチケットのサンプルを、毎月読んでいる。
  • 各主要サービスに、合意された水準の体験の測定値があり、回答率が示されている。
  • ウォーターメロンギャップが追跡され、顧客の代表とレビューされている。
  • 合意はスケジュールに沿ってレビューされ、使われなくなったら廃止される。
  • 合意のメトリクスを、個人の順位づけに使っていない。

AI プロンプト

SLA の時計と文言の問題をレビューする。

Here is the text of our SLA for [service]: [paste agreement text]. The targets
are [list of targets], measured in [tool]. Identify ambiguities in the start
event, stop event, and pause conditions, places where an average could hide a
long tail, and wording a customer could read differently from us. Suggest
clearer wording and the questions I should ask the customer. Do not invent
benchmark values or legal conclusions. List your assumptions.

二つのチーム間の OLA の案を作る。

I need a short operational level agreement between [sending team] and
[receiving team] to support our SLA of [SLA target] for [service]. The typical
hand-off is [description], and the queue is [queue name or tool]. Draft a one
page OLA with the purpose, the expected response, the clock rules, a way to
settle disputes, and a review date. Keep the tone cooperative and do not suggest
penalties unless I ask. Do not invent target values; ask me for them. List your
assumptions.

私たちのデータにウォーターメロンギャップがないか調べる。

Here is a summary of SLA attainment and an experience measure for [list of
services] over [period]: [paste the table]. Identify services where the SLA reads
as met and experience reads as poor, and suggest possible explanations to
investigate, such as clock pauses, priority reclassification, or a poorly chosen
measure. Propose questions and a small sample of tickets to read for each. Do not
assume causes or invent thresholds. List your assumptions.

XLA のための短い体験調査を設計する。

We want to add an experience measure for [journey, for example getting a new
laptop] for [audience]. Draft [number] neutral questions, a plan for when and how
to send them, and how to report the response rate and respondent mix. Flag
wording that could bias answers and suggest how to agree the target level with
[customer representative role]. Do not invent benchmark scores. List your
assumptions.

AI スキル

  • Agile ITIL Metrics スキル:SLA の行の背後にあるメトリクスを定義するトピックと、その隣に置くべき防護柵を見つけるために使います。
  • Agile ITIL Metrics メンテナースキル:このトピックの編集が、テンプレート、時計のルール、ゲーミングの表を揃えたままにしているかを確認するために使います。

重要なポイント

  • SLA は顧客への約束、OLA はチーム間の約束、XLA は合意された体験の成果です。それぞれに独自の測定値とオーナーが必要です。
  • パーセンタイル、件数、ニアミス、時計の一時停止の割合を報告してください。平均と目立たない一時停止は、貧弱なサービスの上に緑の報告を作るからです。
  • SLA から OLA を導き、社内の目標を約束より厳しく保ちます。
  • すべての SLA を同じジャーニーの体験の測定値と組にし、ウォーターメロンギャップを行動すべき発見として報告します。
  • 顧客を同席させて合意をスケジュールに沿ってレビューし、誰も使わないものは廃止します。
  • すべての合意のメトリクスを、サービスとチームのレベルに保ち、個人には決して向けません。

参考文献とさらなる読み物

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  5. ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Service-level agreement.
  8. Wikipedia, ITIL.
  9. Wikipedia, Operational-level agreement.
  10. Wikipedia, Service level indicator.
  11. Wikipedia, Service level objective.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Percentile.