第4部の導入:問題、変更、リリースのメトリクス
問題、変更、リリースのメトリクスは、チームがサービスを変える方法と、失敗から学ぶ方法が、サービスを、より速く改善でき、より安定して運用できるものにしているかを示します。
稼働中のサービスへのすべての変更は、賭けです。価値をより早く届けるかもしれず、ユーザーが頼っているものを壊すかもしれません。第3部は、物事がうまくいかないとき、サポートと復旧がどれだけうまく機能するかを測りました(トピック3.0「第3部の導入:サービスデスク、インシデント、リクエストのメトリクス」を参照)。この部は、同じコインのもう一方の面を見ます。変更がどのように環境に入るか、どれくらいの頻度でトラブルを起こすか、そして同じトラブルが戻らないように、組織がどれだけうまく学ぶかです。
継続的デリバリーとITILは、この領域に異なる方向から近づきます。アジャイルの実践は、小さな変更によるソフトウェアの継続的デリバリーを好み、速いフィードバックを安全策として扱います。問題管理、変更実現、リリース管理のようなITILのプラクティスは、安定性を守り、インシデントの原因を見つけて取り除くために存在します。この部のメトリクスは、両方の見方を、同じ証拠に照らして確かめられるようにします。頻繁な変更が安全なら、失敗と手戻りの尺度がそれを示します。統制がリスクを減らさずにデリバリーを遅くしているなら、承認とリードタイムの尺度が、それを代わりに示します。
二つの注意が、この部全体を貫いています。速さと安定性は一緒に読まなければなりません。一方を改善し、もう一方を静かに損なう数字は、悪い取引だからです。時間の尺度もまた、第1部に述べたように、パーセンタイルを使った分布として読むべきです(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。ここにあるすべてのメトリクスは、チーム、サービス、システムを記述します。どれも個人を順位付けせず、どれも孤立して押し上げるための目標ではありません(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
この部のトピック
- 4.1 問題管理のメトリクス:開いた問題と閉じた問題、既知のエラーの再利用、再発、恒久的な修正までの時間。
- 4.2 ポストモーテムと学習のメトリクス:レビューの完了、アクション項目のクローズ、原因の再発、非難なしの学びのシグナル。
- 4.3 変更実現のメトリクス:種類別の変更の件数、承認のリードタイム、標準変更の割合、承認の自動化。
- 4.4 変更の失敗と手戻り:変更失敗率、緊急変更の割合、ロールバックとホットフィックスの率、失敗の一貫した定義。
- 4.5 リリースとデプロイのメトリクス:デプロイ頻度、リリース頻度、フィーチャーフラグの利用、リリースのリードタイム、デプロイとリリースの分離。
- 4.6 技術的負債と既知のエラー:既知のエラーのバックログ、負債の残高と利息、機能の作業に対する修正の優先順位付け。
これらのトピックがどう関係し合うか
この部は、互いに依存する二つの半分に分かれます。トピック4.1と4.2は、学びについてです。インシデントがどう原因にたどられ、レビューがどう完了する修正になるか。トピック4.3、4.4、4.5は、変更についてです。どう承認され、どれくらいの頻度で失敗し、どうユーザーに届くか。トピック4.6は両半分を結びます。学びが明らかにする負債と既知のエラーは、新しい機能と、チームの時間を取り合う、同じ項目だからです。
最も重要な組み合わせは、速さと失敗のあいだにあります。トピック4.5のデプロイとリリースの頻度(トピック4.5「リリースとデプロイのメトリクス」を参照)は、変更がどれくらいの頻度で本番に届くかを記述し、DORAの研究プログラムは、そうしたスループットの尺度を安定性の尺度と組にします(トピック2.8「DORAメトリクス」を参照)。トピック4.4(トピック4.4「変更の失敗と手戻り」を参照)が、その安定性の側を提供します。失敗と手戻りの率が横ばいか下がるなかで、より頻繁にデプロイするチームは、改善しています。頻度が上がるのに、ロールバックとホットフィックスも一緒に上がるチームは、コストをどこか別の場所に動かしています。
変更実現は、その二つの間にあります。トピック4.3(トピック4.3「変更実現のメトリクス」を参照)は、統制の側を測ります。承認にどれだけかかるか、どれだけの変更が標準として事前承認されているか、承認のどれだけが自動化されているか。承認のリードタイムは統制のコストであり、トピック4.4の変更失敗率は、その統制が機能しているかの証拠です。一緒に読むと、重い承認の手順が安全を買っているのか、遅れを加えているだけなのか、より軽く自動化された承認が失敗を安定させたままにしているかが、見えてきます。
学びのトピックは、ほかのものを守ります。トピック4.1の問題管理(トピック4.1「問題管理のメトリクス」を参照)は、再発と恒久的な修正までの時間を測り、それは、第3部のインシデント対応が原因を取り除いているのか、サービスを復旧させているだけなのかの、長期のテストです。トピック4.2(トピック4.2「ポストモーテムと学習のメトリクス」を参照)は、レビューが実際に行われ、そのアクションが閉じられることを確かめます。やり遂げのない完了したレビューは、何も変えないからです。レビューや閉じた問題を数えることはゲーミングしやすいので、これらの数は、同じ原因の再発の隣で読むべきです。それは偽造しにくいからです。
最後に、トピック4.6(トピック4.6「技術的負債と既知のエラー」を参照)は、ほかの尺度がなぜずれていくかを説明します。対処されない既知のエラーと積み上がった負債は、失敗の可能性と、その後のすべての変更のコストを上げます。既知のエラーのバックログを変更失敗率の隣で読むと、修正の先送りがいつデリバリーを遅くし始めたかが見えます。
のちの部は、これらの尺度の上に築かれます。第5部のサービスレベル目標とエラーバジェットは、変更のペースを判断できる信頼性の限界を与え、第11部は、恐れを生まずにこれらの尺度を導入する方法を示します。