第1部の導入:測定の基礎
サービスを構築し運用するチームにとって、測定が役に立つのは、目的を持って選ばれ、誰かが責任を持ち、信頼できるデータから導かれ、注意深く読まれ、そして描写している仕事そのものをゆがめないようにされている場合だけです。
アジャイルチームも ITサービスマネジメント(ITSM)チームも、クローズしたチケット、完了したストーリー、実施したデプロイ、解決したインシデントなど、絶え間なく数字を生み出しています。数字を持つこと自体は簡単です。難しいのは、人が何かを判断するのに役立つ数字を持つことであり、多くのメトリクスプログラムがつまずくのはこの隔たりです。この部では、個々のメトリクスを定義する前に、後続のすべての部が拠り所とする共通の土台を示します。
この土台は、順に六つの問いで構成されます。そもそもなぜ測定するのか、何も測らない、あるいは誤ったものを測ることにはどんなコストがあるのか。測定値はどのようにして目標へと変わり、やがて真実を語らなくなるのか。そもそも何を測る価値があるのか。各メトリクスを定義し、所有し、廃止するのは誰か。データはどこから来て、どこまで信頼できるのか。チケットやフローのデータは偏りがあり、しばしば件数も少ないとき、数字をどう読むべきか。最後のトピックでは、確立されたフレームワークがこれらの答えを整理するのにどう役立つかを示します。
本書が初めての方はまずこの部をお読みください。後続のメトリクスの挙動がおかしいと感じたときは、いつでもここに戻ってきてください。後続の部で起こるメトリクスの失敗の多くは、ここで紹介する考え方のどれかにさかのぼります。本書のメトリクスは、チーム、サービス、システムを記述するものです。個人の順位付けには決して使いません。
この部のトピック
- 1.1 なぜアジャイルITILを測定するのか:サービスを構築し運用するチームがなぜ数字を必要とするのか、アジャイルと ITIL がそれぞれ測定に何をもたらすのか、そして何も測らない、あるいは誤ったものを測ることのコスト。
- 1.2 グッドハートの法則とメトリクスの心理学:ほかのすべてのトピックの背後にある防護柵。測定値が目標に変わる仕組み、チケットやデリバリーのデータでゲーミングが起こる仕組み、それを防ぐ習慣を扱います。
- 1.3 アウトプットよりアウトカム:何を測るかを選ぶ:価値、アウトカム、アウトプット、アクティビティ、先行指標と遅行指標、そして良いメトリクスの試金石としての ITIL の価値共創。
- 1.4 メトリクスのガバナンスとオーナーシップ:メトリクスのオーナー、定義、レビューの頻度、廃止、そして誰が何を見られるか。
- 1.5 データソースと計装:ITSM ツール、課題トラッカー、バージョン管理、継続的インテグレーションとデリバリーのパイプライン、モニタリング、構成管理データベース(CMDB)、アンケートをデータソースとして扱い、データ品質、タイムスタンプ、ステータスモデルに注意を払います。
- 1.6 サービスメトリクスのための統計リテラシー:平均よりパーセンタイル、偏った分布、小さなサンプル、管理図、そしてチケットやフローのデータに対する誠実な不確実性の扱い。
- 1.7 測定フレームワーク:ゴール・クエスチョン・メトリクス、目標と主要な結果(OKR)、バランスト・スコアカード、重要成功要因と重要業績評価指標、そしてそれらが ITIL のプラクティスとどう組み合わさるか。
これらのトピックの相互関係
これらのトピックは、はしごではなく循環を成しています。トピック1.1(トピック1.1「なぜアジャイルITILを測定するのか」を参照)が目的を与え、トピック1.3(トピック1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)がその目的を何を測るかの選択へと変えます。アウトカムへの焦点で選ばれたメトリクスにも、定義、オーナー、レビュー日が必要で、それがトピック1.4(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)の仕事です。ゴール・クエスチョン・メトリクスのようなフレームワークは、トピック1.7(トピック1.7「測定フレームワーク」を参照)で扱うとおり、ゴールから少数の測定値へ進む再現可能な方法を与えるので、トピック1.3と1.4とは自然に組み合わさります。
データと統計は、もう一つの組を成します。よく選ばれたメトリクスでも、その裏にある記録の質を超えることはできません。トピック1.5(トピック1.5「データソースと計装」を参照)は、タイムスタンプ、ステータスモデル、ツールの設定が数字の意味をどう形づくるかを説明します。続いてトピック1.6(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)は、パーセンタイル、管理図、不確実性の平易な表明を使って、その数字を誠実に読む方法を扱います。弱いデータは優れた統計を台無しにし、弱い統計は優れたデータを無駄にするので、この二つは併せて読むのが最善です。
トピック1.2(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)は、防護柵としてほかのすべてのトピックにまたがっています。トピック1.3で選ばれ、トピック1.4で統治され、トピック1.5のソースから導かれたメトリクスであっても、人がそれで評価されるようになれば、ゲーミングされうるのです。ガバナンスは、誰が何を見られるか、メトリクスをどう使うかを制限します。アウトカムに焦点を当てた選択は、ゲーミングの見返りを小さくします。ここで紹介し本書全体で展開するペア指標は、ある数字でほかの数字を検証できるようにします。そのため、後続の部のすべてのメトリクスにはゲーミングの手口と防護柵が付いており、この部はその理由を説明します。