メトリクスのガバナンスとオーナーシップ
誰にも所有されず、定義されず、レビューされず、廃止されないメトリクスは、描いているはずの仕事から離れていきます。そのため、報告されるすべてのメトリクスに、名前のあるオーナー、書かれた定義、レビュー日、そして出口を持たせてください。
概要と動機
メトリクスのガバナンスとは、測定値を誰が所有し、何を意味し、誰が見てよく、どのくらいの頻度でレビューされ、いつ取り除かれるかについての、軽量な判断の集まりです。これは、組織におけるデータの可用性、品質、セキュリティのより広い管理を扱うデータガバナンスの近い親戚です。メトリクスのガバナンスは、同じ規律を、チームとリーダーがサービスとデリバリーの仕事の舵取りに使う、小さくて目立つ数字の集合に適用します。
その必要性は、小さな、繰り返される摩擦として現れます。二つのチームが「解決時間」を別々に計算し、数字のすり合わせに会議を一回費やします。ダッシュボードのタイルは、作った人が異動したために何か月も古いままです。一つのチームが自分たちのフローを診断するために設計した測定値が、運営委員会によってパフォーマンス目標として採用され、これは前のトピックが警告している状況です(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。これらのどれも統計の問題ではありません。いずれもオーナーシップの問題であり、いずれも予防するのは安上がりです。
アジャイルと ITIL の見方は強調点が異なり、その違いが役に立ちます。アジャイルの見方では、チームは自分たちの作業用の測定値を所有し、レトロスペクティブ、ワーキングアグリーメント、レビューで交渉します。ITIL 4(AXELOS の2019年版で、現在は PeopleCert が刊行)に文書化された ITIL の見方は、測定と報告を一般マネジメントプラクティスとして扱い、継続的改善を、それ自身のロール、記録、レビューを持つプラクティスとして扱います。ITIL はまた、サービスオーナーとプラクティスオーナーが結果に説明責任を負うことを期待しています。二つの見方は組み合わさります。チームが作業用ビューを所有し、名前のあるサービスオーナーまたはプラクティスオーナーが報告用ビューを所有し、小さな台帳が二つを結びつけます。
ここで使う用語をいくつか挙げます。メトリクスオーナーは、メトリクスの定義、データ品質、利用に責任を負う一人の説明責任者です。メトリクス台帳は、使用中のメトリクスの短いカタログで、それぞれのオーナー、定義、データソース、防護柵、レビュー日を載せます。メトリクス憲章は、メトリクスの集合の目的、範囲、ロール、レビューの頻度を一ページで述べたものです。信頼できる唯一の情報源は、ある数字が計算される、唯一の権威あるシステムまたはデータセットです。データスチュワードは、データ領域の品質と定義を見守る人で、小さな組織ではメトリクスオーナーがこの役を担うことがよくあります。RACI マトリクスは、各アクティビティについて、誰が実行責任者、説明責任者、相談先、報告先かを記録します。データ辞書は、データ要素とその意味のカタログで、台帳の定義列がより大きな規模でなるものです。最小権限の原則は、人とシステムには、そのタスクに必要なアクセスを与え、それ以上は与えないことを述べます。継続的改善は、サービス、プラクティス、働き方を改善し続ける取り組みで、ITIL のプラクティスであると同時にアジャイルの習慣でもあります。SLA はサービスレベル合意、ITSM は IT サービスマネジメントを意味します。
重要な原則
- 報告されるすべてのメトリクスに、名前のあるオーナーが一人いる。 ロールか人であり、「チーム」ではありません。共有オーナーシップは、定義を維持されないままにします。
- 一つの定義、一つの信頼できる情報源。 定義を、時計がどこで始まり止まるかも含めて一度だけ書き、数字は一か所で計算します。
- 帰結に比例してガバナンスを効かせる。 チームが自分のボードをデバッグするために使うメトリクスには、一文あれば足ります。契約、公的報告、取締役会資料にあるメトリクスには、憲章の項目、レビュー、監査証跡が必要です。
- アクセスは目的に従う。 誰がどのビューを、なぜ見るかを決めます。チームの作業用ビューの既定の読み手は、チームです。
- 頻度を決めてレビューし、証拠に基づいて廃止する。 メトリクスにはライフサイクルがあります。採用、レビュー、改訂、廃止を、意図して行います。
- 書き下し、小さく保つ。 一ページに収まる台帳は読まれます。方針のマニュアルは読まれません。
- ガバナンスは測られる人々のためにある。 メトリクスのオーナーには、その仕事が描かれる人々も含まれます。
メトリクスの定義
これらはサービスではなく、メトリクスの実践の健全性の測定値です。意図的に数を絞り、台帳そのものから安く集められます。特に断らない限り、各期間は暦の四半期です。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| オーナーシップのカバー率 | 名前のある現行のオーナーを持つ、報告済みメトリクスの割合 | 期末時点でそのロールにまだ就いているオーナーがいる報告済みメトリクス数 / 期末時点の報告済みメトリクス数。一つのチームの私的なボード内だけで使うメトリクスは除く | パーセント | メトリクス台帳 | 測定と報告 | ワーキングアグリーメント | 四半期ごと |
| 定義の鮮度 | 定義が合意した間隔内にレビューされた、報告済みメトリクスの割合 | 過去6か月以内にレビュー日があるメトリクス数 / 報告済みメトリクス数。時計は最後に記録されたレビューから始まり、期末で止まる | パーセント | メトリクス台帳の変更ログ | 測定と報告、継続的改善 | レトロスペクティブのアクション | 四半期ごと |
| 情報源の適合度 | ちょうど一つの名前のある情報源から計算されている、報告済みメトリクスの割合 | 権威ある情報源が一つで、既知の並行計算がないメトリクス数 / 報告済みメトリクス数。並行計算は、ダッシュボードとレポートの抽出で見つける | パーセント | 台帳に加え、ダッシュボードとレポートの標本 | 測定と報告、サービスレベル管理 | メトリクスの完了の定義 | 四半期ごと |
| 廃止率 | 期間中に廃止または統合されたメトリクスの、報告済みのものに対する数 | 期間中に廃止または統合されたメトリクス数 / 期首に報告されていたメトリクス数。チームの私的なビューに移されたメトリクスは、報告の集合から廃止されたものとして数える | パーセント | メトリクス台帳の変更ログ | 継続的改善 | レトロスペクティブのアクション | 四半期ごと |
| アクセスレビューの鮮度 | 閲覧者リストが間隔内にレビューされた、制限付きメトリクスビューの割合 | 過去6か月以内に閲覧者のレビューがある制限付きビュー数 / 制限付きビュー数。組織全体に開かれたビューは除く | パーセント | アクセスリストまたは BI ツールの権限エクスポート | 情報セキュリティ管理、測定と報告 | ワーキングアグリーメント | 半期ごと |
| 判断との結びつき | 台帳で、それが情報を与える判断にひも付いている、報告済みメトリクスの割合 | 判断または問いが記録されているメトリクス数 / 報告済みメトリクス数。ひも付けは、その判断が過去12か月以内に下された場合にのみ数える | パーセント | メトリクス台帳と判断ログ | 継続的改善 | ステークホルダーレビューと改善の成果 | 四半期ごと |
これらのどれも目標ではありません。台帳はオーナーシップのカバー率が100パーセントでも、役に立たないメトリクスを描いていることがあるので、この表は下のゲーミングの表と併せて読んでください。
推奨事項
オーナーシップと台帳を確立する
1. 一ページのメトリクス台帳をつける。 報告されるメトリクスごとに、その問い、オーナー、定義、計算式と時計、単位、データソース、読み手、防護柵、最終レビュー日、次回のレビュー予定日を載せます。スプレッドシートか、バージョン管理下の Markdown ファイルで十分です。台帳は、このトピックで最も有用な成果物であり、前のトピックはすでにその存在を前提にしています(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
2. メトリクスごとに一人のオーナーを指名し、ロールを記録する。 オーナーは、定義、データ品質、奇妙な結果の説明に責任を負います。データと判断に近い人、多くはサービスオーナー、プラクティスオーナー、チームリーダーを選びます。人だけでなくロールも記録して、異動があっても項目が残り、空席がカバー率の数字に現れるようにします。
3. メトリクスを所有することと、それが測る仕事を所有することを分ける。 メトリクスのオーナーはそれを説明し維持しますが、仕事をするチームは結果に責任を持ち続けます。これで二つの罠を避けられます。影響を与えられない数字で非難されるオーナーと、他の誰かが維持しているからといって数字を自分のものでないとするチームです。憲章の短い RACI 表が、これを明示します。
4. 定義を時計とともに、一度だけ書く。 台帳が権威ある定義を保持します。何を数えるか、時計がどこで始まり止まるか、どの状態が一時停止させるか、何を除外するか。そのメトリクスを示すすべてのダッシュボードから台帳にリンクします。定義を変える必要があるときは、まず台帳で変更し、グラフに変更を印として付けます(トレンドの断絶を示す方法は、トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
5. 各メトリクスを一か所で計算する。 ITSM ツール、課題トラッカー、モニタリングシステムなど、権威あるソースを選び、台帳にそう書きます。同じ数字を再現する並行スプレッドシートは、廃止するか、誰も公式の数字と取り違えないように名前を変えます。データの系譜とツールは、次のトピックの領域です(トピック1.5「データソースと計装」を参照)。
頻度と変更管理を設定する
6. 帰結に合った頻度で定義をレビューする。 契約、規制対象の報告、経営層向け資料にあるメトリクスは、年に二回、そして基になるワークフローが変わるたびにレビューします。チームレベルの作業用測定値については、レトロスペクティブがレビューです。各レビューは三つの問いを投げかけます。定義はまだ正確か、データはまだ健全か、誰かがその数字を判断に使ったか。
7. 定義の変更を、サービスの変更のように扱う。 誰が変更を要求し、なぜで、誰に相談し、いつ発効するかを記録します。ステータスワークフローの小さな変更が、時間の測定値を静かに大きく動かすことがあります。定義の軽量な変更管理は、儀式を抜きにして、変更実現の考え方を借りたものです(サービス変更に対応するものについては、トピック4.3「変更実現のメトリクス」を参照)。
8. レビューを継続的改善に結びつける。 メトリクスのレビューは、改善の仕事、または行動しないという明示的な判断を生むべきです。ITIL は、継続的改善を改善機会の台帳を持つプラクティスとして扱い、アジャイルチームはレトロスペクティブのアクションで同じ効果を得ます。アクションも廃止もなくレビューが終わったなら、そのメトリクスが何か役に立っているのかを問いましょう(トピック9.5「継続的改善のメトリクス」を参照)。
9. 意図してメトリクスを廃止する。 廃止のテスト、たとえば「二回のレビューサイクルにわたり判断で引用されていない」を定め、適用します。定義と最終値を保管し、もしあれば何がそれに取って代わったかを述べ、読み手に伝えます。廃止ログは、監査人にとっての証拠であり、手作業でデータを維持してきた人々にとっての安堵です。
ビューとアクセスを管理する
10. ビューごとに読み手を決める。 ほとんどのメトリクスには、チームの作業用ビュー、サービスオーナーまたはプログラムのための報告用ビュー、そして場合によっては顧客、規制当局、サプライヤーのための外部向けビューがあります。どの読み手がどのビューを、なぜ得るのかを記録します。最小権限の原則を指針に、個人データ、セキュリティの詳細、商業的に機微なサプライヤーの数字を含むビューは制限し、残りは開いたままにして、透明性が既定になるようにします。
11. 個人レベルのデータを報告に入れない。 本書の厳格な規則は、メトリクスはチーム、サービス、システムを記述し、人を記述しないということです。ガバナンスは、報告の粒度を、たとえばチームとサービスと定め、個人レベルの抽出をデータスチュワードに限定することで、これを裏づけます。個人レベルの内訳の要求が来たら、記録し、どの判断に役立つのかを尋ね、チームレベルまたはシステムレベルの代替案を提示します(トピック11.3「恐れを生まずにメトリクスを展開する」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| オーナーシップのカバー率 | 100パーセントに達するために、マネージャーやメーリングリストをオーナーとして指名するが、メトリクスを説明も変更もできる人がいない | 各オーナーに、最近の数字の動きを一つ説明してもらう。一週間以上答えのなかった質問を追跡する |
| 定義の鮮度 | 定義を読まずにレビュー日だけ更新する | 毎四半期、三つの項目を抽出し、書かれた定義とツールの実際の設定を比較する |
| 情報源の適合度 | 情報源を権威あるものと宣言しながら、スプレッドシートが出回って食い違い続ける | レポートの標本で、同じメトリクスについて見つかった異なる数字の数を数える。レビューで差異をすり合わせる |
| 廃止率 | 規律があるように見せるために、些細なまたは使われていないメトリクスを廃止する、またはメトリクスを新しいものとして数えられるよう名前を変える | 廃止ログで何が取り除かれたかをレビューする。報告されている総数と判断との結びつきの数字を併せて追跡する |
| アクセスレビューの鮮度 | 既存の閲覧者リストを、読まずに承認する | リストを現在のチームの構成員とロールと比較する。見つかった削除数を報告する |
| 判断との結びつき | 欄を満たすために「サービスを改善する」のような漠然とした判断を書く | 日付のある判断または問いを求め、判断ログを抽出して、そのメトリクスが実際に参照されたかを確かめる |
健全な読み方は、変化する台帳です。項目には質問に答えるオーナーがおり、レビュー日は過去6か月以内にあり、廃止ログには理由が付き、人々が情報を与える判断に名前を付けられるので、いまも求められているメトリクスの短いリストがあります。すべての欄が埋まっているのに何も変わらない台帳は、警告のサインです。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| 中央のメトリクス担当部門 | 定義とツールが一貫する、監査しやすい | 遅く、仕事から遠く、チーム間で異なるべき測定値まで標準化したくなる |
| 共有台帳を持つ連邦型のオーナーシップ | オーナーがデータの近くにいる、台帳が共通の最低限を保つ | チーム間で品質がずれないよう、継続的な働きかけが必要 |
| チームが所有する測定値のみ | 速く、仕事に合う | 定義が乖離する、集計が信頼できなくなる、知識が人とともに去る |
| 既定で開かれたアクセス | 信頼と共通の理解を築く | 機微な、または個人レベルの詳細が露出するリスク |
| 制限されたアクセス | 機微なデータを守る | 助けられる人々から文脈を隠す、疑念を招く |
バランスのとり方は、合意しなければならない薄い層、すなわち台帳、共有された定義、アクセスの規則を集中させ、それ以外のすべてを連邦型にすることです。
チームで話し合う問い
1. ダッシュボードで最もよく引用される数字が明日おかしく見えたら、誰が答えるか。 グループに、集団ではなく人の名前を挙げてもらいます。複数の名前が挙がる、あるいは一つも挙がらないなら、そのメトリクスには実質的にオーナーがいません。ファシリテーターは、メトリクス、オーナー候補、オーナーが仕事をするのに必要なもの、たとえばデータへの閲覧権限やレビューでの時間を記録します。最後に、誰がオーナーを確認し、台帳にロールを記録するかを決めます。
2. 同じ数字の二つの版が、今どこに存在しているか。 同じメトリクスを異なる値で示しているレポートを探します。週次のスライドとライブのダッシュボード、あるいはサプライヤーのレポートと社内のレポートなどです。それぞれについて、範囲、時計、除外など、差がどこで生じるのかを尋ねます。どの情報源が権威あるもので、もう一方の版をどうするかを決めます。誰もが共有していると思っていた言葉に、異なる作業定義があることが、会話で見つかるでしょう。
3. 一つ廃止しなければならないとしたら、今四半期にどのメトリクスを廃止するか。 最近、誰も判断で引用していないメトリクスから始めます。それが消えたら何が起こり、誰が気づくかを尋ねます。答えが「誰も」なら、試験期間として報告の集合から外します。ファシリテーターは、廃止を通常の健全なこととして扱い、結果を廃止ログに記録します。
4. 私たちのメトリクスは誰がどれを見ていて、それは意図したものか。 メトリクスと読み手の簡単な表を描きます。読み手は、チーム、サービスオーナー、リーダーシップ、顧客、サプライヤー、規制当局です。アクセスが判断だった箇所と、単に成り行きだった箇所に印を付けます。個人の比較に使えるビューがないか探します。少なくとも一つの閲覧者リストを変更すること、次に誰がそれをレビューするかに合意します。
5. トレンドを壊さずに、どうやって定義を変えるか。 最近のステータスワークフローまたは優先度の尺度の変更を順にたどります。誰に伝えられたか、グラフに注記が付けられたか、誰かが古い値と新しい値を比べたかを尋ねます。チームが実際に記入する軽い変更項目を下書きします。契約や外部報告にあるメトリクスの変更を、誰が承認するかに合意します。
6. ガバナンスが負担になったら、何をやめるか。 ガバナンスは儀式になりえます。誰もチェックしないなら、現在のやり方のどの部分を人々は飛ばすか、なぜかを尋ねます。答えは抵抗としてではなく、設計へのフィードバックとして扱います。ファシリテーターは、互いに重複する手順、誰も読まない欄、判断を生まないレビューを探します。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、作業項目の経過時間やサイクルタイムのような作業用の測定値を所有し、定義をワーキングアグリーメントで合意するべきです。メトリクスがポートフォリオのレポートに上がるときは、チームがオーナー、定義、読み手を知っているべきです。チームは、報告される測定値ごとの短い台帳の項目と、仕事の流れ方にもはや合わなくなった定義に異議を唱える権利から、最も多くの価値を得ます(トピック2.1「フロー指標」を参照)。
サービスチームと運用チーム
サービスチームと運用チームは、SLA と運用レビューに現れるメトリクスを担うので、定義、時計、除外には契約上の重みがあります。ここでのオーナーは通常、サービスオーナーとプラクティスオーナーです。彼らは定義変更の証拠の記録をつけ、報告された数字を ITSM ツールと定期的にすり合わせ、運用上の判断に情報を与えなくなった測定値を、最初に廃止する側にあるべきです(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは条件を設定します。誰がメトリクスを所有するか、どのビューが経営層向け資料に届くか、数字がどう使われるか。台帳と廃止ログを求め、見出しの数字の背後にある定義を読み、個人レベルの順位表の要求には抵抗するべきです。ガバナンスの組織には、台帳をレビューして判断を記録する小さな定例の議題が必要で、サービスマネジメントシステムに対する ISO/IEC 20000-1 の期待(2018年版時点)に沿いつつ、レビューをコンプライアンスの儀式にしないことが求められます(トピック8.3「コンプライアンスと監査のメトリクス」を参照)。
顧客とユーザー
顧客とユーザーが台帳を見ることはめったにありませんが、サービスレビューの数字が自分たちの体験と食い違うとき、その不在を感じます。メトリクスが顧客向けのレポートまたは SLA に現れるなら、除外されるものも含めて、定義を平易な言葉で提供できるようにするべきです。顧客には数字に疑問を呈する経路があるべきで、オーナーはそれに答えるべきです(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、サービスデスク、三つのプロダクトチーム、運用グループを運営しています。以下の数字はすべて説明用です。
月次のサービスレビューは、インシデント解決時間の中央値を5.1時間と示します。同じ ITSM ツールから作られたプロダクトチーム自身のダッシュボードは、6.4時間と示します。この二つの数字は一年間出回っています。新任のサービスオーナーが、誰がこのメトリクスを所有しているのかを尋ねると、三つの異なる答えが返ってきます。
オーナーは、チームリーダーとデータスチュワードとともに、二回のセッションを使い、報告される14のメトリクスの最初の台帳を作ります。そのうち5つにはオーナーがなく、4つには情報源が二つありました。解決時間は情報源が二重のメトリクスの一つです。差は一時停止状態に由来します。サービスレビューは「顧客待ち」の時間を除外し、チームのダッシュボードは除外していません。グループは一つの定義に合意し、サービスオーナーをメトリクスオーナーに指名し、誰も履歴を失わないよう、一四半期のあいだ、定義別にラベル付けした両方の値を同じページに公開します。定義が変わるところには、グラフに注記を付けます。
最初の四半期レビューで、グループは廃止のテストを適用し、14のメトリクスのうち3つを取り除きます。その中には、最近の判断で引用されたことのない、月次のチケット件数のグラフも含まれます。また、アナリスト別の解決時間の内訳を示すビューを制限し、閲覧できるのをデータスチュワードだけにして、代わりにチームレベルの内訳を提供します。
ゲーミングのリスクは、二回目のレビューで現れます。オーナーシップのカバー率は100パーセントに達しましたが、標本を見ると、二人のオーナーが配布リストと、データを一度も開いたことのない部門長だったことが分かります。グループはそれらを名前のあるサービスオーナーに置き換え、レビューに防護柵の問いを加えます。「オーナーは、この数字の直近の動きを説明できるか」。カバー率は一四半期のあいだ86パーセントに下がり、グループはこれを誠実な結果として記録します。ログに残された判断は、防護柵が二サイクル稼働するまで、カバー率の目標を据え置くことです。
業種別の視点
スタートアップ。 創業者やリードエンジニアが、既定ですべてのメトリクスを所有していることがよくあります。リスクは、定義が一人の頭の中にあることです。5つから8つのメトリクスの台帳を共有ドキュメントにつけ、それぞれにオーナーを指名し、投資家や顧客への報告にメトリクスが初めて現れる日に定義を書きます。
小規模事業。 IT を担う人が、たいていオーナー、スチュワード、レポートの読み手を兼ねます。ガバナンスは一ページにとどめ、年に二回レビューし、ベンダー提供のレポートがメトリクスを自分たちの定義と違うように定義しているときは特に注意します。顧客向けの数字ごとに、事業側の誰がオーナーかを指名します。
大企業。 規模は、共有の層を不可欠にします。ワークフロー付きの台帳、四半期ごとに開かれる軽量な評議会、主要な領域ごとのデータスチュワードのロールを使います。作業用の測定値についてはチームの自律性を守り、サービスの種類によって異なるべきメトリクスを標準化しないよう気をつけます。組織にすでにあるデータガバナンスと整合させると、労力が省けます。
政府・公共部門。 法定の報告、監査、調達により、書かれた定義と変更記録は義務になります。台帳を監査の成果物として扱い、公表される各数字からそのオーナーとソースへの明確な線を保ちます。アクセスの判断には法務とプライバシーのレビューが関わることが多いため、制限付きの各ビューの根拠を記録します(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは控えめで、主に時間です。最初の台帳を作るのに数時間、レビューに四半期あたり一、二時間、そして食い違う情報源を解決するデータスチュワードの労力を見込みます。スプレッドシートまたはバージョン管理されたファイルで始められるので、ツールのコストは低いです。
リターンは主に、避けられた無駄です。数字のすり合わせに費やす会議がなくなり、監査では明確な証跡が見つかり、定義が書き下されているので新任のサービスオーナーの立ち上がりが速くなります。判断は、毎月同じ意味を持つ数字に基づくので、より良くなります。自分たちのデータなしに、これらの利益のパーセンテージを引用してはいけません。ビジネスケースに数字が必要なら、前四半期に食い違う数字のすり合わせに費やした時間と、記録されたオーナーのいないメトリクスの数を数え、二回のレビューサイクルの後でもう一度数えてください。
アンチパターンと落とし穴
- 委員会によるオーナーシップ。 グループがメトリクスを所有し、誰も質問に答えない。説明責任を負うロールを一つと、その代理を指名します。
- 墓場としての台帳。 一度作られたきり、二度と触れられない。レビュー日をカレンダーに入れ、すべてのダッシュボードにその日付を表示します。
- すべてを標準化する。 仕事が異なるチームに一つの定義を押しつけると、どこでも意味のない数字ができます。合意が必要な層だけを共有します。
- 黙って定義を変える。 トレンドが途切れ、信頼もそれに続く。すべての変更を理由とともに記録し、グラフに注記を付けます。
- 廃止のないガバナンス。 集合が増える一方で、注意が薄くなる。レビューごとに廃止のテストを適用します。
- 既定での秘密主義。 測られる人々から作業用ビューを隠すと、疑念が生まれます。本当にリスクを伴うものだけを制限し、その理由を説明します。
- 個人レベルのデータへの開かれたアクセス。 一回の抽出が、数日で順位表になりえます。報告の粒度をチームとサービスに設定し、個人レベルのデータはスチュワードの管理下に置きます。
- コンプライアンスの芝居。 チェックリストを満たすために欄を埋める。項目を真実かどうか抽出し、オーナーに最近の動きを説明してもらいます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| オーナーシップと台帳 | オーナーが不明確、メトリクスは個人のスプレッドシートにある | 一部のチームがオーナー付きのリストをつけている | すべての報告済みメトリクスについて、名前のあるオーナーとロールを持つ一つの台帳がある | カバー率と鮮度をトレンドで追い、ギャップが予算付きの修正につながる | 数字が組織の境界をまたぐところでは、サプライヤーや顧客と台帳を共有する |
| 定義と変更管理 | 定義が人によって違う | 一部の契約メトリクスに書かれた定義がある | すべての報告済みメトリクスに、時計を含む書かれた定義と変更ログがある | 変更は、リリース前にトレンドへの影響をレビューされる | 判断に役立たなくなったとき、チームとサプライヤーが共同で定義を改訂する |
| レビューと廃止 | メトリクスは追加されるだけで、取り除かれない | ときどき整理する | レビューの頻度と廃止のテストが書き下されている | レビューの成果が改善の仕事として追跡される | 廃止と刷新が日常的で、ユーザーとチームからの証拠に導かれる |
| アクセスと読み手 | 成り行きでのアクセス | 機微なデータに制限付きビュー | メトリクスごとに、理由を付けた読み手がリストされている | アクセスを頻度を決めてレビューし、個人レベルのデータはスチュワードが保持する | 読み手は、測られる人々と顧客とともに設計される |
チェックリスト
- メトリクス台帳があり、報告されるすべてのメトリクスが載っている。
- 報告されるすべてのメトリクスに、名前のあるオーナーと記録されたロールがある。
- 報告されるすべてのメトリクスに、開始、停止、除外のルールを含む書かれた定義がある。
- 各メトリクスに、台帳で名前の付いた権威ある情報源が一つある。
- 各メトリクスにレビュー日と間隔が記録されている。
- 定義の変更は、理由とともに記録され、グラフに印が付けられている。
- 廃止のテストが書き下され、レビューごとに適用されている。
- 各ビューの読み手が記録され、制限には理由が付いている。
- 報告されるビューは個人の順位付けをしておらず、個人レベルのデータはデータスチュワードが保持している。
- 直近の四半期に、台帳が真実かどうか抽出で確かめられた。
AI プロンプト
メトリクスの集合のためのメトリクス憲章を下書きする。
Draft a one-page metrics charter for [team or service name], which provides
[type of service or delivery work]. The metric set is: [list of metrics]. The
audiences are [audiences]. Include purpose, explicit non-goals, a RACI table for
owner, data steward, and reviewers using these roles: [roles], review cadence,
and a retirement test. Base the draft only on what I have written. Do not invent
metrics, targets, or benchmark values. List your assumptions and the questions I
should answer to complete the charter.
同じはずのメトリクスの二つの版の食い違いを見つける。
Here are two descriptions of what should be the same metric, [metric name].
Version A, from [source A]: [description and formula]. Version B, from
[source B]: [description and formula]. Compare them on what is counted, where
the clock starts and stops, which states pause it, and what is excluded.
Explain which differences could account for the gap between [value A] and
[value B], and suggest questions for the owner. Do not guess at values I have not
given. List your assumptions and what you could not determine.
メトリクス台帳のギャップをレビューする。
Below is an extract of our metric register with fields [list fields]. Review it
for missing owners, entries with no review date or one older than [interval],
metrics with more than one source, metrics with no linked decision, and views
that could expose person-level data. Report patterns by metric, not by
individual. Do not invent facts about our metrics. Tell me which findings are
certain from the text and which are guesses, and list your assumptions.
[paste register extract, with personal data removed]
廃止のレビューを計画する。
We review metrics every [interval]. Our retirement test is: [test]. For each of
the metrics below, using the notes I supply, propose retire, keep, merge, or
redesign, with a one-line reason and a question to ask the owner: [metrics with
last-cited date and owner role]. Also suggest how to announce each retirement to
[audience]. Do not invent usage data. List your assumptions and any information
that would change your recommendation.
AI スキル
- Agile ITIL Metrics スキル:メトリクスを台帳に加える前に、そのトピックと組になる防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:メトリクスの項目に、オーナー、ゲーミングの手口、防護柵が備わっているかを確認するために使います。
重要なポイント
- ガバナンスは数字が時間を通じて同じ意味を保つようにするもので、その中核は一ページの台帳です。
- 報告されるメトリクスごとに説明責任を負うオーナーを一人指名し、人だけでなくロールも記録します。
- 一つの定義を時計とともに書き、一か所で計算し、すべての変更を記録します。
- ガバナンスの重みを、メトリクスの帰結に合わせます。
- 誰がどのビューを見るかを意図して決め、個人レベルのデータを報告に入れず、証拠に基づいてメトリクスを廃止します。
参考文献とさらなる読み物
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
- Wikipedia, Data governance.
- Wikipedia, Single source of truth.
- Wikipedia, Data steward.
- Wikipedia, RACI matrix.
- Wikipedia, Data dictionary.
- Wikipedia, Principle of least privilege.
- Wikipedia, Continual improvement process.