グッドハートの法則とメトリクスの心理学
報酬を与え、順位を付け、脅しに使う数字は、どんなものでも、それが描くはずだった仕事そのものを変え始めます。そのため、本書のすべてのメトリクスは、チームが話し合うための問いとして使われ、そのゲーミングを捉える防護柵と組にされています。
概要と動機
グッドハートの法則は、測定に関する最も古い警告です。経済学者のチャールズ・グッドハートは1975年、英国の金融政策について書く中で、統計上の規則性は、当局が管理目的でそれに圧力をかけた途端に崩れる傾向があることに気づきました。広く知られた言い回しは、後から生まれました。人類学者のマリリン・ストラザーンは1997年に、「測定値が目標になると、それは良い測定値ではなくなる」と述べました。二つの文は同じことを言っています。数字が人を動かすために使われた瞬間、人は数字を動かし始めるのです。
同じ考え方には、ほかの名前もあります。社会科学者ドナルド・キャンベルのキャンベルの法則は、定量的な指標が判断に使われるほど、腐敗の圧力を受けやすくなり、監視するはずのプロセスをゆがめるようになると述べます。コブラ効果は、取り除くはずのものをかえって増やしてしまった報奨金の話です。いずれも逆インセンティブの例です。報酬を与える側が望んだものから、行動を遠ざけてしまう報酬のことです。
IT サービスを構築し運用するチームは、特にこの影響を受けやすい立場にあります。継続的デリバリーと、ITILによって体系化された IT サービスマネジメント(ITSM)は、どちらもタイムスタンプ、件数、ステータスを絶え間なく生み出します。チケット管理システムは、チケットがいつ開かれ、いつ割り当てられ、いつ時計が止まり、いつクローズされたかを記録します。デリバリーツールは、仕事がいつ始まり終わったかを記録します。これらの数字は集めるのが安く、グラフにしやすく、目標にしやすいものです。そして、誰の役にも立たずに動かすことも簡単です。
このトピックと本書の残りの部分では、三つの用語が繰り返し登場します。測定値(measure)は、何かを記述するものです。目標(target)は、誰かが達成すると期待される数字です。防護柵(guardrail)は、あらかじめ選んでおく二つ目の測定値またはプラクティスで、最初の測定値がゲーミングされているときに動くものです。測定値から目標へ進む段階で問題が始まり、防護柵はそれに気づく方法です。
このトピックは、ほかのすべてのトピックを支配する規則を定めます。本書の各メトリクスファミリーには、そのゲーミングの手口(典型的にどのようにゲーミングされるか)と防護柵が付いています。後続のトピックがそれを省いているように見える場合は、そのトピックを未完成とみなしてください。
人はなぜ数字をゲーミングするのか
ゲーミングは、たいていの場合、不誠実さではありません。目の前のインセンティブに対する、有能な人々の普通の反応です。四つの力が働いています。
- プレッシャー。 誰かのボーナス、評価、契約更新、評判がその数字に左右されます。正式な結びつきがなくても、人はリーダーシップが何をグラフにするかから、リーダーシップが何を気にしているかを推測します。
- 代理化(サロゲーション)。 代理化とは、測定値をそれが表すものそのものであるかのように扱う傾向です。組織でこれを研究した研究者は、測定値に結びついたインセンティブ報酬がこれを起こりやすくすることを見出しました。「クローズしたチケット数」を追うチームは、目標が問題の解決ではなく、チケットのクローズだと信じ始めます。
- 恐れ。 悪い数字が非難を招くとき、人は悪い知らせを隠します。インシデントは格下げされ、障害は「計画メンテナンス」と名前を変えられ、不具合は機能要望として記録されます。
- 局所最適化。 チームは自分が評価される部分を改善し、評価されない部分にコストを押しつけます。サービスデスクは速くクローズし、二次対応が繰り返しを引き継ぎます。
これらの力を理解することが重要なのは、対策がより厳しい取り締まりではないからです。ゲーミングを合理的にしている条件を変えることです。
重要な原則
- 裁くためではなく、学ぶために測る。 数字は、まず仕事をするチームに見せ、問いを立てるために使います。
- すべてのメトリクスを防護柵と組にする。 速さには品質、量にはアウトカム、コストには体験を組にします。
- チームとシステムを記述し、人に順位は付けない。 個人の順位表は、データソースを損なう最も速い方法です。
- 目標よりアウトカムとトレンドを好む。 方向性と対話は、しきい値に勝ります。
- 定義を、時計も含めて書き下す。 曖昧な定義は、ゲーミングが隠れる場所です。
- 変化を前提にする。 判断に役立たなくなったメトリクスは、廃止または再設計します。
- 悪い知らせを安全にする。 誠実な報告が罰せられるなら、データは嘘をつきます。
メトリクスの定義
以下のメトリクスは、サービスやデリバリーの測定値ではありません。メトリクスの実践そのものの健全性を測るもので、本書のすべてのメトリクス表がとる形を示しています。最初の三つは、後続のトピック全体に現れる防護柵の例です。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 防護柵のカバー率 | 名前があり追跡されている防護柵を持つ、報告済みメトリクスの割合 | 防護柵のあるメトリクス数 / 報告されたメトリクス数 | パーセント | メトリクス台帳(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定と報告、継続的改善 | ワーキングアグリーメントのレトロスペクティブ | 四半期ごと |
| 再オープン率 | 定められた期間内に再オープンされた、クローズ済みのチケットまたは作業項目の割合 | 14日以内に再オープンされた項目数 / 期間内にクローズされた項目数 | パーセント | ITSM ツールまたは課題トラッカーのステータス履歴 | インシデント管理、問題管理 | 完了の定義、流出した不具合 | 月次 |
| 定義変更の件数 | 期間中のメトリクス定義またはステータスワークフローの変更の数と、その理由 | 定義変更ログの記載件数 | 件数 | メトリクス台帳の変更ログ | 測定と報告 | ワーキングアグリーメント | 四半期ごと |
| メトリクス利用率 | 期間中に判断で引用された、報告済みメトリクスの割合 | 記録された判断で引用されたメトリクス数 / 報告されたメトリクス数 | パーセント | 判断ログまたはレビューのメモ | 継続的改善 | レトロスペクティブのアクション | 四半期ごと |
| 認識のギャップ | 同じサービスについての、満足度アンケートの結果とチケットから導いたサービスレベルとの差 | アンケート由来の率 - トラッカー由来の率 | パーセントポイント | アンケートツールと ITSM ツール | サービスレベル管理 | ステークホルダーレビューのフィードバック | 四半期ごと |
再オープン率は、同じレコード内で再オープンされた項目だけを数えます。クローズされた後に新しいチケットとして起票し直された項目は現れません。次の節の要点の一つは、防護柵にもそれ自身の防護柵が必要だということで、たとえば重複チケットを元のチケットに紐づけることがそれに当たります。
推奨事項
測定システムを設計する
1. 数字ではなく問いから始める。 メトリクスを追加する前に、それが答える問いと、それが情報を与える判断を書きます。「ユーザーの問題は初回で解決されているか」は問いです。「平均処理時間を短縮する」は、問いのふりをした目標です。判断に結びついていないメトリクスは、廃止の候補です。
2. 緊張関係にあるメトリクスを選ぶ。 一つの数字は過度な最適化を招くので、互いに引き合う組を選びます。変更のリードタイムと変更失敗率、チケットのクローズの速さと再オープン率、可用性とユーザーが報告する体験などです。組は計算式である必要はありません。同じページに併せて示される必要があります。
3. 時計と除外を定義する。 すべての時間の測定値について、時計がどこで始まり、どこで止まり、いつ一時停止してよいかを書きます。サービスデータにおけるゲーミングの多くは、この境界にあります。「顧客待ち」に移したチケットはサービスレベルの時計を止め、適用された後にだけ記録された変更は、変更のリードタイムから逃れます。一時停止の状態が存在するなら、それがどれだけ使われているかを報告します。
4. 分布とパーセンタイルを使う。 チケット解決時間の平均は、いくつかの簡単なチケットが素早くクローズされる一方で難しいものが古くなっていくだけで、改善して見えることがあります。中央値と高めのパーセンタイル(たとえば85または95パーセンタイル)を示し、最も古い未完了の項目も示します。作業項目の経過時間と最も古い未解決チケットは、実際に仕事を終えない限りゲーミングするのが困難です(トピック2.1「フロー指標」を参照)。
5. メトリクス台帳をつける。 短い台帳に、各メトリクスについて、オーナー、定義、データソース、ゲーミングの手口、防護柵、最後にレビューした日付を載せます。退屈ですが、このトピックで最も効果的な習慣です(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
メトリクスを安全に導入する
6. まずチームに、生のデータを見せる。 経営層より先に数字を見るチームは、その正確性を進んで疑問視します。グラフではなく、基になる項目から始めます。データが、それを生み出した人々との対話を乗り越えられないなら、ダッシュボードも乗り越えられません。
7. 学習のためのビューと説明責任のためのビューを分ける。 チームの作業用ビューには、見栄えの悪いものも含めて多くの測定値があってかまいません。経営層に届けるのは、少数で安定した集合にします。経営層が作業用ビューを求めるなら、作業用ビューが見栄えよく変わることを覚悟してください。
8. 個人の報酬、懲戒、順位をメトリクスに結びつけない。 チームには、数字を説明し、それを改善するよう求められます。チケット数、ストーリーポイント、コミットへの個人の目標は、その数を最大化することを人々に教えます。重要業績評価指標のアプローチは、指標がシステム全体のために選ばれ、定期的にレビューされるなら機能します。一人ひとりのスコアカードになると失敗します。
9. 誠実な報告を安全にする。 心理的安全性とは、ミスや懸念を口にしても罰せられないという信念です。インシデントの非難なきレビューは、それを実践した一例です。それがなければ、インシデントの件数は誤った理由で減ります。人々が報告をやめるのです。
システムを誠実に保つ
10. ゲーミングのレビューを行う。 四半期に一度、報告されているメトリクスごとに、チームに一つの問いを投げかけます。「誰の役にも立たずにこの数字をよく見せたいなら、私たちは何をするだろうか」。答えを書き留め、防護柵がそれぞれを捉えるかどうかを確かめます。この演習は安上がりで、有用なアイデアを生み、会話を疑いから設計へと移します。
11. 定義を現実と照らして監査する。 クローズされた項目を少数抜き取り、読みます。本当に解決されていたか。優先度は正直だったか。「顧客待ち」の状態は、実際に顧客を待っていたことを意味していたか。15分の抜き取りが、一か月分のダッシュボードより多くを教えてくれることがよくあります。
12. メトリクスを廃止する。 二四半期にわたって判断で引用されていないメトリクスは、オーバーヘッドです。それを取り除き、そう伝えます。信頼される少数のメトリクスは、多数に勝ります。
ゲーミングの手口と防護柵
この表は、上の節のメトリクスを扱います。後続のトピックでは、同じ形をサービスとデリバリーの測定値に適用します。
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 防護柵のカバー率 | 防護柵を紙の上で挙げるだけで、実際には一度も追跡しない | 台帳をレビューする。防護柵は、その最新値が同じダッシュボードに現れて初めて数えられる |
| 再オープン率 | 再オープンせずにチケットをクローズして新しいものを起票する、または期間を延ばして再オープンが期間外になるようにする | 重複チケットと紐づけチケットの割合、チケットをまたいだ同じ原因の再発 |
| 定義変更の件数 | 件数が低く保たれるよう変更を記録しない、または誰にも告げずにワークフローを変更する | 各レビューで、ツール内のステータスモデルと台帳を突き合わせる |
| メトリクス利用率 | 形式的に、すべてのメトリクスを判断ログで引用する | その引用のおかげで何が変わったかを尋ね、ログを抽出して確かめる |
| 認識のギャップ | 満足しているユーザーだけにアンケートを送る、または良いやり取りの直後にアンケートが来るよう誘導する | アンケートの回答率と回答者の構成、レビューで声に出して読む自由記述コメント |
健全な読み方は、変化する測定の実践です。定義は書き留められた理由で調整され、メトリクスは現れては消え、チームは数字が変えた判断について物語を語れます。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| 目標なしで測る | ゲーミングを減らす、誠実な議論を促す | 誰も行動しない報告に流れかねない |
| 防護柵付きの目標 | 方向性と緊急性を与える、組がゲーミングを抑える | 維持に手間がかかる、防護柵も時間とともにゲーミングされる |
| 個人のメトリクス | 分かりやすい、公平に見える | データを損なう、協力を妨げる |
| チームとサービスのメトリクス | 仕事が実際に行われる方法に合う | 帰属が難しい、個人の支援ニーズを隠す |
| 少数のメトリクス | 信頼しやすく覚えやすい | 死角ができる、新しい問題を見逃しうる |
| 多数のメトリクス | 広いカバー | 注意が分散する、各メトリクスのガバナンスが弱くなる |
文章で答えるなら、目標は控えめに、よく理解されていてゲーミングしにくい条件、たとえばユーザーが求めたサービスレベル目標のようなものに使うことです。その場合でも、目標は個人の評価ではなくサービスに結びつけるほうが望ましいです。目的は、意思決定から数字を取り除くことではありません。数字を生み出す人々を味方につけておくことで、数字を現実につなぎとめておくことです。
チームで話し合う問い
1. 現在のダッシュボードの数字のうち、仕事を改善せずに数字だけを改善したくなる誘惑が最も強いのはどれか。 人々が最初に見るメトリクスから始め、次にリーダーシップが尋ねるものへ進みます。具体的な動きを尋ねます。プレッシャーを受けたら、データに何をするだろうか。ファシリテーターは、各回答を裁かずに記録します。そのリストが台帳のゲーミングの手口になるからです。最後に、私たちの防護柵がそのうちのどれを捉え、どれを見逃すかを尋ねます。
2. 最も重要な時間の測定値では、時計はどこで始まりどこで止まるのか、そしてそれを決めたのは誰か。 グループに、チケットまたは作業項目のライフサイクルをホワイトボードに描いて各状態に印を付けてもらいます。顧客待ちや保留のように、時間が消えうる状態を探します。各状態がどれだけ、誰によって使われているかを数えます。この対話で、二つのチームが同じ言葉を違う意味で使っていることが明らかになることがよくあります。
3. 数字のせいで役に立たないことをしたのは、最近ではいつか。 非難ではなく、体験談を募ります。よくある例は、確認の前にチケットをクローズする、デプロイ回数を増やすために変更を分割する、違反の報告を避けるためにインシデントを再分類する、などです。ファシリテーターは、その人が何を守ろうとしていたのかを尋ねます。答えは通常、変えるべきインセンティブを示します。
4. 私たちのメトリクスは誰が見ていて、そこでそれはどうなるのか。 各メトリクスを、チームからその読み手までたどります。どれかの版が、チームや人の比較に使われていないかを尋ねます。読み手が違えば、チームは何を見せるだろうかを尋ねます。見せる数字をチームが変えるとしたら、そこには読み手との間で話し合うべき信頼のギャップがあります。
5. 最も重要な五つのメトリクスそれぞれの防護柵は何で、それは同じページにあるか。 ボードに二列のリストを作ります。防護柵のないメトリクスには、候補を一つ決め、一四半期試すオーナーを決めます。防護柵はあってもほとんど見られていないなら、その理由を話し合います。単にメトリクスの逆であるような防護柵は選ばないでください。新しいことを何も教えてくれないからです。
6. 今四半期に廃止すべきメトリクスはどれか。 証拠を求めます。最後に判断で使われたのはいつか。誰も思い出せないなら、試験期間として廃止し、誰かが気づくかどうかを見ます。ファシリテーターは、廃止を通常の出来事として扱います。メトリクスを決して手放さないチームは、誰も信頼せず読まない報告を抱えることになります。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、ベロシティ、スループット、デプロイ回数を通じてゲーミングに出会います。とりわけベロシティは、一つのチームのための計画ツールであって生産性の測定値ではなく、それでチームを比べると見積もりの水増しを招きます。デリバリーチームは、作業用の測定値は自分たちのものとして保ち、外には少数の集合を公開し、それぞれの速さの測定値を品質の測定値と組にします(トピック2.5「デリバリー予測と計画のメトリクス」を参照)。
サービスチームと運用チーム
サービスチームは、解決時間、初回問い合わせでの解決、サービスレベルの遵守を通じてゲーミングに出会います。時計を止める状態と優先度のフィールドが、ずれが生じる典型的な箇所です。運用チームは、ステータス遷移を定期的に監査し、一時停止状態の利用を報告し、速さの隣で再問い合わせと再オープン率を見るべきです。オンコールのチームは、呼び出されないことに報酬を与える測定値には特に注意すべきです。誠実なアラートを罰することになるからです(トピック3.3「インシデントの対応時間と解決時間」を参照)。
リーダーシップとガバナンス
リーダーは、意図せずにインセンティブを決めてしまうことがよくあります。レビューでの問い(「なぜこれは赤なのか」)は、チームに何を隠すべきかを教えます。リーダーは、チームが数字から何を学んだかを尋ね、順位表を会議室に持ち込まず、率直な報告を守り、悪い数字が明らかにした改善の仕事に予算を付けるべきです。ガバナンスの組織は、報告の一部としてメトリクス台帳とゲーミングのレビューを期待し、メトリクスの定義された変更を通常のこととして扱うべきです。
顧客とユーザー
ユーザーは、ゲーミングの影響を、書類上は良く見えるのに実際には質の低いサービスとして体験します。修正されていないのにクローズされたチケット、計画済みと名付けられた障害、自分たちには届かなかったアンケートです。ユーザーは最良の防護柵でもあります。アンケート、苦情、コメントの形をとるユーザーのフィードバックは、運用の数字の隣に置かれ、スコアに縮められるのではなく全文が読まれるべきです(トピック6.1「顧客満足度のメトリクス」を参照)。
実践:アジャイルITILの例
地域の病院の IT 部門が、サービスデスクと、臨床アプリケーションを作る複数のプロダクトチームを運営しています。この例の数字は説明用です。
経営層は、合意した時間内にインシデントの90パーセントをクローズするという目標を設定します。二か月以内に、ダッシュボードは94パーセントを示します。サービス運用の責任者は喜びつつも不安を覚えます。臨床スタッフからの不満が減るどころか増えているからです。彼女はチームに、そのメトリクスでゲーミングのレビューを行うよう依頼します。
チームはチケットのライフサイクルを描きます。チケットは平均で各2回「顧客待ち」に移っており、その状態にいる時間が伸びていることが分かります。クローズされた30件のチケットを抜き取ると、7件が、1回電話をかけた後に「ユーザーから応答なし」というメモでクローズされていました。また、再オープン率が横ばいなのは、問題が再発したときにユーザーが「新しいチケットを起票してください」と言われていたからにすぎないことも分かります。
チームは三つの変更を行います。第一に、解決時間のグラフは、中央値、90パーセンタイル、最も古い未解決チケットに加え、一時停止状態で過ごした時間の割合も示すようにします。第二に、ダッシュボードに再問い合わせ率を追加します。これは、同じユーザーから同じサービスについて14日以内に来る新しいチケットの割合と定義されます。第三に、クローズされたチケットの無作為標本に短いアンケートを送り、その自由記述コメントを月次レビューで読みます。
三か月後、見出しの遵守率の数字は88パーセントに下がり、悪い知らせのように感じられます。しかし、再問い合わせ率は下がり、未解決の問題についてのアンケートコメントは少なくなっています。運用の責任者は、古い数字は水増しされていて新しい姿のほうが誠実だと経営層に伝え、修正された定義に基づくサービスレベル目標を受け入れるよう求めます。判断ログに記録された決定は、目標をすぐに設定するのではなく、もう一四半期分のデータを得てから設定することです。
業種別の視点
スタートアップ。 小さなチームはメトリクスが少なく、信頼が強く、それが助けになります。危険なのは、大企業向けのダッシュボードを早く持ち込みすぎることです。創業者が実際に使う二つか三つの測定値から始め、その定義を書き留め、個人の業績に関する対話から遠ざけておきます。
小規模事業。 資源は乏しく、IT を担う人はたいていオーナーに直接報告します。一件の顧客の苦情が、どんなダッシュボードよりも重いことがあります。集合を小さく保ち、ユーザーからの直接のフィードバックを優先し、ベンダーが提供するレポートにはベンダー自身のインセンティブがあるため、いくらか慎重に扱います。
大企業。 規模は、比較可能な数字への要求と、それをゲーミングする圧力の両方を増幅します。書かれた定義を持つ小さな標準集合を使い、チームの作業用ビューと集計ビューを分け、異なる種類のサービスに取り組むチーム同士を比べるのは避けます。メトリクス台帳とレビューの頻度が不可欠になります。
政府・公共部門。 報告義務と契約上のサービスレベルにより、一部の目標は交渉の余地がなくなります。それらを設計の入力として扱い、満たし、隣に防護柵を示し、使った定義を報告します。公的な説明責任は悪い知らせを隠すコストを高めるので、安全な内部チャネルを作り、修正した定義について率直であってください(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
このトピックを適用するコストは、主に時間です。定義と台帳を書くための数時間、短い四半期のゲーミングのレビュー、そしてクローズされた項目の時折の抜き取りです。ツールのコストはほとんどありません。より大きなコストはリーダーシップの注意です。この規律は、数字を読む人々が一貫して振る舞うときにだけ機能するからです。
リターンは、避けられた無駄と、より良い判断から生まれます。ゆがんだデータに基づく判断は、投資を誤った問題に向けることがあります。たとえば、本当の問題が不具合による再問い合わせなのに、チケットをより速くクローズするためにサービスデスクの人員を増やすようなことです。ゲーミングはまた、チームとそれに頼る人々との間の信頼を損ない、その修復は困難です。利益は、作り上げた割合ではなくパターンで述べてください。判断の覆りが減ること、監査での不意打ちが減ること、運用の数字とユーザー体験がよりよく一致することです。ビジネスケースに数字が必要なら、認識のギャップや再問い合わせ率など、自分たちのベースラインを、変更の前後で測定してください。
アンチパターンと落とし穴
- 防護柵のない目標。 単独の目標は、利用可能などんな経路でも達成されます。目標を発表する前に、組になる測定値を加えます。
- 人やチームの順位表。 ゲーミングを招き、チーム間の助け合いを妨げます。各チームに、文脈付きで自分のトレンドを見せます。
- 罰としてのメトリクス。 非難を招く赤い数字は、隠蔽によって緑に変わります。代わりに、チームが何を必要としているかを尋ねます。
- 偏ったデータの平均。 ユーザーが苦しむ裾を隠します。パーセンタイルと、最も古い項目の経過時間を使います。
- 黙って定義を変える。 トレンドラインが意味をなさなくなります。すべての変更を理由とともに記録し、グラフに印を付けます。
- 防護柵を新たな目標として扱う。 そうすると防護柵がゲーミングされます。両者を併せてレビューし、防護柵が力を失ったら入れ替えます。
- 虚栄メトリクス。 処理したチケット数やコミット数のように、上がる一方の数は、アウトカムについて何も語りません。上がるだけでなく下がりうる測定値を選びます。
- 定性的な証拠を無視する。 数字だけでは、クローズされたチケットが未解決のように感じられたことは示せません。コメントを読んでください。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 定義と時計 | 非公式、人によって数え方が違う | 一部のメトリクスに書かれた定義がある | メトリクスごとに、時計と除外を含む一つの書かれた定義がある | 定義をレビューし、変更を理由付きで記録する | 定義がチームとサプライヤーの間でそろえられ、判断に役立たなくなったら改訂される |
| 防護柵 | なし | 一部のメトリクスに名前がある | 報告されるすべてのメトリクスに、同じページに防護柵がある | 防護柵を四半期ごとにゲーミングの観点でレビューする | 防護柵は入れ替えられ、測られる人々と共同設計される |
| 利用と安全 | 数字が非難の割り当てに使われる | チームは自分たちの数字を見る | チームが最初にデータを見る、個人の順位付けはない | リーダーシップは学びの問いを投げかける、報告は安全 | 顧客とサプライヤーが数字について率直な見方を共有する |
チェックリスト
- 報告されるすべてのメトリクスに、書かれた問いと、それが情報を与える判断がある。
- すべての時間の測定値に、書かれた開始、停止、一時停止のルールがある。
- 報告されるすべてのメトリクスに、名前のある防護柵が隣に示されている。
- 時間の測定値が、パーセンタイルと最も古い未完了の項目の経過時間を示している。
- オーナー、定義、ゲーミングの手口、防護柵、レビュー日を持つメトリクス台帳がある。
- チームは、経営層より先に自分たちのデータを見ている。
- 個人の順位付け、報酬、懲戒がメトリクスに結びついていない。
- 四半期ごとのゲーミングのレビューがカレンダーに入っている。
- 毎四半期、クローズされた項目の標本を、誠実さの観点で読んでいる。
- 過去一年で、少なくとも一つのメトリクスが廃止または再設計された。
AI プロンプト
メトリクスのゲーミングのレビューを行う。
I lead [team name], which runs [type of service or delivery work]. We report
this metric: [metric name], defined as [definition including where the clock
starts and stops]. It is used by [audience] to [decision or target]. Our data
comes from [tool].
List the realistic ways this metric could be made to look better without
improving the service for users. For each, suggest a guardrail metric or
practice that would reveal it and say what the guardrail's own gaming vector
would be. Do not invent benchmark values. List your assumptions and anything you
could not determine from what I gave you.
メトリクス台帳の項目を下書きする。
Draft a metric register entry for [metric name] for [team name]. Fields: question
it answers, decision it informs, definition, formula, unit, data source, owner
role, review cadence, gaming vector, guardrail, and how users or customers
would notice if it were wrong. Base the entry only on this description:
[describe the metric and current process]. Mark every field you had to assume,
and list questions I should answer to complete the entry.
クローズされたチケットの標本を監査する。
Here are [number] closed tickets from [service], with fields [list fields] and
the resolution notes pasted below. Review each for signs that the ticket was
closed without the problem being solved, that a pause state was used to stop
the clock, or that priority or category looks adjusted. Report patterns, not
individuals. Do not guess at causes not supported by the text. Tell me what you
could not judge from the data and what additional fields would help.
[paste tickets, with personal data removed]
メトリクスを安全に導入する計画を立てる。
We plan to introduce [metric] to [audience]. Current context: [team size,
culture, previous experience with metrics]. Propose a rollout plan covering who
sees the data first, how we explain the purpose, what we will not use it for,
which guardrail we show with it, and when we review whether it is working.
Flag risks of gaming or fear and suggest how to reduce them. List your
assumptions and do not invent statistics.
AI スキル
- Agile ITIL Metrics スキル:導入しようとしているメトリクスについて、そのトピックと組になる防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:新しいメトリクスのトピックが、ゲーミングの手口と防護柵を備えているかを確認するために使います。
重要なポイント
- 目標になった測定値は仕事を描かなくなる。だから数字は問いを立てるために使います。
- ゲーミングは、プレッシャーと恐れに対する普通の反応であり、取り締まりではなく条件を変えることで減らせます。
- すべてのメトリクスには、時計を含む書かれた定義と、隣に示される防護柵が必要です。
- 平均よりパーセンタイルと、最も古い項目の経過時間を好みます。
- チームとサービスを記述し、個人に順位は付けず、チームに先に自分のデータを見せます。
- 四半期ごとにゲーミングのレビューを行い、判断に役立たなくなったメトリクスを廃止します。
参考文献とさらなる読み物
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
- Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Cobra effect.
- Wikipedia, Perverse incentive.
- Wikipedia, Surrogation.
- Wikipedia, ITIL.
- Wikipedia, Key performance indicator.
- Wikipedia, Psychological safety.
- Wikipedia, Velocity (software development).