測定フレームワーク
測定フレームワークとは、どの数字がページに載る価値があるかを決める方法です。優れたものはどれも、ゴールと問いから始まります。すべてのメトリクスを判断に結びつけておける、最も軽いフレームワークを選んでください。
概要と動機
自分たちの仕事を測りたいチームは、早い段階で問題に突き当たります。可能な数字は何千もあり、その中から選ぶ規則がありません。測定フレームワークは、その規則を与えます。出発点(ゴール、戦略、いくつかの重要な条件)に名前を付け、その出発点から、人々が読んで行動に移す少数の測定値に至る道筋を示します。フレームワークによって語彙は異なりますが、目的は共通しています。すべての数字を、それを持つ理由につなげておくことです。
このトピックは、サービスを運営するほとんどの組織に現れる五つの考え方を扱います。一つ目は、ソフトウェア工学の研究者ヴィクター・バジリらが開発したゴール・クエスチョン・メトリクス(GQM)アプローチです。ゴールから始め、ゴールが達成されているかを示す問いを立て、その後で初めてメトリクスを選びます。二つ目は目標と主要な結果(OKR)で、インテルでアンディ・グローブによって、のちに Google でジョン・ドーアによって広められた目標設定の手法です。目標はチームがどこへ向かいたいかを述べ、いくつかの主要な結果は、到着したことをどうやって知るかを述べます。三つ目は、ロバート・キャプランとデビッド・ノートンが1992年に導入したバランスト・スコアカードで、財務の成果、顧客、内部プロセス、学習と成長を併せて見るよう組織に求め、どれか一つの見方が支配しないようにします。
四つ目と五つ目の考え方は、より古く、より素朴です。重要成功要因(CSF)は、ゴールに到達するために成り立っていなければならない条件であり、重要業績評価指標(KPI)は、その条件がどれだけ保たれているかの測定値です。Axelos、のちに PeopleCert が刊行する IT サービスマネジメント(ITSM)のフレームワークである ITIL は、まさにこの組み合わせを使います。ITIL 4(2026年10月時点で広く使われている版)では、測定と報告、および継続的改善に関する手引きが、実践者に、サービスまたはプラクティスの CSF を定義し、その進捗を示す KPI を選ぶよう伝えています。より広いITILのアプローチは、ここでは要約するだけで、転載はしません。
アジャイルと ITIL の見方は、この領域で有益に出会います。アジャイルのプラクティスは、学びの短いサイクルを好みます。チームが仮説を述べ、何かを試し、結果を点検し、調整します。ITIL のプラクティスは、定義されたサービス、合意されたサービスレベル、管理された改善のプロセスを好みます。GQM のようなフレームワークは、チームが何を学びたいかを問うアジャイルの習慣に合います。バランスト・スコアカードは、サービスの健全性の全体像をリーダーに示す ITIL のニーズに合います。OKR は両者の間にあります。短いサイクルでレビューされつつも、ガバナンスの組織が理解するアウトカムの言葉で書かれているからです。
このトピックでは三つの用語が繰り返し登場します。ゴールは、名前のある読み手に向けた、意図したアウトカムの表明です。問いは、ゴールが達成されているかを言うために知る必要があることです。メトリクスは、問いに答える助けとなる、何かを数えたり時間を測ったりする定義された方法です。フレームワークは三つ目の用語の扱い方が異なりますが、どれも、それがゴールと問いの後、最後に来ることを主張します。この順序は、グッドハートの法則が述べる失敗、すなわち数字が、それが仕えるために選ばれた目的に取って代わってしまうことに対する、最も強い保護です(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
どのフレームワークも、ゴールの選び方の悪さを直してはくれず、防護柵の必要性をなくしもしません。フレームワークは対話のための足場として扱い、仕事が変わるにつれて変えていくことを予期してください。特に KPI は、処理したチケットの総数のように、増える一方で判断に情報を与えない件数である虚栄メトリクスになりえます。そもそも測定する広い理由は、別に述べています(トピック1.1「なぜアジャイルITILを測定するのか」を参照)。
フレームワークはどう違うか
フレームワークは少しずつ異なる問いに答えており、組み合わせて使うのはよくあることです。下の表を地図として使ってください。
| フレームワーク | 出発点 | 典型的な出力 | 最適な用途 | 典型的な期間 |
|---|---|---|---|---|
| ゴール・クエスチョン・メトリクス | プロダクト、プロセス、サービスの具体的なゴール | ゴール、問い、メトリクスの木 | 一つのチームまたはサービスの測定プログラムの設計 | 数週間から数か月 |
| OKR | 次の期間の野心的な目標 | 少数の目標と、それぞれの測定可能な主要な結果 | チームをアウトカムに揃え、労力を集中させる | 四半期 |
| バランスト・スコアカード | 組織の戦略 | 四つの視点にわたる目標と測定値 | リーダーに全体像を示し、戦略を運用につなげる | 年 |
| CSF と KPI | サービス、プラクティス、またはゴール | 満たすべきいくつかの条件と、それぞれの指標 | 定義された ITIL プラクティスの運用と、その健全性の報告 | 継続的、定期的にレビュー |
重要な原則
- ゴールから始め、次に問い、次にメトリクス。 先に選ばれたメトリクスは、役に立つかどうかを判断する方法がありません。
- 読み手と判断を明示する。 すべてのゴールは誰が恩恵を受けるかを名指しし、すべてのメトリクスは誰がそれに基づいて行動するかを名指しします。
- 集合を小さく保つ。 読まれ信頼される少数の測定値は、ざっと目を通されるだけの長いリストに勝ります。
- 見方のバランスをとる。 速さには品質、コストには体験、短期のアウトプットには長期の学習を組にし、どのフレームワークも、一方を犠牲にして他方に報いることがないようにします。
- 目標を仮説として扱う。 ゴールとその数字は外れうる賭けなので、予定を決めてレビューし、記録した理由とともに変更します。
- フレームワークはチームとサービスを記述するために使い、人の順位付けには使わない。 スコアカード、主要な結果、KPI は、チームまたはサービスのものです。
- フレームワークは意図して組み合わせる。 どのフレームワークがどの判断を担うかを述べ、同じ数字が三通りに定義されることのないようにします。
メトリクスの定義
以下のメトリクスは、サービスの健全性ではなく、使用中のフレームワークの健全性を測ります。ゴールとメトリクスが今もつながっているかを示し、チームがどのフレームワークを選んでも当てはまります。件数はチームまたはサービスごとで、個人ごとではありません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| ゴールの追跡可能性 | 書かれたゴールと問いにたどれる、報告済みメトリクスの割合 | ゴールと問いが記録されているメトリクス数 / 報告されたメトリクス数 | パーセント | メトリクス台帳(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定と報告、継続的改善 | デリバリーゴール、プロダクトゴール | 四半期ごと |
| 主要な結果のスコア分布 | 主要な結果の期末スコアの散らばり。各帯域に入る割合で示す | 各スコア帯(たとえば0.0から0.3、0.4から0.6、0.7から1.0)の主要な結果数 / 期間内に採点された主要な結果数。理由を記録して取り下げられた主要な結果は除く | 帯域ごとのパーセント | OKR 追跡ツールまたはチームのドキュメント | 継続的改善、サービスレベル管理 | 四半期計画、レビュー | 四半期ごと |
| 視点のカバー率 | バランスト・スコアカードの四つの視点のうち、現在値のある測定値を少なくとも一つ持つものの割合 | 直近の期間に測定値が報告された視点の数 / 4 | パーセント | スコアカードまたはダッシュボード | 測定と報告、サービスバリューシステムのガバナンス | ステークホルダーレビュー(顧客と学習の見方) | 四半期ごと |
| 指標のレビュー経過日数 | 各 KPI の定義と目標が最後にレビューされてからの時間 | 報告日 - 最後のレビュー日。時計は最後に記録されたレビューから始まり、報告日で止まる。中央値と最も古いものを報告 | 日 | メトリクス台帳の変更ログ | 継続的改善、測定と報告 | レトロスペクティブのアクション | 四半期ごと |
| CSF と KPI のカバー率 | 現在報告されている KPI を少なくとも一つ持つ、重要成功要因の割合 | 現行の KPI を持つ CSF の数 / サービスまたはプラクティスに定義された CSF の数 | パーセント | プラクティスまたはサービスの文書、メトリクス台帳 | ITIL のプラクティスガイドにおける CSF と KPI のアプローチ | 完了の定義、ワーキングアグリーメント | 四半期ごと |
ゴールの追跡可能性は、ゴールと問いの両方が書かれ、読み手に名前が付いている場合にのみ、メトリクスを追跡済みと数えます。ゴールだけでは足りません。主要な結果のスコア分布は、平均ではなく散らばりとして読むべきです。平均は、すべてを控えめに設定したチームと、すべてに失敗したチームを隠すからです。指標のレビュー経過日数は、期間内に廃止されたメトリクスを除きます。
推奨事項
フレームワークを選び、組み合わせる
1. 仕事をこなせる最小のフレームワークを選ぶ。 改善課題が一つだけの単一のサービスチームは、完全なバランスト・スコアカードをほとんど必要としません。GQM で十分なことが多く、それには明確な終点があるからです。一つのゴール、いくつかの問い、いくつかのメトリクスからなる木です。構造を加えるのは、判断がそれを必要とするときだけにします。
2. ゴールを三つの部分、目的、対象、視点で書く。 GQM のゴールは伝統的に、定められた視点から、定められた対象の定められた品質を改善するという形で組み立てられます。たとえば、サービスデスクに頼る人々にとっての、インシデントの更新の分かりやすさを改善する、といった具合です。この構造は、誰が恩恵を受けるかを言わせます。視点のないゴールは、おそらくスローガンです。
3. 短い話で人が答えられる問いを立てる。 「ユーザーは問題を報告した後、どれくらい早く返事を受け取るか」は良い問いです。答えとその背後の証拠を思い描けるからです。「私たちのパフォーマンスはどうか」は良い問いではありません。ゴールごとに三つから五つの問いを目指し、いくつかは数字ではなく、インタビューや標本で答えられることを予期します。
4. メトリクスは最後に、複数選ぶ。 問いごとに、候補のメトリクス、データソース、ゲーミングの手口に名前を付けます(トピック1.5「データソースと計装」を参照)。応答時間の隣に再オープン率を置くように、他のものと緊張関係にあるメトリクスを少なくとも一つ含めます。ある問いに実行可能なメトリクスがないなら、そう述べて、定性的なチェックを計画します。
5. どのフレームワークがどの判断を担うかを決める。 よくある取り決めは、バランスト・スコアカードまたは同等のものがリーダーのレビューする少数の測定値を担い、OKR がチームが今四半期に選んだ改善を担い、CSF と KPI がプラクティスの運用上の健全性を記述するというものです。この取り決めをメトリクス台帳に書き、各数字に一つの定義と一人のオーナーがあるようにします。
OKR をうまく使う
6. 目標はアウトカムとして、主要な結果は証拠として書く。 「ユーザーは私たちを追いかけずに問題を解決してもらえる」のような目標はアウトカムです。「有用な最初の更新までの時間の中央値が[現在値]から[目標値]に下がる」のような主要な結果は、証拠です。タスクのように読める主要な結果(「新しいポータルを立ち上げる」)は、結果ではなくアクティビティです。ユーザーにとって何が変わるかが言えないなら、その主要な結果は完成していません。
7. OKR をチームとサービスのレベルに保つ。 個人に設定すると、タスクリストや人事評価の入力に変わりがちで、グッドハートの法則が予測するゲーミングを招きます。チームが自分たちの主要な結果を公開の場で書き、互いのものを見られるようにします。すべてのレベルが上のレベルを言い直さなければならないカスケードは避けます。
8. スコアを成績ではなく、対話として扱う。 満点を目標とするチームは、控えめな主要な結果を書きます。上位に集まるスコア分布は手加減を示唆し、下位に集まるものは目標が空想だったことを示唆します。毎四半期、散らばりをレビューし、それぞれの未達からチームが何を学んだかを尋ねます。
スコアカード、CSF、KPI をうまく使う
9. KPI より先に CSF を定義する。 重要成功要因は、「ユーザーが適切なセルフサービス記事を見つけて使える」のように、何が成り立っていなければならないかの表明です。KPI は、それが成り立っているかを示します。KPI から始めると、数えやすいものを数えることになります。CSF ごとに、「これが成り立たなくなったら、どれくらい早く、何から気づくか」と問います。その答えが KPI です。
10. スコアカードの視点を使って、片側だけの見方を防ぐ。 古典的な四つの視点は、財務、顧客、内部プロセス、学習と成長です。サービス組織はしばしばこれらを、たとえばコスト、ユーザー体験、運用の健全性、能力のように名前を変えます。重要なのは、各視点に現在値を持つ測定値が少なくとも一つあり、一つの視点の低下が他の視点と併せて読まれることです(トピック6.5「価値の実現とビジネス成果」を参照)。
11. 戦略と測定値を、簡単なマップで結びつける。 戦略マップは、能力からプロセス、顧客、財務の成果へと矢印を引きます。対話には有用ですが、計算機としては不向きです。描いて、矢印について議論し、それから少数の測定値を選びます。図を定量的に正確にしようとしてはいけません。
12. フレームワークをカレンダーに沿ってレビューする。 四半期ごとのレビューを設定し、チームが、すべてのゴール、主要な結果、KPI について、それがまだ重要か、人々を正しい行動に向かわせているかを問います。役に立たなくなったものは廃止し、理由を記録します。ゴールより長生きしたメトリクスは、虚栄メトリクスになります。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| ゴールの追跡可能性 | 記録を完全に見せるために、メトリクスがすでに存在してからゴールと問いを書く、どんなメトリクスも正当化する漠然としたゴール | 毎四半期、五つの項目を抽出し、その問いが別のメトリクスにつながりえたかを尋ねる。読み手と判断に名前が付いているかを確認する |
| 主要な結果のスコア分布 | スコアが1.0付近に集まるよう、容易な主要な結果を書く、甘い再採点、うまくいっていない主要な結果を理由を記録せずに取り下げる | 理由付きで取り下げられた主要な結果の数、主要な結果を前の期間のアウトカムと比較する、野心の中央値をリーダーシップとレビューする |
| 視点のカバー率 | 視点が「カバー済み」と数えられるよう、形だけの測定値を加える、動きようのない測定値を選ぶ | 各視点の測定値が過去一年で値が変わっており、書かれた判断が結びついているかを確認する |
| 指標のレビュー経過日数 | 指標を読まずにレビューを記録する、日付だけ変える | 各レビューに書かれた結果(維持、変更、廃止)を求め、ログを抽出する |
| CSF と KPI のカバー率 | 完全なカバー率に達するために、CSF と無関係な KPI を割り当てる、失敗を明らかにできない KPI を選ぶ | 各組について、CSF が失敗していることを示す値は何かを尋ねる。一度も赤になったことのない KPI を探す |
健全な読み方は、世界が変わるとゴールが変わり、いくつかの主要な結果が述べられた理由で未達になり、報告されるメトリクスの数が増えるのではなく減るか安定しているというものです。すべてが緑で、スコアが上位に集まり、今年廃止されたメトリクスを誰も挙げられないなら、フレームワークは飾りになっています。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| ゴール・クエスチョン・メトリクス | 各メトリクスを理由に結びつける、説明しやすい、チーム規模で機能する | ファシリテーションされたセッションが必要、書類上の演習になりうる、ゴール間の優先度についてはほとんど語らない |
| OKR | 四半期を少数のアウトカムに集中させる、チーム間で見える、短い計画サイクルに合う | 主要な結果をタスクとして書きやすい、スコアをゲーミングされうる、個人の OKR が人事評価と混ざる |
| バランスト・スコアカード | リーダーに全体像を与える、戦略を運用につなげる | 維持が重い、視点が埋めるべき箱になりうる、変化の反映が遅い |
| CSF と KPI | ITIL のプラクティスで馴染みがある、稼働中のサービスの報告に向く | 虚栄 KPI に流れやすい、レビューがなければ指標が古くなる |
| フレームワークなし | ごく小さなチームには軽くて速い | メトリクスが理由なく蓄積し、何を測るかをめぐる議論が繰り返される |
| 複数のフレームワークを併用 | 各判断に合った道具が使える | 定義が重複する、どの数字が権威あるものか混乱する |
フレームワークの重さは、賭け金に合わせて選びます。小さな社内サービスには、ゴール、三つの問い、一ページに収まるいくつかのメトリクスがあれば足ります。契約のもとで提供されるサービスには、サービスレベル合意のレベルまで定義された KPI が必要かもしれません(トピック5.1「SLA、OLA、XLAのメトリクス」を参照)。
チームで話し合う問い
1. 報告している各メトリクスはどのゴールに仕えていて、報告をやめたら誰が気づくか。 メトリクスをボードに列挙し、それぞれの隣にゴールを書きます。ゴールが欠けているところでは、誰が、なぜそのメトリクスを求めたのかを尋ねます。以前のプロジェクトから引き継いだもので、廃止できるものも出てきます。ファシリテーターは、ゴールのないメトリクスを失敗ではなく、普通の発見として扱います。
2. サービスについて三つの問いにしか答えられないとしたら、どの三つか。 これは、メトリクスの前に問いの順位付けを迫ります。各自に三つ書いてもらい、グループ化します。そのグループを、チームが現在持っているダッシュボードと比べます。両者のギャップが、たいていセッションの最も有用な成果です。
3. 私たちの主要な結果のうち、ユーザーにとってのアウトカムを述べているのはどれで、やる予定の仕事を述べているのはどれか。 各主要な結果を声に出して読み、達成されたらユーザーが気づくかを尋ねます。答えがノーなら、アウトカムとして書き直すか、計画に移します。ファシリテーターは、タスクは構わないが、バックログに属するものだと触れておけます。最後に、今四半期に書き直す主要な結果を一つ決めます。
4. 四つのスコアカードの視点が食い違うのはどこで、それは何を教えてくれるか。 グループに、一つの視点が改善する一方で別の視点が悪化した最近の期間、たとえばコストが下がる一方で体験が落ちた期間を探してもらいます。原因と、誰かがそれを予見していたかを話し合います。これは測定値を併せて読む習慣を築きます。測定値のない視点を記録し、追加するか、範囲外であると平易に述べるかを決めます。
5. 各重要成功要因について、それが失敗していることを示す値は何か。 二つの CSF を選んで KPI に名前を付け、どの値が対話の引き金になるかを尋ねます。チームが言えないなら、その KPI は仕事をしていません。一度も色が変わったことのない KPI を探します。それは通常、しきい値が緩すぎることを示します。ファシリテーターは、その KPI のゲーミングの手口は何かを尋ねます。
6. どのフレームワークがどの判断を担うべきか、そして現在、同じ数字を二度定義しているのはどこか。 インシデント解決時間のようなメトリクスを一つ、それが現れるすべてのレポートにわたってたどります。定義を比較します。時計や除外の違いはよくあり、チーム間の議論をしばしば説明します。一人のオーナーと一つの定義に合意し、台帳に記録します。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは主に OKR、運が良ければ GQM という形でフレームワークに出会います。チームが、ユーザーが必要とするものにひも付けた自分たちのゴールと主要な結果を自ら書き、作業用の測定値をリーダーが見るものと分けておくときに、最も価値を得ます。ストーリーポイントやリリース数のようなアウトプットに報いる主要な結果には、警戒するべきです。フレームワークが防ぐはずだった行動を招くからです(トピック1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
サービスチームと運用チーム
運用チームは主に、ITIL のプラクティスの中の CSF と KPI、および顧客と合意したサービスレベル目標という形でフレームワークに出会います。KPI を選ぶ前に CSF を平易な言葉で定義すること、時間の測定値にパーセンタイルを報告すること、サービスレベル指標や目標のような信頼性の測定値をユーザーの体験の隣に置くことから恩恵を受けます(トピック5.2「SLI、SLO、エラーバジェット」を参照)。また、何年も前に設定されて、もはやサービスの使われ方に関係のない KPI を保ちたくなる誘惑にも抵抗するべきです。
リーダーシップとガバナンス
リーダーは、通常はスコアカードや OKR を求めることでフレームワークを選び、数字をどう扱うかが、フレームワークの振る舞いを決めます。未達の主要な結果を罰するリーダーは、チームに容易なものを書くことを教えます。チームが何を学んだかを尋ねるリーダーは、誠実なものを書くことを教えます。ガバナンスの組織は、メトリクス台帳、少数の報告される測定値、そしてフレームワーク自体が機能しているかの定期的なレビューを期待するべきです(トピック11.4「メトリクスプログラムの成熟度モデル」を参照)。
顧客とユーザー
顧客とユーザーがフレームワークを目にすることはめったになく、その効果だけを見ます。よく設計されたものは、彼らが求めた形で改善されるサービスと、改善されなかったことについての誠実な報告として現れます。出来の悪いものは、体験と合わない緑のレポートとして現れます。すべてのゴールにユーザーの視点を含め、ユーザーのフィードバックを、運用の数字と並べて、スコアカードの顧客の視点に載せます(トピック6.2「体験レベル合意」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、複数のプロダクトチームと小さなサービス運用グループとともに、カスタマーサポートのプラットフォームとセルフサービスのポータルを運営しています。数字はすべて説明用です。
経営層は、バランスト・スコアカードを求め、それとは別に、四半期ごとの OKR を求めます。一四半期のうちに、チームは31の報告される測定値を抱え、その半分がなぜ存在するのか、誰も言えなくなります。サービスオーナーは、一つのゴールについて GQM を使った半日のセッションを開きます。「支払いを完了できない顧客にとっての、ヘルプの分かりやすさを、顧客の視点から改善する」。
セッションは四つの問いを生みます。顧客は適切なヘルプ記事を見つけるか。それを読んだ後でサポートに連絡する必要があるか。サポートに連絡した場合、支払いの問題の解決にどれくらいかかるか。答えは明確だったと感じるか。31の測定値のうち9つが、これらの問いに対応します。新たに三つが必要です。記事検索の成功、記事閲覧後の問い合わせ率、解決後の一問のアンケートです。残りの22は、オーナーの同意を得て廃止対象に印を付けられます。
その四半期の OKR は、アウトカムとして書かれます。目標は「顧客は私たちを追いかけずに支払いの問題を解決できる」です。三つの主要な結果は、解決までの時間の中央値と90パーセンタイル、記事閲覧後の問い合わせ率、分かりやすさについてのアンケート結果です。スコアカードは、顧客の視点を同じ測定値に向けたままにするので、定義は二つではなく一つです。
四半期の途中で、ゲーミングのリスクが現れます。記事閲覧後の問い合わせ率が急に下がり、成功のように見えます。レビュアーが20件のセッションを抽出すると、再設計によって「お問い合わせ」リンクが3画面深くに移動していたことが分かります。サポートに届く人が減り、アンケートは分かりやすさのスコアが低下していることを示します。チームは検索の離脱とアンケートのコメントを防護柵として加え、リンクを元に戻します。
四半期の終わりに、主要な結果のスコアは0.6、0.8、0.5で、チームはそのまま提示します。リーダーシップは、なぜスコアがもっと高くなかったのかではなく、チームが何を学んだかを尋ねます。判断ログに記録された決定は、同じ目標をもう一四半期続け、問い合わせ率を、最初の訪問で問題を解決する顧客の割合に置き換え、さらに6つのスコアカードの測定値を廃止することです。
業種別の視点
スタートアップ。 スタートアップには通常、ゴール、三つの問い、一ページに収まる少数のメトリクスがあれば足ります。OKR は一般的で、仕事をするチームが書くとうまく機能します。投資家や顧客が求めるまでは、スコアカードを加えるのを控えます。
小規模事業。 資源は乏しいので、フレームワークを一つ選び、軽く使います。事業が間違えるわけにはいかない二つか三つのことについて書いた CSF と KPI で、足りることが多いです。手の込んだスコアリングよりも、顧客からの直接のフィードバックを優先します。
大企業。 通常、複数のフレームワークが共存し、定義のオーナーシップが主な課題になります。台帳をつけ、どのフレームワークがどの数字を担うかを指定し、取り決め全体の年次レビューを行います。すべてのチームに全社の目標を自分たちの言葉で言い直させるカスケードには注意します。
政府・公共部門。 義務づけられた報告と契約上のサービスレベルは、固定された KPI として働きます。それらを所与として扱い、その周りの改善の仕事に GQM や OKR を使います。公的な説明責任は、誤解を招く数字の賭け金を高めるので、定義を公開し、変更について率直であってください(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
フレームワークのコストは主に時間です。測定値を設計するためのファシリテーションされたセッション、短い四半期のレビュー、台帳の維持です。OKR やスコアカードのソフトウェアもありますが、小さな規模ではドキュメントやスプレッドシートで足りることが多いです。より大きなコストはリーダーシップの注意です。リーダーが使わないフレームワークは、報告のための報告になるからです。
リターンは、より少なく、より良い測定値から生まれます。各数字がなぜ存在するかを言えるチームは、誰も読まないレポートの作成に費やす時間が減り、定義をめぐる議論が減り、測定値が判断に情報を与えなくなったことに早く気づきます。数字を引用するのではなく、自分たちのベースラインを測定してください。フレームワークを採用する前後で、報告されるメトリクスの数、記録されたゴールを持つ割合、定期レポートの準備に費やす時間です。投資対効果のより詳しい扱いは、別にあります(トピック7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- ゴールより先のメトリクス。 手元にあるデータから始めると、数えやすいものだけのダッシュボードができます。まずゴールと問いを書き、それからどのデータが合うかを見ます。
- タスクリストとしての OKR。 アクティビティを名指しする主要な結果は、どの四半期も忙しそうに見せ、アウトカムについては何も語りません。それぞれを、ユーザーが気づく証拠として書き直します。
- 個人の目標としての OKR とスコアカード。 ゲーミングを招き、人々の間の助け合いを妨げます。チームとサービスのレベルに保ちます。
- 空虚な、または形だけの視点を持つスコアカード。 すべての箱を何かで埋めることは、全体を見ることと同じではありません。それぞれに現在値と判断を求めます。
- 決して変わらない KPI。 指標が何年も緑のままなら、そのしきい値はおそらく誤っているか、失敗しえないものを測っています。どの値が問題を示すかを問い、設定し直します。
- オーナーシップなく積み重ねられたフレームワーク。 同じ測定値を三通りに定義する三つのフレームワークは、議論を生みます。オーナーと一つの定義を指名します。
- スコアに報いる。 OKR の満点が称賛や報酬を得るなら、チームは容易な主要な結果を書きます。誠実な学びと良い問いに報いてください。
- 儀式としてのフレームワーク。 ラミネート加工のポスターを生む一日のワークショップは、何も変えません。成果物を台帳に残し、カレンダーに沿ってレビューします。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| ゴールと問い | データがあるからメトリクスを選ぶ | 一部のチームがメトリクスより先にゴールを書く | ゴールと問いの共通の形式があり、報告されるすべてのメトリクスがそれにたどれる | 追跡可能性をレビューし、ギャップが予算付きの仕事につながる | ゴールは顧客やサプライヤーと共同で書かれ、状況に応じて改訂される |
| フレームワークの利用 | その場しのぎ、フレームワークの明示なし | チームが異なる語彙で異なるフレームワークを採用している | どのフレームワークがどの判断を担うかを書いた取り決めがある | フレームワークの成果をレビューし、使われない部分を捨てる | フレームワークが、一組の定義でチームとサプライヤーの間でそろえられている |
| 指標とスコアリング | KPI は一度設定されたきりレビューされない | 一部の KPI にオーナーとしきい値がある | KPI と主要な結果に、オーナー、定義、防護柵がある | スコアと指標をトレンドで追い、毎四半期ゲーミングの観点でレビューする | 指標は日常的に廃止と置き換えが行われ、変更はアウトカムに結びつく |
| 判断での活用 | レポートは作られ、無視される | 何かがうまくいかないときにリーダーが数字を求める | レビューが、数字が影響を与えた判断を記録する | 学びの問いが標準で、未達の目標は非難なしに議論される | チーム横断の改善計画が、同じ共有ゴールと測定値を使う |
チェックリスト
- 報告されるすべてのメトリクスが、書かれたゴール、問い、名前のある読み手にたどれる。
- メトリクス台帳が、どのフレームワークが各メトリクスを担うかと、その唯一の定義を記録している。
- ゴールが、目的、対象、視点を持って書かれている。
- 各主要な結果が、タスクではなく、誰かが気づくアウトカムを述べている。
- OKR、スコアカードの測定値、KPI は、個人ではなく、チームまたはサービスに属している。
- 各重要成功要因に、少なくとも一つの現行の KPI と、失敗を示す値の明記がある。
- 各スコアカードの視点に、現在値を持つ測定値がある。
- すべてのメトリクスに、名前のあるゲーミングの手口と防護柵がある。
- 四半期ごとのレビューで、各ゴール、主要な結果、KPI がまだ重要かを問う。
- 過去一年で、少なくとも一つのメトリクスまたは指標が、理由を記録して廃止または再設計された。
AI プロンプト
ゴールを問いと候補のメトリクスに変える。
Our team is [team name], which runs [type of service or delivery work] for
[audience]. Our goal is: [goal stated as purpose, subject, and viewpoint]. Using
the Goal-Question-Metric approach, propose three to five questions that would
show whether we are meeting this goal. For each question, suggest candidate
metrics we could define, the kind of data source we would need, the likely
gaming vector, and a guardrail. Do not invent benchmark values or statistics.
List your assumptions and anything you could not determine from what I gave you.
OKR の草案をレビューする。
Here are our draft objectives and key results for [period]: [paste OKRs]. Our
team is [team name] and our users are [audience]. Review each key result and
tell me whether it describes an outcome or an activity, whether it could be met
without helping users, and what guardrail would show that. Suggest rewrites
where needed, using [placeholders] for any numbers we must supply ourselves.
Do not invent targets or benchmark values. List your assumptions and questions I
should answer.
重要成功要因を KPI に対応づける。
For the ITIL practice [practice name] in our organization, which serves
[audience], here are the critical success factors we have drafted: [list CSFs].
Propose KPIs for each that could be collected from [data sources]. For each KPI,
state where the clock starts and stops if it is a time measure, what reading
would show the factor is failing, and how it might be gamed. Do not state
benchmark values or compliance claims. List your assumptions.
スコアカードのバランスを監査する。
Our scorecard has these measures, grouped by perspective: [paste measures by
perspective]. We are [type of organization]. Identify perspectives that are
thin, measures that appear to duplicate each other, and measures that could
move in a way that hides a problem in another perspective. Suggest guardrails
and measures to retire. Do not invent figures or sources. List your
assumptions and what you could not judge from the data I gave you.
AI スキル
- Agile ITIL Metrics スキル:メトリクスをフレームワークに配置する前に、どのトピックがそれを担い、どの防護柵が組になるかを見つけるために使います。
- Agile ITIL Metrics メンテナースキル:フレームワークに基づくメトリクスの項目が、定義、ゲーミングの手口、防護柵を備えているかを確認するために使います。
重要なポイント
- フレームワークは、どのメトリクスが場所を得るかを決めます。共通の規則は、ゴールと問いから始め、その後でメトリクスを選ぶことです。
- ゴール・クエスチョン・メトリクスは一つのチームの測定値の設計に、OKR は四半期の集中に、スコアカードは全体像を示すリーダー向けのビューに、CSF と KPI は ITIL プラクティスの運用に向いています。
- 機能する最も軽いフレームワークを使い、どれがどの数字を担うかを述べます。
- どのフレームワークもゲーミングされうるので、各メトリクスを防護柵と組にし、カレンダーに沿って集合をレビューします。
- フレームワークをチームとサービスのレベルに保ち、個人の目標にはしません。
- 判断に情報を与えなくなったゴール、主要な結果、指標は廃止します。
参考文献とさらなる読み物
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Victor Basili.
- Wikipedia, OKR.
- Wikipedia, Balanced scorecard.
- Wikipedia, Critical success factor.
- Wikipedia, Key performance indicator.
- Wikipedia, ITIL.
- Wikipedia, Vanity metric.
- Wikipedia, Strategy map.