アウトプットよりアウトカム:何を測るかを選ぶ
優れたサービスやデリバリーのメトリクスは、顧客の生活やサービスの健全性に起きた変化を描きます。そのため、誰にとって何が変わったかを問うことで測定値を選び、アクティビティとアウトプットの件数は、せいぜい補助的な証拠として扱います。
概要と動機
ほとんどのダッシュボードは、数えやすいものから始まります。クローズしたチケット、デプロイした変更、完了したストーリー、応答した電話です。それらはすでにツールにタイムスタンプ付きで記録されており、チームの管理下にあります。しかし、そのどれも、誰かの状況が良くなったかどうかは教えてくれません。
四つの言葉が、この区別を保ちます。アクティビティは、費やされた労力です。働いた時間、開かれた会議、かけた電話などです。アウトプットは、仕事が生み出したものです。リリース、解決したチケット、公開した記事などです。アウトカムは、そのアウトプットが誰かにもたらした変化です。顧客が作業を半分の時間で完了する、診療所が予定どおり開く、繰り返していた問題が再発しなくなる、といったことです。インパクトは、組織の目標に対する長期的な効果で、たとえば顧客の維持や提供コストの低下です。ITIL 4(AXELOS が刊行し、現在は PeopleCert が所有する2019年版のフレームワーク)では、アウトプットはアクティビティの有形または無形の成果物であり、アウトカムは一つ以上のアウトプットによって実現された、ステークホルダーにとっての結果です。
ITILは、あらゆるメトリクスへの試金石として働く二つ目の考え方を加えます。価値は、サービス提供者とサービス利用者によって共創されるものであり、一方から他方へ届けられるものではありません。これは、価値は利用の中で、顧客が提供者の能力を自分の目標に適用するときに生まれるというマーケティングの見方であるサービス・ドミナント・ロジックの考え方に沿っています。完全に提供者側だけで測られたメトリクスは、価値を証明できません。チームがすべてのチケットをクローズし、すべてのリリースを期日どおりに出しても、ユーザーの仕事が楽になっていないことはありえます。
アジャイルの見方は、別の道を通って同じところに行き着きます。アジャイルソフトウェア開発宣言の背後にある原則は、動くソフトウェアが進捗の第一の尺度であり、シンプルさ、すなわちやらない仕事の量を最大化する技術が本質的だと述べています。どちらも、より大きなアウトプットの山に報いるものではありません。どちらも、ユーザーにとって機能するものを届け、誰も必要としないものを作らないことを指し示しています。
アウトプットとアクティビティのメトリクスは、間違っているわけではありません。それらはフロー、キャパシティ、コストを管理し、後続のトピックでも多用されます(トピック2.1「フロー指標」を参照)。間違いは、それらに価値の代役を務めさせることです。虚栄メトリクスとは、報告しやすく、ほとんど常に上がる数字のことです。登録ユーザーの総数、累積の処理チケット数、これまでにリリースした機能数などです。それはチームを忙しそうに見せますが、次に何をすべきかは誰にも教えません。試金石は、この数字は、顧客の状況が悪化しながらも上がりうるか、ということです。
アウトカムのメトリクスは、より難しいものです。動きが遅く、チームの管理外の要因に左右され、ノイズが多いからです。パスワードリセットの流れを変更しても、問い合わせ件数に現れるまで数週間かかることがあり、その件数はマーケティングキャンペーンの影響も受けます。答えは、アウトカムを慎重に選び、チームが日々舵を取るアウトプットの測定値と組にし、動きのどこまでをチームの成果と主張できるかについて正直であることです。
先行指標は、気にかけている結果の前に動き、早い段階で影響を与えられる測定値で、たとえば、テスト済みのサポート手順書を備えた新サービスの割合です。遅行指標は、重大インシデントの件数や顧客の離脱のように、結果を事後に報告するものです。経済学者も同じ組み合わせを使い、経済指標を先行、一致、遅行に分類します。チームには両方が必要です。遅行指標は自分たちが正しかったかを教え、先行指標はまだ間に合ううちに行動するための手がかりを与えます。先行指標は、実際にアウトカムの前に動くことを複数の期間にわたって確かめるまでは、仮説にすぎません。
アウトカムの測定値は、ゲーミングに対する部分的な対策です(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。顧客が体験することに近い測定値は、顧客を助けずに改善することが難しく、ゲーミングはアウトカムからの距離のところに潜みます。選択を助けるフレームワークは別に扱います(トピック1.7「測定フレームワーク」を参照)。
重要な原則
- アウトカムから始めて、逆にたどる。 顧客、サービス、組織にもたらしたい変化に名前を付け、それを示す証拠は何かを問い、さらに、より早く現れる先行する兆候は何かを問います。
- 価値は共創されるので、利用者側を含める。 どの集合にも、少なくとも一つの測定値は、サービスを使う人々から来るべきです。提供者の記録だけではなく、彼らの成功、労力、体験です。
- 連鎖を見えるようにする。 アクティビティ、アウトプット、アウトカム、インパクトを連鎖として示します。チームはアウトプットと先行指標で舵を取り、アウトカムで自分たちを評価します。
- 組にし、置き換えない。 アウトカムの測定値は、アウトプットの測定値がなぜ重要かを説明し、アウトプットの測定値は、アウトカムの測定値に対して何をすべきかを説明します。どちらも単独では機能しません。
- 上がるだけでなく下がりうる測定値を好む。 増える一方の数字は、シグナルではなく、ただの件数です。
- 先行指標を仮説として扱う。 それらがアウトカムを予測するかを確かめ、予測しないなら取り下げます。
- 帰属について正直である。 アウトカムには多くの原因があります。チームが影響を与えるものと、観察するだけのものを言い分けます。
メトリクスの定義
以下の五つのメトリクスは、測定の集合をアウトカムのほうへ動かすために選ばれています。使うべき形の例であり、それらを埋めるサービスとデリバリーの測定値は、後続のトピックで定義します。このトピックの説明用のしきい値は、ベンチマークではありません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| アウトカムのカバー率 | 名前のある顧客またはサービスに対する書かれたアウトカムに、メトリクス台帳でひも付いている、報告済みメトリクスの割合 | 書かれたアウトカムへのひも付けがあるメトリクス数 / 期間内に報告されたメトリクス数。定期レポートに載るメトリクスのみ数え、単一チームが保持する作業用ビューの測定値は除く | パーセント | メトリクス台帳(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定と報告、継続的改善 | プロダクトゴールとデリバリーゴール | 四半期ごと |
| 機能の採用率 | 新規または変更された機能を、リリース後の定められた期間内に使った、対象ユーザーの割合 | リリースから30日以内にその機能を使った対象ユーザーの重複なしの数 / その期間の対象ユーザーの重複なしの数。時計は一般提供の開始から始まり、社内テスト用アカウントと、その機能に到達できなかったユーザーは除く | パーセント | プロダクト分析、サービスカタログの利用ログ | サービス設計、リリース管理 | ステークホルダーレビューのフィードバック、プロダクトのアウトカム指標 | リリース後3か月間は月次、その後は四半期ごと |
| 再問い合わせ率 | 以前の問い合わせがクローズされた後の定められた期間内に、同じサービスについて同じユーザーから来た問い合わせの割合 | クローズされた問い合わせから14日以内に、同じユーザーから同じサービスについて来た新しい問い合わせ数 / 期間内にクローズされた問い合わせ数。時計はクローズから始まり、計画されたフォローアップとして開かれた問い合わせは除く | パーセント | ITSM ツールの問い合わせとチケットの履歴 | サービスデスク、インシデント管理 | 流出した不具合、完了の定義 | 月次 |
| 先行指標の検証率 | 使用中の先行指標のうち、レビュー期間において、ひも付いた遅行指標の動きに先立って動いたものの割合 | 遅行指標に対する先行が確認された先行指標の数 / 使用中の先行指標の数。記録されたレビューでチームが判断し、少なくとも四期間のデータに基づく。四期間未満の指標は除く | パーセント | メトリクス台帳とトレンド履歴 | 継続的改善 | 実験に関するレトロスペクティブのアクション | 年2回 |
| 効果レビューの完了率 | 資金を投じた変更や改善のうち、意図したアウトカムが、合意した遅れの後に、その測定値に照らしてレビューされたものの割合 | 予定されたレビュー日から90日以内にアウトカムのレビューが完了した変更の数 / レビュー日が期間内に来た変更の数。リリース前に取り下げられた変更は除く | パーセント | 変更レコード、改善台帳、レビューのメモ | 継続的改善、変更実現 | ステークホルダーレビュー、プロダクトインクリメントのレビュー | 四半期ごと |
アウトカムのカバー率と効果レビューの完了率は、測定の実践を測るもので、書類仕事で満たしやすいものです。機能の採用率と再問い合わせ率は、顧客により近く、判断を変える可能性が最も高いものです。
推奨事項
アウトカムから始める
1. アウトカムを、人またはサービスについての一文として書く。 「スタッフは、サービスデスクに電話せずに自分でパスワードをリセットできる」はアウトカムです。「新しいアイデンティティポータルをデプロイする」はアウトプットです。その文を台帳のメトリクスの項目の先頭に置き、それから測定値を選びます。その文が書けないなら、数字を選ぶ準備はできていません。
2. アクティビティからインパクトまでの連鎖を描く。 各ゴールについて、四つの箱を描きます。チームが行うこと、それが生み出すもの、ユーザーにとって何が変わるか、それが組織にとって何を変えるか。候補のメトリクスをそれぞれ箱に置きます。左側が埋まり右側が空の集合は、アウトカムの証拠を探すべきという合図です。
3. すべてのメトリクスに価値共創のテストを使う。 問います。これは誰の価値の見方を示しているのか、利用者の見方は集合のどこかに現れているか。ITIL の用語では、サービス関係には提供者と利用者がおり、価値は利用者の利用の中で実現されます。提供者側の時計による応答時間の測定値には、ユーザーが仕事を続けられたかどうかなど、利用者側からの対になる測定値が必要です(トピック6.2「体験レベル合意」を参照)。
4. レポートではなく、判断を求める。 候補のメトリクスごとに、それが動いたら誰がどんな判断をするかを書きます。判断が結びついていない測定値は廃止します。これは虚栄メトリクスに対する最も手早いフィルターであり、ダッシュボードが成り行きで膨らむのを防ぎます。
アウトプットとアウトカムを組にする
5. 主要なアウトプットの測定値ごとに、アウトカムの測定値を一つ選ぶ。 デプロイを報告するなら、そのデプロイがサービスに何を変えたかの測定値、たとえば変更失敗やユーザーに影響するインシデントと組にします(トピック2.8「DORAメトリクス」を参照)。解決したチケットを報告するなら、再問い合わせと組にします。組は同じページに載せます。アウトプットだけを見るチームは、アウトプットのために最適化します。
6. チームが影響を与えられるアウトカムの測定値を選び、観察するだけのものには名前を付ける。 チームは、自分のサービスの再問い合わせや、自分の機能の採用には影響を与えられます。会社の売上は観察することしかできません。どちらも全体像に属しますが、目標と改善の仕事は、影響を与えられる測定値に結びつけます。この違いに名前を付けておくと、チームが引き起こしえなかった動きで非難されることを防げます。
7. 代理指標は公然と使う。 多くのアウトカムは、直接測定できません。代理指標を選び、それが代理であることを述べ、何を取りこぼすかを述べます。再問い合わせ率は「問題が本当に解決された」ことの代理であり、短いアンケートや自由記述コメントを読むことで、それがまだ真実を語っているかを確認できます(トピック6.1「顧客満足度のメトリクス」を参照)。
先行指標と遅行指標の組を作る
8. 遅行指標ごとに、行動に移せる先行指標を少なくとも一つ組にする。 重大インシデントは遅行指標で、テスト済みの復旧手順書を備えたサービスの割合は、それに先行するかもしれません。先行指標は、チームに今月やるべきことを与えます。書き留められる理由で信じられる先行指標を選び、そのうえでその信念を検証します。
9. 振り返りで先行指標を検証する。 年に二回、各先行指標を、遅行側の相手に対して少なくとも四期間にわたってプロットし、動きが先に来たかを問います。関係が弱いなら、先行指標を変更または取り下げます。
10. アウトカムにユーザー向けの明確な測定値があるところでは、サービスレベル目標を使う。 よく選ばれたサービスレベル指標(SLI)は、ユーザーの満足に対する先行シグナルであり、サービスレベル目標(SLO)は、それがどれだけ良くある必要があるかを述べます(トピック5.2「SLI、SLO、エラーバジェット」を参照)。指標が機械ではなくユーザーの視点から選ばれたときに、最もよく機能します。
選択を誠実に保つ
11. アウトカムのレビューで輪を閉じる。 変更や改善に資金が付いたとき、それが生み出すはずのアウトカム、測定値、誰かが見る日付を記録します。答えが気まずいものでも、レビューは行います。レビューがなければ、アウトカムという言葉は飾りです(トピック6.5「価値の実現とビジネス成果」を参照)。
12. アウトプットの測定値は作業用ビューに置き、何のためのものかを述べる。 フロー、キャパシティ、コストの測定値は、チームの道具であって、成績表ではありません。サイクルタイムは、仕事がどこで待たされているかを教えてくれます(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)。アウトカムを隣に置かずに上へ報告すれば、ゲーミングを招きます。
ゲーミングの手口と防護柵
アウトカムへ向かっても、ゲーミングはなくなりません。形が変わります。アウトカムは再定義され、代理指標は誘導され、レビューは省かれうるのです。
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| アウトカムのカバー率 | 紙の上でひも付けが存在するように、すべてのメトリクスに漠然としたアウトカムの文(「サービスを改善する」)を書く | 台帳を抽出する。文は人またはサービスと変化に名前を付けていなければならず、その測定値のおかげで判断が下されたかを確認する |
| 機能の採用率 | 強制された、または自動的な初回利用を採用として数える、対象ユーザー群を縮小する、機能をデフォルトにして、選ばれなくても「使われた」ことにする | その機能のユーザーのタスク完了または満足度、30日後と90日後の利用の継続、自由記述コメントを読む |
| 再問い合わせ率 | 別のチャネルで新しいリクエストを起こすようユーザーに言う、無関係なものの重複として問い合わせをクローズする、期間内の再連絡を避けるためにクローズを遅らせる | 同じサービスについてのチャネル別の問い合わせ、クローズ時のメモの抜き取りレビュー、ユーザーが報告する「問題が解決した」率 |
| 先行指標の検証率 | 非公式に見ただけで先行指標を有効と宣言する、アウトカムと自明に連動して動く指標を選ぶ | プロットしたデータを添えた書面のレビュー記録、サイクルごとに一件の結果を、チーム外の誰かに検証してもらう |
| 効果レビューの完了率 | 名ばかりのレビューを行う、常に達成されるよう、意図したアウトカムを後から設定する | レビューでのアウトカムを、変更に資金が付いたときの表明と比較する、レビューが計画の変更につながった割合を追跡する |
健全な読み方では、ときに期待を裏切るアウトカムの測定値、ときに変更を終わらせるレビュー、ときに取り下げられる先行指標が見られます。すべてのアウトカムが達成され、すべての先行指標が確認されている集合は、おそらくそうなるように調整されています。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| アウトプットとアクティビティの測定値 | 手早く安価で、チームの管理下にある、フローとキャパシティの判断に向く | 水増しされやすい、誰かが恩恵を受けたかについては何も語らない |
| アウトカムの測定値 | 顧客と組織が重んじるものに近い、助けずに改善するのが難しい | 遅く、ノイズが多く、チームの管理外の要因に左右される |
| 先行指標 | 早期警告と、行動の手がかりを与える | アウトカムとのつながりが検証されず仮定されたものなら、誤解を招く |
| 遅行指標 | 実際に起きたことを報告する | 今期の結果を変えるには遅すぎる |
| アウトカムの代理指標 | 測りにくいアウトカムを見えるようにする | 表すものからずれうる、代理化を招く |
| アウトカム主導の小さな集合 | 覚えやすく話し合いやすい、労力を集中させる | 選ばれたアウトカムの外にある問題を見逃しうる |
| 広くバランスのとれた集合 | サービスのより多くをカバーする | 注意が分散する、各測定値が受ける精査が減る |
全員が諳んじられる少数のアウトカムの測定値を持ち、それぞれを説明するアウトプットと先行の測定値で支え、戦略が変わったら集合を見直します。バランスト・スコアカードと目標と主要な結果に結びつくバランスのとれたアプローチは、どちらも日々の仕事を重要な結果につなげようとするものです。主要な結果が、アウトプットの一覧にパーセンテージを添えただけのものになると、どちらも同じように失敗します。
チームで話し合う問い
1. 最も目立つ五つのメトリクスのうち、顧客の状況が悪化しながら上がりうるものはどれか。 五つをボードに書き、それぞれにこの問いを投げかけます。たとえば、クローズしたチケット数は、再問い合わせも増えながら上がりうるものです。ファシリテーターは、答えが「はい」になる場合を記録します。それが虚栄メトリクスだからです。最後に、それぞれの隣に置くアウトカムの測定値は何かを尋ねます。
2. このサービスの顧客にとって、良い一週間とはどのようなものか。顧客自身の言葉で。 顧客と話す人々に尋ね、チーム自身の語彙を避けます。答えはアウトカムの文になり、問題を二度説明しなくて済むことのように、誰も測っていないものが明らかになることもよくあります。三つの文を拾い、代理指標を使ってでも測れるものはどれかを尋ねます。
3. 私たちの先行指標のうち、予測するはずの結果と照らし合わせて確かめたことがあるのはどれか。 一つの指標を選び、直近の数期間にわたって遅行側の相手に対してプロットします。何が見え、どれだけ確信があるかを尋ねます。関係が弱いなら、何に置き換えるかを話し合います。取り下げられた指標は、失敗ではなく、学習の通常の結果として扱います。
4. チームは、観察するだけのアウトカムの手柄を、どこで主張しているか。 経営層へのレポートにあるメトリクスを見ます。季節性、キャンペーン、サプライヤーなど、チームの管理外の要因に左右されるのはどれか。チームが影響を与えるものと観察するものを、平易に言い分ける方法に合意します。これは、チームが原因ではない理由でアウトカムが動く日に備えるものです。
5. 過去二四半期に私たちがリリースしたり変更したりしたものは何で、それが機能したかを誰かがレビューしたか。 変更をボードに列挙し、レビューの記録があるものに印を付けます。ほかのものについては、どのアウトカムが期待されていたか、今ならどうやって確かめられるかを尋ねます。犯人探しは控えます。最初のレビューが遅れてもかまわないので、習慣を始めることが目的です。
6. アウトプットの測定値のうち、作業用ビューに戻すべきものはどれか。 チームには役に立つが、レポートでは誤解を招く測定値があります。どれがどれか、そして経営層向けのレポートに残るには、それぞれの隣に何が必要かを尋ねます。今四半期に動かす測定値を一つ決めます。測定値を動かすことは、成熟の印であって、透明性からの後退ではありません。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、ツールが既定でアウトプットを報告するため、そちらに引かれます。対策は、採用とアウトカムの証拠を、完了の定義とステークホルダーレビューの一部にすることです。誰にも使われない機能は教訓であり、それを早く知ることはアジャイルのプラクティスの利点です。チームはフローの測定値を作業用ビューに置き、採用と失敗の測定値と組にします(トピック2.5「デリバリー予測と計画のメトリクス」を参照)。
サービスチームと運用チーム
サービスチームは、応答した電話、クローズしたチケット、解決までの時間といった処理で測られます。これらは計画とコストにとって重要ですが、ユーザーの問題がなくなったかどうかについてはほとんど何も語りません。運用チームは、速さの測定値の隣に、再問い合わせ、同じ原因の再発、ユーザーが報告する解決を加え、簡単なチケットの増加は疑いを持って扱うべきです(トピック3.1「サービスデスクのメトリクス」を参照)。ナレッジ記事の利用やテスト済みの手順書のような先行指標は、インシデントの合間にチームが行動するための手がかりを与えます。
リーダーシップとガバナンス
リーダーが何を見たがるかは、組織に何が重要かを教えます。アウトカムを求め、それが遅くノイズが多いことを受け入れ、それを確かめるレビューに予算を付けてください。ガバナンスの組織は、それぞれにオーナーと、それが情報を与えた判断の記録を備えた、短く安定したアウトカムの測定値の集合を求めるべきです(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。「なぜこれは赤なのか」と尋ねるリーダーよりも、「私たちは何を学んだか」と尋ねるリーダーのほうが、より良いデータを得ます。
顧客とユーザー
顧客はアウトカムを直接体験し、アウトプットの件数をめったに目にしません。彼らは集合に対する最終テストです。サービスによって、来た目的を果たし続けられるか。短いアンケート、自由記述コメント、実際のタスクの観察は、提供者側のどの測定値よりも良い証拠です。顧客は価値の共創にも役割を持ち、彼らがどれだけ情報を与えられ、力を与えられ、耳を傾けられるかが結果に影響します(トピック6.3「サービス導入とカタログのメトリクス」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、小さなサービスデスクの支援を受けて、約40のプロダクトチームにセルフサービスの環境プロビジョニングサービスを提供する、社内プラットフォームチームを運営しています。この例の数字はすべて説明用です。
月次レポートは、310件のリクエストを履行した(240件から増加)、履行時間の中央値は6時間、四半期に12の機能をリリースした、と示します。経営層は満足します。プラットフォームのリーダーは、プロビジョニングについてのデスクへの問い合わせも増えていることに気づき、チームにアウトプットを、期待していたアウトカム、つまりプロダクトチームが待たされたり助けを求めたりせずに環境を得られることと照らしてグラフにするよう依頼します。
連鎖の演習は、チームがアクティビティとアウトプットは測っていたが、アウトカムは測っていなかったことを示します。チームは三つを加えます。一つ目は再問い合わせ率で、プロビジョニングの問い合わせの22パーセントに、14日以内に同じサービスについての別の問い合わせが続いています。二つ目は最新の三つの機能の機能採用率で、30日後に対象チームの9パーセント、14パーセント、61パーセントです。三つ目は先行指標で、人手の工程なしで完了するリクエストの割合であり、現在は48パーセントです。これが再問い合わせ率を下げる方向に先行するはずだ、と仮説を立てます。
チームは、採用の低かった二つに似た、計画済みの二つの機能を一時停止し、再問い合わせの最も一般的な原因である、クォータ超過時の分かりにくいエラーメッセージに四半期を費やすことに決めます。意図したアウトカムである、15パーセント未満の再問い合わせ率を記録し、90日後にレビュー日を設定します。
ゲーミングのリスクは、二か月目に現れます。再問い合わせ率は11パーセントに下がり、素晴らしく見えます。クローズされた25件の問い合わせを抜き取ると、サービスデスクがフォローアップの質問にチャットチャネルを使うようユーザーに頼み始めており、チャットチャネルは ITSM ツールで数えられていないことが分かります。チームはレポートにチャネル別の問い合わせを加え、抜き取りにチャットの記録を含めると、合算した率は17パーセントでした。それは本当の改善ですが、最初の読み取りより小さいものです。レビューで、リーダーは17パーセントを報告し、先行指標が48から57パーセントへと歩調を合わせて上がったことを述べ、仮説は検証済みと呼ぶのに必要な四期間のうち二期間で成り立ったと記録します。
業種別の視点
スタートアップ。 アウトカムは手近にあります。創業者は顧客と話し、彼らが残るかどうかを見られます。リスクは、ユーザー数と機能数の成長だけを測ることで、定着率とタスクの成功が見えるようになるまで、それらは虚栄メトリクスです。顧客が認識できるアウトカムの測定値を一つ選び、毎週確認してください。
小規模事業。 数字は統計を取るには小さすぎるので、直接の会話、追跡する少数の事例、代理指標の短いリストを優先します。自分たちのアクティビティを、あなたのアウトカムであるかのように報告するベンダーのダッシュボードには注意してください。
大企業。 規模はアウトプットの報告を誘います。アウトプットは多くのチームで比較できるのに、アウトカムはそうではないからです。異質なサービスに一つのアウトカムの定義を押しつけるのは避けます。共有するアウトカムの文の小さな集合に合意し、各サービスに測定値を選ばせ、台帳を最新に保ちます。
政府・公共部門。 法定の義務、資金のルール、サービスレベルが、一部の測定値をあらかじめ固定します。処理した案件数のようなアウトプットであることが多いです。それらを満たしたうえで、市民と職員にとってのアウトカムの測定値、たとえば人が求めていた支援を得られたかどうかを並べて加えます。公的な報告は、誠実なアウトカムのデータをより価値あるものに、またより繊細なものにするので、修正した数字をどう説明するかを事前に合意しておきます(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
アウトカムへ移行するコストは、主に労力と忍耐です。アウトカムの文を書くこと、短いアンケートや採用イベントのような測定値をいくつか加えること、アウトカムのレビューを行うことです。ツールのコストは控えめです。ほとんどの代理指標は、すでに収集されているデータから作れるからです。より大きなコストは遅れです。アウトカムのデータはゆっくり届き、リーダーはそれを待たなければなりません。
リターンは、お金をどこに使うかについてのより良い選択から生まれます。誰にも使われない仕事は高くつきますし、再問い合わせの根本原因をそのままにして処理の測定値を改善するのも同じです。予想されるパターンは、作られて使われない機能の減少、繰り返す原因への注意の増加、資金調達に向けたより強い物語です。パーセンテージを約束してはいけません。最近のリリースの採用や再問い合わせなど、自分たちのベースラインを測定し、数四半期後に比較してください(トピック7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 数えやすいものを数える。 チケットとデプロイの件数はどのツールにもあるので、それが既定になります。別のアウトプットの件数を加える前に、サービスごとに少なくとも一つのアウトカムの測定値を加えます。
- アウトカムの芝居。 確かめることなく、すべてのメトリクスにアウトカムの文を書く。台帳の標本をレビューし、各測定値がどの判断に情報を与えたかを尋ねます。
- 検証されない先行指標。 もっともらしいシグナルを証拠として扱う。年に少なくとも二回、遅行する結果に対してプロットし、先行しないものは取り下げます。
- 個人の目標としてのアウトカム。 アウトカムの測定値を一人に割り当てると、トピック1.2で述べた行動を招きます。アウトカムはチームとサービスに結びつけます。
- 提供者側だけを測る。 内部の時計と件数でできた集合は、顧客が感じることを見逃します。サービスごとに、利用者側の測定値を含めます。
- 決してレビューしない。 約束された効果に基づいて変更に資金を付け、それを確かめない。変更が承認されたときに、変更レコードにレビュー日を入れます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 測定値の選択 | ツールで得られる件数 | 一部のチームがアウトカムの文を書く | 報告されるすべてのメトリクスに、書かれたアウトカムと、それが情報を与える判断がある | アウトカムとアウトプットの集合を、四半期ごとに併せてレビューする | アウトカムの文がチーム、サプライヤー、顧客の間でそろえられ、戦略が変わると改訂される |
| 先行指標と遅行指標 | 遅行する結果だけを、遅れて報告 | 直感で選んだ少数の先行指標 | 先行指標と遅行指標が組にされ、台帳に記録される | 先行指標を年に二回、結果と照らして検証する | 指標はサプライヤーや顧客と共有され、集合は証拠とともに進化する |
| アウトカムのレビュー | 変更が機能したかのレビューなし | 大きな変更の後にときどきレビュー | 資金が付いたすべての変更に、レビュー日が記録される | レビューが完了し、結果が次の計画に反映される | レビューは日常的で、チーム横断で、顧客の意見を含む |
| 利用者側の証拠 | 逸話 | 一部のサービスにアンケート | すべてのサービスに利用者側の測定値がある | 利用者側の証拠をトレンドで追い、運用データと併せて読む | 顧客がアウトカムの測定値の定義と解釈を手伝う |
チェックリスト
- すべてのサービスに、人またはサービスと変化に名前を付けたアウトカムの文が少なくとも一つある。
- 報告されるメトリクスはそれぞれ、アクティビティからインパクトまでの連鎖の上に置かれている。
- 各メトリクスに、それが情報を与える名前のある判断がある。ないものは廃止される。
- レポートのアウトプットの測定値には、すべて隣にアウトカムの測定値がある。
- すべてのサービスに、少なくとも一つの利用者側の測定値がある。
- 各遅行指標に、つながりについての書かれた理由を付けた先行指標がある。
- 先行指標を、年に少なくとも二回、結果と照らして確認している。
- 代理指標は代理指標として示され、何を取りこぼすかが明記されている。
- 資金が付いたすべての変更に、意図したアウトカム、測定値、レビュー日がある。
- アウトカムの測定値はチームとサービスに結びつけられ、個人には結びつけない。
AI プロンプト
アウトプットのメトリクスを、アウトカム主導の集合に変える。
Our team is [team name], which provides [service or product] to [customers or
users]. We currently report [list of output or activity metrics]. We want to
move toward outcomes. For each metric, suggest an outcome sentence about a
customer or service that it might support, and propose one outcome measure and
one leading indicator we could consider. For each suggestion, say what the
measure would miss and how it could be gamed. Do not invent benchmark values
or sources. List your assumptions and the facts you need from me.
先行指標が信頼できるかを検証する。
We use [leading indicator] as a leading indicator for [lagging outcome measure].
Here are [number] periods of data for both, pasted below, with notes on
anything that changed during that time: [data and notes]. Describe whether the
leading indicator appears to move before the lagging one, and what other
explanations are consistent with the data. Do not claim causation. List your
assumptions, the limits of this much data, and what additional data would help.
最近の変更のアウトカムレビューを下書きする。
We made this change: [description], approved on [date], with the intended
outcome [outcome sentence] and measure [measure]. Current data: [data]. Draft
an outcome review agenda and a short summary structure that compares the
intended outcome with what we see, separates what the team influenced from what
it only observed, and lists questions for users. Do not judge success beyond
what the data supports. List your assumptions and any data gaps.
AI スキル
- Agile ITIL Metrics スキル:報告しようとしているアウトプットのメトリクスについて、そのトピックと対になるアウトカムの測定値を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:新しいメトリクスのトピックが、アウトプットの測定値をアウトカムと防護柵に組にしているかを確認するために使います。
重要なポイント
- アクティビティ、アウトプット、アウトカム、インパクトは別のものであり、最初の二つだけのダッシュボードでは、価値を示せません。
- ITIL では価値は利用者とともに共創されるため、どの集合にも、利用者側からの測定値が必要です。
- アウトプットをアウトカムと、遅行指標を検証済みの先行指標と組にします。
- チームが影響を与えるものと、観察するだけのものについて明確にします。
- 資金が付いた変更を意図したアウトカムに照らしてレビューし、その結果に計画を変えさせます。
- アウトカムの測定値はゲーミングを減らしますが、終わらせはしないので、それぞれに防護柵が必要です。
参考文献とさらなる読み物
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.