なぜアジャイルITILを測定するのか
サービスを構築し運用するチームには、自分たちの仕事がユーザーの役に立っているか、そして良くなっているかを見るための、少数の誠実な数字が必要です。アジャイルと ITIL は、その全体像のそれぞれ異なる半分を提供します。
概要と動機
サービスを構築し運用するチームは、一日中判断を下しています。次に何に取り組むか、リリースは安全か、サービスデスクにもう一人必要か、障害は単発だったのかパターンなのか。測定がなければ、これらの判断は記憶や逸話、最後に発言した人の意見に頼ることになります。誤った測定があると、状況はそれ以上に悪くなりえます。数字には、意見にはない権威があるからです。このトピックでは、なぜ測定する価値があるのか、二つの伝統がそれぞれ何をもたらすのか、そして測定を誤るとどんなコストがかかるのかを説明します。
本書では二つの伝統が出会います。アジャイルソフトウェア開発は、2001年のアジャイルソフトウェア開発宣言に示された価値観とプラクティスの集まりで、動くソフトウェア、顧客との密接な協働、変化への対応を重んじます。その測定の習慣は経験的でローカルです。チームは自分たちのフローを点検し、届けたものを見て、適応します。ITILは、もともと Information Technology Infrastructure Library の略で、ITサービスマネジメント(ITSM)、すなわち IT サービスを設計し、提供し、改善する実践のための手引きの集合体です。その測定の習慣はサービス志向で共有的です。合意されたサービスレベル、サービスのカタログ(ITIL 自身の綴りは "service catalogue")、そして継続的改善の規律です。2019年版のフレームワークである ITIL 4 では、測定と報告は一般マネジメントプラクティスの一つであり、継続的改善はプラクティスであると同時に指針となる原則でもあります。フレームワークは進化し続けているため、バージョンの詳細に依拠する前に、フレームワーク所有者の最新の刊行物を確認してください。
二つの見方は、有益な形で異なります。アジャイルは「正しいものを作っているか、仕事はどれだけ滑らかに流れているか」を問います。ITIL は「サービスは利用する人々のニーズを満たしているか、信頼でき、サポートでき、手の届くコストか」を問います。フローだけを測るチームは、ユーザーが不安定だと感じるサービスへ素早くリリースしてしまうかもしれません。サービスレベルだけを測るチームは、すべての目標を達成しながら、変更の届け方が遅すぎてサービスが時代遅れになるかもしれません。DevOpsの動きは、作ることと動かすことは一つのシステムであり、それを描く数字も併せて読むべきだという観察から生まれました。サイト信頼性エンジニアリング(SRE)は、Google が刊行した書籍で紹介した規律で、信頼性の目標と変更のペースとを明示的に結びつけます。
本書では三つの用語が繰り返し登場します。測定値(measure)は、仕事やサービスについて何かを記述するものです。メトリクス(metric)は、定義された計算式、単位、データソースを持つ測定値で、二人が計算しても同じ答えになります。防護柵(guardrail)は、あらかじめ選んでおく二つ目の測定値またはプラクティスで、最初のものがゲーミングされているときに動きます。防護柵の背後にある警告がグッドハートの法則です。測定値が目標になると、人は仕事ではなく数字を操縦し始めます(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
測定は何のためにあるか
測定がその存在に値するのは、次の四つの仕事のどれかを果たすときです。
- 見る。 見えない仕事を可視化します。誰も見ていないキュー、三つのチームにまたがるインシデントのパターン、枠を待って9日間止まっている変更など。
- 決める。 二つの選択肢の間の判断に情報を与えます。たとえば、ある種類の依頼を自動化するか、その原因となる不具合を直すか。
- 学ぶ。 信念を検証します。新しいレビューの進め方が手戻りを減らすとチームが考えるなら、数字がそれを示せます。
- 説明する。 ユーザー、顧客、リーダーに、サービスが何を届けているかを誠実に説明し、信頼が証拠に基づくようにします。
この四つの仕事のどれも果たさない数字は、オーバーヘッドです。後続のトピックでは、メトリクスの各ファミリーについてこのテストを繰り返します。
何も測らないことのコスト
何も測らないチームは、数字から自由なわけではありません。暗黙の数字で動いています。一番大きな苦情、直近の障害、人々がどれだけ忙しそうに見えるかというマネージャーの感覚です。そこから二つのコストが生じます。
- フィードバックの遅れ。 トレンドなら早期に示したはずの問題が、不意打ちとしてやってきます。再問い合わせのじわじわとした増加は、危機になるまで不運のように見えます。
- 改善の根拠がない。 変更が役に立ったかどうかをチームが判断できないので、どの変更を繰り返すべきか学べません。
誤ったものを測ることのコスト
誤ったものを測ることは、しばしば何も測らないよりも悪い結果になります。誤った確信をもって労力の向き先を決めてしまうからです。クローズしたチケット数、コード行数、完了したストーリーポイント、記録した工数は、収集しやすくグラフにしやすいものですが、いずれもユーザーにとっての価値ではなくアクティビティの測定値です。SPACE フレームワークの背後にある研究(Forsgren ほか、2021)は、生産性は一つの次元では捉えられず、アクティビティの数だけを使うと誤解を招くと論じています。
重要な原則
- 判断のために測る。 各メトリクスは、書かれた問いに答え、名前のある選択に情報を与えます。誰もそれを言えないなら、廃止します。
- 二つの見方をつなぐ。 デリバリーのフローとサービスの健全性を同じページで読み、速さが安定性を犠牲にして得られることも、その逆も起こらないようにします。
- まずアウトカム、次にアクティビティ。 ユーザーの状況が良くなったかどうかが試金石です。アクティビティの数は物語を支えますが、物語そのものではありません(トピック1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
- チームとサービスを記述し、個人は対象にしない。 個人のランキングはデータをゆがめ、協力を損ないます。
- 小さく始めて育てる。 信頼できる少数のメトリクスは、ガバナンスの弱い大量のメトリクスに勝ります。
- まずチームに見せる。 仕事をする人々が最初の読者であり、データが正確かどうかの最良のチェックです。
- 変わることを前提にする。 定義、メトリクス、目標は、判断に役立たなくなったときに見直します。
メトリクスの定義
以下のメトリクスは、測定の実践そのものの健全性を記述するもので、「なぜ測るのか」が検証可能になる部分です。これらを示せるチームは、理由を持って測定しています。時間ベースまたは件数ベースの計算式にはすべて、境界を明記します。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 判断に紐づくメトリクスの割合 | 書かれた問いと、それが情報を与える名前のある判断を持つ、報告済みメトリクスの割合 | 問いと判断が記録されているメトリクス数 / 四半期末にダッシュボードで報告されているメトリクス数 | パーセント | メトリクス台帳(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定と報告、継続的改善 | レトロスペクティブのアクション、ワーキングアグリーメント | 四半期ごと |
| ベースラインのカバー率 | 合意されたコア測定値のそれぞれについて、開始時の値が記録されている対象サービスとチームの割合 | 過去12か月以内にベースラインが記録されたサービスと測定値の組の数 / 対象のサービスと測定値の組の総数。カタログ外のサービスは除外 | パーセント | サービスカタログとメトリクス台帳 | サービスレベル管理、測定と報告 | ステークホルダーレビュー、チームのダッシュボード | 四半期ごと |
| 測定の工数 | 手作業でメトリクスを収集、整備、報告するのに費やしたスタッフの時間 | 月間に手作業の収集と報告に記録された時間。結果に基づいて行動した時間は除く | チーム・月あたりの時間 | 時間の記録または短いチームアンケート | 測定と報告 | レトロスペクティブの時間枠 | 四半期ごと |
| レビュー時のデータの古さ | グループが議論のために集まるとき、最新のデータ点がどれだけ古いか | レビュー会議のタイムスタンプ - ダッシュボード上の最新データ点のタイムスタンプ。メトリクスごとに計算し、中央値と85パーセンタイルで報告 | 日 | ダッシュボードの更新ログ | 測定と報告 | ステークホルダーレビュー | レビューごと |
| 改善のやり遂げ率 | メトリクスのレビューで挙がった改善アクションのうち、合意した期間内に完了または意図的にクローズされたものの割合 | 起票から90日以内に完了、または理由付きでクローズされたアクション数 / 期間内に起票されたアクション数。改善台帳に記録された日付から数える | パーセント | 継続的改善の台帳またはバックログ | 継続的改善 | レトロスペクティブのアクション項目 | 四半期ごと |
測定の工数は、手作業だけを意図的に数えます。データを読んで何をするか決める時間は、この取り組みの目的そのものなので除外し、収集の自動化が前進として現れるようにしています。
推奨事項
目的から始める
1. メトリクスの前に理由を書く。 提案された測定値ごとに、「私たちは Y を判断するために X を測定する」という一文を書きます。その文が書けないなら、その測定値には準備ができていません。この一つの習慣で、ダッシュボードに入る前にほとんどの虚栄メトリクスが取り除かれます。
2. 読み手と判断に名前を付ける。 同じ数字でも、チーム、サービスオーナー、経営層では意味が異なります。誰が読み、どの選択を支えるのかを書き留めます。チームの作業用ビューには20個の測定値があってもかまいません。経営層に届けるのは、少数で安定した集合にします(トピック11.1「サービスメトリクスのダッシュボード設計」を参照)。
二つの伝統を使う
3. フローの測定値とサービスの測定値を組にする。 仕事がどう動くかの測定値を少なくとも一つ、たとえばリードタイムや作業項目の経過時間(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)、そしてサービスがどう振る舞うかの測定値を少なくとも一つ、たとえばインシデントの再発やサービスレベル指標(トピック5.2「SLI、SLO、エラーバジェット」を参照)を選びます。両者を併せて示すことで、速さと安定性が別々のグループによって別々のグラフを見ながら管理されるという、よくある失敗を防げます。
4. デリバリーと運用を一つのシステムとして扱う。 『Accelerate』(Forsgren、Humble、Kim、2018)にまとめられた研究は、ソフトウェアデリバリーの成果を、スループットと安定性のバランスをとる四つの測定値で記述できると報告しています。チームがどの集合を採用するにせよ、変更に関する数字とインシデントに関する数字は、一方が上がったときにもう一方を見るきっかけになる程度に近くに置きます(トピック2.8「DORAメトリクス」を参照)。
誠実に測る
5. 互いに引き合う少数の測定値を好む。 一つの数字は過度な最適化を招くので、速さと品質、量とアウトカム、コストと体験のように組を選びます。組は計算式である必要はありません。同じページに現れることが必要なのです。
6. 何かを変える前にベースラインを記録する。 開始時の値がなければ、改善の主張は物語にすぎません。まず数週間分のデータを取り、平均だけでなく値の散らばりも記録します(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。ベースラインはチームも守ります。悪い四半期が、パフォーマンスの低下ではなく仕事の数え方の変更の後に起きたことを示せるからです。
習慣を築く
7. 判断に合った頻度でレビューする。 フローの測定値は、毎週の対話、または継続的ソフトウェアデリバリーの各ステップでの対話に向いています。サービスレベルとコストの測定値は、毎月または四半期ごとに向いています。誤った周期でレビューされるメトリクスは、ノイズを生むか、行動が役立ったはずの瞬間を逃します。
8. 改善の仕事で輪を閉じる。 「興味深い」で終わるレビューは、そのデータを無駄にしています。各レビューを、一つか二つの名前のあるアクション、オーナー、期日で締めくくり、その完了を追跡します。ITIL の継続的改善のプラクティスとアジャイルのレトロスペクティブは、同じ規律の二つの呼び名です(トピック9.5「継続的改善のメトリクス」を参照)。
9. 数字を何に使わないかを言明する。 チームのメトリクスを個人の順位付けや報酬に使わないこと、定義は公開の場で変更することを、はっきり述べます。人は、測定がどう使われるかを信頼できるときに、測定に協力します(トピック11.3「恐れを生まずにメトリクスを展開する」を参照)。
ゲーミングの手口と防護柵
測定についてのメトリクスでさえ、ゲーミングされえます。下の各行は、メトリクスと、それが曲げられるありがちな方法、それを明らかにするチェックを組にしたものです。
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 判断に紐づくメトリクスの割合 | 割合を上げるために、後付けですべてのメトリクスにもっともらしい問いと判断を書く | 判断ログを抽出して、そのメトリクスのおかげで何が変わったかを尋ね、記入された日付とメトリクスが最初に現れた日付を突き合わせる |
| ベースラインのカバー率 | ベースラインを一度記録したきり更新しない、または都合のよい静かな期間を選ぶ | 各ベースラインに日付範囲とサンプルサイズの明記を求め、サービスに大きな変更があった後にベースラインを見直す |
| 測定の工数 | 収集作業を記録せずに行う、またはサプライヤーに移すことで帳簿から外す | 報告に何時間かかると感じているかを尋ねる短いアンケートと比較し、サプライヤーの工数もレビューに含める |
| レビュー時のデータの古さ | 会議の直前にダッシュボードを更新するが、基になる記録は古いまま | 更新時刻に加えて、ソースシステム内の最新レコードの古さも報告する |
| 改善のやり遂げ率 | 割合を達成するために「もはや関係ない」という理由でアクションをクローズする、またはアクションを些細な断片に分割する | 毎四半期、クローズされたアクションの理由を見直し、アクションが狙った測定値が動いたかを追跡する |
健全な読み方とは、実践が目に見えて生きていることです。メトリクスは書かれた理由とともに台帳に加わり、離れていきます。ベースラインは新しく、レビューで出たアクションは完了するか誠実に取り下げられ、チームはデータを集めるよりもデータに基づいて動く時間のほうが長くなります。すべての行で満点なのは、祝う理由ではなく、基になるレコードを抽出して確かめる合図です。
トレードオフ:長所と短所
| 選択 | 強み | 弱み |
|---|---|---|
| 測定を少なくする | 低コスト、ゲーミングのリスクが低い、信頼が高い | 死角ができる、判断が逸話に頼る |
| 測定を多くする | 広いカバー、多くの面での早期警告 | 注意が分散する、ガバナンスが薄くなる、収集コストが増える |
| つないだビュー | 速さと安定性のバランスがとれる、共有オーナーシップを支える | チーム間で合意された定義と、共通の見る場所が必要 |
| メトリクスに目標を置く | 方向性と緊急性を与える | ゲーミングを招く、組になる防護柵が必要 |
| 目標のないメトリクス | 誠実な議論を促す | 誰も行動しない報告に流れかねない |
実践的な答えは、小さくつないだ集合を持ち、目標は、よく理解されていてユーザーから求められている条件、たとえばサービスレベル目標のようなものにだけ控えめに使うことです。それ以外は議論すべき問いです。目的は判断から判断力を取り除くことではなく、判断力により良い証拠を与えることです。
チームで話し合う問い
1. 先四半期に、数字が実際に変えた判断は何だったか。 具体的な判断を思い出してもらい、そのうちどれが、もしあれば、データに依存していたかを整理します。リストが短ければ、それ自体が有益な情報です。現在の報告の多くが役目を果たしていないことを意味するからです。ファシリテーターは、判断を実際に変えたメトリクスを記録します。それらは守るべき候補だからです。続いて、どの判断が直感でなされたか、数字が役に立ちえたかを尋ねます。
2. 現在の数字のうち、アクティビティを表すのはどれで、ユーザーにとっての価値を表すのはどれか。 現在のダッシュボードを画面に映し、各メトリクスをアクティビティ(クローズしたチケット、実行したビルド、完了したポイント)かアウトカム(ユーザーが仕事をできる状態、再発しない問題)かに印を付けます。境界事例を長く議論しないでください。目的はバランスを見ることです。アクティビティしかない場合は、そのアクティビティがどんなアウトカムを生むはずなのか、チームはそれをどうやって知るのかを尋ねます。
3. デリバリーと運用の数字は現在どこにあり、同じ人々が両方を見ているか。 測定値の各ファミリーがどこに保存され、誰がレビューしているかをたどります。変更のデータはあるグループが、インシデントのデータは別のグループがレビューしていて、共有の会議がないと知って驚くチームは少なくありません。両者が一緒に見られないために、どんなパターンを見逃しうるかを尋ねます。両者が出会う場所または会議を一つ決めます。
4. 測定していないことで、知らなかったことを悔やみそうなものは何か。 メトリクスではなく不安を挙げてもらいます。「もし〜に気づけなかったら怖い」という形です。答えから候補となる測定値へ、さらにそれを示す最も安価なデータへと進めます。リストは短く保ちます。
5. 数字を経営層に見せる前に、何を信じられる必要があるか。 データを信頼できるものにするものについて話し合います。安定した定義、抜き取りによる正確性チェック、除外についての合意などです。ステータスの使い方が一貫していないといった小さなものも含め、チームが抱く疑念を挙げます。より広く共有する前に直すべき疑念と、数字に添えて開示すればよい疑念を決めます。
6. 次の四半期に三つだけメトリクスを残せるとしたら、どれにして、なぜか。 制約が優先順位を迫ります。各自に三つ書いてもらい、比べます。アウトカムについての合意と、アクティビティの測定値についての不一致を探します。その三つそれぞれにどんな防護柵が必要かを尋ねます。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、仕事がどれだけ待たされ、どこで滞留し、変更がどれだけの頻度で問題を起こすかといった、速くてローカルなフィードバックから最も恩恵を受けます。チーム自身は豊かな作業用ビューを持ち、外へは少数の集合を公開します。価値の代用として成果物の量を測りたくなる引力に抵抗し、最初から速さの測定値を品質の測定値と組にしてください(トピック2.1「フロー指標」を参照)。
サービスチームと運用チーム
運用チームはすでに、件数、応答時間と解決時間、可用性といった数字とともに生きています。機会は、何が起きたかを報告することから、再発、根本原因、計画外の仕事の割合を通じて、なぜ起きたかを説明することへ移ることにあります(トピック2.9「運用作業と計画外作業」を参照)。また、データをデリバリーチームとの計画の会話に持ち込み、信頼性の仕事が苦情ではなく証拠に基づいて論じられるようにするべきです。
リーダーシップとガバナンス
リーダーは、投げかける問いを通じて、しばしば意図せずにインセンティブを決めます。「なぜこれは赤なのか」と尋ねるリーダーは、チームに赤を隠すことを教えます。「何を学んで、何が必要か」と尋ねるリーダーは、チームに誠実に報告することを教えます。ガバナンスの組織は、数字と併せて台帳、防護柵、改善アクションを求め、悪い数字が明らかにした仕事に予算を付けるべきです(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
顧客とユーザー
ユーザーは、内部の測定値ではなく、サービスが動くかどうか、問題が正されるかどうかでサービスを判断します。アンケート、苦情、コメントにあるユーザー自身の言葉は、チームが重要なことを測っているかを確かめるために、運用の数字の隣に置くべきです(トピック6.1「顧客満足度のメトリクス」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、サービスデスク、運用チーム、そしてストアフロント、決済、フルフィルメントの各サービスを作る三つのプロダクトチームを運営しています。以下の数字は説明用です。
経営層は、デリバリーチームが毎日リリースしていると報告し、運用チームが可用性は99.9パーセントだと報告しているのに、なぜ顧客がチェックアウトの遅さに不満を言うのかを尋ねます。各グループは、それぞれの測定値では正しく、誰も両者を併せて見ていません。サービスマネジメントの責任者は、チームがすでに収集しているデータから作る、チェックアウトサービスの1ページのつないだビューを提案します。
ビューには、直近12週間について四つのことが示されます。変更のリードタイムは中央値が2日、85パーセンタイルが9日です。変更失敗率は8パーセントです。チェックアウトのインシデントは14件で、そのうち6件は、最近のリリースで入った遅いデータベースクエリという同じ原因を共有しています。復旧までの時間の中央値は40分ですが、95パーセンタイルのページ読み込み時間は6週間にわたってじわじわ伸びています。サービスは技術的には稼働し続けたので、可用性の数字にはこのパターンが現れません。
グループは、隠れていたものを目にします。可用性は「チェックアウトが応答する」として測られていましたが、ユーザーが体験するのは「チェックアウトが十分に速く応答する」ことです。プロダクトチームと運用チームは、顧客のコメントを読んだプロダクトオーナーが設定する目標を持つ、チェックアウトのレイテンシ指標を追加すること、繰り返されたインシデントの原因をオーナー付きの問題レコードとして扱うこと、つないだビューを隔週でレビューすることに合意します。そして一つの判断を記録します。継続的ソフトウェアデリバリーの一定期間、新しいチェックアウト機能を一時停止して、クエリを修正し、リリースパイプラインにパフォーマンスチェックを加えることです。
ゲーミングのリスクは、一か月以内に現れます。運用チームは、14件のインシデントのうち2件が「サービスリクエスト」として起票されていたことに気づきます。リクエストの分類には解決目標がないからです。インシデントに目標を置いたことで、人々が境界事例をリクエストとして分類するよう促されていたことにチームは気づきます。チームは再分類された割合をビューに加え、毎月10件のチケットを抜き取ります。この変更の後、95パーセンタイルのページ読み込み時間は下がり、繰り返しのインシデントは減り、チームはこのビューが判断を変えたので維持します。
業種別の視点
スタートアップ。 小さなチームはプロセスが少なく信頼が強く、それが助けになります。リスクは、必要になる前に大企業向けのダッシュボードを持ち込むことです。創業者が毎週読む二つか三つの測定値、たとえば変更のリードタイム、簡単な信頼性指標、ユーザーからの直接のフィードバックから始め、その定義を書き留めます。
小規模事業。 IT を担う人はたいていオーナーに報告し、一件の顧客の苦情がどんなグラフよりも重いことがあります。集合を小さく保ち、ツールがすでに出力するデータを使い、ユーザーとの会話を優先します。ベンダーが提供するレポートには、ベンダー自身のインセンティブがあるため、いくらか注意を払ってください。
大企業。 規模は、比較可能な数字への要求と、それをゲーミングする圧力を増幅します。書かれた定義を持つ小さな標準集合を使い、チームの作業用ビューと集計ビューを分け、まったく異なる種類のサービスを運用するチーム同士を比べるのは避けます。メトリクス台帳、共有された定義、レビューの頻度が不可欠になります。
政府・公共部門。 契約上のサービスレベル、監査要件、公的な報告義務により、一部の測定値は交渉の余地がなくなります。それらを設計の入力として扱い、満たし、隣に防護柵を示し、使う定義を明記します。公的な説明責任は悪い知らせを隠すコストを高めるので、率直な報告のための安全な内部チャネルを作ります(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
測定の動機は、より低いコストでより良い判断をすることです。測定は優先順位付けを支え、無駄がどこにあるかを示し、サービス低下の早期警告を与え、投資要求の証拠を提供します。
コストにはいくつかの部分があります。ツールはすでに持っていることが多く、チケット管理システム、課題トラッカー、バージョン管理、モニタリングです。メトリクスを定義し、ビューを作り、台帳を維持するスタッフの時間があります。繰り返し発生するレビュー会議のコストがあり、これが最大で、最も価値があります。測定の実践の総所有コスト(TCO)には、発見事項に基づいて行動するコストも含まれます。修正の予算がない洞察は、ほとんどリターンを生みません。
リターンを普遍的な数字で述べるのは難しく、本書は数字を作り上げません。ケースを築く有用な方法は、変更の前後で自分たちのベースラインを測ることです。手作業の報告に費やす時間、再問い合わせ、データが誤っていたために覆された判断、遅れて見つかった不意打ちなどです。予想されるパターンは、不意打ちの減少、議論の短縮、運用の数字とユーザー体験のより良い一致です。費やした労力と節約された労力を比べる簡単な投資収益率(ROI)の比較は、妥当な出発点であり、その方法はトピック7.7「投資対効果とビジネスケース」で扱います。
アンチパターンと落とし穴
- 何でも入りのダッシュボード。 数十のグラフ、オーナーなし、判断なし。少数を選び、それぞれが情報を与える判断に名前を付け、残りは廃止します。
- 片側だけの測定。 安定性のない速さ、または関連性のない安定性。フローの測定値をサービスの測定値と組にします。
- 人を測る。 個人のランキングはデータをゆがめ、助け合いを妨げます。チームとサービスのレベルで報告します。
- ベースラインより先の目標。 開始時の値のない目標は当て推量です。先にベースラインを記録し、少なくとも一回のレビューサイクルの後で目標を設定します。
- アクションのない報告。 変化を生まないレビューは、人々に無視することを教えます。各レビューを、名前のあるアクション、オーナー、期日で締めくくります。
- 黙って定義を変える。 トレンドラインが意味をなさなくなります。すべての変更を理由とともに記録し、グラフに印を付けます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 目的と選定 | ツールが提供するからメトリクスを選ぶ | 一部のメトリクスに目的が明記されている | 報告するメトリクスごとに、書かれた問いと判断がある | メトリクスの集合を判断に照らして見直し、使われなければ廃止する | 共有されたアウトカムをめぐり、ユーザーやサプライヤーとメトリクスを共同設計する |
| アジャイルと ITIL のつないだビュー | デリバリーとサービスのデータが別々に保たれる | 一部のチームが両方を併せて見ている | サービスごとに、フローとサービスの健全性の共通ビューがある | つないだビューをトレンドで追い、改善の仕事に結びつける | チーム横断とサプライヤーのビューがユーザーのアウトカムに結びつく |
| ベースラインと工数 | ベースラインなし、手作業の収集 | 一部のサービスにベースライン、収集は混在 | コア測定値のベースラインを記録、収集はほぼ自動 | 変更後にベースラインを更新、工数を追跡して削減 | サービスの変化に合わせてベースラインと定義を継続的に調整 |
| 改善での活用 | 数字は記されて忘れられる | 悪い週の後にときどきアクション | すべてのレビューが名前のあるアクションで終わる | アクションのやり遂げを測定し予算を付ける | 改善が全員から生まれ、チーム間で見える |
チェックリスト
- 報告するメトリクスごとに、書かれた問いと、それが情報を与える名前のある判断がある。
- 各ビューの読み手に名前が付いており、チームのビューは経営層向けのビューと分かれている。
- 少なくとも一つのフローの測定値と一つのサービスの測定値が、同じページに載っている。
- 各コア測定値に、日付範囲とサンプルサイズ付きのベースラインがある。
- すべての時間の測定値が、時計をどこで始めどこで止めるかを明記している。
- すべてのメトリクスの隣に防護柵が示されている。
- 手作業の収集工数が把握されており、最大の手作業について自動化が検討されている。
- チームは、経営層より先に自分たちのデータを見ている。
- 個人の順位付け、報酬、懲戒がメトリクスに結びついていない。
- 各レビューが、少なくとも一つの名前のある改善アクション、オーナー、期日で終わる。
- 過去一年で、少なくとも一つのメトリクスが廃止または再定義された。
AI プロンプト
各メトリクスの目的の文を下書きする。
We are [team name], responsible for [service or product]. Our current dashboard
shows these metrics: [list of metrics with their definitions]. For each one,
draft a one-sentence statement in the form "We measure X to decide Y", and mark
any metric where you cannot infer a decision from what I have given you. Suggest
questions I should answer to complete each statement. Do not invent benchmark
values or targets. List your assumptions.
デリバリーとサービスのビューをつなぐ。
Our delivery measures are [list, with definitions and data sources] and our
service measures are [list, with definitions and data sources] for [service
name]. Propose a one-page layout that shows both together, pairs each speed
measure with a stability or quality measure, and notes the data each needs.
Identify any definitions that conflict between the two sets. Do not invent
values or thresholds. List your assumptions and anything you could not
determine.
ベースラインを計画する。
We want to record a baseline for [metric name] for [service or team] before
changing [practice or tool]. The data comes from [source]. Propose how long to
collect data, what summary statistics to record (including percentiles), what
to exclude and why, and how to note any changes in how work was counted during
the period. Do not assume values. List your assumptions and the data quality
risks you see.
行動につながるレビューを準備する。
We hold a [weekly, monthly, or quarterly] review of [metric set] with
[audience]. Draft an agenda and a short set of facilitation questions that
move from reading the numbers to choosing one or two improvement actions, each
with an owner and a date. Include a prompt to check for gaming against each
metric's guardrail. Do not invent data. List your assumptions about the group
and its culture.
AI スキル
- Agile ITIL Metrics スキル:検討中のメトリクスを扱うトピックと、それと組になる防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:新規または改訂されたメトリクスのトピックが、目的の文、ゲーミングの手口、防護柵を保っているかを確認するために使います。
重要なポイント
- 見る、決める、学ぶ、説明するために測る。この四つのどれも果たさない数字は、オーバーヘッドです。
- アジャイルは、フローに関する速くてローカルなフィードバックを提供し、ITIL は、信頼性と価値についての共有されたサービスレベルのビューを提供します。両者を併せて読みます。
- 何も測らないことは判断を逸話に委ね、誤ったものを測ることは誤った確信をもって労力の向きを決めます。
- 少数のメトリクスから始め、それぞれに書かれた目的、ベースライン、防護柵を持たせます。
- チームとサービスを記述し、個人は対象にしません。そしてチームに先に自分のデータを見せます。
- 輪を閉じる。アクションを生まないレビューは、データを無駄にします。
参考文献とさらなる読み物
- Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Wikipedia, Agile software development.
- Wikipedia, ITIL.
- Wikipedia, Information technology service management.
- Wikipedia, DevOps.
- Wikipedia, Site reliability engineering.
- Wikipedia, Goodhart's law.
- Wikipedia, Return on investment.