データソースと計装
メトリクスの信頼性は、その下にあるイベントの信頼性を超えません。そのため、すべての数字にシステム・オブ・レコードを指名し、イベントが起きた瞬間に自動で捕捉し、グラフと同じくらい注意深くパイプラインをテストしてください。
概要と動機
ほとんどのメトリクスプログラムは、労力をダッシュボードに費やし、それを支えるパイプにはほとんど費やしません。これは本末転倒です。一貫しないタイムスタンプ、誰も更新しないステータス欄、先月静かに止まった連携の上に作られた磨かれたグラフは、誤っていながら権威があるように見えます。このトピックは、本書の残りの部分を支える地味な土台を扱います。サービスとデリバリーのデータがどこから来るのか、各ソースがどれだけ信頼できるのか、そして誰かが気づく前にメトリクスを無効にしてしまうデータ品質の失敗はどれかです。
ソースは、いくつかのファミリーに分かれます。ITサービスマネジメント(ITSM)ツールは、インシデント、リクエスト、問題、変更を記録し、これらをITILはサービスオペレーションの中核となるレコードとして扱います。課題管理システムは、アジャイルチームのバックログと作業項目の動きを記録します。バージョン管理は、コミット、ブランチ、マージを記録します。継続的インテグレーションおよび継続的デリバリー(CI/CD)パイプラインは、ビルド、テスト結果、デプロイを記録します。モニタリングおよびオブザーバビリティプラットフォームは、稼働中のシステムからのメトリクス、ログ、トレースといったテレメトリを出力します。構成管理データベース(CMDB)は、物事が関係するサービスとコンポーネントを記録します。アンケートは、満足度や労力のように、どのシステムにも観察できないものを記録します。
パイプラインが書いたデプロイイベントは客観的で偽造しにくく、作業の何時間も後に変更されたチケットのステータスは回想であり、アンケートの回答は認識です。数字の背後にどの種類の記録があるかを知ることで、まずどの失敗を探すべきかが分かります。
アジャイルと ITIL の見方は、同じデータで出会います。どちらもタイムスタンプ付きの状態機械なので、すべての状態変化を信頼できる時刻を持つイベントとして記録し、そのイベントからメトリクスを導きます。
このトピックでは三つの用語が繰り返し登場します。システム・オブ・レコードは、ある事実について権威を持つ唯一のソースで、たとえば「デプロイが行われた」ことについてはパイプラインです。計装は、誰も手で入力しなくてもメトリクスを計算できるように、コード、設定、ツール連携によってイベントを意図的に捕捉することです。ステータスモデルは、作業項目やレコードが取りうる状態の集合と、それらの間の許される遷移です。ステータスモデルが、そもそもどの時計を計算できるかを決めます。
エンタープライズや公共部門の規模では、問題は複合します。データはコネクタ、抽出・変換・格納(ETL)のジョブ、レポート層を通り、各ホップが意味のずれる機会になります。ソースで一つの意味を持つ欄が、ウェアハウスでは微妙に違う意味になり、それでも数字はもっともらしく見えることがあります。対策は、イベントとダッシュボードの間の距離を縮め、パイプラインを定期的に確認することです。
重要な原則
- 要約ではなく、イベントを捕捉する。 タイムスタンプ付きの生の状態変化を保存し、そこからメトリクスを計算して、履歴を失わずに定義を変えられるようにします。
- 自己申告より観察を好む。 システムがイベントを見られるところではそれを使い、人の報告は、人にしか言えないことのために取っておきます。
- 事実ごとに一つのシステム・オブ・レコードを指名する。 重複したソースは食い違い、その食い違いが両方への信頼を損ないます。
- メトリクスの前にステータスモデルを設計する。 存在しない状態や、チームごとに意味が異なる状態から、時計は計算できません。
- パイプラインをプロダクトとして扱う。 データ品質は静かに劣化するので、パイプラインにはオーナー、テスト、モニタリング、変更ログがあります。
- 出所を示す。 ダッシュボード上のすべての数字は、一、二回のクリックで元のレコードにたどり着けるべきです。
- 使うものだけを集め、守る。 すべての欄はコストであり、人に関わるものであればプライバシー上の義務です。
メトリクスの定義
以下のメトリクスは、データ供給そのものの健全性を測ります。計器のための計器盤です。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| ソースのカバー率 | イベントが自動的にメトリクスストアに届く、対象サービスとチームの割合 | 自動フィードがあるサービスまたはチーム数 / 対象のサービスまたはチーム数。「対象」はメトリクス台帳に列挙される | パーセント | メトリクス台帳とパイプラインの設定 | 測定と報告、サービス構成管理 | ツールに関するチームのワーキングアグリーメント | 四半期ごと |
| タイムスタンプの完全性 | メトリクスの時計に必要なすべてのタイムスタンプを持つ、クローズ済み作業項目の割合 | 必要な状態変化のタイムスタンプがすべてそろっているクローズ済み項目数 / 期間内にクローズされた項目数。まだ開いている項目は除く | パーセント | ITSM ツールまたは課題トラッカーの履歴 | インシデント管理、サービスリクエスト管理 | ボードまたはワークフローの履歴 | 月次 |
| 遡り入力率 | 事後に記録された状態変化の割合。イベントの時刻と入力された時刻の差で測る | イベント時刻の24時間以上後に入力された状態変化の数 / 期間内の状態変化の数。時計はイベントから始まり、入力で止まる | パーセント | トラッカーの監査証跡、またはパイプラインのイベント時刻と入力時刻 | 変更実現、インシデント管理 | 完了の定義 | 月次 |
| データの鮮度 | ダッシュボードが閲覧されるとき、その最新データがどれだけ古いか | 閲覧時刻 - 読み込まれた最新イベントの時刻。中央値と95パーセンタイルを報告 | 時間 | パイプラインの実行ログとダッシュボードの読み込みログ | 測定と報告 | ステークホルダーレビューの準備 | 週次 |
| 突き合わせの差異 | 同じ件数についての二つのソース間の不一致 | 固定した期間と範囲での、二つの件数の差の絶対値 / システム・オブ・レコードの件数 | パーセント | システム・オブ・レコードとレポート層 | サービスレベル管理、財務管理 | リリースレポートのチェック | 月次 |
| ステータスモデルのずれ | 文書化されたモデルと比べて、使われている異なるステータス名または遷移の数 | 期間中に観察された、文書化されていないステータスまたは遷移の数(件数)。文書化されているものは除く | 件数 | トラッカーのワークフロー設定とイベント履歴 | 継続的改善 | ワークフローに関するワーキングアグリーメント | 四半期ごと |
| アンケートの回答率 | 招待された人のうち、アンケートに回答した人の割合 | 完了した回答数 / 配信された招待数。配信に失敗した招待は除く | パーセント | アンケートツール | サービスレベル管理、顧客体験 | ステークホルダーレビューと改善のフィードバック | アンケートの回ごと |
タイムスタンプの完全性はクローズ済みの項目だけを数えるので、古い未完了項目の山がギャップを隠すことはありません。遡り入力率は例として24時間のしきい値を使います。チームは自分たちの仕事に合ったしきい値を選び、書き留めます。
推奨事項
すべてのメトリクスをそのソースに対応づける
1. ダッシュボードを作る前に、ソースマップを作る。 メトリクスごとに、システム・オブ・レコード、時計を始めるイベント、時計を止めるイベント、ソースのオーナー、既知の失敗モードを記録します。システムに名前を付けられないなら、まだ数字がどこから来るのかを知りません。マップはメトリクス台帳に保管します(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
2. 事実ごとに一つのシステム・オブ・レコードを選ぶ。 デプロイはパイプラインが、インシデントは ITSM ツールが、コードの変更はバージョン管理が、サービス間の関係は CMDB が記録します。二つのツールが同じ事実を持っている場合は、どちらが優先かを決め、もう一方がそこから読むようにします。そうすれば、突き合わせは議論ではなく、チェックになります。
イベントが起きた瞬間に捕捉する
3. レポートではなく、イベントを計装する。 デプロイはパイプラインに、マージはバージョン管理ホストに、アラートはモニタリングシステムに記録させます。誰かが欄を更新するのを覚えているかどうかに依存するデータは、イベントからの距離と作業負荷とともに劣化します。自動化されたイベントがあるところでは、同じ事実について人が入力する代理よりも、それを優先します(トピック2.8「DORAメトリクス」を参照)。
4. ステータスの変更を、仕事の副作用にする。 ブランチのマージが作業項目を「レビュー中」に移し、デプロイが「リリース済み」に移すようにすれば、誰も覚えておく必要がありません。バージョン管理、パイプライン、トラッカーの間の連携で、遡り入力のほとんどはなくなります。
5. 生のイベントを保管し、不変に保つ。 各状態変化を、イベント時刻、入力時刻、行為者の種類(人または自動化)とともに保存します。修正は上書きではなく新しいイベントとして書き、修正の履歴自体がデータになるようにします。
時刻を正しく扱う
6. 時刻は一つの標準で記録する。 タイムスタンプは、ISO 8601 や RFC 3339 で定義されるような曖昧さのない形式の協定世界時(UTC)で保存し、ローカル時刻への変換は表示のときだけ行います。混在するタイムゾーンや夏時間の切り替えは、静かに負の所要時間や一時間ずれた時計を生みます。
7. 時計のルールを、データのあるところに書く。 時間の測定値ごとに、どのイベントが時計を始め、どれが止め、どのステータスが一時停止させるかを述べます。一時停止状態は設計上の判断です。時計はサービスデータが最も形を変えられやすい場所なので、各一時停止状態がどのくらい使われているかを報告します(トピック3.3「インシデントの対応時間と解決時間」を参照)。
ステータスモデルを設計する
8. ステータスモデルを小さく、共有され、文書化されたものに保つ。 ステータスが一つ増えるごとに、各チームが別々の解釈をする余地が生まれます。各状態が何を意味するか、誰が作業をそこに移せるか、どの遷移が許されるかを、それぞれ一文で定義します。作業項目の経過時間とフローの測定値はこのモデルに依存し(トピック2.1「フロー指標」を参照)、チーム横断の比較は、チームが同じ状態に同じ言葉を使うことに依存します。データが意外なものだったら、まずワークフローを疑います。ワークフローや欄へのすべての変更を日付と理由とともに記録し、文書化されていないステータスは、ずれのシグナルとして数えます。
パイプラインを誠実に保つ
9. パイプラインをソフトウェアのようにテストする。 行数をソースと照らし合わせ、必須欄が存在することを確認し、重複を確認し、フィードが止まったらアラートを出します。閲覧者がデータの古さを確認できるよう、すべてのダッシュボードに鮮度の指標を加えます。先月の数字を画面に残したままにする、コネクタの静かな失敗は、この分野で最もよくあり、最も被害の大きい失敗の一つです(トピック11.1「サービスメトリクスのダッシュボード設計」を参照)。
10. 定期的に突き合わせ、手作業で標本を抜き取る。 固定した期間について、レポート層の件数をソースと比較し、差を調べます。そのうえで、生のレコードの小さな標本を読みます。15分の抜き取りが、予想外の使われ方をされているステータスなど、自動チェックでは見つけられないものを見つけることがよくあります。
人とアンケートを慎重に扱う
11. アンケートは、人にしか言えないことのために取っておく。 満足度、労力、信頼、ウェルビーイングは、システムデータからは観察できません。直接尋ね、アンケートを短くし、タイミングを変え、回答率と誰が回答したかを報告します。回答する人はしない人と異なるからで、これは選択バイアスの一形態です。自由記述コメントは全文を読みます(トピック6.1「顧客満足度のメトリクス」を参照)。
12. 個人データを保護し、データをチームレベルに保つ。 仕事に関するイベントデータは、コミットの作者、担当者欄、チャットの記録を通じて個人を特定しえます。メトリクスが必要とするレベルで収集し、チームとサービスに集計し、管轄区域と組織のプライバシー規則を適用します。個人レベルのデータは、一度収集されると順位付けに使われがちで、それがソースを損ないます(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| ソースのカバー率 | ほとんどイベントを運ばないフィードでも、接続した後でサービスをカバー済みと数える、難しいサービスを対象外にする | カバー済みのサービスごとのイベント量を、既知の活動と比較する。対象リストをサービスカタログと照らしてレビューする |
| タイムスタンプの完全性 | 検証を満たすために、必須のタイムスタンプをクローズ時刻で埋める | 連続する状態間のギャップの分布。クローズ済み項目を抽出して、時刻がもっともらしいかを確かめる |
| 遡り入力率 | しきい値のぎりぎり内に変更を入力する、しきい値を広げる、すべての変更を一括更新で記録する | 時間帯別の入力時刻のパターン、自動化による変更と手作業による変更の割合、一括編集の監査 |
| データの鮮度 | 最新イベントの時刻ではなく、最後の更新の時刻を表示する | ダッシュボードに最新イベントの時刻を表示する。フィードが新しいイベントを届けないときにアラートを出す |
| 突き合わせの差異 | 突き合う期間や範囲を選ぶ、原因を見つけずに、ソースに合わせてレポート層を調整する | 範囲と期間をあらかじめ固定する。見つけた各原因を記録し、四半期ごとに原因をレビューする |
| ステータスモデルのずれ | フラグが立てられないよう、既存のステータスを新しい意味に使い回す、ステータスを記録せずに追加する | 各レビューで、ワークフローの設定を台帳と比較する。異例の状態にある項目の標本を読む |
| アンケートの回答率 | 回答しそうな人だけを招待する、満足しているユーザーにリマインダーを送る、回答に偏りを生む報酬を提供する | 回答者の構成をユーザー母集団と比較する。回ごとの回答の分布。自由記述コメントをレビューで読む |
健全な読み方は、退屈な数字の集合です。カバー率は高く、遡り入力は低く下がっており、鮮度は約束した範囲に収まり、突き合わせの差異がゼロでないときは必ず既知の原因があります。数字が動いたときに、仕事が変わったのか計器が変わったのかを、誰かが言えます。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| 自動イベント捕捉 | 客観的で、タイムリー、一度作れば労力が少ない | 計装したものしかカバーしない、ツールが変わると静かに壊れる |
| 手作業の入力とステータス更新 | 文脈と判断を捉える、連携なしで動く | 遅く、一貫せず、ゲーミングされやすい |
| 一つの中央のメトリクスストア | 一つの定義、テストとガバナンスのための一つの場所 | 予算とオーナーシップが必要、ボトルネックになりうる |
| 各チームが自分のデータを持つ | 局所的な仕事に合う、始めるのが速い | 定義が乖離する、集計が信頼できない |
| 生のイベントを長期保管する | 定義を変えて履歴を再計算できる | ストレージとプライバシーのコスト、守るべきものが増える |
観察できるものは自動化し、観察できないものは人に尋ね、生の記録を保ちます。考えうるすべての数字のためのデータ基盤ではなく、まずはチームが実際に使う二つか三つのメトリクスの背後にあるソースに投資してください。
チームで話し合う問い
1. 最も重要なメトリクスについて、システム・オブ・レコードはどのシステムで、どうやってそう分かるか。 グループに、ダッシュボードの数字から最初のイベントまでをたどってもらいます。人や変換がデータに触れるすべての箇所を書き留めます。ファシリテーターは、誰も説明できない手順を探します。最初の調査はそこから始めるべきだからです。
2. 私たちのタイムスタンプのうち、システムが書くものはどれで、人が入力するものはどれか。 使っている時計、たとえば応答までの時間、解決までの時間、サイクルタイムを列挙します。それぞれの開始と停止に、自動か手動かの印を付けます。手動のものについては、通常イベントのどれくらい後に入力されるかを尋ねます。最も議論されているメトリクスが、最も信頼できないタイムスタンプの上に成り立っていることが、議論で明らかになることがよくあります。
3. 私たちのステータスは何を意味し、すべてのチームが同じことを意味しているか。 ワークフローをボードに置き、異なるチームの人々に各状態を自分の言葉で説明してもらいます。説明を比較します。時計が一時停止する状態を数え、誰がそれをなぜ使ってよいかを尋ねます。曖昧さを取り除く変更を一つ決め、理由とともに記録します。
4. フィードが静かに止まったら、どうやってそれに気づくか。 ダッシュボードのデータが最新かどうかを、最後に誰かが確認したのはいつかを尋ねます。止まったコネクタを一日以内に捕捉できるアラートや鮮度指標は何かを話し合います。ファシリテーターは、一般的な「気をつける」という意図ではなく、名前のあるオーナーと具体的なチェックを求めます。
5. 集めているのに使っていないものは何で、使っているのにうまく集められていないものは何か。 欄の一覧とメトリクスの一覧を並べます。どの判断にも使われない欄と、質の悪い欄の上に成り立つメトリクスに印を付けます。今四半期に、収集をやめる欄を一つ、改善する欄を一つ決めます。
6. 私たちのアンケートに答えるのは誰で、答えないのは誰か。 回答者を、ユーザーまたはチームメンバーの母集団と比較します。グループ別、時間帯や曜日別の回答率を見ます。沈黙が何を意味しうるか、圧力をかけずに静かなグループにどう届くかを話し合います。すべてのアンケート結果の隣に、回答率をどう示すかに合意します。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、コミット、レビュー、ビルド、デプロイなど、客観的なデータの大半を生み出します。ステータスの変更を仕事の副作用にする計装から恩恵を受け、追加の労力なしにボードを誠実に保てます。ワークフローを小さく保ち、バージョン管理のアクティビティを労力の測定値として使うことには警戒するべきです(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)。
サービスチームと運用チーム
サービスチームは、多くの場合インシデント中の、プレッシャーのもとで人が作る記録に依存します。時計のルール、一時停止状態、優先度の欄は、ずれが生じる場所です。運用チームは、アラート時刻や確認応答時刻など、重要な時刻の捕捉を可能な限り自動にし、一時停止状態の利用を監査し、モニタリングデータをチケットの記録と分けて、互いに検証できるようにするべきです(トピック5.5「監視とアラート品質のメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、データ基盤にどれだけ投資するかを決め、データが誠実なままでいられるかを左右するインセンティブを設定します。数字がなぜ動いたかを尋ねる前に、それがどこから来たのかを尋ね、パイプラインのオーナーシップを継続的な仕事として予算化し、すべてのレポートに鮮度の日付と定義を期待するべきです。ガバナンスの組織は、ソースや定義の文書化された変更を、失敗ではなく通常の出来事として扱うべきです。
顧客とユーザー
ユーザーは、体験について最も重要なデータを、通常はアンケートに答えたり、やり取りを評価したり、問題を報告したりすることで提供します。何が集められ、なぜで、その結果として何が変わるのかを知る必要があります。短いアンケートと目に見えるフォローアップが、回答率を健全に保ちます。顧客向けのサービスレベルのレポートは、そのソースと定義を述べるべきです(トピック5.2「SLI、SLO、エラーバジェット」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者に、プラットフォームチーム、三つのプロダクトチーム、サービスデスクがあります。この例の数字はすべて説明用です。
経営層は、プロダクトチームは仕事の進め方が何も変わっていないと報告しているのに、月次レポートの変更のリードタイムがなぜ一四半期で中央値9日から3日に下がったのかを尋ねます。プラットフォームエンジニアリングの責任者は計器を疑い、そのメトリクスのソースマップを求めます。
マップは、リードタイムが ITSM ツールで変更レコードが作成されたときに始まり、そのステータスが「実装済み」に設定されたときに止まることを示します。二つのプロダクトチームは、作業の準備ができてからレコードを作り始めていたため、時計の開始が遅れていました。40件のレコードを抽出すると、12件がデプロイと同じ日に作成されていました。パイプラインのデプロイイベントと「実装済み」ステータスの入力との差で測った遡り入力率は、チームが設定した24時間のしきい値に対して31パーセントでした。
チームは三つの変更を行います。第一に、時計の開始を、バージョン管理から取った、変更にひも付いた最初のコミットに移し、停止を、パイプラインが書くデプロイイベントに移します。第二に、ITSM ツールがパイプラインからステータスを受け取るようにして、「実装済み」がもはや手入力でなくなります。第三に、ダッシュボードに鮮度指標と、パイプラインと ITSM ツールの間での変更件数の突き合わせチェックを加えます。
新しい定義のもとでは、リードタイムの中央値は7日、95パーセンタイルは21日で、遡り入力率は4パーセントに下がります。経営層は最初、7日をより悪い結果と読みます。プラットフォームの責任者は、古い数字は遅れたレコード作成による見かけ上のものだったと説明します。判断ログに書かれた決定は、過去二四半期を生のイベントから再計算し、グラフに定義の変更を印として付けることです。チームが捕まえたゲーミングのリスクは微妙なものでした。誰も数字を偽造していないのに、遅れたレコード作成が見栄えのよい数字を生んでいたのです。突き合わせの差異が今は防護柵として機能し、生のレコードの標本は四半期ごとにレビューされます。
業種別の視点
スタートアップ。 データは少なく、信頼は高く、それが助けになります。追加の労力が不要なので、パイプラインとバージョン管理を主なソースにし、ステータスモデルは少数の状態にとどめます。各定義とそのソースを一ページに書き留め、チームが倍になったら見直します。
小規模事業。 ホスト型のサービスデスクで、一人が IT を運営していることがよくあります。ツールのレポートを使い、サプライヤーに定義を書面で求め、ロックインを避けるために定期的に生データをエクスポートします。
大企業。 多数のツール、多数のチーム、何層もの連携が、定義のずれという最大のリスクを生みます。共有のイベントモデル、名前のあるオーナーを持つ中央のメトリクスストア、自動化された突き合わせと鮮度のチェックに投資します。企業全体で小さなステータスの語彙に合意し、チームがローカルな状態を加えるのは、それへの対応づけを明記する場合に限ります。
政府・公共部門。 記録には、保存、監査、アクセス、プライバシーに関する法律が適用されることがあり、調達でツールやデータ形式が固定されることもあります。これらを設計の入力として扱います。監査証跡を保ち、イベントからレポートまでの系譜を文書化し、契約でデータのエクスポート権を交渉します。報告義務により、文書化された定義が不可欠になります(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
このトピックのコストは三つの部分からなります。第一は構築の労力で、連携、メトリクスストア、ステータスモデルの整理です。第二は運用の労力で、パイプラインのオーナー、フィードのモニタリング、四半期ごとの突き合わせと抽出のルーチンです。第三は、保持するデータに対するプライバシーとセキュリティの統制のコストです。
リターンは、見かけどおりの意味を持つ数字に基づく判断から生まれます。質の悪いデータは、誤った投資、どちらの数字が正しいかをめぐる議論、信頼を損なう再計算された結果につながります。利益は、自分で測れるパターンを通じて述べてください。月次レポートの作成にかかる時間の前後比較、四半期あたりの突き合わせをめぐる論争の数、遡り入力率とタイムスタンプの完全性の推移です。総所有コストは人が支配的なので、パイプラインオーナーの時間を数えます。
アンチパターンと落とし穴
- ソースマップの前にダッシュボードを作る。 グラフは完成して見えるが、意味は分からない。先にソース、時計、オーナーをマップします。
- 時間の測定値に手作業のステータス更新を信頼する。 遅れた入力は、時計を作り話にします。パイプラインとバージョン管理のイベントがあるところはどこでも、遷移を自動化します。
- 一つの事実に複数のシステム・オブ・レコード。 論争が続きます。一つを選び、他はそれから読むようにします。
- 黙って定義を変える。 トレンドラインが意味をなさなくなります。すべての変更を理由とともに記録し、グラフに印を付けます。
- 不完全なデータからの平均。 欠けたタイムスタンプはランダムではなく、厄介な項目がスキップされがちです。結果の隣にタイムスタンプの完全性を報告します。
- 役に立つかもしれないので、すべてを集める。 どの判断にも役立たないまま、コストとプライバシーのリスクが増えます。名前のある問いが必要とするものを集めます。
- 鮮度の指標がない。 古いダッシュボードは、最新のものと同じに見えます。すべてのビューに最新イベントの経過時間を示します。
- 目的のない個人レベルのデータ。 順位付けを誘い、ソースを損ないます。チームとサービスのレベルに集計し、アクセスを制限します。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| ソースと捕捉 | エクスポートから手作業で組み立てた数字 | 一部のツールはレポートに自動で流れ、他は流れない | 各メトリクスに名前のある一つのシステム・オブ・レコードがあり、イベントがあるところは自動捕捉 | カバー率と完全性を測定しトレンドで追う | 合意されたインターフェースを通じ、エクスポートの契約を伴って、チームとサプライヤーの間でイベントを共有 |
| 時刻とステータスのモデル | 各自が時刻を異なる方法で記録し読む | 一部のチームがワークフローを文書化している | 一つの時刻標準と、書かれた時計のルールを伴う共有のステータス語彙 | ずれと遡り入力を監視し、変更を理由付きで記録する | 判断に役立たなくなったとき、サプライヤーや顧客とモデルを共同で改訂する |
| パイプラインの品質 | 誰かが苦情を言ったときに失敗が見つかる | ときどき手作業でチェック | 行数、重複チェック、各ダッシュボードの鮮度指標 | 突き合わせを予定に組み込み、原因をレビューする。パイプラインにオーナーがいる | パイプラインの健全性をサービスのように報告し、改善に予算が付く |
| アンケートとプライバシーの実践 | その場しのぎのアンケート、プライバシーレビューなし | 一部のチームに標準的な質問 | 回答率を示す短い定期アンケート、データはチームレベルで保持 | 回答者の構成をレビューし、行動に移す | アンケート結果とプライバシーの実践をユーザーに公開して共有する |
チェックリスト
- 報告される各メトリクスに、名前のあるシステム・オブ・レコードと、名前のあるソースのオーナーがいる。
- ソースマップがメトリクス台帳に保管されている。
- すべての時間の測定値が、時計がどこで始まり、止まり、一時停止するかを述べている。
- タイムスタンプは曖昧さのない形式の UTC で保存され、サーバーの時計は同期されている。
- イベントがあるところはどこでも、ステータスの変更は自動化によって生成されている。
- 生のイベントはイベント時刻と入力時刻とともに保管され、修正は新しいイベントになる。
- ステータスモデルが文書化され、すべての変更が理由とともに記録されている。
- すべてのダッシュボードが、最新データの経過時間を示している。
- 件数はソースと定期的に突き合わされ、原因が記録されている。
- 毎四半期、生のレコードの標本を読んでいる。
- アンケートの回答率と回答者の構成が、すべてのアンケート結果とともに示されている。
- 個人データは最小化され、チームとサービスのレベルに集計されている。
AI プロンプト
メトリクスのソースマップを作る。
I am documenting the data behind this metric: [metric name], defined as
[definition]. Our tools are [list of tools, for example tracker, ITSM tool,
pipeline, monitoring]. Draft a source map with these fields: the event that
starts the clock, the event that stops it, the system of record for each, who or
what creates the event (person or automation), likely failure modes, and checks
that would detect each failure. Do not invent tool features or benchmark values.
List your assumptions and the questions I should answer to complete the map.
ステータスモデルの曖昧さをレビューする。
Here is the workflow for [team or service]: [list of statuses and allowed
transitions, with a one-line meaning for each if known]. The clocks we compute
from it are [list clocks]. Identify statuses that are ambiguous, states where a
clock could stop or pause in a misleading way, and places where two teams might
read the same word differently. Suggest a smaller model that still supports the
clocks, and say what would be lost. Do not guess how our tool is configured. List
your assumptions.
フィードのデータ品質チェックを設計する。
We load [data type, for example change records] from [source system] into
[destination] every [schedule]. Required fields are [list fields]. Propose a
practical set of checks for completeness, duplicates, freshness, and
reconciliation against the source, with a suggested alert and an owner role for
each. Keep the set small enough for a team of [team size] to maintain. Do not
invent thresholds; ask me for the ones you need. List your assumptions.
短いアンケートと回答率の計画を下書きする。
I want to measure [experience topic, for example effort to get a request
fulfilled] for [audience]. Draft [number] neutral questions, a plan for when and
how to send them, and how to report the response rate and the respondent mix. Flag
wording that could bias answers, and note privacy considerations given that the
data will be held in [tool or location]. Do not invent benchmark response rates.
List your assumptions.
AI スキル
- Agile ITIL Metrics スキル:計装しようとしているメトリクスを定義するトピックと、その隣に置くべき防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:新規または編集されたメトリクスのトピックが、データソースと時計を明記しているかを確認するために使います。
重要なポイント
- すべてのメトリクスは名前のあるシステム・オブ・レコードに依存するので、グラフを作る前にソースをマップします。
- イベントが起きた瞬間に自動で捕捉し、生のイベントを保管して、履歴を失わずに定義を変えられるようにします。
- 時刻もデータです。一つの標準を使い、時計のルールを書き、遡り入力に目を配ります。
- ステータスモデルを小さく、共有され、文書化されたものに保ち、すべての変更を記録します。
- パイプラインを、オーナー、テスト、鮮度指標、予定された突き合わせを備えたプロダクトとして扱います。
- アンケートは人にしか言えないことに使い、回答率を示し、個人データをチームレベルに保ちます。
参考文献とさらなる読み物
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
- ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
- Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Information technology service management.
- Wikipedia, ITIL.
- Wikipedia, Issue tracking system.
- Wikipedia, Version control.
- Wikipedia, CI/CD.
- Wikipedia, Observability (software).
- Wikipedia, Configuration management database.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data quality.
- Wikipedia, Coordinated Universal Time.
- Wikipedia, Selection bias.