概要と動機

ほとんどのサービスメトリクスは、ダッシュボード上の一つの数字として届きます。平均解決時間、目標内に解決されたインシデントの割合、今週クローズしたチケット数などです。一つの数字は正確に感じられます。しかしそれは通常、雑多なイベントの集まりを圧縮した要約であり、その圧縮が、読み手に何が見えるかを決めます。本書における統計リテラシーとは、要約を誠実に保つための小さな習慣の集まりです。データの形に合った要約を選ぶこと、その背後にどれだけのデータがあるかを知ること、本当の変化とノイズを見分けることです。

サービスデータの形が、最初の問題です。解決時間、サイクルタイム、待ち時間のような時間の測定値は、ゼロを下限とし、右側に長い裾を持ちます。ほとんどの項目は素早く終わり、少数がとても長くかかります。このようなデータは歪んでおり、算術平均は裾のほうに引っ張られるので、一つの滞留したチケットが、百件の通常のチケットよりも平均を大きく動かすことがあります。項目を並べたときの真ん中の値である中央値は、はるかに影響を受けにくいものです。パーセンタイルはそれを一般化したもので、85パーセンタイルは、項目の85パーセントがその値以内に終わるという値です。この種の所要時間は、しばしば値の対数が対称になる対数正規分布でモデル化されます。教訓は、歪んだデータでは「典型」と「平均」は異なるということです。

標本サイズが二つ目の問題です。四半期に12件の優先度1のインシデントを解決し、「83パーセントが目標内」と報告するチームは、12件のうち10件を述べています。もう1件を外せば、数字は8ポイント動きます。誠実な表明には件数が含まれ、しばしば範囲も含まれます。信頼区間は、データから計算される範囲で、真の値が観測された値からどのくらい離れている可能性があるかを表します。区間は小さな標本では広く、大きな標本では狭く、これは12件のインシデントがあった四半期にとって正しいメッセージです。

ばらつきが三つ目の問題です。どのプロセスも、何も変わっていないのに、週ごとに揺れる数字を生み出します。1920年代に製造品質に取り組んでいたウォルター・シューハートは、この日常的な揺れを、調査に値するシグナルから切り分け、管理図を私たちにもたらしました。このようなグラフをプロセスに適用することを統計的工程管理と呼びます。この最後の間違いの一部が平均への回帰です。極端な値の後には、それほど極端でない値が続きがちなので、ひどい週の翌週は、誰が何をしたかにかかわらず、回復のように見えます。

カンバンガイドがサイクルタイムのパーセンタイルや作業項目の経過時間を使うような、アジャイルのフローのプラクティスは、すでに分布と、可能性として表現された予測を求めています(トピック2.1「フロー指標」を参照)。ITIL 4 では、測定と報告のプラクティスと継続的改善のプラクティスはどちらも、見かけどおりの意味を持つ測定値に依存し、サービスレベル管理は、現実的なばらつきに対して設定された目標に依存します。統計リテラシーは、その両方の下にある共有の層です。それはトピック1.2「グッドハートの法則とメトリクスの心理学」の防護柵も支えます。分布全体を示すチームには、操作された平均を隠す場所が少なくなります。

共通原因によるばらつきはプロセスに組み込まれており、特殊原因によるばらつきは、何か具体的に変わった、あるいはうまくいかなかったことから生じます。サービスレベル合意(SLA)は顧客への文書化された約束であり、サービスレベル目標(SLO)は測定値に対する目標です。

重要な原則

  • 要約を形に合わせる。 所要時間には中央値とパーセンタイルを使い、判断が重要なときは分布全体を示します。平均は、おおよそ対称なデータや、コストのような合計のために取っておきます。
  • すべての割合は件数を伴う。 分子と分母のない割合は、証拠の付いていない主張です。定めた最小件数を下回るときは、割合ではなく生の項目を示します。
  • 通常のばらつきはニュースではない。 反応する前に、測定値の通常の範囲を知ります。すべての動きにではなく、シグナルに応答します。
  • 不確実性は答えの一部である。 予測は可能性として(「項目の85パーセントは9日以内に終わる」)、推定は範囲として表現し、偽りの精度に抵抗します。
  • 仕事を所有するチームに分布を見せる。 生の項目とヒストグラムは、異例のケースを見えるようにし、静かな操作を困難にします。
  • 相関、選択、タイミングが、多くの「改善」を説明する。 ほかに何が変わったか、誰がデータから外れたか、出発点が異常に悪かったのではないかを問います。
  • 統計を釣り合いのとれたものに保つ。 チームに必要なのは統計の講座ではなく、一貫して使われる一握りの技法です。すべてのグラフを平易な言葉で説明します。

メトリクスの定義

以下のメトリクスは、メトリクスの実践の統計的な質と、サービスの仕事の分布を記述します。時間の測定値は各行に述べた時計を使い、定義は後続のトピックで再利用されることを意図しています(トピック3.3「インシデントの対応時間と解決時間」と、トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)。

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
解決時間の中央値 期間内に解決されたインシデントの、真ん中の解決時間 期間内に解決されたインシデントについての(解決のタイムスタンプ - 作成のタイムスタンプ)の50パーセンタイル。時計はチケット作成から始まり解決で止まる。一時停止は差し引かず、別に報告する。キャンセルされたチケットと重複チケットは除く 時間または日 ITSM ツールのステータス履歴 インシデント管理、測定と報告 サイクルタイムの中央値 週次または月次
高パーセンタイルの解決時間 ほとんどのインシデントがその時間内に解決される時間。パーセンタイルを明示する 上と同じ経過時間の85(または95)パーセンタイル。解決された項目が少なくとも20件ある場合のみ計算し、それ以外は生の項目を列挙する 時間または日 ITSM ツールのステータス履歴 インシデント管理、サービスレベル管理 サイクルタイムのパーセンタイル予測 週次または月次
最も古い未完了項目の経過時間 まだ開いている最も古い項目の経過時間と、高パーセンタイルより古い項目の数 未完了の項目について、現在 - 作成のタイムスタンプ。一時停止は差し引かない。顧客待ちのものを含め、サービスのキューにあるすべての未完了項目を数える 日 ITSM ツールまたは課題トラッカー インシデント管理、問題管理 作業項目の経過時間 週次
割合報告のカバー率 分子、分母、最小件数チェックを示している、報告済みの割合の比率 件数と標本フラグ付きで報告された割合の数 / 報告された割合の数。期間のレビュー資料で公開された割合のみを数える パーセント メトリクス台帳(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照) 測定と報告 ワーキングアグリーメント 四半期ごと
管理図のシグナル率 チームの書かれたルールのもとで、特殊原因によるばらつきを示す、測定値の管理図上の点の割合 ルールのもとでフラグが立った点の数 / プロットされた点の数(直近20点以上)。ルールはあらかじめ固定し、記録する パーセント 管理図のツールまたはスプレッドシート 継続的改善 プロセスのレトロスペクティブでの検査 月次
区間の幅 見出しの割合につけた不確実性の範囲の幅 その期間の見出しの割合について、台帳に記された方法を用いた区間の上限 - 下限 パーセントポイント ITSM の件数から計算 サービスレベル管理 計画における予測の範囲 月次

契約が平均を定めている場合は、契約上の数字を報告し、その隣に中央値とパーセンタイルを示します。

推奨事項

時間のデータを誠実に要約する

1. 中央値と、名前を付けた高パーセンタイルを既定にする。 解決時間、サイクルタイム、履行時間については、中央値と85または95パーセンタイルを併せて公開し、パーセンタイルをメトリクス名に書き込みます。中央値は典型を語り、高パーセンタイルは顧客に妥当に約束できることを語ります。約束のために一つの数字を選ばなければならないなら、パーセンタイルを選びます。

2. 要約だけでなく、形も示す。 完了日に対する解決時間のヒストグラムや散布図は、どんな要約も示さないクラスター、長い裾、急な変化を示します。グラフと数字が食い違うときは、グラフを信じ、数字を調べます。

3. 最も古い未完了項目の経過時間を加える。 終わった仕事のパーセンタイルは後ろ向きで、まだ滞留しているものをすべて無視します。最も古い未完了項目と、すでに高パーセンタイルより古い未完了項目の数を報告します(トピック2.1「フロー指標」を参照)。これは、難しい項目が放置されて古くなるために改善して見える平均に対する、最も有用な唯一の是正策です。

小さな標本と不確実性を尊重する

4. すべての割合に件数を添えて公開する。 「83パーセント」ではなく、「12件中10件が目標内に解決」と書きます。定めた件数より少ない項目に基づく割合は、件数または基になる項目として示すというルールを加えます。しきい値は判断であり、書き留め、見直し、あらゆるところに適用します。

5. 見出しの割合と予測には区間を使う。 失敗する変更の割合のような比率については、チームが合意した方法で信頼区間を計算し、方法を台帳に記します。デリバリーの予測では、標本に基づく範囲(たとえば「週あたり8から14項目の間である可能性が高い」)が、単一のスループットの数字よりも、計画する人々に多くを伝えます。区間が広すぎて判断に役立たないなら、そう述べます。

シグナルとノイズを区別する

6. 行動の基準にする測定値には管理図を描く。 簡単な個別値の管理図は、各点を時間順にプロットし、データから計算した中心線と限界線を引き、限界の外にある点や、中心の片側に偏った連をフラグ付けします。週ごとの解決時間の中央値と週ごとの件数から始めます。シグナルのルール(たとえば限界を超えた点、または片側に8点続く連)を一度書き下して固定し、チームがグラフを自分たちの感覚に合うまでルールを調整しないようにします。

7. シグナルには行動し、共通原因によるばらつきは放っておく。 点が限界の内側にあるときは、その説明を求める衝動に抵抗します。それは、プロセスがいつもどおり振る舞っているのです。シグナルが現れたら、その週に何が変わったかを問います。リリース、人員の欠員、サプライヤーの障害、新しいカテゴリー。プロセスが安定していて、それでも不満足なら、改善はシステムの変更であり、赤い週だった人との対話ではありません。

8. 極端な期間の後には、平均への回帰を予期する。 その年の最悪の月に施策を始めたなら、偶然によってもいくらかの改善が続きます。施策の手柄とする前に、より長いベースライン、変化しなかった似たサービス、あるいは管理限界と比較します。二つの点の前後比較は、最も弱い形の証拠です。

原因と選択について慎重に推論する

9. データから何が欠けているかを問う。 アンケートの回答は、答えることを選んだ人々から来ます。クローズされたチケットは、まだ開いているものを除きます。結論を出す前に、誰が、あるいは何が欠けているか、それが結果をどう傾けうるかを列挙します。

10. 定義は意図して変え、グラフに印を付ける。 新しいステータスモデル、新しい優先度マトリクス、新しいカテゴリー一覧は、仕事を変えずにデータを変えます。各変更をグラフに注記し、その後で管理限界を再開します(トピック1.5「データソースと計装」を参照)。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
解決時間の中央値 素早いチケットを先にクローズして難しいものを開いたままにする、チケットを簡単ないくつかに分割する、顧客待ちの状態で時計を止める 高パーセンタイルの解決時間と最も古い未完了項目の経過時間、一時停止状態にある時間の割合、紐づけチケットの割合
高パーセンタイルの解決時間 結果を良く見せるパーセンタイルを選ぶ、報告の間でそれを変える、長いケースを「外れ値」として除外または再分類する 台帳で固定されたパーセンタイル、除外された項目の理由付きリスト、最も古い未完了項目の経過時間
最も古い未完了項目の経過時間 最も古い項目を解決せずにクローズまたは統合する、別のキューやカテゴリーに移す 再オープン率、最も古いクローズ項目の抽出監査、キュー間の移動数
割合報告のカバー率 小さな字で件数を添えながら、見出しは相変わらず割合を先頭に置く、最小件数を低く設定して決して作動しないようにする 台帳ではなく実際のダッシュボードをレビューする。最小件数を区間の幅とあわせて見直す
管理図のシグナル率 シグナルが消えるように、限界を広げる、ルールを加える、ベースラインを再開する、測定値を変えて点を動かす ルールと限界を変更履歴付きで台帳に保管する。生のヒストグラムと比較する
区間の幅 狭い範囲になる方法や窓を選ぶ、標本を大きくするために異質なサービスをまとめる 台帳に方法を明記する。サービス別の内訳を求めに応じて提供できるようにする。まとめた結果とまとめない結果を比較する

健全な読み方では、中央値とパーセンタイルがユーザーの体験と同じ方向に動き、古い項目の短いリストが静かに再分類されることなく縮み、割合が件数とともに現れます。管理図のシグナル率は低く、ゼロではないべきです。シグナルが一度も出ないグラフはそうできないのかもしれず、常にシグナルが出るグラフは不安定なプロセスか、ルールの選び方の悪さを反映しています。

トレードオフ:長所と短所

アプローチ 強み 弱み
平均解決時間 単純で、多くの契約に合い、合計しやすい 裾に支配される、顧客が典型的に体験することを隠す
中央値と高パーセンタイル 外れ値に強い、顧客への約束を支える 少し説明が必要、パーセンタイルが安定するには十分な件数が要る
件数のない生の割合 コンパクトで馴染みがある 小さな標本を隠し、読みすぎを招く
件数と区間付きの割合 不確実性に誠実で、過剰反応を抑える 決定的でないように見える、区間の方法に合意が必要
管理図 シグナルとノイズを分ける、いつ行動するかの手引きになる 十分な点数と安定した定義が必要、限界が誤読または操作されうる
前後の比較 手早く伝えやすい 平均への回帰や同時に起きた変化に弱い

年に数件のインシデントしかないサービスでは、どの統計量も安定せず、正しい方法は一件一件を読むことです。大量のデスクでは、分布を意識した測定値は安上がりで、明らかに優れています。件数と判断の重要度で選んでください。

チームで話し合う問い

1. 現在のダッシュボードの数字のうち、歪んだものの平均はどれで、中央値と95パーセンタイルは何を示すか。 最もよく見られる時間の測定値を選び、会議の前に同じ項目の集合について三つすべてを計算しておきます。平均が語る物語が、ユーザーの言うことと一致するかを尋ねます。最後に、どの要約を見出しにし、他をどこに載せるかに合意します。

2. 最もよく引用される割合の背後には何件の項目があり、件数を書いてもなお引用するか。 リーダーシップが最もよく読む三つの割合を挙げます。それぞれの隣に、直近期間の分子と分母を書きます。成功または失敗がもう1件あったら、数字がどうなるかを尋ねます。それを下回ったら、チームが割合ではなく項目を示す最小件数に合意します。

3. 最後に改善を施策の手柄にしたのはいつで、そのときほかに何が成り立っていたか。 最近の成功談を選びます。その測定値が最悪だったのはいつか、より長い履歴はどう見えるか、比較できるサービスも改善したかを尋ねます。好奇心のある調子を保ちます。

4. 主要な測定値の通常の範囲はどこで、ある週が異常だと言えるのは誰か。 一つの測定値の直近20週以上の値をプロットし、中心と限界を引くか、おおまかに計算します。範囲の内側にありながら、チームが反応した週はどれかを尋ねます。誰がグラフを所有し、シグナルのルールがどこに書かれているかに合意します。

5. 私たちのデータから欠けているのは誰、あるいは何か。 測定値のソースを列挙します。クローズされたチケット、アンケートの回答、監視されたサービス、タイムスタンプを持つツール。それぞれについて、誰が除外されているか、なぜかを尋ねます。各ギャップを、修正または但し書きとして記録します。

6. 広い範囲や「まだ分からない」を、言い訳のように聞こえさせずに、経営層にどう説明するか。 実際の例で言い回しを練習します。「12件のインシデントで70から95パーセントの間。次の四半期の後に、これを狭められると見込んでいる」。聞き手が何を決める必要があり、範囲がその判断を変えるかを尋ねます。会議の中で短い台本を書きます。

四つの視点

プロダクトチームとデリバリーチーム

デリバリーチームは、予測にサイクルタイムとスループットを使い、平均ではなくパーセンタイルに基づく予測から最も恩恵を受けます(トピック2.1「フロー指標」を参照)。可能性を伴う範囲として述べられた予測は、一つの日付より擁護しやすいものです。一期間の変化をトレンドとして読むことには抵抗します(トピック2.5「デリバリー予測と計画のメトリクス」を参照)。

サービスチームと運用チーム

運用チームはチケットのデータとインシデントの時計を所有しているので、中央値、パーセンタイル、最も古い未完了項目を公開し、一時停止のルールを説明するのに最も適した立場にあります。週ごとの件数と解決時間を管理限界つきでグラフにして、欠陥のあるリリースのような本当の変化を、悪い週と区別できるようにするべきです。インシデントが少ないサービスでは、割合を計算するのではなく、一件ずつレビューするべきです(トピック3.3「インシデントの対応時間と解決時間」を参照)。

リーダーシップとガバナンス

リーダーは、チームが何を見せるかを形づくる問いを投げかけます。すべての揺れに「なぜこれは上がったのか」と問うと、組織はノイズを説明し、隠すよう訓練されます。リーダーは、動きが通常の範囲内か、数字の背後に何件の項目があるか、プロセスで何が変わったかを尋ねるべきです。ガバナンスの組織は、見出しの割合に件数を求めることができます。

顧客とユーザー

顧客は、平均ではなく、個別のケースを体験します。5週間かかった一件のリクエストを覚えており、平均2日という数字がその記憶を癒すことはありません。パーセンタイルによる約束(「リクエストの10件中9件を3営業日以内に」)は、平均時間よりも顧客の頭の中のモデルに合っています。アンケート結果は回答数とともに示し、自由記述コメントは数字と並べて読むべきです(トピック6.1「顧客満足度のメトリクス」を参照)。

実践:アジャイルITILの例

中規模のオンライン小売業者に、サービスデスクと、ウェブショップを支える運用チームがあります。以下の数字は説明用です。

経営層は、月次の見出しを目にします。「平均のインシデント解決時間は9.1時間から7.4時間に下がった」。運用リーダーは、それを確認し、次の目標である6時間に向けた計画を発表するよう求められます。同意する前に、彼女はアナリストに、基になる項目を取り出してプロットするよう頼みます。その月の240件のインシデント(説明用)のうち、中央値は2.5時間、85パーセンタイルは14時間で、9件のインシデントが5日より古くまだ開いています。前の月の中央値は2.6時間でした。平均が下がったのは、前の月の非常に長い三つのインシデント、そのうち一つは11日経過していたものが、たまたまこの期間の早い時期に解決されたことと、パスワードリセットのチケットの一群が、素早くクローズされるリクエストの種類に再分類されたことによるものでした。

チームは、過去26週間の週ごとの中央値をグラフにします。中心線は2.6時間付近にあり、直近二か月のすべての点が限界の内側にあります。見出しの低下はシグナルではありません。第2週の再分類は、グラフの途中で定義を変えたので、チームはそこに印を付け、その点から限界を再開します。

彼らは三つの変更を決めます。月次レポートは、中央値、85パーセンタイル、最も古い未完了項目を、それぞれの背後にあるインシデント数とともに示します。提案されていた6時間の平均目標は、新しい定義のもとで一四半期分のデータを得た後に設定する、パーセンタイル目標についての対話に置き換えられます。チームはまた、9件の古いインシデントを、オーナーとそれぞれの次のステップとともに一覧にします。

彼らが捕まえるゲーミングのリスクは、次のレビューに現れます。マネージャーが、最も古い項目の数字を健全に見せるため、最も古い9件のインシデントを「もはや再現しない」としてクローズすることを提案します。台帳が最も古い未完了項目の経過時間を、再オープン率と、古いクローズ項目の抽出監査と組にしているため、チームは提案されたクローズのうち三つを読み、二つはまだ生きていると分かり、開いたままにします。最も古い項目の数字は、さらに一か月のあいだ居心地の悪いままです。それは意図した振る舞いです。

業種別の視点

スタートアップ。 件数が少ないので、ほとんどの割合は少数の項目でできており、区間は広くなります。統計を計算する代わりに、各インシデントを読み、一つか二つの測定値の簡単な週次グラフをつけ、三点からトレンドを宣言するのは避けます。件数が増えたら、習慣がすでに身についているよう、早めに中央値とパーセンタイルに移ります。

小規模事業。 IT を担う人がデータも所有し、標本は通常小さいです。まれなイベントについては、パーセンテージではなく件数を報告し、自分自身のより長い履歴と比較します。ベンダーの「応答時間」の時計が実際に何を測っているかを確認します。

大企業。 件数が分布を意味のあるものにする一方で、異質なサービスを混ぜた集計も促します。同じもの同士を比較し、定義と使うパーセンタイルを公開し、チームが同じ測定値を三通りに計算しないよう、グラフと計算ルールの共有ライブラリを保ちます。

政府・公共部門。 契約と法定の報告は、しばしば平均やしきい値のパーセンテージを固定し、それらの定義は交渉の余地がありません。必要な数字を定義どおりに報告し、その隣に中央値、パーセンタイル、件数を示して、監督機関が全体像を見られるようにします。公的な精査は、誠実な不確実性をより価値のあるものにします。自信過剰な数字は、撤回するのに高くつくからです(トピック8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

要約のルールに合意し、エクスポートからヒストグラムと管理図を作り、レポートのテンプレートに件数を加えるのに数時間かかり、それらを最新に保つのにサイクルごとに数分かかります。ほとんどのツールはすでにパーセンタイルを計算します。より大きなコストは、一つの安心できる数字に慣れた人々との対話です。

リターンは、より良い判断と、無駄な反応の減少です。チームは悪い週の後の組織変更をやめ、偶然の改善を施策の手柄にするのをやめ、顧客の半数が体験しない平均を約束するのをやめます。数字を借りてはいけません。昨年の判断がどれだけの頻度で覆ったか、何件の「改善」が次の期間に消えたかを数え、その数でケースの大きさを見積もってください。

アンチパターンと落とし穴

  • 歪んだ所要時間の平均。 平均は裾に引きずられ、ユーザーが感じることを覆い隠します。中央値と名前を付けた高パーセンタイルを報告し、最も古い未完了項目を示します。
  • ごく小さな標本からのパーセンテージ。 3件からの「100パーセント」は逸話です。件数を示し、最小件数のルールを適用します。
  • あらゆる揺れに反応する。 赤い週を追いかけるのは労力を浪費し、チームにノイズを説明するよう教えます。管理限界と書かれたシグナルのルールを使います。
  • 前後比較による証明。 二つの点では、介入を偶然や平均への回帰から切り分けられません。より長いベースラインと比較対象を使います。
  • グラフ上でゴールポストを動かす。 限界、ルール、定義を後から変えると、どんなグラフも物語に合ってしまいます。ルールを固定し、変更を記録し、注記を付けます。
  • 既定で外れ値を除外する。 最も長いケースは、通常顧客が覚えているものです。書かれた理由がある場合にのみ除外し、除外したものを列挙します。
  • 偽りの精度。 12件から83.3パーセントを報告すると、データにはない知識を示唆します。誠実に丸め、範囲を示します。
  • 異質な仕事をまとめる。 パスワードリセットとデータセンター障害の混合時間は、どちらも描きません。先に分割します。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
時間データの要約 平均のみ 一部のチームが中央値を示す 中央値と名前の付いたパーセンタイルと最も古い未完了項目が標準 防護柵付きで分布をレビューし、トレンドで追う パーセンタイルによる約束を顧客やサプライヤーと合意し、データの変化に合わせて改訂する
標本サイズと不確実性 件数なしで割合を引用 一部のレポートに件数を示す すべての割合に件数と最小件数のルール 見出しの割合に区間、方法は台帳に記載 不確実性を顧客に公開して共有し、チーム横断の計画で用いる
ばらつきと因果 すべての変化が説明される 限界付きのグラフが少数 主要な測定値に、書かれたルールを持つ管理図 シグナルが計画的な調査を引き起こす。施策はベースラインと照らして確認される サービス横断の共有グラフライブラリ。順位付けなしにチーム間でベースラインを比較する

チェックリスト

  • すべての時間の測定値が、平均だけでなく、中央値と名前を付けた高パーセンタイルを報告している。
  • 最も古い未完了項目の経過時間と、高パーセンタイルを超える項目の数が報告されている。
  • 報告されるすべての割合が、分子と分母を示している。
  • 最小件数のルールが書き下され、すべての割合に適用されている。
  • 見出しの割合と予測が範囲を示し、方法が台帳に名前付きで記されている。
  • チームが行動の基準にする三つの測定値に、書かれたシグナルのルールを持つ管理図がある。
  • 定義の変更がグラフに注記され、台帳に記録されている。
  • 除外された項目が、理由とともに列挙されている。
  • 改善の主張は、繰り返される前に、より長いベースラインに照らして確認される。
  • 各メトリクスのゲーミングの手口と防護柵が台帳にある(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。

AI プロンプト

要約がデータに合っているかを確認する。

I have [number] values of [measure, such as incident resolution time] for
[service] over [period]. The clock starts at [start event] and stops at
[stop event]. Pauses are [handled how]. The values are pasted below.

Describe the shape of the distribution, compute the mean, median, and the
[percentile, such as 85th] and [second percentile, such as 95th], and tell me
which summary best represents a typical case and which supports a promise to
customers. Point out any values that look like data errors, but do not remove
them. Do not invent benchmark values. List your assumptions and what you could
not determine from the data.

[paste values, with personal data removed]

不確実性とともに割合を表現する。

Our team reports [rate name] as [numerator] out of [denominator] for [period]
and [service]. Show how to present this with the counts, explain in plain words
how much one more or one fewer success would change it, and calculate a
confidence interval using [method, or "a method you recommend and name"].
Suggest wording that a non-technical leader can understand and a minimum-count
rule for when to show items instead of a rate. Do not invent comparison
figures. List your assumptions, including the method and any data conditions it
needs.

変化がシグナルかノイズかを判断する。

Here are [number] consecutive [weekly or monthly] values of [measure] for
[service]. A change happened in [period]: [describe the intervention, release,
or definition change]. Plot or describe a control chart with a center line and
limits, apply these signal rules: [list rules, such as one point beyond the
limits or a run of eight on one side], and tell me which points signal. Say
whether the change is distinguishable from ordinary variation, and what other
explanations, such as regression toward the mean or a definition change, I
should rule out. Do not claim causation. List your assumptions and the extra
data that would help.

[paste values]

AI スキル

  • Agile ITIL Metrics スキル:時間または割合のメトリクスを公開する前に、そのトピックと組になる防護柵を見つけるために使います。
  • Agile ITIL Metrics メンテナースキル:トピックに加えた統計的な測定値に、定義、時計、ゲーミングの手口、防護柵があるかを確認するために使います。

重要なポイント

  • サービスの所要時間は歪んでいるので、中央値と名前を付けた高パーセンタイルを報告し、最も古い未完了項目の経過時間を加えます。
  • すべての割合は件数を伴い、小さな標本は自信ありげなパーセンテージではなく、項目または範囲として示します。
  • 一週間に反応する前に、管理図で測定値の通常の範囲を知ります。
  • 二つの点で測られた改善には疑いを持ちます。平均への回帰と定義の変更が、その多くを説明します。
  • 誠実な不確実性はレポートの強みであり、グッドハート型のゲーミングに対する防護柵です(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
  • 技法を釣り合いのとれたものに保ちます。平易な言葉で説明される少数の一貫した方法は、説明されない多数の方法よりもチームの役に立ちます。

参考文献とさらなる読み物

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Skewness.
  10. Wikipedia, Median.
  11. Wikipedia, Percentile.
  12. Wikipedia, Log-normal distribution.
  13. Wikipedia, Confidence interval.
  14. Wikipedia, Control chart.
  15. Wikipedia, Statistical process control.
  16. Wikipedia, Regression toward the mean.