変更実現のメトリクス
変更実現のメトリクスは、組織が有益な変更を安全かつ素早く流せているかを示します。そのため、変更がどう分類されるか、判断をどれだけ待つか、その判断のどれだけをパイプラインが自動で行うかを測り、あらゆる速さの尺度をリスクの見方と組にしてください。
概要と動機
すべてのサービスは変わります。チームは機能を加え、ライブラリにパッチを当て、証明書を更新し、データベースのサイズを変え、古いコンポーネントを退役させます。ITIL 4のフレームワークで、これを統制するプラクティスは変更実現と呼ばれ、その目的は、リスクが適切に評価され、変更が承認され、変更スケジュールが管理されるようにして、成功するサービスとプロダクトの変更の数を最大にすることだと述べられています。以前のITILの版は、このプラクティスを変更管理と呼んでおり、今もその名前を使う組織は多くあります。新しい名前は、重点の移動を示します。このプラクティスは、良い変更を可能にするために存在するのであり、止めるためではありません。
ITIL 4における変更とは、サービスに直接または間接の影響を及ぼしうるあらゆるものの、追加、修正、除去です。これはコードのデプロイより広い範囲です。設定の編集、インフラの更新、アクセスの変更、供給者の行動、運用者が頼るドキュメントも含みます。アジャイルのチームは、たいてい変更を、出荷されるプルリクエストとして見ます。サービス運用のチームは、スケジュール上の項目として見ます。どちらの見方も妥当で、このトピックのメトリクスは、同じ出来事を両側から記述するときに最もよく機能します。
ITIL 4は変更の三つの種類を述べており、このトピックのメトリクスはそれらに依存します。正確な言葉づかいは、フレームワーク所有者の最新の刊行物で確かめてください。このトピックは、2026年10月時点で広く文書化されているパターンを要約しています。
- 標準変更は、リスクが低く、よく理解されています。文書化された手順に従い、事前承認されているため、個別の承認を必要としません。
- 通常変更は、進める前に評価と承認が必要です。評価の深さは、リスクと影響に応じて変わります。
- 緊急変更は、急いで行わなければなりません。多くはサービスを復旧するため、または深刻な脆弱性を塞ぐためです。迅速な経路に従い、事後により完全なレビューを受けます。
以下では、ほかの用語も繰り返し出てきます。変更権限者は、ある種類の変更を承認する権利を持つ人またはグループです。変更諮問委員会(CAB)は、提案された変更をレビューし、助言または決定するグループです。承認のリードタイムは、変更が承認の判断を待つ時間です。パーセンタイルは、観測値のうち示した割合がそれを下回る値で、85パーセンタイルは、変更の85パーセントがそれより良い数字です。
なぜこれらすべてを測るのでしょうか。変更統制について公表されている最も強い証拠は、DevOps Research and Assessment(DORA)の研究プログラムに由来します。そのガイダンスは、CABや上級管理者の承認のような重い外部承認が、ソフトウェアデリバリーのより悪い成果と関連しており、より正式な外部レビューが失敗する変更の割合を下げるという証拠は見つからなかったと報告しています。代わりに、ピアレビュー、自動テスト、小さな変更を勧め、中央の委員会には戦略的な役割を与えます。これらは調査データにおける関連についての記述であり、法則ではありません。またDORAのページは、この主張の効果量を示していません。したがって、これらは自分のデータを見る強い理由として扱い、どれか一つの統制への評決としては扱わないでください。Agile ITIL Guideの変更実現の資料は、同じ研究を要約しています。
アジャイルとITILの見方は、統制がどこにあるかという問いで出会います。デリバリーのパイプラインでは、評価の多くを継続的に行えます。レビュアーがコードを承認し、自動テストが振る舞いを確かめ、デプロイのツールが記録を書きます。レビューが記録され、作者が自分の作業を承認できないなら、これは職務の分離の意図を満たします。メトリクスは、これが実際に起きているのか、それともパイプラインは速い道なのに、ほとんどの変更がそこを降りて待ち行列に並んでいるのかを教えてくれます。
このトピックは、変更の流れと統制の側、つまり量、種類の構成、待ち時間、自動化を扱います。変更が成功するかどうかは扱いません。変更失敗率、緊急の割合、ロールバック、ホットフィックスの尺度は、トピック4.4「変更の失敗と手戻り」に属し、DORAのスループットと不安定性の尺度は、トピック2.8「DORAメトリクス」にあります。デプロイとリリースの頻度は、トピック4.5「リリースとデプロイのメトリクス」にあります。悪い変更のインシデント側は、トピック3.3「インシデントの対応時間と解決時間」とトピック3.4「重大インシデントのメトリクス」にあります。
変更のメトリクスは、すぐにグッドハートの法則を引き寄せます。承認時間の目標は、速くて中身のない承認を招き、標準変更の割合の目標は、危険な作業をルーチンに再分類することを招きます(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
重要な原則
- 統制をリスクに合わせる。 目指すのは釣り合いの取れた統制です。低リスクの変更は速い事前承認の経路を通り、高リスクの変更は本当の精査を受けます。すべてに一つの手順では、大半の変更には遅く、危険なものには浅くなります。
- 作業だけでなく待ちを測る。 承認のリードタイムは、完成した変更が本番に届くまでに費やす時間の大部分を占めることがよくあります。承認がいつ求められ、いつ与えられたかを誰かが記録しなければ、それは見えません。
- ほかの何よりも先に種類を数える。 量、速さ、リスクは、標準変更、通常変更、緊急変更で大きく異なります。三つにまたがる一つの平均は、有用なシグナルをすべて隠します。
- 会議より、自動化された記録された証拠を好む。 ピアレビュー、通ったテスト、パイプラインのチェックは、カレンダーの枠なしに記録を生みます。承認の判断のどれだけをパイプラインが捉えているかを測ってください。
- サービスやチームを記述し、決して個人を記述しない。 承認者も申請者も、システムの中で働いています。個人を、承認した数や却下した数で順位付けすると、人々はすべてを承認するか、何も承認しなくなります。
- 速さを安全と組にする。 承認が速くなるのは、失敗の状況が安定しているときに限って良い知らせです。これらのメトリクスは、トピック4.4「変更の失敗と手戻り」の隣で読んでください。
- 分類のルールを書き留める。 変更が標準、通常、緊急のどれかは、再現できなければならない判断です。基準を記録し、四半期ごとにサンプルをレビューしてください。
メトリクスの定義
この表は、チームが書き留めるべき時計と除外を述べています。データは、変更またはチケットのツール、バージョン管理とパイプラインのイベント、承認の記録から来ます(トピック1.5「データソースと計装」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 種類別の変更件数 | 完了した変更の件数を、標準、通常、緊急に分けたもの | 期間内に実施済みの状態に達した変更記録の件数を、承認時点の種類でグループ化したもの。取り消された変更と撤回された変更は除き、別に報告する。個人ごとではなく、サービスごとに報告する | 種類別の、週または月あたりの変更数 | ITSMツールの変更記録と、パイプラインのデプロイイベントとの結合 | 変更実現 | 完了した作業項目のスループット、インクリメントごとのリリース内容 | 週次、月次でレビュー |
| 標準変更の割合 | 完了した変更のうち、事前承認の経路を通ったものの割合 | 期間内に完了した標準変更 ÷ 期間内に完了したすべての変更。事後に再分類された変更は最終的な種類で数え、再分類は記録する | パーセント | 種類と再分類の履歴を持つ変更記録 | 変更実現 | チームの作業合意と完了の定義が対象とするルーチンの作業 | 月次 |
| 承認のリードタイム | 変更が承認の判断を待つ時間 | 時計は、評価の準備ができたものとして申請が提出されたときに始まり、承認の判断が記録されたときに止まる。申請者の情報提供を待つ時間は除き、別に示す。期間内の通常変更について、中央値と85パーセンタイルを報告する。承認の段階がない標準変更は除く | 時間または営業日 | 変更記録のタイムスタンプ、またはパイプラインの承認イベント | 変更実現 | ワークフロー内の待ち時間、レビュー列に留まる時間 | 週次、月次でレビュー |
| 自動承認の割合 | 承認の判断のうち、パイプラインの統制または事前承認のポリシーによって行われ、記録されたものの割合 | 記録された自動チェック、または文書化されたポリシーの下で記録されたピアレビューによって承認が与えられた変更 ÷ 期間内に完了したすべての変更。委員会またはマネージャーによる手動の承認は、自動化されていないものとして数える | パーセント | パイプラインのログ、コードレビューの記録、変更記録 | 変更実現、デプロイ管理 | 自動化された品質ゲート、完了の定義の一部としてのピアレビュー | 月次 |
| 承認待ちの滞留時間 | 保留中の申請が今、どれだけ待っているか | 現在判断を待っている各変更の経過時間を、提出からスナップショットの時点まで測る。最も古い項目と、未処理の待ち行列の85パーセンタイルを報告する。完了した承認は除く | 時間または営業日 | 承認が未処理の状態にある変更記録 | 変更実現 | 作業項目の経過時間、滞留している仕掛かり作業 | 日次のスナップショット、週次でレビュー |
| 変更記録の完全性 | 完了した変更のうち、誰が、何を、なぜ、いつ、どのサービスかに答えられる記録を持つものの割合 | 必須項目がすべて入力され、影響を受けるサービスまたは構成アイテムに紐づいている変更 ÷ 期間内に完了したすべての変更。必須項目は定義に列挙する。変更の実施後に作られた記録には印を付ける | パーセント | 変更記録、バージョン管理のリンク、構成データ | 変更実現、サービス構成管理 | コミットからチケット、デプロイへのトレーサビリティ | 月次 |
承認のリードタイムは、待ち終えた変更を振り返るので、滞って動かない申請の山を隠すことがあります。滞留時間は、今日待っているものを見るので、より早い警告です。標準変更の割合は、最大化すべき得点ではありません。成熟したパイプラインを通して設定を変更するチームは高い割合になり、レガシーの基幹システムを抱えるチームが低い割合なのは、合理的でありえます。
推奨事項
基本を確立する
1. 何かを測る前に、種類別に変更を数える。 完了した変更の一つの見方を、標準、通常、緊急に分けて、サービスごと、月ごとに作ってください。多くの組織はここで、誰も合計に合意できないことに気づきます。チケット、パイプラインのデプロイ、非公式な修正が別々に数えられているからです。これらの情報源の突き合わせが、プログラムの最初の成果です(トピック1.5「データソースと計装」を参照)。
2. 分類のルールを書き、サンプルを取る。 変更を標準にするものを述べてください。文書化された手順、既知のリスク、実績です。変更を通常や緊急に押し上げるものも述べてください。四半期ごとに二十件ほどの変更を無作為に取り出してレビューし、それぞれがルールどおりに分類されていたかを問います。誤分類は、このトピックのほかのすべての数字への最大の脅威です。
3. 承認の時計を文書で定義する。 時計は、準備ができたものとして申請が提出されたときに始まり、判断が記録されたときに止まると述べ、除外を名指ししてください。たとえば、申請者が質問に答えるのを待つ時間です。これがないと、あるチームはチケットの作成から測り、別のチームは委員会の会議から測って、時間を通してさえ数字を比べられません。
待ちを短くする
4. 承認のリードタイムを分布として報告する。 平均は、大切なパターン、つまり少数の変更がとても長く待つことを隠します。中央値と85パーセンタイルを示し、最も遅い数件は、人の名前ではなく変更の名前で示してください(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。85パーセンタイルが中央値の何倍にもなるなら、原因はたいてい会議の周期か、一人の過負荷な承認者で、直し方は構造的です。
5. 履歴だけでなく待ち行列を見る。 承認待ちの滞留時間は、フロー指標をレビューするのと同じ場で、毎週レビューしてください。最も古い待ち項目は、委員会が過負荷であること、休暇が署名を止めていること、申請者が静かに催促をやめたことの、最良の早期警告です。待ち行列の見方は、滞留している作業を見る習慣にも合います(トピック2.1「フロー指標」を参照)。
6. 情報を待つことと、判断を待つことを分ける。 申請がより詳しい情報のために申請者に戻されたら、承認の時計を止め、別の時計を始めてください。承認者は申請者が引き起こした遅れで責められ、申請者は待ち行列の遅れで責められます。二つの時計は、双方に正確な状況と、より良い申請テンプレートのような具体的な改善を与えます。
統制をパイプラインに移す
7. 繰り返される低リスクの変更の種類を、標準変更に変える。 量の見方で最も多い通常変更を選んでください。たとえば、定型のライブラリ更新やスケーリングの操作です。その手順とチェックを書き、リスクを変更権限者と合意して、事前承認します。そのうえで、標準変更の割合と通常変更の承認のリードタイムを一緒に見ます。割合は上がり、待ち行列は短くなるはずで、失敗がそれに伴って増えてはなりません(トピック4.4「変更の失敗と手戻り」を参照)。
8. 承認を、作業が行われる場所に記録する。 ピアレビューはコードレビューのツールで捉え、パイプラインにレビュー、テスト結果、デプロイを変更記録へ自動的に紐づけさせてください。そうすれば記録は、別のタスクではなく作業の副産物になります。自動承認の割合を測り、記録されたレビューが形だけの承認ではなく、中身のあるものかを、サンプルを調べて確かめます(トピック2.7「プルリクエストとコードレビューのメトリクス」を参照)。
9. パイプラインを、ポリシーをコードにする場所として扱う。 「チケットなしの本番への直接アクセス禁止」「テストが通らなければならない」「作者は自分の変更を承認できない」のようなルールは、ツールで強制でき、その設定はInfrastructure as Codeの実践のもとでコードとして保てます。ポリシーがコードなら、監査人に会議の議事録ではなく、ルールとその履歴を示せます。パイプラインを迂回する変更がいくつあるかを測ってください。迂回の一つ一つが、統制の穴だからです。
統制を誠実に保つ
10. 緊急変更の速い経路を保ち、その使われ方をレビューする。 緊急変更には速さが要るので、通常の待ち行列で遅くしないでください。ただし、それぞれを事後にレビューし、量の上方への漂流を見てください。通常の経路より楽な緊急の経路は、既定になってしまうからです(そのための尺度はトピック4.4「変更の失敗と手戻り」にあります)。緊急の量は、同じ見方の中で通常の量の隣に報告してください。
11. 記録の完全性を、スケジュールに沿って監査する。 完全な記録は、対応者が最近何が変わったかを尋ねるインシデントの最中に役立ちます(トピック3.3「インシデントの対応時間と解決時間」を参照)。完全性を測り、サンプルをレビューし、欠落は申請者の落ち度ではなく、フォームや連携の欠陥として扱ってください。記憶から事後に組み立てられた監査証跡は、弱い証拠です。
12. 変更権限者のモデルを、少なくとも年に一度レビューする。 各種類とリスクの水準ごとに誰が承認の権利を持つかを決め、見たものをすべて承認する委員会は退役させてください。中央の委員会は、戦略的な役割へ寄せます。チーム間の調整、スケジュールの衝突の解決、市場投入までの時間とリスクのトレードオフの判断です。判断と証拠は、メトリクス台帳に記録してください(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 種類別の変更件数 | 忙しく見せるために一つの変更を多くの小さな記録に分ける、落ち着いて見せるために多くを一つにまとめる、非公式な変更を記録から外す | 毎月、件数をパイプラインのデプロイイベントと突き合わせる。対応する変更記録のないデプロイの割合を追う |
| 標準変更の割合 | 目標に届くよう危険な作業を標準に再分類する、何でも覆う広い標準手順を書く | 分類の四半期ごとのサンプルレビュー、種類別の変更失敗率(トピック4.4「変更の失敗と手戻り」を参照)、再分類のログ |
| 承認のリードタイム | 時計を遅く始める、早く止める、不要な質問で一時停止する、読まずに承認する | 中央値の隣の85パーセンタイル、承認の中身のサンプルレビュー、承認者グループ別の変更失敗率(個人別は決してしない) |
| 自動承認の割合 | 必ず通る自動チェックを加える、コメントのないピアレビューを保証として数える | 自動承認とピア承認のサンプルレビュー、自動承認された変更の見逃された欠陥と失敗率、迂回の件数 |
| 承認待ちの滞留時間 | 待ち行列が短く見えるよう古い申請を閉じる、または撤回する、新しいタイムスタンプで新規の申請に移す | 撤回されて再提出された申請の件数、最初の提出から測った申請の経過時間 |
| 変更記録の完全性 | 必須項目をプレースホルダーのテキストで埋める、レポートを満たすために変更の後で記録を作る | 実施後に作られた記録に印を付ける、自由記述の品質のサンプルレビュー、コミットへのリンク率 |
健全な読み取りでは、種類の構成が、失敗の状況を安定させたまま、ゆっくり標準変更へ移り、承認時間の中央値が85パーセンタイルに近く、ほかよりずっと古い項目のない待ち行列があり、迂回の件数がゼロ近くに留まります。どれか一つの数字の急な跳ね上がりを疑ってください。プロセスを変えていないのに、承認のリードタイムが一か月で半分になったなら、たいてい動いたのは作業ではなく時計です。
トレードオフ:長所と短所
| アプローチ | 長所 | 短所 |
|---|---|---|
| 事前承認された標準変更 | 速く、一貫し、監査が安い。変更権限者を危険な作業に振り向けられる | 事前の設計が要る。分類が漂流しうる。広い手順はリスクを隠す |
| パイプラインに記録されるピアレビュー | コードを知る人によるレビュー。記録が自動で生まれる。量に合わせて拡大する | 品質はレビュー文化に依存する。小さなチームには独立したレビュアーがいないことがある。規制当局によっては別の承認者を期待する |
| 中央の変更諮問委員会 | チーム横断の見通し。スケジュールの衝突と共有依存のリスクを捉える | すべての変更の関門にすると遅い。変更をより大きなバッチにし、より少ない頻度で届けるよう促す。待ち行列を生む |
| 見出しのメトリクスとしての承認のリードタイム | 説明しやすい。遅れの本物の原因を露わにする | ゲーミングしやすい。承認者を急がせうる。判断の質については何も語らない |
| 目標としての自動承認の割合 | ツールと記録された証拠への投資に報いる | 弱い自動チェックに報いうる。人の判断が本当に要る変更を除外しうる |
より良い問いは、「委員会か、なしか」であることはまれで、たいてい「どの変更にどの種類の精査が要り、どうやってそれを知るのか」です。
チームで話し合う問い
1. 先月、私たちはいくつの変更を行い、すべての情報源は一致しているか。 各グループに、チケット、パイプラインのデプロイ、非公式な経路から、それぞれの件数を出してもらってください。合計を比べます。その差は、記録されていない変更についての発見そのものです。ファシリテーターは、どの情報源を記録のシステムとするか、誰がほかを突き合わせるかを合意してください。
2. 私たちの通常変更のうち、本当にルーチンなのはどれで、標準にするには何が要るか。 最も頻度の高い五つの通常変更を挙げてください。それぞれについて、手順が文書化されているか、リスクが理解されているか、チームに汚れのない実績があるかを問います。議論はたいてい、一つか二つの明らかな候補を見つけます。事前承認を安全にするチェックを書き留め、標準手順を誰が承認するかを名指ししてください。
3. 私たちの承認の時計はどこで始まり、どこで止まり、その中で何が待っているか。 直近の三つの通常変更を取り、提出から判断までたどってください。引き継ぎ、会議、情報の依頼をすべて書き留めます。待ちの多くが、質問のやり取りの間のカレンダー上の時間であることに、人々はしばしば驚きます。時計と除外されるものについて、文書による定義を合意してください。
4. 私たちは承認を信頼しているのか、それとも集めているだけか。 最近の承認のサンプルを取り出し、レビューを読んでください。数秒で与えられた承認や、コメントのない承認を探します。目的は、プロセスが本当にどれだけの保証を与えているかを知ることで、犯人を見つけることではありません。レビューを遅くせずに、より中身のあるものにするには何が要るかを話し合ってください。
5. 私たちの変更委員会は何のためにあり、開かれなくなったら何を失うか。 委員会が、ほかの誰にもできないことを何を決めているか、ただ確認しているだけのものは何かを問いかけてください。チーム間の調整やスケジュールの衝突の発見で価値ある仕事をする委員会もあります。コードレビューで既に下された決定を言い直すだけの委員会もあります。どの機能が残す価値があり、どれがパイプラインやより軽い場に移せるかを合意してください。
6. 承認の時間を半分にしたら、それが安全だったと知るには何を見る必要があるか。 変更の前に、安全のシグナルを名指ししてください。たとえば種類別の変更の失敗率、緊急の割合、最近の変更に紐づくインシデントです。一時停止の引き金になるしきい値を合意します。この会話は、速さの目標を、停止の規則を持つ実験に変え、それが、間違ったものを最適化することへの最良の防御です。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、承認のリードタイムを、完成した変更と動いている変更の間の遊休時間として感じます。自分たちの数字を種類別に、待ち行列の見方と一緒に見たいと考えます。そうすれば、いつまとめ、いつ分け、いつ新しい標準変更を求めるかを判断できるからです。彼らの最良の貢献は、良い申請テンプレート、小さな変更、コミットから変更記録への明確なリンクです。
サービスチームと運用チーム
運用チームは、変更記録を使って、最初のインシデントの問いに答えます。最近何が変わったか、です。彼らは、完全性、正確なサービスへのリンク、信頼できるスケジュールを重んじます。うまくいかなかった変更のコストも負うので、分類のルールと緊急変更のレビューに正当な関心があります。最良の一手は、標準変更のカタログをデリバリーチームと共同で所有し、事前承認が運用の知識を反映するようにすることです。
リーダーシップとガバナンス
リーダーとガバナンスの機関は、変更が統制されているという保証を必要とし、統制が組織を遅くしているかどうかを知る必要があります。これらのメトリクスは両方を与えます。種類の構成、待ち時間、記録された証拠に裏付けられた承認の割合です。求めるのは、傾向とサービス間のばらつきで、決して順位表ではなく、失敗の尺度の隣で読んでください(トピック4.4「変更の失敗と手戻り」を参照)。承認をパイプラインに移す自動化に資金を出すほうが、たいてい、委員会にレビュアーを加えるよりも良い投資です。
顧客とユーザー
顧客が変更のプロセスを目にすることはまれです。彼らが見るのは、新しい機能が届くこと、修正が速やかに出荷されること、リリース後に障害が減ることです。遅い承認は、彼らが求めた修正を遅らせ、弱い承認は、彼らが恐れる障害の危険を冒します。サービスに計画メンテナンスの時間帯がある場合は、変更カレンダーを平易な言葉で公開してください。
実践:アジャイルITILの例
架空の地域の保険会社が、八つのデリバリーチームと、週に二回開かれるCABを持つ顧客ポータルを運用しています。以下の数字はすべて例示です。
サービス運用のリードが、変更の最初の完全な見方を作ります。その月、ポータルでは、チケットによる完了した変更が約420件、パイプラインによる本番へのデプロイが610件あり、その差は、チケットなしで行われた変更だと判明します。チケットのある420件の変更のうち、18パーセントが標準、76パーセントが通常、6パーセントが緊急です(例示)。通常変更の承認のリードタイムの中央値は営業日2日、85パーセンタイルは営業日7日です(例示)。待ち行列で最も古い申請は、営業日12日待っています。
長い待ちを調べると、チームは二つの原因を見つけます。多くの申請は、ルーチンであっても次の委員会の会議まで置かれ、ほかの申請は、情報の不足のために申請者へ何度も戻されます。チームは二つの時計を分け、85パーセンタイルの待ちのおよそ半分が、申請者を待つ時間だと知ります。まず申請テンプレートを直します。次に、最も多い三つの通常変更を選びます。テストが通る依存関係の更新、フィーチャーフラグのツールでの設定の切り替え、アプリケーションサーバーのスケーリングです。手順を書き、リスクを変更権限者と合意し、承認がパイプラインに記録される標準変更に変えます。
二か月後、標準の割合は41パーセントに上がり(例示)、通常変更の承認のリードタイムの85パーセンタイルは営業日4日に下がり(例示)、種類別の変更失敗率は、組になる尺度が報告するとおり横ばいのままです(トピック4.4「変更の失敗と手戻り」を参照)。委員会は、すべての通常変更のレビューから、高リスクの変更と月次のスケジュールのレビューに移ります。
ゲーミングのリスクは、四半期ごとのサンプルで現れます。あるチームが、データベースのスキーマ移行を標準変更に分類していました。「設定変更」についての以前の手順が、緩く書かれていたからです。サンプルのレビュアーは、その移行にロールバック計画がなかったことに気づきます。チームは標準変更の定義を引き締め、スキーマ変更は常に通常とする規則を加え、再分類のログは常設の議題になります。メトリクス台帳に記録される決定は、標準変更の割合を、目標ではなく、文脈を示す尺度として保つことです。
業種別の視点
スタートアップ。 スタートアップは、たいてい正式なプロセスが少なく、パイプラインの自動化が豊富です。変更は記録なしに素早く起きるので、完全性と、コミットからデプロイへのリンクが最も重要です。三つの種類の一ページの定義と、パイプラインに記録されたレビューで、たいてい十分です。
小規模事業者。 小規模事業者では、変更を書いてリリースする人が一人か二人のことが多く、独立したレビューは難しくなります。ルーチンの作業には単純な標準変更の一覧を使い、顧客データやお金に触れるものには第二の目を求め、変更の簡素な記録を保ってください。追う価値のある尺度は、種類別の件数と記録の完全性です。安価で、インシデントの最中に役立つからです。
大企業。 大企業には、多くのチーム、共有プラットフォーム、リスクの異なるレガシーシステムがあります。CABを持つ傾向があり、メトリクスは、その仕事のどれを残すかを決める助けになります。主な作業は、一貫した分類、共有の標準変更カタログ、監査の証拠を記録するパイプラインです。集計は、チームの順位付けではなく、サービスとリスクの区分で行ってください。
政府・公共部門。 公的機関は、承認、職務の分離、記録の保存について法的な要件に直面することが多く、調達に左右されるリリースの時間帯を持つこともあります。メトリクスは、どの統制が義務で、どれが地域の習慣かを述べるべきです。前者は取り除けず、後者は取り除けるからです。記録されたピアレビューとパイプラインの証拠は、意図を満たせることが多いものの、頼る前に、関係する監査人と確認してください(トピック8.3「コンプライアンスと監査のメトリクス」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、たいてい変更が待つ時間です。完成した作業が判断を待って並ぶと、価値は遅れ、バッチは大きくなり、バッチごとのリスクは増えます。二つ目の動機は保証です。リーダーと監査人は、変更が統制されていることを知りたく、パイプラインに記録された証拠は、再構成より安く作れ、より信頼できます。三つ目はインシデント対応で、完全で正確な変更記録は、原因の探索を短くします。
収集は、変更ツールとパイプラインがすでにタイムスタンプと種類を保存していれば安く、それらを連携させなければならなければ中程度です。データに基づいて行動するほうが、コストがかかります。標準変更の手順を書き、パイプラインのチェックを作り、承認者と申請者を教育することです。作業の大部分は最初の四半期に起き、その後は、サンプリングとレビューのための、より低く安定したコストになると見込んでください。
見返りは、変更あたりの待ち時間の減少、会議の減少、監査の証拠の準備にかかる労力の減少、インシデント中のより速い診断として現れます。自分のデータで見積もってください。承認の待ち時間の削減を、影響を受けた変更の数と、財務のパートナーが認める遅延一時間あたりのコストで掛けます。ほかの組織の数字を持ち込まないでください。DORAの研究は議論の方向を支持しますが、そのページはコストも見返りも示しておらず、金額はすべて自分の測定から出なければなりません。
アンチパターンと落とし穴
- 標準変更の割合を目標として扱う。 チームは数字に届くよう危険な作業を再分類します。文脈として使い、分類をサンプルでレビューし、種類別の失敗率を見てください。
- 承認の速さだけを測る。 速い形だけの承認は、すばらしく見えて、何も届けません。リードタイムを、承認の中身のサンプルレビューと失敗の状況と組にしてください。
- インシデントのたびに承認を加える。 新しい関門のたびにシステムは遅くなり、多くはより大きなバッチを促します。まず失敗がなぜ起きたかを見て、原因を、テスト、レビュー、パイプラインで直してください。
- 承認者や申請者を順位付けする。 承認や却下の個人ごとの数は、人々にすべてを承認するか何も承認しないよう教えます。サービスと変更の種類で報告してください。
- 変更の種類をまたいで平均する。 一つの平均は、ルーチンと危険な作業を混ぜ、どちらも隠します。常に種類で分け、85パーセンタイルを示してください。
- プロセスの外で行われた変更を無視する。 迂回は、本当の量とリスクを隠します。パイプラインのデプロイを変更記録と突き合わせ、差をシステムの欠陥として扱ってください。
- 習慣で委員会を保つ。 見たものをすべて承認する委員会は、保証を加えずに遅れを加えます。毎年、ほかの誰にもできないことを何を決めているかをレビューし、焦点を絞り直してください。
- データを集めて、決して決めない。 各メトリクスを、名前のあるオーナーとレビューの場に結びつけてください(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 分類と量 | 種類は非公式で、誰も合計を知らない | 一部のチームが、異なるルールで種類別に数える | 一つの文書化された分類、一つの記録のシステム | 種類の構成を傾向として追い、精度をサンプルで確かめる | 標準変更のカタログを供給者と共有し、リスクの証拠の変化に応じて改訂する |
| 承認の時計と待ち行列 | 承認の待ちは感じられるが、計時されていない | 一部のチームが申請にタイムスタンプを付ける | 時計の定義が一つで、中央値とパーセンタイルを示す | 滞留時間を毎週レビューし、遅れが資金のついた修正を促す | 承認の流れを、失敗と顧客の成果に照らして、チームと供給者を横断して調整する |
| 承認の自動化 | 承認は会議かメールである | 少数のパイプラインがピアレビューを記録する | 記録されたレビューとチェックが、低リスクの変更の既定である | 自動化の割合を、迂回の件数とサンプルによる品質チェックとともに追う | リスクの状況の変化に応じて適応する共有プラットフォームの統制に、ポリシーをコードとして組み込む |
| 記録と活用 | 記録は薄いか、事後に書かれる | 記録はあるが、品質が異なる | 必須項目を合意し、サービスに紐づける | 完全性を監査し、インシデントのレビューで使う | 変更のデータが、組織全体のインシデント、問題、監査のプラクティスに情報を与える |
チェックリスト
- 三つの変更の種類とその基準が、書き留められ、合意されている。
- 完了した変更の、種類別の一つの見方があり、パイプラインのデプロイと突き合わされている。
- 承認の時計に、文書化された開始、停止、除外の一覧がある。
- 承認のリードタイムが、中央値と85パーセンタイルで報告されている。
- 承認待ちの滞留時間が見えており、毎週レビューされている。
- 頻度の高い通常変更が少なくとも一つ、文書化された手順を持つ標準変更に変えられている。
- ピアレビューとテスト結果が、変更記録に自動的に紐づけられている。
- 四半期ごとのサンプルが、分類と承認の質を確かめている。
- パイプラインの迂回が測定され、レビューされている。
- すべてのメトリクスに、名前のあるオーナー、ゲーミングの手口、防護柵がメトリクス台帳にある。
- どのレポートも、個々の承認者や申請者を順位付けしていない。
AI プロンプト
三つの変更の種類の分類ガイドを下書きする。
I work in [type of organization] and we run [list of services]. Our change tool
is [tool], our pipeline is [pipeline tool], and our regulatory context is
[regulations or none]. Here are our ten most frequent changes: [list]. Draft a
plain-language guide for deciding whether each is a standard, normal, or
emergency change, with the criteria you used and one example of a borderline
case. Do not invent benchmark values or claim any practice meets an
audit requirement. List your assumptions and the questions I should answer
before adopting the guide.
承認の時間がどこで費やされているかを見つける。
Here is an extract of change records with submission, information-request, and
decision timestamps: [pasted data or description]. Our approval process is
[description]. Calculate the median and 85th percentile of approval lead time by
change type, separating time waiting for the requester from time waiting for a
decision, and suggest three questions to ask about the longest cases. Do not
invent figures that are not in the data, and do not rank individual people. List
your assumptions and any data quality problems you notice.
メトリクスのゲーミングのリスクを確認する。
We report these change enablement metrics: [list of metrics with definitions].
The audience is [team, leadership, or governance body] and the metrics are used
for [purpose]. For each metric, list plausible ways it could be inflated,
hidden, or distorted without real improvement, and suggest a paired guardrail
measure or practice. Do not propose targets or benchmark values. List your
assumptions and which gaming risks you think matter most for [service name].
委員会による承認からパイプラインによる承認への移行を計画する。
Our current approval path for [change type] is [description], with [number]
approvers and a typical wait described as [description]. Our pipeline provides
[checks, tests, review tooling]. Propose a staged plan to move low-risk changes
to recorded, pipeline-based approval, including the evidence we would need to
keep, the safety signals to watch, and a stopping rule. Do not claim the plan
satisfies any regulation or standard. List your assumptions and the people I
should consult, such as [auditor, security lead, change authority].
AI スキル
- Agile ITIL Metrics スキル:関連する変更、リリース、インシデントのトピックと、各変更実現のメトリクスの隣に置くべき防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:このトピックの改訂版が、時計、ゲーミングの手口、相互参照の一貫性を保っているかを確かめるために使います。
重要なポイント
- 変更実現のメトリクスは、変更の流れと統制を測ります。種類別の量、承認の待ち、パイプラインがどれだけの承認を自動で記録するかです。
- すべてを変更の種類で分け、待ち時間は中央値と85パーセンタイルで報告し、履歴だけでなく生きた待ち行列も見てください。
- ルーチンの作業を標準変更に移し、レビューをパイプラインに記録することは、待ちを短くする最も直接的な方法で、失敗の尺度の隣で読まなければなりません。
- 標準変更の割合と承認の速さはゲーミングしやすいので、分類と承認の質をサンプルで確かめ、数字を個人のスコアカードに載せないでください。
- メトリクスを使って、変更委員会が何のためにあるかを決め、より軽い統制を安全にする自動化に資金を出してください。
参考文献とさらなる読み物
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA (Google Cloud), "Streamlining change approval" and "Software delivery performance metrics," DORA capabilities and guides, https://dora.dev/ (read the pages directly and note the date you consulted them).
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Change management (ITSM).
- Wikipedia, Separation of duties.
- Wikipedia, Goodhart's law.
- Wikipedia, Code review.
- Wikipedia, Infrastructure as code.
- Wikipedia, Audit trail.