変更の失敗と手戻り
「失敗した変更」を文書で一度だけ定義し、すべての失敗をそれを引き起こした変更に結びつけ、失敗と手戻りを速さと一緒に読んでください。そうすれば、数字が低いことは、より安全な変更を意味し、単に報告が減ったことを意味しなくなります。
概要と動機
稼働中のサービスへのすべての変更には、状況を悪化させる何らかの可能性があります。実務上の問いは、それがどれくらいの頻度で起きるか、どれだけの計画外の作業を生むか、チームがどれだけ速く回復するかです。このトピックは、それらに答える尺度を扱います。失敗する変更の割合、緊急の経路を必要とする変更の割合、ロールバックとホットフィックスの率、悪い変更のあとに続く手戻りです。また、この主題で最も地味な部分、つまり何を失敗と数えるかの合意も扱います。
まず用語です。ITIL 4では、変更実現と呼ばれるプラクティスが、サービスに影響しうるあらゆるものの追加、修正、除去を扱います。したがって変更は、コードのデプロイより広く、設定の編集、証明書の更新、ファイアウォールのルール、データベースの移行を含みます。標準変更は事前承認され、リスクが低く、通常変更は評価を経て、緊急変更は急いで行われ、たいていサービスを復旧するか、深刻な脆弱性を塞ぎます。デプロイは、ソフトウェアのあるバージョンを環境に置く行為で、リリースは、ある能力をユーザーが使えるようにすることです。フィーチャートグルを使うチームは、コードをリリースせずにデプロイできます(トピック4.5「リリースとデプロイのメトリクス」を参照)。
変更の失敗とは、サービスの劣化につながるか、是正を必要とする変更です。是正はいくつかの形を取ります。ロールバックは、システムを以前の状態に戻します。ホットフィックスは、通常のリリースのリズムの外で当てる緊急のパッチです。前進修正は、壊れた変更の上に新しい変更を出荷します。手戻りは、終わっているはずだったものをやり直したり直したりするのに費やす、計画外の労力です。小さな変更が頻繁に本番へ流れる継続的デリバリーの環境では、これらの尺度が、速さが安定性を犠牲にしているかどうかについての主な証拠になります。
二つの伝統は、同じ出来事を異なって見ます。ITILの見方は変更記録を軸に組み立てられています。変更は承認されたか、成功したか、結果は記録されたか。紙の上で成功した変更が、一時間後にインシデントを引き起こすこともあります。アジャイルの見方は、作業項目とデプロイを軸にしています。チームの完了の定義は守られたか、変更は直後に計画外の作業を生んだか。どちらの見方も、単独では完全ではありません。DORAプログラムの背後にある研究は、変更失敗率とデプロイの手戻り率を、スループットの尺度の隣にある二つの「不安定性」の尺度として扱います(トピック2.8「DORAメトリクス」を参照。プログラムの水準でそれらを定義しています)。このトピックは、仕組みにより深く入ります。失敗をどう定義するか、インシデントをどう変更に結びつけるか、緊急の作業をどう数えるか、数字がどうゲーミングされるかです。
最初から警告が一つ当てはまります。これらの尺度は、チーム、サービス、パイプラインを記述します。決して人を記述しません。個々のエンジニアに結びつけた変更失敗率は、人々に、危険だが価値のある作業を避けること、数がよく見えるまで変更を分割すること、問題を報告しなくなることを教えます(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。ここではグッドハートの法則が強く効きます。「失敗を減らす」ことは、失敗の記録を減らすことで簡単に達成できるからです。
インシデントのタイミングはトピック3.3「インシデントの対応時間と解決時間」に、最悪のインシデントはトピック3.4「重大インシデントのメトリクス」に、承認の流れと標準変更の割合はトピック4.3「変更実現のメトリクス」に、根本原因はトピック4.1「問題管理のメトリクス」に、文書化されたレビューはトピック4.2「ポストモーテムと学習のメトリクス」に属します。
重要な原則
- 失敗には、文書化された定義が一つ必要。 ケースごとに決めるチームは、傾向も比較もできない数字を生み、定義についての議論が、作業についての議論に取って代わります。
- 失敗は、その変更までたどれなければならない。 インシデント、ロールバック、ホットフィックスと、それを引き起こした変更との間に記録されたリンクがなければ、失敗率は推測です。
- すべての是正の経路を数える。 ロールバック、ホットフィックス、前進修正、手動の回避策は、同じ出来事への四つの道です。そのうち一つだけを数える尺度は、別の道を選ぶチームに報います。
- 失敗を、速さと回復の隣で読む。 単独の変更失敗率は、変更の頻度を減らすことで改善できますが、それが目標であることはまれです。リードタイム、デプロイ頻度、回復時間と組にしてください。
- 小さな標本には、パーセンテージだけでなく件数が要る。 一か月に八件の変更があり、一件が失敗したチームの失敗率は12.5パーセントで、ほとんど何も語りません。件数を示し、より長い期間の窓を使ってください(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
- 緊急は、シグナルであって罪ではない。 緊急変更の、安定して説明のつく割合は正常です。上がり続ける割合は、たいてい上流の品質、計画、検知の問題を指します。
メトリクスの定義
失敗と手戻りの尺度は、変更記録、デプロイのログ、インシデントのツールを結合することに依存します。以下の各定義は、何を数え、何を除き、時計がどこで始まりどこで止まるかを述べます。チームは定義をメトリクス台帳に写し、述べた理由とともに調整してください。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 変更失敗率 | 本番への変更のうち、サービスの劣化を引き起こしたか、是正を必要とした変更の割合 | 失敗の窓の内側で、ロールバック、ホットフィックス、前進修正、または紐づくインシデントを必要とした変更 ÷ 期間内に完了した本番へのすべての変更。窓は変更の完了時に始まり、固定の日数(たとえば7日)の後に止まり、メトリクス台帳に書く。まだ窓の内側にある変更は別に報告し、窓が閉じるまで率から除く | パーセント | インシデントのツールとホットフィックスの一覧に結合された、変更記録またはデプロイのログ | 変更実現、インシデント管理 | 完了の定義、見逃された欠陥 | 月次、90日の移動窓で |
| 緊急変更の割合 | 緊急の経路で行われた変更の割合 | 緊急として記録された変更 ÷ 期間内に完了したすべての変更。緊急とは、切迫のために通常の評価が省かれたか短縮されたことを意味し、事前承認された標準変更は両方の数から除く | パーセント | 変更記録の種類の項目 | 変更実現 | 計画外の作業と、迅速対応のサービスクラス | 月次 |
| ロールバック率 | 以前のバージョンに戻された変更の割合 | 本番に達したあとで戻された変更 ÷ 期間内の本番へのすべての変更。変更がどのユーザーにも届く前に行われたロールバック(たとえば、最初の段階で止められたカナリア)は別に数える | パーセント | デプロイのログとリリースのツール | リリース管理、デプロイ管理 | パイプラインとリリースの実践 | 月次 |
| ホットフィックス率 | 通常のリリースの流れの外で当てられた、緊急のパッチである変更の割合 | ホットフィックスとしてタグ付けまたはブランチされた変更 ÷ 期間内の本番へのすべての変更。分母にはホットフィックス自体を含める | パーセント | バージョン管理のブランチまたはタグと、デプロイのログ | 変更実現、インシデント管理 | 計画外の作業、迅速対応 | 月次 |
| デプロイの手戻り率 | デプロイのうち、以前のデプロイの問題に対する計画外の修正だったものの割合 | 同じ失敗の窓の内側で、最近の以前のデプロイの欠陥または失敗を直す本番へのデプロイ ÷ 期間内のすべての本番へのデプロイ。ロードマップからの計画された後続の作業は除く | パーセント | 「fixes」のリンクまたはタグを持つデプロイのログと、作業のトラッカー | 変更実現、継続的改善 | 手戻り、見逃された欠陥、失敗需要 | 月次 |
| 変更とインシデントのリンク率 | 解決したインシデントのうち、変更がそれを引き起こしたか、どの変更かを記録しているものの割合 | 「変更が原因」の項目(はいかいいえ、はいの場合は変更の識別子)が記入されたインシデント ÷ 期間内に解決したインシデント。時計はインシデントが閉じられたときに止まる | パーセント | インシデントのツールと変更記録 | インシデント管理、変更実現 | インシデント後のレビュー、完了の定義 | 月次 |
| 失敗の定義の一致度 | 変更の標本が失敗したかどうかについての、二人のレビュアーの一致 | 文書化された定義を使って、二人の独立したレビュアーが同じ失敗の判定に達した標本の変更 ÷ 標本の変更。毎四半期、無作為に抽出した少なくとも20件の標本 | パーセント | メトリクス台帳と一緒に保管する標本レビューのシート | 継続的改善、測定と報告 | ふりかえり | 四半期ごと |
表についての注が二つあります。失敗率と手戻り率は重なりますが、異なります。新しいデプロイなしに元に戻された失敗は、失敗率には数えられ、手戻り率には数えられません。また、単位は、インシデントではなく、変更またはデプロイです。一つの変更が三つのインシデントを引き起こすことも、一つのインシデントが三つの変更から来ることもあるからです。
推奨事項
データを集める前に、失敗の定義を書く
「失敗した」が何を意味するかを合意し、メトリクス台帳に入れる。 実行できる定義は、完了後の定められた窓の内側で、ロールバックされたか、ホットフィックスや前進修正を必要としたか、定められた重大度以上のインシデントに紐づいた変更は失敗した、というものです。窓(7日はよくある値で、適切な値は、サービスがどれだけ速く問題を示すかによります)、インシデントの重大度のしきい値、紛争のあるケースで誰が決めるかを述べてください。少なくとも五つの実例を書き留めます。停止がないのに性能を劣化させた変更のような、扱いにくいものも含めてください。定義は毎年見直し、変更を理由とともに記録して、ルールが動いたときに傾向線を述べ直せるようにしてください。
インシデントの記録で、失敗を変更に結びつける
インシデントの記録に必須の項目を加える。変更が原因かどうか、はいかいいえ、はいの場合は変更の識別子。 この項目は解決の最中に記入し、インシデント後のレビューで確かめます(トピック4.2「ポストモーテムと学習のメトリクス」を参照)。リンク率を、それ自体のメトリクスとして追ってください。インシデントの半分しかこの項目を持たないなら、失敗率は真実を未知の量だけ低く見積もっており、数字の隣でそう述べるべきです。可能な箇所では最初の推測を自動化します。たとえば、インシデントが始まる数時間前に、影響を受けたサービスで完了した変更を一覧にし、人間に確認させてください。
一つの経路だけでなく、すべての是正の経路を数える
複数のシグナルから一つの失敗を定義する。 ロールバックはデプロイのツールから、ホットフィックスはバージョン管理またはリリースのログから、前進修正は「fixes」のリンクから、インシデントはインシデントのツールから取り、変更ごとに重複を除いてください。ロールバックだけを数えるチームは、前進修正に切り替えた日に失敗が消えるのを目にします。各経路を、別々の内訳としても保ってください。その構成は物語を語るからです。ホットフィックスが多くロールバックが少ないなら、ロールバックが難しいことを示唆し、それ自体、直す価値があります。
緊急変更の割合を、得点ではなく問いとして扱う
緊急変更を、目標ではなく、一つの集団としてレビューする。 毎四半期、そのすべてを読み、理由を分類します。サービスの復旧、脆弱性を塞ぐこと、遅れて来たビジネスの依頼、計画の段階の見落とし、通常の作業には遅すぎた承認の経路。最後の二つは、システムの問題で、標準の経路を改善して直すべきものです。そうすれば、人々がそれを迂回する必要がなくなります(トピック4.3「変更実現のメトリクス」を参照)。割合がゼロなのは疑わしく、本物の緊急は起きるからです。着実に上がる割合は、問題の記録に値します(トピック4.1「問題管理のメトリクス」を参照)。
手戻りを、失敗需要として測る
手戻りを、以前の失敗によって生まれた作業として追う。 失敗需要の考え方は、サービス設計に由来します。最初に正しく行われなかったために存在する需要です。デリバリーの言葉では、唯一の目的が最近の変更を正すことであるデプロイと作業項目を数えます。これは、計画された作業と計画外の作業の区別に直接つながります(トピック2.9「運用作業と計画外作業」を参照)。手戻りに費やされた能力の割合を、プロダクトオーナーとの会話のきっかけにしてください。抽象的な率を、次に何に取り組むかのトレードオフに変えるからです。
率を、件数、分布、窓とともに報告する
パーセンテージの隣に件数を示し、移動窓を使う。 十回デプロイするチームの月次の失敗率は、ノイズが大きくなります。90日の移動窓を使い、率の背後にある変更と失敗の数を示し、不確かさのおおまかな目安を与えてください(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。回復については、平均ではなく、失敗から復旧までの時間の中央値と85パーセンタイルを示します。変更の数がとても少ないサービスでは、率ではなく、実際の失敗の一覧で物語を語ってください。
失敗を速さと組にして、改善がどちらにも隠れられないようにする
変更失敗率を、常にリードタイムとデプロイ頻度の隣に表示する。 失敗率が下がると同時に、デプロイ頻度も急に下がり、リードタイムが伸びるなら、チームは変更をまとめている可能性があり、それは一つ一つのリスクを上げます。速さが上がり、失敗率が保たれるなら、システムは変更が上手になっています。この組み合わせは、ゲーミングへの、そしてデプロイが少ないほど安全だという心地よい思い込みへの、主な防御です(トピック2.8「DORAメトリクス」を参照)。
数字を、変更そのものの改善に使う
失敗のデータを、エンジニアリングの実験に変える。 失敗した変更に共通する特徴を見てください。大きさ、時間帯、種類、関わった人数、共有コンポーネントに触れたか、テストのカバレッジが薄かったか。そのうえで、小さく元に戻せる実験を一つ試します。より小さなバッチ、危険な領域のための自動の回帰テスト、次の危険な変更へのカナリアリリース、デプロイとリリースを分けるフィーチャートグルなどです。窓が一周したあとに、再測定してください。目的はより良い変更であり、改善した指標は、その証拠にすぎません。
非難のない場で、メトリクスを一緒にレビューする
失敗した変更を、それを行った人々と、毎月レビューする。 議題は三つです。件数と傾向、検討のために選んだ二つか三つの失敗した変更、オーナー付きの一つの改善アクション。人々が、その時点で知っていたことを述べられるよう、非難のないレビューの実践を使ってください。レビューのメモをメトリクスとともに公開します。数字の使われ方のために、人々が失敗の報告をためらうなら、ほかの何かを変える前にそれを直してください(トピック11.3「恐れを生まずにメトリクスを展開する」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 変更失敗率 | 失敗の窓を狭める、インシデントを変更に結びつけない、悪い変更を「サービスリクエスト」や「メンテナンス」に分類する、前進修正して新しい変更と呼ぶ、一つの失敗が全体を覆うよう多くの編集を一つの変更にまとめる | 変更とインシデントのリンク率、インシデントの一覧に対する四半期ごとの標本監査、失敗の定義の一致度、その隣のリードタイムとデプロイ頻度 |
| 緊急変更の割合 | 偽りのリスク評価で緊急の作業を標準の経路に流す、承認を避けるために通常の作業を緊急として流す、一つの緊急を複数の通常変更に分割する | すべての緊急変更の四半期ごとの通読、分類してレビューした理由、標準変更の割合と承認のリードタイム(トピック4.3「変更実現のメトリクス」を参照) |
| ロールバック率 | ロールバックの記録を避けるために前進修正する、壊れたバージョンを稼働させ続ける、戻すものがないよう変更を本番から遠ざける | その隣のホットフィックス率と手戻り率、回復時間の分布、デプロイのログに対するインシデントの標本 |
| ホットフィックス率 | ホットフィックスにタグを付けない、通常のブランチを通して押し込む、ホットフィックスを「小さな改善」と呼ぶ | デプロイの手戻り率、ブランチとタグの監査、計画外の作業の割合(トピック2.9「運用作業と計画外作業」を参照) |
| デプロイの手戻り率 | 修正を元のデプロイに結びつけない、修正を「計画済み」とラベルする、修正を新機能と束ねる | 是正のデプロイに必須の「fixes」リンク、計画済みとラベルされたデプロイの標本レビュー、その隣の変更失敗率 |
| 変更とインシデントのリンク率 | 確かめずに項目を「いいえ」で埋める、項目の既定を「いいえ」にさせる、割合を上げるためにインシデントを一括で閉じる | インシデント後のレビューでの、「いいえ」の回答の標本チェック、既定値なし、標本へのレビュアーのコメント |
| 失敗の定義の一致度 | 標本に易しい例を選ぶ、測られる人自身がレビュアーである、全員が一致するよう定義を緩める | チームの外の誰かが抽出する無作為標本、境界のケースをあえて含める、不一致を公開して定義を直す |
健全な読み取りは、次のようになります。失敗率はチームが理解し説明できる範囲にあり、リンク率は失敗率を信頼できるほど高く、緊急変更は少なく説明され、ロールバックとホットフィックスは短く、リハーサルされています。失敗は速やかに報告され、非難なしに議論されます。リンク率が低く、デプロイ頻度が落ち、バッチの大きさが増えるなかでの、不自然に低い失敗率は、成功ではなく警告です。急な改善は、何よりまず計測器を確かめる合図として扱ってください(トピック1.5「データソースと計装」を参照)。
トレードオフ:長所と短所
| アプローチ | 長所 | 短所 |
|---|---|---|
| 失敗の厳格で自動化された定義 | 一貫し、繰り返すのが安く、傾向を追いやすい | 微妙な劣化を見逃す。害のないロールバックを失敗として数えうる |
| 各変更の判断に基づくレビュー | 文脈と重大度を捉える | 遅く、主観的で、圧力と漂流にさらされる |
| 長い失敗の窓(数週間) | 遅れた失敗を捉える | 原因と結果をぼかす。最近の変更はまだ報告できない |
| すべての是正の経路を数える | 経路を切り替えてもゲーミングしにくい | 複数のデータソースを、注意して結合する必要がある |
自動化された定義を土台にし、標本による人間のレビューを加え、ほかの何かを作る前に、変更とインシデントの間の結合を改善してください。
チームで話し合う問い
1. ここで、失敗した変更とは正確には何で、私たちのうち二人が同じ変更について意見を異にすることはありうるか。 最近の五つの変更を取り、各人に、それらが失敗したかどうかを投票してもらってください。票と理由を比べます。不一致は、文書化された定義が薄い箇所を示します。停止を伴わない性能の低下のような、扱いにくいケースのルールを合意し、例とともに書き留めてください。
2. どのインシデントが変更によって引き起こされたかを、私たちはどうやって知るのか。 リンクが今どう記録され、誰が記入しているかを尋ねてください。最近の十件のインシデントをレビューし、変更が紐づいているものがいくつあり、いくつにあるべきかを見ます。項目が任意か、既定が「いいえ」か、誰が確認するかを話し合ってください。ファシリテーターは、既定値のない必須項目のような、記録への具体的な改善を目指します。
3. 私たちはどの是正の経路を使い、そのすべてが数えられているか。 ロールバック、ホットフィックス、前進修正、手動の回避策、フィーチャートグルのオフを一覧にしてください。それぞれについて、出来事がどこに記録され、失敗率に反映されるかを問います。痕跡を残さない経路に気づいてください。議論は、チームが好む経路が、メトリクスに見えないものだと明らかにすることがよくあります。
4. 私たちの最後の緊急変更はいつで、避けられたか。 直近の三つか四つを順にたどってください。それぞれを何が切迫させたか、何が前もって分かっていたか、より良い標準の経路はどういうものだったかを問います。本物の緊急を、遅れて見つかったものと遅い承認から分けます。緊急の繰り返される理由を取り除く、通常の経路への修正を一つ合意してください。
5. 私たちの一週間のうち、どれだけが最近の変更を直すことに費やされているか。 記憶ではなくトラッカーを使って、直近の四週間に手戻りに費やされた能力の割合を見積もってください。見積もりをトラッカーと比べます。その数字が計画された作業にいくらかかるか、プロダクトオーナーがそれをどう使うかを話してください。失敗のパターンを一つと、それを減らす実験を一つ選びます。
6. 来四半期に失敗率が半分になったら、私たちはそれを信じるか。 見出しを想像し、ほかに何が真でなければならないかを問いかけてください。リンク率が安定し、デプロイ頻度が一定で、回復が速く、「メンテナンス」の新しい分類がないこと。これらのうちチームがすでに行っているチェックはどれで、欠けているのはどれかを話し合います。急な改善を、祝う前にどう調べるかを合意してください。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは変更を所有するので、失敗の定義と修正を所有します。作業から始めてください。レビューで失敗した変更を見て、共通の特徴を見つけ、より小さなバッチ、より良いテスト、トグルを試します。手戻りをボードの一部として追い、計画外の修正が計画された作業の隣に見えるようにします。数字はチーム自身の学びのために保ち、個人水準のデータを共有しないでください。メトリクスがリーダーに示されるなら、チームはその中のすべての変更を説明できるべきです。
サービスチームと運用チーム
運用チームは、変更の結果をインシデントの待ち行列で目にし、インシデントと変更の間のリンクを維持するのに最適な立場にいます。必須の項目を加え、解決の段階で確認し、結果を非難なしにデリバリーチームへ返せます。運用は緊急の経路も所有し、その使われ方をレビューすべきです。回復の経路についての情報を共有し、デリバリーチームと一緒にロールバックをリハーサルしてください。失敗のコストを減らす最良の方法は、変更を元に戻せるようにする共通の習慣だからです(トピック3.3「インシデントの対応時間と解決時間」を参照)。
リーダーシップとガバナンス
リーダーは、サービスごとの傾向、速さとともに二種類の不安定性の尺度、その背後にある改善の実験を求めるべきです。「失敗率は5パーセント未満」のような固定の目標は、再定義を招くので避け、数字を個人の評価に使うことも避けてください。ガバナンスの機関は、統制が緩められるなかで失敗と回復が安定していたかを確かめることで、より軽い承認の経路が安全かどうかの証拠として、データを使えます。緊急変更の上昇傾向は、計画と承認の設計を見る合図であり、オンコールのエンジニアを責める合図ではありません。
顧客とユーザー
顧客は、失敗率を気にしません。気にするのは、更新のあとにサービスが壊れるかどうかと、どれだけ速く戻るかです。失敗のデータは、誠実なコミュニケーションを支えます。危険な変更の事前の通知、変更が問題を起こしたときの明確な状況のメッセージ、学ぶことへの目に見える約束です。ユーザーが重要な作業のためにサービスに頼っている場合は、メンテナンスの時間帯とロールバックの期待を、前もって彼らと合意してください(トピック3.4「重大インシデントのメトリクス」を参照)。
実践:アジャイルITILの例
地域の医療提供者のIT部門が、患者の予約サービスを運用しています。七人のプロダクトチームが週に数回変更をリリースし、五人の運用チームがインシデントと変更のプロセスを扱います。この例の数字はすべて例示です。
四半期を通じて、月次のレポートは変更失敗率4パーセントを示し、前の四半期の11パーセントから下がっています。最高情報責任者は喜びます。プラットフォームのリードは納得しません。オンコールのチームが、夜は少しも良くなっていないと言うからです。彼女はチームに、メトリクス台帳にある標本監査を行うよう頼みます。
監査は30件の変更を無作為に取り、二人のレビュアーが文書化された定義を適用します。30件の判定のうち24件で一致し、失敗の定義の一致度は80パーセントです(例示)。次に、標本をインシデントの一覧と比べます。四半期に解決した22件のインシデントのうち、「変更が原因」の項目を持つのは9件だけで、リンク率は41パーセントです。残りの13件を手で読むと、レビュアーは、変更から一日以内に始まったものを5件見つけます。修正した件数は失敗率を約9パーセントに引き上げ、監査は、数字がよく見えた理由を見つけます。修正を「メンテナンス」というラベルのもとでデプロイする新しい習慣です。レポートは、それを分母からも分子からも除いていました。
ゲーミングのリスクはラベルであり、誰も計画していませんでした。チームは、失敗が懸念だと言われており、「メンテナンス」は会話を避けられたのです。チームは三つの決定をします。「変更が原因」の項目は、既定値なしの必須になり、インシデント後のレビューがそれを確かめます。「メンテナンス」のラベルは廃止され、是正のデプロイは、直す変更へのリンクを持たなければならず、それが手戻り率に反映されます。失敗の定義は、停止を一度も起こさなかった遅いクエリの退行を含む、六つの実例とともに書き直されます。
次の四半期は、述べ直した失敗率8パーセントとリンク率90パーセントを示します(例示)。リーダーシップへのレポートは今や、リードタイムの隣に件数、リンク率、手戻り率を示し、最高情報責任者は、一つのパーセンテージを引用するのをやめます。
業種別の視点
スタートアップ。 変更は小さく頻繁で、チームはしばしばすべての失敗を暗記しています。定義は一段落に収め、ロールバックとホットフィックスをデプロイのツールでタグ付けし、失敗を週次のふりかえりでレビューしてください。20件の変更の失敗率はノイズが大きいので、失敗の一覧を主な証拠にします。リスクは非公式さです。文書化された定義がないと、率は数える人に応じて変わります。
小規模事業者。 同じ人々がデプロイし、運用し、サポートするので、手戻りは計画された作業と直接競合します。すでに使っているツールで失敗を記録し、インシデントの記録に必須の項目を加え、毎四半期、緊急変更をレビューしてください。数字を改善するためだけに、重い承認を避けます。共有のロールバックのチェックリストは、変更委員会より価値があります。
大企業。 多くのチーム、供給者、ツールは、多くの定義を意味します。失敗の定義とリンクの項目をチーム間で標準化し、メトリクスのカタログで公開し、集計する前にサービスごとに率を計算してください。標本監査で乖離を見つけ、各供給者の変更記録を、それ自身の品質を持つもう一つの情報源として扱います(トピック1.5「データソースと計装」を参照)。集計が、チームの順位表にならないよう気をつけてください。
政府・公共部門。 変更記録は、監査と説明責任に役立ち、ロールバックは、法令、調達、共有プラットフォームに制約されることがあります。正式な記録を保ち、その一部として失敗のリンクを加えてください。監督機関には、件数と文脈とともに、数字を丁寧に説明します。重要なサービスでの一件の失敗が、不釣り合いな注目を集めうるからです。データを使って、低リスクの変更のためのより軽い経路を、失敗と回復が安定していた証拠とともに正当化してください。
ビジネスケース:動機、ROI、TCO
動機は、失敗した変更のコストです。インシデントの作業、手戻り、遅れたロードマップの項目、ユーザーの信頼の喪失。多くの組織は、労力のどれだけが最近の変更の修復に使われているかを言えず、手戻りの尺度が最初の誠実な答えを与えます。間接的な利益もあります。変更が安全だと示せるチームは、より軽い承認を擁護でき、それがリードタイムを短くします。DORAの研究は、重い外部承認とより弱いデリバリーの成果との関連を報告しており(トピック4.3「変更実現のメトリクス」を参照)、失敗のデータは、チームがその主張を自分の履歴に照らして試す手段です。
土台があれば、収集のコストは控えめです。インシデントの記録の必須項目、タグ付けされた是正のデプロイ、三つのデータソースの結合、月次のレビュー。より大きなコストは注意です。誰かが定義を所有し、監査を行い、発見に基づいて動かなければならないからです。定義とリンクが手作業で機能する前に、ツールを買うのは避けてください。
見返りは、繰り返される失敗の減少、より短い回復、計画外の作業の減少、ガバナンスとのより良い会話として現れます。パーセンテージを約束しないでください。代わりに、自分のベースラインを見積もります。四半期にわたって、変更に紐づく手戻りとインシデント対応に費やした時間を数え、通常の社内単価で値付けし、改善のあとで比べてください。前提を述べ、結果を単一の数字ではなく範囲で報告します。それを、プログラムのコストと、重要なサービスでの一件の深刻な失敗のコストと比べてください。
アンチパターンと落とし穴
- 失敗率に目標を設ける。 再定義と隠れた失敗を招きます。代わりに、すべてのレビューを完了し、すべての是正アクションを閉じるような、学びの目標を設け、率は傾向のために見てください。
- 失敗でチームや人を順位付けする。 報告を壊し、危険だが価値のある作業を引き受けるチームを罰します。チームを自分自身の過去と比べ、文脈を話し合ってください。
- インシデントだけを失敗として数える。 早期に捉えられ、ロールバックされた失敗は消えます。すべての是正の経路を含め、インシデントは、複数のシグナルの一つとして使ってください。
- 緊急変更を悪いものとして扱う。 その圧力は、偽装された緊急を生みます。理由をレビューし、通常の経路を直してください。
- インシデントのリンクの既定を「いいえ」にする。 既定は、見栄えが良く間違った数字を生みます。項目を必須にし、標本を確かめてください。
- 件数なしで率を報告する。 小さな標本は大きく揺れます。件数と移動窓を示してください。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 失敗の定義 | 尋ねられた人が、ケースごとに決める | 一部のチームが定義を書くが、チームごとに異なる | 実例と定められた窓を持つ、一つの文書化された定義 | 定義が標本監査で試され、一致度が測られる | 定義が判断に役立たなくなったとき、供給者や顧客とともに改訂される |
| 変更とインシデントの結びつけ | リンクは、あっても人の記憶にある | 一部のチームが任意の項目を使う | 既定値のない必須項目で、インシデント後のレビューで確かめる | リンク率を傾向として追ってレビューし、欠落に対処する | リンクを、合意されたインターフェースを通してチームと供給者の間で共有する |
| 是正と緊急対応 | ロールバックとホットフィックスが、場当たり的に扱われ、記録されない | 一部のチームがロールバックとホットフィックスをタグ付けする | すべての是正の経路が記録され、緊急の判定基準が書き留められている | 緊急変更を毎四半期レビューし、ロールバックをリハーサルする | 回復の経路をサービスに設計し、チームを横断して共同でテストする |
| 改善での活用 | 数字はレポートで引用されるが、フォローアップがない | 重大インシデントのあとに失敗が議論される | 失敗した変更の月次の非難なしのレビューが、アクションとともにある | 失敗と手戻りを速さと組にし、実験を計画して資金を出す | 改善のルーティンをチーム間で共有し、学びを公開する |
チェックリスト
- 変更の失敗の文書化された定義があり、定められた窓と少なくとも五つの実例がある。
- 数える単位(変更、デプロイ、またはリリース)がメトリクス台帳で名指しされている。
- インシデントの記録に、既定値のない必須の「変更が原因」の項目がある。
- ロールバック、ホットフィックス、前進修正が、デプロイまたはバージョン管理のツールでタグ付けされている。
- 是正のデプロイが、直す変更へのリンクを持っている。
- 緊急変更に短い文書化された判定基準があり、すべての緊急変更が決められた日数以内にレビューされる。
- 率が、件数と移動窓とともに示され、裸のパーセンテージでは決して示されない。
- 変更失敗率が、常にリードタイム、デプロイ頻度、回復時間の隣に表示される。
- 四半期ごとの標本監査が、失敗の判定とインシデントのリンクを確かめる。
- 失敗した変更の非難なしの月次レビューが行われ、各アクションにオーナーがいる。
- このトピックのどのメトリクスも、個人を順位付けしたり評価したりするために使われていない。
AI プロンプト
変更の失敗の、文書化された定義を下書きする。
We operate [service or product type] with [team size] people and release
[frequency, for example several times a week]. Our tools are [change tool,
deployment tool, incident tool]. Draft a one-page definition of "failed change"
that states the unit (change, deployment, or release), the failure window, the
remediation routes that count (rollback, hotfix, roll-forward fix, linked
incident), and the exclusions. Include [number] worked examples, including
borderline cases. Do not invent benchmark values or thresholds; ask me for any
you need. List your assumptions.
変更とインシデントのリンクを設計する。
Here is our incident record template: [fields]. Here is our change record
template: [fields]. Suggest how to record which change caused which incident,
including a required field, allowed values, who completes it, and how a review
should check it. Propose a way to suggest candidate changes automatically from
[available data, for example deploy times and service names]. Do not guess how our
tools are configured. List your assumptions and the questions I should answer.
失敗した変更の一覧をパターンについて分析する。
Below are [number] failed changes from [period], with these fields: [list fields,
for example size, type, day and time, service, remediation route, time to
restore]. Find patterns and possible contributing factors, and suggest up to
[number] small, reversible experiments to reduce failures. Keep the analysis at
the level of teams and services, and do not rank individuals. Do not invent
statistics or benchmark values. State how confident each pattern is given the
sample size, and list your assumptions.
失敗のダッシュボードをゲーミングのリスクについて確認する。
Our dashboard shows [list of metrics, for example change fail rate, emergency
share, rollback rate, hotfix rate, rework rate] with these definitions:
[definitions]. For each metric, list plausible ways the number could improve
without the service improving, and a guardrail for each. Suggest two audit checks
a team of [team size] could run each quarter. Do not invent benchmark values or
compliance claims. List your assumptions.
AI スキル
- Agile ITIL Metrics スキル:リードタイムやインシデントの継続時間のような関連するメトリクスをどのトピックが定義しているか、そして失敗率の隣に置く防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:新しい、または編集された失敗のメトリクスが、時計、ソース、ゲーミングの手口を述べているかを確かめるために使います。
重要なポイント
- 変更失敗率は、その定義の質で決まるので、窓、実例、名指しされた単位を持つ定義を書いてください。
- インシデントの記録の必須項目ですべての失敗をその変更に結びつけ、リンク率を測ってください。
- ロールバック、ホットフィックス、前進修正、紐づくインシデントを一緒に数え、チームが経路を切り替えてメトリクスをかわせないようにしてください。
- 緊急変更の割合と手戻りは、得点ではなく、計画と通常の経路についてのシグナルとして読んでください。
- 失敗は常に速さと回復の隣に、件数と移動窓とともに示し、決して人を順位付けしないでください。
参考文献とさらなる読み物
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Hotfix.
- Wikipedia, Rework.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.
- Wikipedia, Regression testing.
- Wikipedia, Canary release.