DORAメトリクス
DORA メトリクスは、チームのソフトウェアの変更がどれだけ速く、どれだけ安全に本番へ届くかを記述します。速さの測定値と安定性の測定値を一緒に読み、パイプラインとインシデントのイベントから計算し、デリバリーのシステムについての対話を始めるために使ってください。チームや人の順位付けには決して使いません。
概要と動機
DORA メトリクスは、DevOps Research and Assessment (DORA) の研究プログラムから来ています。これは、ソフトウェアデリバリーのプラクティスが、チームと組織の成果とどう関係するかについての、長期にわたる研究です。ニコール・フォースグレン、ジェズ・ハンブル、ジーン・キムは、2018年の本Accelerateで初期の知見を示し、プログラムは Google Cloud のもとで、年次報告書とともに続いています。この研究は、デリバリーのどんな測定可能な側面が良い成果を予測するかを問い、デリバリーのパイプラインとインシデントの記録から計算できる、ソフトウェアデリバリーのパフォーマンスの少数の測定値に落ち着きました。
2026年10月時点で、DORA のウェブサイトは、五つのソフトウェアデリバリーのパフォーマンスのメトリクスを、二つのグループに分けて説明しています。三つはスループット、つまり変更がどれだけ速く動くかを記述します。変更のリードタイム、デプロイ頻度、失敗したデプロイからの復旧時間です。二つは不安定性、つまりリリースがどれだけの頻度で問題を起こすかを記述します。変更失敗率とデプロイ手戻り率です。以前の刊行物は、四つのメトリクスを説明しており、失敗したデプロイからの復旧時間の代わりに「サービス復旧までの時間」があり、手戻り率はありませんでした。定義は年月とともに洗練されてきたので、どの版のガイダンスに従っているか、最後に確認した日付を、常に述べてください。
メトリクスを有名にした研究の知見は、速さと安定性が、チームをまたいで一緒に動く傾向があるということです。頻繁にデプロイし、リードタイムが短いチームは、平均して、より多くの失敗でその代償を払っていたわけではありません。これは、速く進むことはより多く壊すことを意味するという古い前提を覆します。これは、調査とパイプラインのデータに見られるパターンであり、法則ではなく、continuous delivery(継続的デリバリー)、小さなバッチ、自動テスト、速いフィードバックのようなプラクティスに投資してきたチームに当てはまります。メトリクスは、それらの根底にある能力のシグナルです。能力そのものではありません。
以下の用語がこのトピックで繰り返し現れます。
- デプロイは、ソフトウェアのあるバージョンを、ある環境に置く行為です。このトピックは、特に断らない限り、本番を意味します。
- 変更は、ソフトウェアへの一連の修正であり、通常は一緒に出荷される一つ以上のコミットです。ITIL 4 では、この語はより広い意味を持ち、サービスに影響しうる追加、修正、削除のすべてを指し、それを統治する ITIL のプラクティスは変更実現です。
- 失敗したデプロイは、本番でサービスの劣化や停止を引き起こし、ホットフィックス、ロールバック、パッチのような是正を必要とするデプロイです。研究はそれをローカルな定義に委ねているので、チームは正確なルールを書き留めます。
- ロールバックは、本番を、以前の既知の良好なバージョンに戻す行為です。
- パーセンタイルは、観測値の述べられた割合がそれを下回る値です。リードタイムの85パーセンタイルは、変更の85パーセントがそれより良い数字です。
この領域で、アジャイルと ITIL の見方が出会います。アジャイルのチームは、これらの数字を、自分たちのエンジニアリングのプラクティスとワーキングアグリーメントへのフィードバックとして見ます。ITIL の実践者は、それらを、変更実現、リリース管理、デプロイ管理、インシデント管理の成果の証拠として見ます。緊張は通常、統制についてのものです。従来の変更諮問委員会は、出荷前に各変更を検査することで、失敗を減らそうとします。DORA の研究は、重い外部承認がより良い安定性と関連せず、ピアレビュー、自動テスト、小さな変更が関連することを見出しました。ITIL 4 では、変更実現は、標準変更、通常の変更、緊急の変更を分け、低リスクの変更を事前承認できるようにすることで、これを許容しています(トピック4.3「変更実現のメトリクス」を参照)。
メトリクスには、研究自身が述べる限界もあり、このトピックの実際的な助言はそれらの上に築かれています。それらは一つのアプリケーションまたはサービスのデリバリーのシステムを記述し、改善の対話のためのものであり、出荷されている仕事に価値があるかについては何も語りません。チームは、間違ったものを出荷しながら、優れた数字を出すことがありえます。そのため、このトピックは、フロー指標(トピック2.1「フロー指標」を参照)、サービス信頼性の測定値(トピック5.2「SLI、SLO、エラーバジェット」を参照)、成果の測定値(トピック1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)の上ではなく、隣に位置します。
最後に、メトリクスはリーダーシップのダッシュボードに現れた途端、Goodhart's law(グッドハートの法則)を招きます。デプロイ頻度は最も水増ししやすく、失敗したデプロイの件数は最も隠しやすいものです。したがって、以下のすべての推奨事項は、測定値を、それがどう歪められうるかへの確認と組にしています(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
重要な原則
- 記憶ではなく、イベントから計算する。 デプロイはパイプラインから、失敗と復旧はインシデントの記録から、リードタイムはパイプラインと結合したバージョン管理から得ます(トピック1.5「データソースと計装」を参照)。
- 速さと安定性を一つの姿として読む。 失敗が増えている速いチーム、または四半期ごとに出荷する安定したチームは、どちらの半分だけでは見えないことを伝えています。
- 人ではなく、サービスまたはアプリケーションを測る。 分析の単位は、デリバリーのシステムです。個人は一人でデプロイするのではなく、順位付けはデータを壊します。
- 他のチームではなく、チーム自身の過去と比べる。 決済サービス、データ基盤、モバイルアプリでは、文脈が大きく異なり、研究自身が、メトリクスを順位表として使うことに対して警告しています。
- 時間には分布を使う。 リードタイムと復旧時間には長い裾があるので、中央値と高いパーセンタイルを報告します(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
- メトリクスを症状として扱う。 数字が動いたら、その下にある能力、すなわちバッチサイズ、テストの自動化、レビューのプラクティス、アーキテクチャに原因を探し、そのうえで実験を行います。
- 定義を書き留める。 失敗、デプロイ、「仕事の開始」は判断を要します。選択を記録し、トレンドが意味を持つよう安定させておきます。
メトリクスの定義
以下の五つのメトリクスは、2026年10月時点の DORA のガイダンスに従っています。計算式は、チームが書き留めるべき時計と除外を述べています。研究が境界を開いたままにしている場合、表は妥当な既定値を示し、推奨事項がその選択を説明します。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 変更のリードタイム | コミットされた変更が本番に届くまでの時間 | 時計は変更の最初のコミット(または、定義に述べられていれば、メインブランチへのマージ)で始まり、本番へのデプロイが正常に完了したときに止まる。期間中にデプロイされた変更の中央値と85パーセンタイルを報告する。デプロイされなかった変更は除外し、仕掛かり作業として別に報告する | 時間または日 | デプロイのパイプラインと結合したバージョン管理 | デプロイ管理、リリース管理、変更実現 | サイクルタイム、本番までのリードタイム | 毎週またはリリースごと、毎月レビュー |
| デプロイ頻度 | チームがどれだけの頻度で本番にデプロイするか | 期間中の、アプリケーションの本番デプロイの成功数 / 期間の日数。失敗した、またはロールバックされたデプロイは成功の数から除外する。テスト環境へのデプロイは除外する | 日または週あたりのデプロイ数 | デプロイのパイプラインのイベントログ | デプロイ管理、リリース管理 | 継続的デリバリー、各インクリメントの終わりでのリリース | 毎週 |
| 失敗したデプロイからの復旧時間 | デプロイが本番の失敗を引き起こしたときに、復旧するまでにかかる時間 | 時計は失敗が検知または報告されたとき(毎回同じルール)に始まり、ユーザーにとってサービスが回復したときに止まる。期間中の失敗したデプロイの中央値と85パーセンタイルを報告する。デプロイが原因でないインシデントは除外する | 分または時間 | デプロイのイベントと監視のアラートと結合したインシデントの記録 | インシデント管理、サービス継続管理 | 復旧までの時間、復旧作業 | 失敗ごと、毎月レビュー |
| 変更失敗率 | 是正を必要とする失敗を引き起こした本番デプロイの割合 | ホットフィックス、ロールバック、パッチ、インシデント対応を必要としたデプロイ / 期間中のすべての本番デプロイ。失敗をそのデプロイに結び付けるルールは書き留められ、毎回同じように適用される | パーセント | インシデント、ロールバック、ホットフィックスのデプロイと結合したデプロイのイベント | 変更実現、インシデント管理 | 完了の定義、流出した欠陥 | 毎月 |
| デプロイ手戻り率 | 計画外で、ユーザーに見える問題を直すために行われた本番デプロイの割合 | 本番の問題への対応として行われた計画外のデプロイ / 期間中のすべての本番デプロイ。たまたま修正を含んでいた計画済みのデプロイは除外する。「計画外」のルールは書き留められる | パーセント | インシデントまたは欠陥の記録にリンクされた、デプロイの理由でタグ付けされたパイプラインのログ | 変更実現、問題管理 | 計画外の仕事、計画外でリリースされたバグ修正 | 毎月 |
表についての二つの注記があります。第一に、変更失敗率とデプロイ手戻り率は重なりますが、同じものではありません。チームが気づき、新しいデプロイなしにロールバックした失敗は、変更失敗率には数えられますが手戻り率には数えられず、チームが計画する、計画済みの修正は、どちらにも数えられません。第二に、研究はデプロイを単位として扱い、アプリケーションごとに数えるので、50のサービスを持つプラットフォームには、一組ではなく、50組の数字があります。
推奨事項
定義と時計から始める
1. チャートにする前に、各メトリクスについて一ページの定義を書く。 何がデプロイと数えられるか、どの環境が本番か、リードタイムの時計がどこで始まるか、失敗がどのようにデプロイに結び付けられるかを述べます。そのページをメトリクス台帳に置きます(トピック1.4「メトリクスのガバナンスとオーナーシップ」を参照)。誰かの頭の中にしかない定義は、ツールやチームが最初に変わったときにドリフトします。
2. リードタイムの開始を選び、それを守る。 最も一般的な選択は、変更の最初のコミット、メインブランチへのマージ、チケットの作成です。最初のコミットは、デリバリーのシステムを測り、仕事がバックログにあった時間を無視します。チケットを開始とすると、顧客の待ちをより多く測りますが、優先順位付けが混ざります(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)。一つを一貫して使い、すべてのチャートにどれかを述べます。
3. 述べられたルールで失敗を帰属させる。 失敗がデプロイに属するのは、たとえば、デプロイの後の述べられた窓の中でインシデントが開き、その原因分析がその変更を指し示すとき、またはロールバックやホットフィックスがそれにタグ付けされたときです。人々が議論なしに適用できるルールを選び、四半期ごとにケースのサンプルをレビューし、トレンドが見えるほど長くルールを同じに保ちます。
パイプラインから計装する
4. デプロイのイベントを、スプレッドシートではなくパイプラインから取る。 各本番デプロイを、タイムスタンプ、バージョン、結果とともに記録する CI/CD システムは、人手の入力なしに、デプロイ頻度とリードタイムの時計の終了を与えます。手入力の件数は遅れ、一貫せず、トピック1.5「データソースと計装」で説明した日付の遡及の問題を招きます。DORA チームのオープンソースの Four Keys プロジェクトは、これらのイベントを収集する実例の一つですが、自前の同等のパイプラインでも構いません。
5. インシデントの記録をデプロイと結合する。 失敗と復旧の測定値には、デプロイのログとインシデントのツールという二つのソースが必要です。インシデントの記録に、「デプロイが原因」とデプロイの識別子のフィールドを追加し、解決の間に記入し、インシデント後のレビューで確認します(トピック4.2「ポストモーテムと学習のメトリクス」を参照)。結合がなければ、変更失敗率は当て推量になります。
6. 各デプロイの理由にタグを付ける。 手戻り率には、計画済みのデプロイと計画外の修正を分けることが必要です。パイプラインの実行への、「計画された変更」や「本番の問題への修正」のような簡単なラベルで十分です。圧力のもとで人々が考え込まなくて済むよう、ラベルの一覧は短く保ちます。
数字を誠実に報告する
7. 単一の平均ではなく、分布と件数を報告する。 リードタイムと復旧時間の中央値と85パーセンタイルを、それぞれの背後にある観測の数とともに示します。デプロイが二つで失敗が一つの週は、変更失敗率が50パーセントになり、それはほとんど意味を持たないので、パーセンテージの隣に件数を示し、率にはより長い窓を好みます(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
8. スループットと不安定性のグループを並べて示す。 三つのスループットのメトリクスと二つの不安定性のメトリクスを、サービスごとに、少なくとも四半期のトレンドとともに、一つのビューに載せます。失敗の測定値をその隣に置かずに、デプロイ頻度を公開してはいけません。リーダーが一つの数字を求めたら、単一の DORA スコアはないことを説明し、代わりに二つのグループのビューを提供します。
9. 比較を、チーム自身の履歴の中にとどめる。 中央値のリードタイムを9日から5日に動かしたチームは、何かを学びました。アーキテクチャ、規制の負荷、リリーストレインが異なる別のチームとそれを順位付けしても、ほとんど何も証明せず、両方のチームに自分たちの数字を守ることを教えます。ガバナンスのためにロールアップしなければならないときは、順位表ではなく、サービスをまたぐばらつきと改善のトレンドを示します(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。
数字が記述するシステムを改善する
10. 最初にバッチサイズを減らす。 小さな変更は、リードタイムを短くし、失敗の診断を容易にし、ロールバックのコストを下げます。テクニックには、feature toggles(機能トグル)、トランクベースの働き方、各インクリメントが単独で出荷できるような仕事の分割があります(トピック2.7「プルリクエストとコードレビューのメトリクス」を参照)。バッチが実際に縮んでいるかが見えるよう、リードタイムの隣に変更の大きさの中央値を追跡します。
11. 速い検知と速い巻き戻しに投資する。 復旧時間は、チームが数分以内に失敗を見られ、新しいビルドなしに変更をroll back(ロールバック)またはオフにできるときに下がります。canary release(カナリアリリース)、機能トグル、自動ロールバックは、それぞれ、失敗から復旧までの間隔を短くします。遅い検知は復旧時間の数字の中に隠れるので、デプロイから検知までの時間を別に測ります(トピック3.3「インシデントの対応時間と解決時間」を参照)。
12. 数字を使って、改善する能力を選ぶ。 弱いメトリクスを一つ選び、なぜ弱いのかを問い、その原因に対処する、研究の能力リストにあるプラクティス、たとえばテストの自動化、疎結合のアーキテクチャ、軽量な変更承認を選びます。四半期の間その変更を実行し、トレンドを見ます。チームが改善を自分のものにできるよう、実験をふりかえりのトピックと組にします(トピック9.5「継続的改善のメトリクス」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 変更のリードタイム | 最初のコミットではなくマージから始めるなど、時計の開始を遅らせる。長く続くブランチに早くマージする。難しい変更を「コードではない」として除外する。中央値を引き下げるために、些細な変更をパイプラインに通す | 仕掛かり作業のパーセンタイルと経過時間。書かれた固定の時計の開始。毎四半期、最も遅い10パーセントの変更のサンプル。変更の大きさの分布 |
| デプロイ頻度 | 一つの変更を多数の些細なデプロイに分割する。変更のないビルドを再デプロイする。ステージングへのデプロイや空の設定変更を数える | デプロイごとの変更の大きさ。ユーザーに見える変更を含むデプロイの割合。その隣の変更失敗率と手戻り率 |
| 失敗したデプロイからの復旧時間 | 時計を遅く始める、またはインシデントを早く閉じる。部分的な修正の後で、失敗を新しいインシデントとして再分類する。「失敗」の重大度のしきい値を上げる | 述べられた窓の中での同じインシデントの再発。監視のアラートから取る時計の開始。顧客が報告する影響の継続時間 |
| 変更失敗率 | インシデントをデプロイにリンクしない。完全な停止を引き起こす失敗だけを数える。失敗が窓の外に出るよう窓を広げる。前方修正して、新しい変更と呼ぶ | 毎四半期、インシデントのサンプルをデプロイのログと照らして確認する。デプロイのリンクが記録されたインシデントの割合を追跡する。デプロイ手戻り率 |
| デプロイ手戻り率 | 修正を計画済みの仕事とラベル付けする。修正を予定されたリリースにまとめる。修正を遅らせて、修正のデプロイを避ける | トラッカーからの欠陥と流出した欠陥の件数。未解決の本番の欠陥の経過時間。デプロイのサンプルに対するタグの監査 |
健全な読み取りは、リードタイムと復旧時間が、短くなっているか、低い水準で安定していること、デプロイ頻度が、小さな変更とともに安定または上昇していること、失敗率と手戻り率が横ばいまたは低下していて、件数が信頼できる大きさであることです。疑わしい読み取りには、仕事に変化がないのにデプロイ頻度が突然跳ね上がる、一か月以内に失敗率がゼロに落ちる、顧客の苦情が変わらないまま復旧時間が下がる、があります。それぞれ、祝う前に、計器を見ることを求めます。
トレードオフ:長所と短所
| アプローチ | 強み | 弱み |
|---|---|---|
| サービスごとに五つすべての DORA メトリクスを使う | 研究に基づき、速さと安定性のバランスを取り、客観的なイベントから計算される | きれいに結合するパイプラインとインシデントの記録が必要。仕事に価値があったかについては何も語らない |
| デプロイ頻度とリードタイムだけを報告する | パイプラインから簡単に集められる | 速さだけに報い、安定性の測定値が捉えるまさにそのゲーミングを招く |
| チームごとにローカルな定義を使う | チームのアーキテクチャとリリースのスタイルに合う | チームを比較できず、ロールアップが信頼できない |
| 組織全体で一つの定義を使う | 一貫した報告。単純なガバナンス | バッチウィンドウのあるメインフレームや規制されたリリースなど、一部のシステムにはうまく合わない |
| 公表されたパフォーマンスの区分に対してチームを比べる | リーダーが位置をすばやく掴める | 文脈を無視し、研究は、その区分が各チームの目標ではないと警告している |
| チームの自己改善のためにメトリクスを使う | 当事者意識を築く。誠実なデータを支える | 単一のスコアを求めるリーダーには、安心が少ない |
中心にある緊張は、比較可能性と誠実さの間にあります。数字がチームを判断するために使われるほど、データは歪み、それを所有するチームの役に立たなくなります。最初に改善を支えるためにメトリクスを使い、不完全な比較可能性を受け入れ、リーダーレベルの見方をトレンドとばらつきにとどめます。規制された報告が標準の定義を必要とする場合は、それを文書化し、チームレベルの改善の見方とは別に保ちます。
チームで話し合う問い
1. 私たちの五つの DORA の数字のうち、どれがイベントから来ていて、どれが誰かの記憶から来ているか。 各メトリクスをそのソースまでたどります。人が日付を入力する場所や、何かが失敗と数えられるかを人が決める場所に注意します。ファシリテーターは、手作業のステップを、数字を歪めうる度合いで順位付けする手助けをし、最初に自動化するものに合意します。
2. 私たちのリードタイムの時計は、正確にどこで始まりどこで止まるのか。全員が同意しているか。 三人に、最後に出荷された変更について、時計の開始と終了を説明してもらいます。答えを比べます。違いは通常、最初のコミット、マージ、チケット、承認のステップのまわりに現れます。一つの定義に合意して書き留め、選んだ定義がどんな待ち時間を隠すかを話し合います。
3. 私たちにとって、失敗したデプロイとは何で、誰が決めるのか。 直近の五つの本番インシデントを順に見て、それぞれがデプロイに属するかを尋ねます。意見の相違は、ルールがどこで不明確かを示します。設定変更、ロールバック、素早いパッチで直された失敗がどうなるかを話し合い、それぞれをどう記録するかを決めます。
4. 来四半期にデプロイ頻度が倍になったら、良い知らせと呼ぶ前に何を確認するか。 より多くの価値を届けることなく、その数字が上がりうる方法を、グループに挙げてもらいます。変更の大きさ、ユーザーに見える変更を含むデプロイの割合、失敗率と手戻り率を見ます。ファシリテーターは、どの確認がすでにダッシュボードにあり、どれを追加する必要があるかを記録します。
5. これらの数字は、チームの外の人々にどう使われているか。 誰が、どの形で見て、それをどうするかを尋ねます。他のチームとの比較、外部から設定された目標、個人のレビューでの使用に耳を傾けます。チームが自分たちのデータを信頼できるようになる前に、その使われ方の何が変わる必要があるか、誰がその変更を行う立場にあるかを話し合います。
6. 私たちの最も弱い数字を最も改善する能力は一つあるとしたら何で、試すための小さな実験は何か。 最も弱いメトリクスを選び、大きなバッチ、遅いレビュー、不安定なテスト、手動のリリースステップのような、ありそうな原因を話し合います。原因を一つ選び、効果を見る方法とともに、四〜六週間の実験を設計します。結果をレビューする日付と、誰がデータを持ってくるかに合意します。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、これらの数字を動かす能力、すなわち小さな変更、自動テスト、速いパイプライン、互いの仕事をレビューする習慣を所有しています。メトリクスを、自分たちのエンジニアリングのプラクティスの鏡として使い、自分たち自身の改善目標を設定し、単一の数字を上に報告せよという圧力に抵抗するべきです。定義も自分たちが決めるので、それを誠実に保つ責務を負います(トピック2.7「プルリクエストとコードレビューのメトリクス」を参照)。
サービスチームと運用チーム
運用チームは、失敗と復旧の測定値が依存するインシデントの記録を握っています。インシデントに、それを引き起こしたデプロイをタグ付けし、失敗を素早く検知する監視を提供し、失敗した各デプロイのレビューに加わることで、デリバリーチームを助けます。デリバリーの速さが、自分たちがオンコールの負荷として吸収する不安定性と引き換えになっていないかを見守り(トピック5.7「トイルとオンコールのメトリクス」を参照)、復旧時間を減らすロールバックと検知への投資を求めるべきです。
リーダーシップとガバナンス
リーダーは、サービスをまたぐトレンドとばらつき、二つのグループのメトリクスを一緒に、そしてその背後にある改善の実験を求めるべきです。「毎日デプロイする」のように数字を固定する目標を避け、個人のレビューでメトリクスを使うことを避けるべきです。ガバナンスの組織は、プロセスが変わる間も安定性が保たれたかを示すことで、数字を、より軽い変更承認の経路が安全であることの証拠として、あるいはそれを再考する理由として使えます(トピック4.4「変更の失敗と手戻り」を参照)。
顧客とユーザー
顧客がデプロイの件数を気にすることはめったにありません。気にするのは、修正や機能がどれだけ早く届くか、リリースが自分たちの頼るものをどれだけ稀にしか壊さないか、壊れたときにサービスがどれだけ速く戻るかです。DORA メトリクスは、これらの成果が起こりそうだという内部の証拠として使い、可用性や満足度のような、顧客向けの測定値で補います(トピック5.3「可用性のメトリクス」とトピック6.1「顧客満足度のメトリクス」を参照)。
実践:アジャイルITILの例
ある中規模のオンライン小売業者は、一つのプロダクトチームが所有するチェックアウトサービスを運営し、プラットフォームチームとサービスデスクが支援しています。以下の数字はすべて説明用です。
チームは、本番に週に約2回デプロイしており、リードタイム(最初のコミットから本番まで)は中央値が11日、85パーセンタイルが26日です。前の四半期に、24回のデプロイのうち6回(25パーセント、説明用)の後に、ロールバックまたはインシデントが続きました。それらの失敗の復旧時間の中央値は3時間でした。変更諮問委員会は毎週開かれ、チェックアウトサービスへのすべての変更をレビューします。
チームは計画を提案します。大きな変更を分割し、パイプラインに自動チェックを加え、新しい振る舞いを機能トグルの背後に置き、チェックに通った低リスクの変更を標準変更として事前承認するよう、委員会に求めます。変更マネージャーは慎重なので、チームは、五つすべてのメトリクスを毎月報告し、失敗率が二か月連続で上がったら実験を止めることに合意します。
四半期後、数字(説明用)は、月あたり19デプロイ、リードタイムの中央値が3日で85パーセンタイルが8日、変更失敗率が8パーセント、復旧時間の中央値が40分、手戻り率が5パーセントです。チームは満足し、地域のマネージャーは、チェックアウトチームのデプロイ頻度を他のプロダクトチームと比較し、共通の目標を設定したいと求めます。
チームリーダーは、手戻りと失敗の内訳をレビューに持ち込み、ゲーミングのリスクに気づきます。デプロイ頻度は、パイプラインが数える多くの小さな設定のデプロイによって押し上げられており、変更の大きさの中央値は、実際の仕事より速く縮んでいます。さらに悪いことに、先月の二つのインシデントは、パイプラインが「計画済み」とタグ付けした通常のデプロイとして記録した設定変更で直されていたので、手戻り率は過小に表示されていました。変更失敗率が良く見えたのは、その二つのインシデントが元のデプロイにリンクされていなかったことが一因です。
決定ログに記録された決定には、四つの部分があります。設定のみのデプロイは別に数えられ、主な数字の隣に示されます。デプロイの理由のタグは、10デプロイのサンプルで毎月監査されます。インシデントのツールは、原因が変更であるとき、デプロイの識別子を必須とします。そしてチームは、共通のデプロイ頻度の目標を断り、代わりに、各サービスのトレンドと失敗率を示す共有のビューを提案します。変更マネージャーは、標準変更の事前承認を、次の四半期末のレビューを条件に、維持することに同意します。
業種別の視点
スタートアップ。 小さなチームは、しばしば一日に何度もデプロイし、インシデントの記録が薄いので、デプロイ頻度とリードタイムは簡単ですが、失敗のデータは断片的です。パイプラインですべてのロールバックとホットフィックスにタグを付け、デプロイの識別子付きの簡単なインシデントログを保つことから始めます。高い頻度があるからといって、失敗率を確認せずに、安定性は問題ないと思い込まないでください。
小規模事業。 ホスト型のプラットフォームや外部委託の開発者は、ツールがほとんどなく、月に一度しかデプロイしないかもしれません。数か月間、手作業で数えられるものを数え、サプライヤーにデプロイとインシデントの日付を書面で尋ね、リードタイムと失敗率に集中します。区分を追うためではなく、継続的にデリバリーされるより小さな変更がリスクを減らすかどうかを決めるために、数字を使います。
大企業。 多くのチーム、いくつかのリリーススタイル、新旧のシステムの混在が、一貫した定義を難しくします。各メトリクスの共通の最小限の定義に合意して公開し、チームが述べた理由とともに、より厳格なローカルの定義を加えられるようにします。平均ではなく、サービスごとのばらつきとトレンドを示すことでロールアップし、チームレベルの詳細は、それを所有するチームと支援するグループにだけ見えるようにします。
政府・公共部門。 リリースウィンドウ、監査ルール、調達契約が、何が可能かを形づくり、一部のシステムはサプライヤーが運用しています。メトリクスが計算できるよう、デリバリーとインシデントのデータの権利を契約に含めます。近代化プログラムが、失敗率を上げずにリードタイムを短縮していることの証拠として数字を使い、結果が選別されないよう、すべてのメトリクスを一緒に報告します(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、本番を安定させたまま、アイデアからその利用までの時間を短縮することです。プログラムのコストには三つの部分があります。計装(パイプラインのイベント、デプロイのタグ、インシデントの結合)、レビューのルーチン(トレンドの毎月の確認と、失敗と手戻りのケースの四半期ごとのサンプル)、そして数字が指し示す改善の仕事、たとえばテストの自動化や、より速いパイプラインです。最初の二つは控えめです。三つ目に本当の出費があり、それは測定ではなく、エンジニアリングの能力に費やされます。
リターンは、数字が容易にする意思決定から来ます。チームは、小さな変更が安全であることを変更委員会に示し、承認のステップを廃止できます。プラットフォームグループは、どのサービスのパイプラインが遅いか、ロールバックが貧弱かを見て、それに応じて投資を行えます。運用チームは、より良い検知ツールを求めて、データから主張できます。リターンは、自分で観察できるパターン、たとえばコミットから本番までの時間、修正を必要とするリリースの割合、リリースあたりのオンコールの負荷を、変更の前後で比べて説明します。文脈が異なるので、他の組織のベンチマークの数字を、期待されるリターンとして引用するのは避けます。総保有コストは人の時間が支配的なので、メトリクスの集合を小さく保ち、その収集を自動化します(トピック7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- メトリクスを、個人の成績表として扱う。 研究の基盤を壊し、データを損ないます。サービスとチームのレベルでのみ報告します。
- 「毎日デプロイする」や「リードタイム1日未満」のような目標を設定する。 目標がゴールに取って代わります。改善の方向と実験を設定し、数字はシグナルとして保ちます。
- チーム同士、または公表された区分に対して順位付けする。 文脈が異なり、ゲーミングが続きます。チームを自分自身のトレンドと比べ、区分は緩い指針としてのみ使います。
- 安定性なしに速さを報告する。 組であることが要点です。スループットと不安定性のグループを、常に一緒に示します。
- 定義をドリフトさせる。 失敗、デプロイ、リードタイムの開始は、ツールとともに静かに変わります。定義へのすべての変更を理由とともに記録し、チャートに印を付けます。
- 何でもデプロイとして数える。 設定のプッシュ、テスト環境のリリース、同じビルドの再デプロイは、件数を水増しします。本番デプロイを定義し、他の種類は別に示します。
- 何が出荷されているかを無視する。 強い数字は、重要でない仕事を隠すことがあります。フローと成果の測定値の隣で読みます(トピック2.9「運用作業と計画外作業」を参照)。
- 能力ではなく、メトリクスを追う。 リードタイムが最も確実に下がるのは、バッチが縮み、テストが速くなったときです。プラクティスを改善し、数字を後からついてこさせます。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 定義と時計 | 各自がデプロイと失敗を異なる形で定義する | 少数のチームが定義を文書化する | メトリクスごとに、時計と除外を含む書かれた一つの定義が、メトリクス台帳にある | 定義の変更が記録されてチャートに印が付けられ、毎四半期にサンプルが確認される | 定義が、意思決定に役立たなくなったときに、サプライヤーやガバナンスと共同で見直される |
| データの取得 | チケットから手作業で件数をまとめる | 一部のサービスにパイプラインのデータがある。インシデントは手作業でリンクされる | デプロイ、理由、インシデントのリンクが、ほとんどのサービスで自動的に取得される | データの品質(リンク率、タグの監査)が測られ、トレンドとして追跡される | イベントが、合意されたインターフェースを通じて、チームとサプライヤーの間で共有される |
| 数字の使い方 | 単一のスコアとして上に報告される | チームが時折、自分たちのチャートを見る | それを所有するチームが、スループットと不安定性のグループを毎月一緒にレビューする | トレンドが、防護柵を伴う資金付きの改善の実験につながる | ばらつきとトレンドが、組織全体のプラットフォームへの投資と変更のポリシーに情報を与える |
| ゲーミングに対する防護柵 | なし | 非公式な認識 | メトリクスごとに組になる防護柵が列挙されている | 防護柵とサンプルがレビューされ、ゲーミングの事例が記録される | チームとツールが変わるにつれて、防護柵が継続的に調整される |
チェックリスト
- 五つのメトリクスが、時計、除外、従う DORA ガイダンスの日付と版とともに、書面で定義されている。
- 本番デプロイが、タイムスタンプ、バージョン、結果とともに、パイプラインによって記録されている。
- リードタイムの開始(最初のコミット、マージ、その他)が述べられ、一貫して適用されている。
- インシデントが、それを引き起こしたデプロイのフィールドを持ち、解決の間に記入される。
- 各デプロイが理由のタグを持ち、サンプルが毎月監査されている。
- 時間が、件数とともに、中央値と高いパーセンタイルで報告されている。
- スループットと不安定性のメトリクスが、サービスごとに一緒に示されている。
- 変更の大きさが、デプロイ頻度とリードタイムの隣に追跡されている。
- 数字が、個人のレビューやチームの順位付けに使われていない。
- 名前のあるオーナーがメトリクスを毎月レビューし、定義へのあらゆる変更を記録している。
- 最も弱いメトリクスに結び付いた改善の実験が、レビュー日とともに実行されている。
AI プロンプト
五つのメトリクスについて、一ページの定義の集合を書く。
I am defining the DORA software delivery metrics for [service or application
name]. Our tools are [version control host, CI/CD system, incident tool, ITSM
tool]. Our release style is [continuous, weekly, monthly, or other]. For change
lead time, deployment frequency, failed deployment recovery time, change fail
rate, and deployment rework rate, draft a definition with where the clock starts
and stops, what is counted and excluded, the data source, and one risk of
ambiguity. Do not invent benchmark values or claim our practice matches any
published performance band. List your assumptions and the questions I should
answer to finish the definitions.
メトリクスの集合にゲーミングのリスクがないかを確認する。
Here is how we currently compute our delivery metrics: [description of each
metric, its data source, and how it is reported]. The audience is [team,
leadership, or governance body]. For each metric, list plausible ways the number
could be inflated, hidden, or distorted without real improvement, and suggest a
paired guardrail metric or practice that would catch it. Do not invent
statistics. List your assumptions and any information you would need to be more
precise.
デプロイとインシデントのデータのエクスポートを分析する。
I will paste a small export of [number] production deployments and [number]
incidents with these fields: [list fields, for example deployment id, timestamp,
result, reason tag, incident id, opened time, resolved time, deployment link].
Compute the median and 85th percentile of recovery time, the change fail rate,
and the rework rate, showing the counts behind each. Flag records with missing
links or suspicious timestamps. Do not extrapolate beyond the data or compare
the result with outside benchmarks. List your assumptions and the data quality
issues that limit the conclusions.
改善の実験を計画する。
Our weakest delivery metric is [metric name], currently [value as reported,
with date range and counts]. Likely causes the team has discussed are [list]. Our
constraints are [constraints, for example regulated releases, shared test
environment]. Propose three small experiments of four to six weeks, each with a
hypothesis, a way to observe the effect, a guardrail metric, and a risk. Do not
invent expected improvement figures. List your assumptions and what we should
check before starting.
AI スキル
- Agile ITIL Metrics スキル:関連する変更、リリース、インシデントのトピックと、各 DORA メトリクスの隣に置くべき防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:このトピックの改訂版が、時計、ゲーミングの手口、相互参照の整合性を保っているかを確認するために使います。
重要なポイント
- DORA メトリクスは、ソフトウェアデリバリーの五つの測定値、三つのスループットと二つの不安定性であり、一つのサービスについて一緒に読むときに最も有用です。
- 失敗とリードタイムの開始は判断を要するので、書かれた定義とともに、パイプラインとインシデントのイベントから計算します。
- デリバリーのシステムについて学び、チームを自分自身の履歴と比べるために使い、人やチームの順位付けには決して使いません。
- 中央値、高いパーセンタイル、件数を報告し、すべてのメトリクスを、そのゲーミングを捉える防護柵と組にします。
- 小さなバッチ、速い検知、簡単なロールバックのような、根底にある能力を改善し、数字を後からついてこさせます。
- 定義は時間とともに洗練されてきたので、従うガイダンスの版と日付を述べます。
参考文献とさらなる読み物
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- DORA, DORA research program, Google Cloud, https://dora.dev/research/
- DORA, Four Keys project, https://github.com/dora-team/fourkeys
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, DevOps Research and Assessment.
- Wikipedia, Accelerate (book).
- Wikipedia, Continuous delivery.
- Wikipedia, ITIL.
- Wikipedia, Goodhart's law.
- Wikipedia, CI/CD.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Canary release.