リリースとデプロイのメトリクス
コードのデプロイと、ユーザーへのリリースは、異なるリスクを持つ別々の出来事です。そのため、別々に測り、それぞれを文書化されたルールで数え、どれか一つの数を祝うのではなく、頻度、リードタイム、バッチの大きさ、フラグの衛生を一緒に読んでください。
概要と動機
多くのチームは、「デプロイ」と「リリース」という言葉を、同じ意味であるかのように使います。同じではなく、その違いこそ、このトピックで最も役立つ考え方です。デプロイは、ソフトウェアのデプロイについての記事が述べるとおり、ソフトウェアのあるバージョンを、たいてい本番の環境に置く行為です。リリースは、変更が想定したユーザーに使えるようになる瞬間であり、その判断を統制するためにリリース管理が存在します。この二つが同時に起きるなら、デプロイはリリースであり、一つの数が両方を記述します。二つが分けられていれば、チームは頻繁に静かにデプロイし、意図をもってリリースできます。
この分離が大切なのは、二つの出来事が異なるリスクを持つからです。デプロイは技術的なリスクを持ちます。新しいビルドが起動に失敗するかもしれず、依存関係を壊すかもしれず、ロールバックが必要になるかもしれません。リリースはビジネスとユーザーのリスクを持ちます。変更が顧客を混乱させるかもしれず、合意した日付に着地しなければならないかもしれません。二つの出来事を結合するチームは、両方のリスクを同時に引き受けることになり、まれにしかリリースされない大きな変更のバッチへ向かいます。それらを分けるチームは、技術的なリスクを小さな段階で、ユーザーのリスクを統制された段階で引き受けます。
分離の主な道具は、フィーチャートグル(フィーチャーフラグとも呼ばれます)です。新しいデプロイなしに、ある振る舞いをオンまたはオフにする、設定の中のスイッチです。関連する技法には、変更をまず少ない割合のトラフィックにさらすカナリアリリースと、二つの本番環境を保ち、その間でトラフィックを切り替えるブルーグリーンデプロイがあります。これらはいずれも、二つの別々の問いに答えさせてくれます。新しいバージョンは安全に動いているか、そして、誰がいつ新しい振る舞いを見るべきか。
以下の用語が、このトピックで繰り返し出てきます。
- リリースは、ユーザーが使えるようになったバージョンまたは変更の集まりです。
- デプロイは、バージョンの環境への移動です。ITIL 4はこのためのプラクティスに、デプロイ管理という名前をつけています。
- ダークローンチは、新しい振る舞いがユーザーに対してオフにされているデプロイです。
- 漸進的ロールアウトは、露出を段階的に広げるリリースです。たとえば、1パーセント、10パーセント、そして全員です。
- バッチは、一回のデプロイまたはリリースで一緒に出荷される変更の集まりです。バッチの大きさは、その中の変更の数、または変更の量です。
- リリースのリードタイムは、定められた起点から、変更がユーザーに使えるようになるまでの経過時間です。いくつかの起点が一般に使われているので、チームは起点を書き留めます。
- パーセンタイルは、観測値のうち示した割合がそれを下回る値です。リリースのリードタイムの85パーセンタイルは、リリースの85パーセントがそれより良い数字です。
アジャイルとITILの見方は、ここで出会います。継続的デリバリーに従うアジャイルのチームは、すべての変更がいつでもリリース可能であることを望み、リリースを、技術的な行為とは別に下されるビジネスの判断として扱います。ITILの実践者は、リリース管理、デプロイ管理、変更実現を、変更が本稼働に移るのを計画し、スケジュールし、統制するプラクティスとして見ます。二つの見方は、リリース管理が大きな出来事のカレンダーとして理解されると対立します。このプラクティスが、統制をパイプラインとフラグに組み込んだ、要求に応じて安全にリリースできる能力として理解されるとき、二つは噛み合います。
このトピックは、DORAの研究プログラムの五つのデリバリー成果の尺度の定義を繰り返しません(トピック2.8「DORAメトリクス」を参照)。リリース後の失敗と手戻りの尺度(トピック4.4「変更の失敗と手戻り」を参照)や、変更の量と承認(トピック4.3「変更実現のメトリクス」を参照)も、繰り返しません。それらのトピックが残したものを加えます。リリースをデプロイとは別に数える方法、完成した変更がユーザーに届くまでどれだけ待つか、バッチがどれだけ大きいか、そして分離を可能にするフラグが整頓されているかどうかです。
最後に、リリースとデプロイの数は、リーダーシップのダッシュボードに載せたくなる数字で、グッドハートの法則がすぐに当てはまります(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。デプロイの数は、変更が些細な断片に分けられると上がります。リリースの数は、ラベルが変えられると上がります。そのため、以下の各メトリクスには、それが歪む方法と、その歪みを捉える防護柵がついています。
重要な原則
- デプロイとリリースは、二つの出来事である。 アーキテクチャが許すところではどこでも別々に測り、まだ一つの出来事であるところでは、そう率直に述べてください。
- 文書化されたルールで数える。 デプロイは、名前のある環境が、名前のあるバージョンを、成功の結果とともに受け取ったときに数えます。リリースは、想定したユーザーが変更に届くようになったときに数えます。ルールを一度書き、毎回同じように適用してください。
- サービスを記述し、人を記述しない。 数は、サービスとそのチームのものであり、個人のものではありません。
- 作業だけでなく待ちを測る。 リリースのリードタイムには、時間帯、承認、判断を待つ数日が含まれることがよくあります。改善は、たいていその待ちの中にあります。
- 小さなバッチが、てこである。 頻度と大きさは、一つのものの二つの見方です。すべての数を、各リリースがどれだけの変更を運んだかの尺度と組にしてください。
- フラグは、保有コストのある在庫である。 長く生きすぎたフラグは、死んだコードと失敗の源になるので、フラグの経過時間を、フラグのカバレッジと同じく注意深く追ってください。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| デプロイ頻度 | サービスが、本番への成功したデプロイを受け取る頻度 | 期間内のサービスの本番へのデプロイの成功の件数 ÷ 期間の日数。テストやステージングの環境へのデプロイ、失敗またはロールバックされたデプロイ、変わらないビルドの再デプロイは除く。設定のみのデプロイは別の系列で数える | 日または週あたりのデプロイ数 | デプロイのパイプラインのイベントログ | デプロイ管理 | 継続的デリバリー、動くインクリメントの出荷 | 週次 |
| リリース頻度 | ユーザーが、届く変更を受け取る頻度 | 期間内のリリースのイベントの件数 ÷ 期間の日数。リリースのイベントとは、変更または変更の集まりが、想定したユーザーに届くようになる瞬間(全ユーザーに対してオンにされたフラグ、漸進的ロールアウトの最終段階、フラグのない変更のデプロイ)。ダークローンチ、途中の段階で止められたロールアウト、内部のユーザーにだけ影響するフラグの変更は除く | 週または月あたりのリリース数 | パイプラインのログとリリースのカレンダーに結合された、フラグサービスの監査ログ | リリース管理 | 各インクリメントの終わりのリリース、出荷可能なインクリメントの提供 | 週次、月次でレビュー |
| リリースのリードタイム | 完成した変更が、ユーザーに届くようになるまで待つ時間 | 時計は、変更がメインラインにマージされ、自動チェックを通ったとき(またはチームがそう書くなら最初のコミット)に始まり、上で定義したように変更がリリースされたときに止まる。期間内にリリースされた変更の中央値と85パーセンタイルを報告する。まだリリースされていない変更は除き、待っている作業の経過時間として報告する | 時間または日 | パイプラインとフラグの監査ログに結合されたバージョン管理 | リリース管理、デプロイ管理 | 完了から提供までのリードタイム、顧客までのリードタイム | 週次、月次でレビュー |
| デプロイからリリースまでの間隔 | デプロイされたコードが、ユーザーに届くようになるまでダークのままである時間 | 時計は、変更が本番にデプロイされたときに始まり、リリースされたときに止まる。中央値と85パーセンタイルを報告する。デプロイの瞬間にリリースされた変更は間隔がゼロで、含める。デプロイされ、のちにリリースなしで取り除かれた変更は除き、別に数える | 時間または日 | フラグの監査ログに結合されたパイプラインのログ | リリース管理、デプロイ管理 | ダークローンチ、デプロイとリリースの分離 | 月次 |
| リリースのバッチの大きさ | 一回のリリースで一緒に出荷される変更の量 | 期間内のリリースあたりの、マージされた変更(プルリクエストまたは作業項目)の数の中央値と85パーセンタイル。変更の単位を書き留める。各変更は、それを届くようにしたリリースで一度だけ数える | リリースあたりの変更数 | リリースのイベントに結合されたバージョン管理と課題トラッカー | リリース管理、変更実現 | 小さなバッチ、作業の縦のスライス | リリースごと、月次でレビュー |
| フィーチャーフラグのカバレッジ | ユーザーに見える変更のうち、フラグの背後でリリースされたものの割合 | 期間内にリリースされたユーザーに見える変更のうち、リリース時にフラグがあったもの ÷ 期間内にリリースされたユーザーに見えるすべての変更。フラグを付けられないインフラの変更と欠陥の修正は除き、「ユーザーに見える」のルールを書き留める | パーセント | 課題トラッカーとリリースのログに結合されたフラグサービス | リリース管理、変更実現 | 漸進的デリバリー、実験駆動の開発 | 月次 |
| 古くなったフラグの数 | 目的より長く生き残っているフラグの数 | 守っている変更が全ユーザーに届いた後、定められた日数を超えてコードまたは設定に残っているリリースフラグの数。恒久的な運用のフラグ(キルスイッチ、権利のフラグ)にはタグを付けて除く。経過時間の上限は、フラグの種類ごとに書き留める | フラグの数と、リリースフラグの経過日数の中央値 | コード検索に結合されたフラグサービスの一覧 | リリース管理、ナレッジ管理 | 技術的負債の掃除、フラグの除去という完了の基準 | 月次 |
推奨事項
何がデプロイで、何がリリースかを書き留める
どちらかを数える前に、両方の出来事を定義する。 デプロイは、名前のあるバージョンが名前のある環境に届き、パイプラインが成功を報告したときに数えます。リリースは、想定したユーザーが変更に届くようになったときに数え、フラグ付きの変更では、コードが到着した瞬間ではなく、彼らに対してフラグがオンにされた瞬間です。除外を同じ文の中で述べてください。テスト環境、ロールバック、変わらないビルドの再デプロイ、内部のみの露出です。
二つの系列を並べて報告する
デプロイ頻度とリリース頻度を、一つのグラフに示す。 線が一致するところでは、サービスはまだ二つの出来事を結合しています。デプロイがリリースを大きく先行するところでは、チームは分離を始めており、線の間の距離は、その能力のしるしです。一つにまとめた数は、これを隠し、ユーザーが決して目にしない高い頻度を、チームが主張するのを許します。
リリースのリードタイムを、定められた起点からユーザーまで測る
時計の起点を一度選び、保つ。 最初のコミットから始めると、完全な道のりが見え、メインラインへのマージから始めると、リリースのパイプラインとその承認が切り分けられます。どちらも、グラフに述べられ、黙って変えられない限り、受け入れられます。時計はデプロイではなくリリースで終えてください。そうでないと、メトリクスは、ユーザーが待ったものを測るのをやめます。
バッチの大きさを、頻度の隣で追う
すべての頻度を、大きさと組にする。 チームは、一つの変更を、それだけでは役に立たない断片に切り分けることで、デプロイの数を上げられます。数は上がりますが、実際の流れは同じままです。バッチの大きさの中央値と85パーセンタイルは、断片が本物かどうかを示します。小さなバッチは、レビューし、テストし、元に戻すのが容易で、頻度が代理指標になっているのは、その利益です。
漸進的ロールアウトの段階を、出来事として扱う
ロールアウトの各段階を、タイムスタンプとともに記録する。 1パーセントから10パーセント、そして全員へと進むロールアウトは、三つのタイムスタンプを与え、それぞれが止める機会です。段階、露出の割合、次の段階を許したヘルスチェックの結果を捉えてください。これにより、本物のシグナルのために一時停止したロールアウトと、滞ったロールアウトを区別できます。
フラグの一覧を、オーナーと期限とともに保つ
すべてのリリースフラグに、作成時にオーナー、目的、除去の予定日を与える。 フラグサービスまたは簡素な台帳が、これらを保持できます。台帳を毎月レビューし、古くなったフラグの数を計算してください。全面ロールアウトの後にオンのまま残されたフラグは、まだ分岐している死んだコードです。除去を、その変更の完了の一部として扱ってください。
フラグを種類でタグ付けする
一時的なリリースフラグを、恒久的な運用のフラグから分ける。 キルスイッチと権利のフラグは設計上恒久的で、リリースフラグは全面ロールアウトの後に取り除くべきです。種類を混ぜると、古くなった数がノイズだらけになり、チームが、インシデントの最中に誰かが必要とするスイッチを削除するよう誘います。フラグの作成時に、種類を必須にしてください。
リリースを、インシデントと変更の記録に結びつける
リリースの識別子を、インシデントと変更に記録する。 リリースのイベントは、インシデントのツールからたどれるべきで、インシデントの原因を、先週デプロイされたものでも今朝オンにされたものでも、リリースされた変更に結びつけられるようにします。リンクがないと、不安定性の尺度は失敗をデプロイの日付に帰し、フラグの変更が引き起こした失敗を見逃します。本番でのフラグの変更は、ITILの意味での変更であり、標準変更として事前承認されていても、変更実現から見えるようにすべきです(トピック4.3「変更実現のメトリクス」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 組にする防護柵のメトリクスまたはプラクティス |
|---|---|---|
| デプロイ頻度 | 一つの変更を些細なデプロイに分ける、変わらないビルドを再デプロイする、ステージングへのデプロイを数える、設定のみのデプロイを主要な系列で数える | リリースのバッチの大きさと、ユーザーに見える変更を伴うデプロイの割合、別の設定の系列、その隣の変更失敗率 |
| リリース頻度 | デプロイをリリースとラベルし直す、内部の職員のためにオンにされたフラグをリリースとして数える、目標を満たすために空の、または見た目だけの変更をリリースする、ロールアウトの各段階を別々のリリースとして数える | リリースの文書化された定義、毎四半期のリリースの標本を、ユーザーに見える変更と照合して確かめる、バッチの大きさと顧客に向けた変更の数 |
| リリースのリードタイム | 時計を遅く始める(たとえばマージではなく承認で)、長く待った変更を「ブロック」として除く、中央値を引き下げるために些細な変更を先にリリースする、時計をデプロイで終える | 85パーセンタイルと、待っている最も古い変更の経過時間、固定された文書化された起点、最も遅い10パーセントの変更の四半期ごとのレビュー |
| デプロイからリリースまでの間隔 | リリースを早く記録するために、名ばかりのユーザーにフラグをオンにする、長くダークのコードを「リリースではない」と呼んで標本から外す、長い間隔を避けるためにダークのコードを削除する | リリース時の露出の割合(リリース済みと数えるしきい値)、リリースなしでデプロイされ、取り除かれた変更の数、古くなったフラグの数 |
| リリースのバッチの大きさ | 作業を人為的なプルリクエストに分ける、リリースの数を減らすために無関係な変更を一つにまとめる、束の中の大きな変更だけを数える | 文脈を示す尺度としての、行数またはファイル数による変更の大きさの中央値、無関係な束ねをリリースの標本でレビューする、大きさの隣の頻度 |
| フィーチャーフラグのカバレッジ | 率を上げるために些細な変更にフラグを加える、安全な変更だけにフラグを付けて危険な変更をフラグなしで出荷する、実際には切れないフラグを作る | フラグの標本に対するフラグオフのテスト結果、古くなったフラグの数、フラグがなかったインシデントの原因 |
| 古くなったフラグの数 | 古くなった数から逃れるためにリリースフラグを恒久的として付け替える、コードに残したままフラグの記録を削除する、レビューなしで期限を延ばす | 台帳に対する定期的なコード検索、フラグの種類のすべての変更のレビュー、最も古いリリースフラグの経過時間 |
健全な読み取りでは、フラグを使うサービスでデプロイがリリースを先行し、間隔は控えめで、バッチの大きさは小さく安定し、リードタイムの85パーセンタイルが中央値からそう遠くありません。フラグのカバレッジは危険な変更で高く、古くなったフラグの数は低いか下がっています。良すぎる読み取り、たとえば、高い頻度とともにバッチの大きさが増しているもの、あるいは恒久的なフラグの数が膨らむなかでの古くなった数ゼロは、祝う前に標本監査に値します。
トレードオフ:長所と短所
| アプローチ | 長所 | 短所 |
|---|---|---|
| 継続的にデプロイし、フラグでリリースする | デプロイごとの技術的リスクが小さい。リリースのタイミングがビジネスの選択になる。素早くオフにできる | フラグの規律とツールが要る。テストして取り除かなければならないコードの経路が増える |
| デプロイとリリースを結合する | 説明しやすい。数える出来事が一つ。フラグの負債がない | リリースのたびに技術とユーザーの両方のリスクを持ち、まれにリリースされる大きなバッチを促す |
| スケジュールされたリリーストレイン | サポートと規制当局にとって予測しやすい | 変更が次のトレインを待つ。数は、能力ではなくカレンダーを反映する |
| 割合による漸進的ロールアウト | 悪いリリースの影響を抑える。各段階で証拠を生む | 良いテレメトリとヘルスチェックが要る。しばらくの間、混在するバージョンが並んで動きうる |
| デプロイとリリースの両方を数える | 分離と待ちを示す | フラグの監査ログまたはリリースの記録を、パイプラインに結合する必要がある |
たとえば、アプリストアの審査を通じて配布されるモバイルアプリのように、まだデプロイとリリースを分離できないサービスは、測れるものを測るべきです。リリース頻度、リリースのリードタイム、バッチの大きさで、ストア審査の時間は別の待ちとして報告します。
チームで話し合う問い
1. 私たちは「デプロイ」と「リリース」を同じ出来事に使っているか、それは実際に起きることと合っているか。 三人に、最後に本番に出た変更を説明してもらい、コードが届いたときと、ユーザーが最初に使えたときを書き留めてください。ファシリテーターは、グループが各用語について一つの文に合意し、既存のダッシュボードの各数字が、二つの出来事のどちらを測っているかを決めるのを助けます。
2. 完成した変更が、リリースを待った最も長い時間は何で、なぜか。 マージ済みで、ユーザーがまだ届かない、最も古い変更を取り出してください。マージから今までの道のりをたどり、途中のすべての待ちを書き留めます。
3. デプロイの数が倍になったら、良い知らせと呼ぶ前に何を確かめるか。 より多くの価値がユーザーに届かないまま、数が上がりうる方法を、グループに挙げてもらってください。バッチの大きさ、ユーザーに見える変更を伴うデプロイの割合、失敗と手戻りの数字を見ます。ファシリテーターは、これらのチェックのうち、ダッシュボードにすでにあるものと、誰かが目標を設定する前に加えるべきものを書き留めます。
4. 私たちのフラグのうち、削除するのが怖いのはどれで、それは何を教えているか。 フラグの台帳をたどり、最も古い三つを選んでください。それぞれのオーナーは誰か、何を守っているか、取り除いたら何が起きるかを問います。削除への恐れは、たいてい、テストの欠如、オーナーの欠如、目的の記録の欠如を意味します。少なくとも一つに除去の日付を、そして除去を安全にするチェックを合意してください。
5. 変更がいつリリースされるかは誰が決め、その人は必要な情報を持っているか。 リリースがビジネスの選択であるところでは、それを行う人は、ロールアウトの状態、ヘルスのシグナル、サポートの準備状況を見る必要があります。それらの事実が今どこにあり、判断者がリリースをどれだけ速く元に戻せるかを問いかけてください。
6. 直近の四半期で最もうまくいかなかったリリースはどれで、どの尺度が警告しただろうか。 トラブルを起こしたリリースを一つ選び、一緒にタイムラインを読んでください。バッチは大きかったか、間隔は長かったか、ロールアウトに段階はあったか、フラグが被害を抑えられたかを問います。その結果として、加える尺度を一つ、または厳しくするしきい値を一つ選びます。
四つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、これらの尺度を使って、自分たちのパイプラインとフラグが、露出を実際に統制させてくれているかを確かめます。最も役立つ見方は、間隔、バッチの大きさ、待っている最も古い変更の経過時間です。それぞれが、チームが変えられるものを指しているからです。
サービスチームと運用チーム
運用とサポートのチームは、本番で何がいつ変わるかを気にします。リリースのイベントとフラグの変更は、彼らに見える必要があり、できればすべてのインシデントにリリースの識別子が付いているのが理想です。段階的なロールアウトと素早いオフは、完全な復旧を必要とするインシデントの数を減らし、尺度は、運用チームが、自分たちの仕事をより穏やかにする統制を求める助けになります。
リーダーシップとガバナンス
リーダーは、各サービスの傾向とばらつきと、単純な問いへの答えを求めるべきです。完成した変更がユーザーに届くまでにどれだけかかり、どれだけ安全か。チームを横断するデプロイ頻度の目標は、分割とラベルの付け替えを招くので、リードタイムの分布や、既知の待ちの除去のような、成果の目標を好んでください。ガバナンスは、フラグの監査証跡が完全である限り、フラグ付きの低リスクの変更を事前承認することで、リリースの承認の負荷を減らせます(トピック4.3「変更実現のメトリクス」を参照)。
顧客とユーザー
顧客が見るのは、デプロイではなくリリースです。彼らが気にするのは、修正がすぐ届くこと、新しい振る舞いが彼らを驚かせないこと、悪い変更が素早く元に戻せることです。二つの出来事を分けるチームは、顧客に機能への早期アクセスを与え、守れる日付を告知し、残りを失わずに一つの機能をロールバックできます。これらの尺度を、顧客に向けた尺度と組にしてください(トピック5.3「可用性のメトリクス」とトピック6.1「顧客満足度のメトリクス」を参照)。
実践:アジャイルITILの例
地域のオンライン小売業者が、一つのプロダクトチームが所有し、プラットフォームチームとサービスデスクが支える商品検索のサービスを運用しています。このサービスはパイプラインを通じて本番にデプロイされ、半年前に導入されたフラグサービスを持っています。以下の数字はすべて例示です。
直近の四半期に、チームは52回の本番へのデプロイを行い、週におよそ四回でした。リリース頻度は、変更が想定したすべてのユーザーに届くようになった瞬間として数えて、同じ四半期で11回、週に約一回でした。マージからリリースまでの、リリースのリードタイムの中央値は9日で、85パーセンタイルは21日でした。デプロイからリリースまでの間隔の中央値は6日でした。リリースのバッチの大きさの中央値は変更3件、85パーセンタイルは14件でした。ユーザーに見える変更のフラグのカバレッジは58パーセントで、17個のリリースフラグが、全面ロールアウトから30日以上を過ぎていました。
ゲーミングのリスクは、すでに見えています。一部のデプロイは設定のみのもので、パイプラインはそれぞれをデプロイとして数えていたので、ダッシュボードは今や別の設定の系列を示し、月次のレビューは、ユーザーに見える変更があるかどうかを、10件のデプロイを標本にして確かめます。地域のマネージャーがデプロイの数を見て、別のチームの数字に合わせるよう、チームに上げさせようとします。チームリードは目標に抵抗し、代わりに数字の全体を月次のレビューに持ち込みます。レビューは、リリースが、毎週のマーケティングとサポートの打ち合わせを待つために間隔が長いこと、17個の古くなったフラグのうち四つが、誰もテストしていないコードの経路を守っていること、バッチの大きさの85パーセンタイルが、年末の凍結の前に無関係な変更を束ねた少数のリリースから来ていることを見つけます。
意思決定ログに記録される決定は、四つの部分から成ります。サポートとマーケティングは、より短い週二回の打ち合わせに参加し、リリースの判断が週一回の枠を待たなくなります。すべてのリリースフラグにオーナーと除去の日付が与えられ、テストされていない古くなった四つのフラグは、次の二週間で取り除かれます。無関係な変更を束ねるリリースには、リリースの記録に理由を述べることが求められます。そしてチームは、共通のデプロイ目標を辞退し、代わりに、各サービスのリリースのリードタイムの分布とフラグの衛生の共有された見方を提供します。変更マネージャーは、パイプラインのチェックを通るフラグ付きの変更を標準変更として扱うことに同意し、次の四半期にレビューします。次の四半期には(例示)、リリースのリードタイムの中央値は5日に下がり、古くなったフラグの数は6に下がり、変更失敗率は安定したままなので、実験は続きます。
業種別の視点
スタートアップ。 スタートアップには、サービスが一つで、コードにフラグのライブラリがあることがよくあり、デプロイとリリースを安価に分離できます。期限付きのフラグの簡素な台帳を保ち、パーセンタイルを信頼するために十分な量を待ってください。
小規模事業者。 小規模事業者は、供給者がリリースを統制するパッケージ製品や購入したソフトウェアを運用していることがあります。役立つ尺度は、供給者のリリースから事業者が採用するまでの時間と、メジャーバージョンで一緒に届く変更のバッチです。供給者のリリース日と自分たちのデプロイ日を記録し、その間の待ちが見えるようにしてください。
大企業。 大企業は、異なるリリースの様式を持つ多くのサービス、中央の変更プロセス、共有の環境に直面します。主な作業は、チームと供給者をまたいでデプロイとリリースの定義を合意し、違いを尊重する集計を保つことです。ガバナンスにはばらつきと傾向を使い、フラグのプラットフォームを、オーナーのいる共有サービスとして扱ってください。
政府・公共部門。 リリースは、固定の日付、法律、調達のサイクル、保証の関門に結びつけられることが多く、リリース頻度が正当な理由で低いことがあります。それでも、デプロイ頻度とデプロイからリリースまでの間隔は、リスクのどれだけが早く引き受けられ、どれだけが日付を待つかを示せます。外部の関門の待ちは、チーム自身のパイプラインの時間とは別に報告してください。
ビジネスケース:動機、ROI、TCO
これらの尺度の動機は、変更を完成させてから、その価値を届けるまでの、リスクと遅れを減らすことです。まれにリリースされる大きなバッチは、一回の出来事に多くの変更を運ぶので、失敗は診断しにくく、元に戻しにくくなります。デプロイをリリースから分離すると、チームは、技術的なリスクを早く少量ずつ引き受け、ユーザーのリスクを意図して引き受ける手段を得ます。尺度は、分離が本物かどうか、そして変更がどこで待っているかを示します。
コストは中程度です。デプロイとリリースのイベントを集めるには、パイプラインのログとフラグの監査ログを、バージョン管理と課題トラッカーに結合する必要があり、一度の連携と、時折の保守です(トピック1.5「データソースと計装」を参照)。フラグの実践自体には、運用のコストがあります。プラットフォームまたはライブラリ、台帳、フラグ付きの変更の両方の経路のテスト、期限切れのフラグの掃除です。主な隠れたコストはフラグの負債で、古くなったフラグの数がそれを見えるようにします。
見返りは、ほとんどのチームが自分のデータで観察できるパターンに従います。リリースのリードタイムが短いことは、変更がユーザーを助けるかどうかについてのフィードバックのループが速いことを意味します。バッチが小さいことは、診断が容易で、元に戻すのが容易なことを意味します。デプロイからリリースまでの間隔が短いことは、完成した作業が実現されないまま置かれる時間が短いことを意味します。価値の数字を作り出さないでください。何週間もダークのまま置かれた変更のチーム自身の例と、自分の尺度の傾向を使ってください。
アンチパターンと落とし穴
- すべてのチームにデプロイ頻度の目標を設ける。 分割とラベルの付け替えを招きます。より狭いリードタイムの分布のような成果の目標を設け、頻度はそれに従わせてください。
- リリーストレインを能力の証明として扱う。 固定されたカレンダーは、安定した数を与え、待っている作業の経過時間を隠します。ユーザーに届かない、マージ済みの最も古い変更の経過時間を追ってください。
- 主要な系列で、設定の変更をデプロイとして数える。 数を膨らませます。別の系列を保ち、主要なものの隣に示してください。
- フラグを決して取り除かない。 コードに、死んだ分岐とテストされていない組み合わせが積もります。すべてのリリースフラグにオーナーと除去の日付を与え、除去を完了の一部として扱ってください。
- 記録なしに本番でフラグを変更する。 フラグの変更は、本番の振る舞いへの変更です。監査ログに送り、変更実現から見えるようにしてください。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 定義と時計 | 「デプロイ」と「リリース」が互換的に使われ、各人が異なって数える | 少数のチームが、自分たちの定義を書き留める | 時計と除外を伴う、デプロイとリリースの一つの文書化された定義が、メトリクス台帳にある | 定義の変更が記録され、グラフに印を付けられ、四半期ごとに標本が確かめられる | 定義が判断に役立たなくなったとき、供給者とガバナンスとともに共同で改訂される |
| デプロイとリリースの分離 | すべてのデプロイがリリースである | 一部のチームが、危険な変更にフラグや段階的なロールアウトを使う | フラグと段階的なロールアウトが標準の選択肢で、リリースのイベントが記録される | 間隔、バッチの大きさ、ロールアウトの段階を傾向として追い、レビューする | 関連するサービスのリリースのタイミングを、チームと供給者の間で調整する |
| データの捕捉 | 数が、チケットとチャットから手作業で組み立てられる | 一部のサービスにパイプラインのデータがあり、リリースは手作業で記録される | デプロイ、リリース、フラグの変更が、大半のサービスで自動的に捕捉される | データの品質(リンク率、標本の監査)が測られ、傾向として追われる | イベントが、合意されたインターフェースを通して、チームと供給者の間で共有される |
| フラグの衛生 | 一覧がない | 一部のチームに非公式な一覧がある | すべてのリリースフラグに、オーナー、種類、期限のある台帳がある | 古くなったフラグの数を傾向として追い、除去が完了の一部として確かめられる | フラグのプラットフォームが、自動の期限の通知を備えた共有サービスとして管理される |
| 数字の活用 | 単一の数として上に報告される | チームが時折、自分たちのグラフを見る | 所有するチームが、失敗と手戻りの数字の隣で毎月レビューする | 傾向が、防護柵を伴う、資金のついた改善に反映される | ばらつきと傾向が、組織全体のプラットフォームへの投資と変更のポリシーに情報を与える |
チェックリスト
- 「デプロイ」と「リリース」が、それぞれの時計のイベントと除外とともに、書面で定義されている。
- 本番へのデプロイが、テスト環境を除いて、パイプラインから自動的に捕捉されている。
- リリースのイベントが、フラグの監査ログ、ロールアウトの段階、またはリリースの記録から捕捉されている。
- リリースのリードタイムが、定められた時計の起点を使い、中央値と85パーセンタイルを報告している。
- デプロイからリリースまでの間隔とリリースのバッチの大きさが、頻度の隣で報告されている。
- 設定のみのデプロイが、別の系列に現れている。
- すべてのリリースフラグに、台帳でオーナー、種類、期限がある。
- 古くなったフラグが毎月レビューされ、その除去が完了の一部になっている。
- リリースの識別子が、インシデントと変更の記録に現れている。
- デプロイとリリースの標本が、毎四半期、定義に照らして監査されている。
- 最も長い待ちに結びついた改善の実験が一つ、レビューの日付とともに走っている。
AI プロンプト
サービスのデプロイとリリースの定義を下書きする。
I am defining release and deployment metrics for [service name]. Our tools are
[version control host, CI/CD system, flag service, issue tracker, ITSM tool].
Our release style is [continuous, weekly train, monthly, store-reviewed, or
other]. For deployment frequency, release frequency, release lead time,
deployment-to-release gap, release batch size, feature flag coverage, and stale
flag count, draft a definition that states where the clock starts and stops,
what is counted and excluded, the data source, and one ambiguity to resolve. Do
not invent benchmark values or claim our practice matches any published
performance band. List your assumptions and the questions I should answer to
finish the definitions.
リリースのメトリクスの組を、ゲーミングのリスクについて確認する。
Here is how we compute and report our release and deployment metrics:
[description of each metric, its data source, and how it is reported]. The
audience is [team, leadership, or governance body] and the targets, if any,
are [targets or none]. For each metric, list plausible ways the number could
be inflated, hidden, or distorted without real improvement, and suggest a paired
guardrail metric or practice that would catch it. Do not invent statistics. List
your assumptions and any information you would need to be more precise.
デプロイ、リリース、フラグのエクスポートを分析する。
I will paste a small export with these fields: [list fields, for example
deployment id, deployment time, result, change ids, flag name, flag on time,
exposure share, release time]. It covers [number] deployments and [number]
flags for [service name] between [start date] and [end date]. Compute the
median and 85th percentile of release lead time and of the deployment-to-release
gap, the batch size distribution, and the list of flags past [age limit] days
since full rollout, showing the counts behind each. Flag records with missing
links or suspicious timestamps. Do not extrapolate beyond the data or compare
the result with outside benchmarks. List your assumptions and the data quality
issues that limit the conclusions.
フラグの掃除とリリースの待ちの実験を計画する。
Our longest release wait is [description of the wait, with date range and
counts], and our flag register holds [number] release flags, of which [number]
are past their expiry date. Constraints are [constraints, for example regulated
releases, store review, shared test environment]. Propose three small
experiments of four to six weeks, each with a hypothesis, a way to observe the
effect, a guardrail metric, and a risk. Do not invent expected improvement
figures. List your assumptions and what we should check before starting.
AI スキル
- Agile ITIL Metrics スキル:関連する変更、リリース、インシデントのトピックと、各リリースのメトリクスの隣に置くべき防護柵を見つけるために使います。
- Agile ITIL Metrics メンテナースキル:このトピックの改訂版が、時計、ゲーミングの手口、相互参照の一貫性を保っているかを確かめるために使います。
重要なポイント
- デプロイはバージョンを環境に置き、リリースは変更をユーザーに届くようにします。可能な限り、二つを別々に測ってください。
- リリースのリードタイムは、定められた起点から、リリースで終わるべきで、中央値と85パーセンタイルで報告してください。
- デプロイからリリースまでの間隔とバッチの大きさは、分離が本物かどうかを示し、頻度を、分割とラベルの付け替えから守ります。
- フィーチャーフラグは分離を可能にし、コストを伴うので、カバレッジと古くなったフラグを、オーナーと期限とともに追ってください。
- 文書化されたルールで数え、リリースをインシデントと変更に結びつけ、サービスを、ほかのチームではなく、自分自身の履歴と比べてください。
参考文献とさらなる読み物
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Software deployment.
- Wikipedia, Release management.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.
- Wikipedia, Blue-green deployment.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.