概要と動機

Pull request(プルリクエスト)は、version control(バージョン管理)リポジトリのあるブランチから別のブランチへ、一連の変更をマージする提案であり、それをマージすべきかどうかの対話を伴います。多くのチームでは、それが「作者は動くと考えている」と「チームは出荷してよいと同意した」の間の正式なゲートです。この対話はcode review(コードレビュー)の一形態です。作者以外の人が変更を読み、質問し、承認するか、修正を求めます。プラットフォームによっては同じものをマージリクエストと呼びますが、このトピックでは両方に「プルリクエスト」を使います。

レビューを測る価値があるのは、単純な理由からです。デリバリーのフローの見方では、作業項目は生涯の大半を待って過ごし、レビューは、完全にチームの制御の内側にある待ちの一つです。共有プラットフォームのボトルネックや外部の依存関係は、他の人々が変わる必要があります。最初に見られるまで2日待つプルリクエストは、チーム自身の習慣が変わるだけで済みます。この本のフロー指標(トピック2.1「フロー指標」とトピック2.2「リードタイム、サイクルタイム、フロー効率」を参照)が、一般的な語彙を与えます。このトピックは、サイクルの一つのステージに焦点を当て、それ専用の計器を与えます。

アジャイルと ITIL の見方は、ここで有用な形で出会います。アジャイルの視点から見ると、レビューはフィードバックのループであり、教えるための仕組みです。コードベースの知識を広げ、欠陥を早期に捕らえ、チームのワーキングアグリーメントと完了の定義を徹底します。ITIL の視点から見ると、同じ活動がいくつかのプラクティスを支えます。ITIL 4 では、ソフトウェア開発と管理のプラクティスがソフトウェアの構築と確認の方法を、変更実現が変更の評価と承認の方法を、デプロイ管理が変更が本番環境に届く方法を扱います。ピアレビューされたプルリクエストは、多くの組織にとって、標準変更がリリース前に評価されたことの証拠です。レビューを、測定され改善できる活動として扱うことは、両方の見方に役立ちます。アジャイルチームはより速いフィードバックを求め、ITIL のプラクティスは、変更が確認されたという信頼できる保証を求めます。

終始念頭に置くべきリスクは、レビューの速さとレビューの質は、簡単に切り離せることです。チームは、見た瞬間にすべてを承認することで、最初のレビューまでの時間を半分にでき、ダッシュボードは勝利を示す一方で、コードベースは悪くなります。Goodhart's law(グッドハートの法則)は、このメトリクスのファミリーに、異例の強さで当てはまります(トピック1.2「グッドハートの法則とメトリクスの心理学」を参照)。数字は集めるのが安く、全員に見え、表すはずのものを変えずに動かすのが、ごく簡単だからです。以下のすべての推奨事項は、それを念頭に書かれています。

作者がプルリクエストを開き、レビュアーがそれを評価します。レビューのラウンドは、「作者がプッシュし、レビュアーが応答する」の一巡です。手戻りは、レビューのコメントの後、またはマージの後に、最初のバージョンが誤っていたものを直すために行われる変更です。継続的インテグレーション(CI)は、仕事を共有のラインに頻繁にマージし、各マージを自動的に確認するプラクティスです。continuous integration(継続的インテグレーション)を参照してください。

このトピックのすべてのメトリクスは、チームとリポジトリを記述します。レビュアーや作者の順位付けには決して使いません。個人レベルのレビュー件数は簡単に抽出でき、使いたくなりますが、そうすると、協働のプラクティスが競争に変わってしまいます(トピック9.1「チームの健全性と開発者体験」を参照)。

重要な原則

  • 待ちがレビューを支配する。 ほとんどのチームで、レビュー時間の最大の部分は、レビュアーが取りかかった後の議論ではなく、プルリクエストが読まれずに置かれていることです。対話を測る前に、待ちを測ります。
  • 小さな変更は、より速く、より良くレビューされる。 大きさは、速さと徹底さを同時に改善する数少ないレバーの一つです。レビュアーが小さな変更なら頭の中に保てるからです。
  • 精査のない速さは、改善ではない。 このトピックのすべての速さのメトリクスには、品質の対になるものが必要で、その組を一緒に読みます。
  • レビューはチームの容量であり、個人のものではない。 負荷はチームに広がるべきです。集中を示すメトリクスは、チームの設計上の問題を指しているのであり、称賛や非難をすべき人を指しているのではありません。
  • 分布は平均に勝る。 レビュー時間には、止まったプルリクエストの長い裾があるので、中央値と高いパーセンタイルを報告します(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • 時計を定義し、そのままにしておく。 時計がいつ始まりいつ止まるか、どのイベントがそれを一時停止させるか、どの自動化された活動が除外されるかを述べ、それをデータのある場所に書き留めます(トピック1.5「データソースと計装」を参照)。
  • レビューのメトリクスは、その仕事を所有するチームに奉仕する。 それはチーム自身のふりかえりへの入力であり、他の誰かのためのスコアカードではありません。

メトリクスの定義

以下の時計は、バージョン管理プラットフォームが、オープン、レビューの依頼、コメント、承認、プッシュ、マージのイベント時刻を記録していることを前提とします。ドラフト、ボットが開いたプルリクエスト、マージされずに閉じられたプルリクエストは、行が特に断らない限り除外されます。「稼働時間」はチームが宣言した稼働時間を意味し、金曜の夜に開かれたプルリクエストが週末分の待ちを積み上げないようにします。

メトリクス 定義 計算式 単位 データソース ITIL プラクティス アジャイルの対応物 頻度
最初のレビューまでの時間 プルリクエストがレビュー可能になってから、最初の実質的な人間の応答までの待ち 時計は、プルリクエストがドラフトの状態を離れる、または準備完了の状態で開かれたときに始まり、作者以外の人による最初のレビューコメント、変更依頼、承認で止まる。ボットと作者のコメント、純粋なラベルの変更は除外する。中央値と85パーセンタイルを稼働時間で報告する 稼働時間 バージョン管理プラットフォームのイベント履歴 ソフトウェア開発と管理、変更実現 レビューの応答性についてのワーキングアグリーメント、仕掛かり作業のフロー 毎週
レビューのサイクルタイム レビュー可能になってからマージまでの総時間 時計は、プルリクエストがレビュー可能になったときに始まり、マージで止まる。マージされずに閉じられたプルリクエストは除外し、別に数える。中央値と85パーセンタイルを稼働時間で報告する 稼働時間 バージョン管理プラットフォームのイベント履歴 デプロイ管理、変更実現 チームのボードにおけるレビューステージのサイクルタイム 毎週
プルリクエストの大きさ プルリクエスト内の変更の量 追加された行数と削除された行数の合計。リポジトリの無視ルールに挙げられた、生成ファイル、ロックファイル、ベンダーコード、純粋な名前変更は除く。マージされたプルリクエストごとの中央値と85パーセンタイルを報告する 変更行数 バージョン管理プラットフォームの差分統計 ソフトウェア開発と管理 小さなバッチサイズ、ストーリーの分割 毎週
レビューのラウンド数 マージ前の、作者のプッシュとレビュアーの応答の巡回の数 マージされたプルリクエストごとの、「変更依頼」またはコメントの後のプッシュという、別個のサイクルの数。最初の提出はラウンドゼロとし、自動チェックの失敗は除外する。中央値と85パーセンタイルを報告する 回数 バージョン管理プラットフォームのレビューとプッシュのイベント 継続的改善、ソフトウェア開発と管理 レビューステージでの手戻りのシグナル、完了の定義 毎週
レビュー負荷の集中 レビューの仕事がチームにどれだけ不均等に広がっているか 直近4週間のローリングで、最も多く担当した二人のレビュアーが処理した、チームの完了したレビューの割合。自分自身のプルリクエストのレビューとボットのレビューは除外する。チームについて報告し、名前ごとには決して報告しない パーセント チームに集約された、バージョン管理プラットフォームのレビューイベント 継続的改善、ナレッジ管理 共有されたコードの所有、集合的所有 毎月
滞留したプルリクエストの数 チームが合意した上限より長く開いたままのプルリクエスト スナップショット時点で数える、まだ開いていてドラフトではなく、レビュー可能になってからの経過時間がチームの上限を超えているプルリクエスト。ドラフトは除外する 件数 バージョン管理プラットフォームの未完了プルリクエスト一覧 変更実現、継続的改善 作業項目の経過時間、WIP 制限 毎週
マージ後の修正率 マージされたプルリクエストのうち、その後まもなく修正の変更が続いたものの割合 マージ後14日以内に、同じ変更にリンクされた修正、リバート、ホットフィックスが続いたマージ済みプルリクエスト / 期間中のマージ済みプルリクエスト。そうラベル付けされた計画済みのフォローアップ作業は除外する パーセント バージョン管理の履歴、リンクされた課題、インシデントまたは変更の記録 変更実現、インシデント管理 品質の作り込み、完了の定義 毎月

最初のレビューまでの時間は最大のレバーであり、ほとんどのチームが最初に始めるべきメトリクスです。レビューのサイクルタイムはその成果の測定値であり、トピック2.2で論じた、より長いリードタイムの構成要素です。14日の窓と滞留の上限は例であり、各チームは自分たちのリリースのリズムに合う値を選んで書き留めます。数字がより広いデリバリーの姿に流れ込む場合は、DORA のファミリー(トピック2.8「DORAメトリクス」を参照)と変更失敗の測定値(トピック4.4「変更の失敗と手戻り」を参照)が引き継ぎます。

推奨事項

仕事の前に、待ちを測る

1. 最初のレビューまでの時間から始める。 これは通常、レビュー時間の最大の要因であり、最も安く改善できます。誰も何も入力しなくて済むよう、プラットフォームのイベント履歴から計装します。中央値と高いパーセンタイルを報告します。中央値が3時間で95パーセンタイルが4日なら、いくつかの変更が忘れられているということだからです。

2. 時計からボットとドラフトを除外し、そう述べる。 自動チェック、依存関係更新のボット、フォーマットのツールは、数秒でコメントを作り、それを数えると待ちが素晴らしく見えます。ブランチが最初にプッシュされたときではなく、作者が変更を準備完了とマークしたときに時計を始めます。これらのルールを、チャートの隣に公開します。

3. 稼働時間を使い、チームのカレンダーを書き留める。 金曜の遅くに開かれたプルリクエストが、週末の待ちを抱えるべきではありません。タイムゾーンをまたぐチームには、誰の時間を数えるかのルールが必要で、誠実な答えは、ゾーンをまたぐ引き継ぎのコストこそが見る価値のあるものである、ということがよくあります。選択を述べ、安定させておきます。

レビューしやすい形に仕事を整える

4. プルリクエストを小さく保ち、大きさをチームの習慣として扱う。 大きさの中央値と85パーセンタイルを追跡し、大きなものを、個々の失敗ではなく集合として見ます。チームは通常、大きな変更がいくつかの原因から来ることに気づきます。仕事が十分に細かく分割されていない、リファクタリングと新しい振る舞いが混ざっている、マージを待ちすぎている、です。各プルリクエストが一つのことを行うように仕事を分割します。これは、trunk-based development(トランクベース開発)と頻繁なデプロイの背後にある、小さなバッチの原則にも合致します。

5. 厳格な大きさの上限を目標として設定しない。 「400行以下」のような制限は、変更を、個別には読めない、または単独でマージするとビルドを壊す、人為的な断片に分割することを招きます。大きさはふりかえりでの会話のきっかけとして使い、機能トグル、専用のプルリクエストでの準備的なリファクタリング、フラグの背後へのマージのような、分割のテクニックをチームに与えます。

6. レビューの依頼を明示する。 レビュアーを指名しないプルリクエストは、志願者を待ちますが、志願者は稀です。誰に頼むか、チームにどう通知するか、応答への期待は何かを、ワーキングアグリーメントで合意します。共有のレビュー当番表や毎日のレビュー枠は、通常、どんなツールの設定よりも待ちを減らします。

負荷と知識を広げる

7. 負荷の集中を、チームレベルのリスクとして見る。 二人がほとんどのレビューを担当するなら、その二人の空き状況がチームのフローを制限し、その不在がフローを止めます。集中のメトリクスを毎月レビューし、チームの設計を通じて対処します。既定のレビュアーをローテーションし、新しいメンバーを経験豊富なメンバーとペアにし、一人しかレビューできないコードの領域を書き留めます。個人ごとのリーダーボードを公開してはいけません。

8. レビューを知識の共有に使い、その目的を守る。 レビューの長期的な価値には、欠陥の検出に加えて、学習、共有された所有、一貫したスタイルが含まれます。Pair programming(ペアプログラミング)とモブプログラミングは、その交換の一部をプロセスのより早い段階に移します。ペアがすでに変更に取り組んだ場合は、より軽いレビューが妥当です。その選択を、ワーキングアグリーメントに書かれたチームの決定にして、「ペアで作業したので軽くレビューした」が、言い訳ではなく、見えるルールになるようにします。

レビューそのものを制御する

9. 自動化が得意なことは、自動化に任せる。 フォーマット、リント、基本的なチェックはパイプラインに属し、人の注意が設計、正しさ、リスクに向かうようにします。Static program analysis(静的プログラム解析)と自動テストは、些細なレビューのラウンドを減らします。すると残りのラウンドは、スタイルの意見の相違についてより少なく、設計の対話についてより多くを語るようになります。

10. レビューのラウンドを、欠陥の数ではなく、明確さについてのシグナルとして読む。 多くのラウンドは、要件が不明確だった、作者に文脈が欠けていた、レビュアーが好みの変更を求めた、変更が大きかった、のいずれかを意味しえます。すべてのプルリクエストでラウンドがゼロなら、素晴らしい仕事を意味するかもしれず、誰も見ていないことを意味するかもしれません。ラウンドが異常に多い、または異常に少ないプルリクエストを少数サンプリングし、チームで一緒に読みます。

速さを品質と組にし、時間を見えるようにしておく

11. レビューの速さの隣に、常に品質の対になるものを示す。 マージ後の修正率、最近の変更にリンクされたインシデント、リリース後に見つかった欠陥の割合が、自然なパートナーです(トピック4.4「変更の失敗と手戻り」を参照)。レビュー時間が改善する一方で修正率が悪化するなら、チームは保証を速さと引き換えにしたのであり、その解決は目標ではなく会話です。両方を同じチャートに示します。

12. レビューを、フローの姿と計画外の作業に結び付ける。 より速いレビューが役に立つのは、次のステージが仕事をただキューに入れるだけでない場合に限られます(トピック2.3「仕掛かり作業と待ち行列」を参照)。計画された仕事に割り込む緊急のレビュー依頼には、それ固有のコストがあります(トピック2.9「運用作業と計画外作業」を参照)。

ゲーミングの手口と防護柵

メトリクス ゲーミングされ方 組にする防護柵のメトリクスまたはプラクティス
最初のレビューまでの時間 最初の応答として、素早い「問題なさそう」や絵文字を投稿する。ボットや好意的なレビュアーを割り当てる。誰かがあらかじめ見ることに同意した後にだけ、プルリクエストを準備完了とマークする マージ後の修正率。コメントのない承認のサンプル。最初の応答が実質的であることを、ワーキングアグリーメントで求める
レビューのサイクルタイム レビューを待たずにマージする。より速く通すために変更を極小の断片に分割する。時計をリセットするためにプルリクエストを閉じて再オープンする 閉じて再オープンされたプルリクエストの数。レビューのラウンド数。マージ後の修正率。承認を求める保護されたブランチのルール
プルリクエストの大きさ ファイルを数から除外する。一つの変更を、別々には理解できない断片に分割する。生成されたコードで大きさを水増しする 無視ルールを四半期ごとに見直す。分割された断片が単独でビルドされテストに通ることを確認する。最小と最大のサンプルを読む
レビューのラウンド数 数を低く保つために、最初のパスで承認する。議論をチャットに移して痕跡を残さない。作者がラウンドを隠すために、一つのコミットに多くの修正を詰め込んでプッシュする マージ後の修正率。ラウンドゼロのプルリクエストのサンプル。議論をプルリクエストの中に保つ
レビュー負荷の集中 数を広げるために、レビューを多数の小さな承認に分割する。空き時間はあるが知識のない人にレビューを割り当てる リスクのある領域について、レビュアーの知識を確認する。領域ごとのマージ後の修正率を見る。メトリクスをチームレベルに保つ
滞留したプルリクエストの数 滞留したプルリクエストをマージせずに閉じる。隠すためにドラフトに変換する。滞留の上限を引き上げる マージされずに閉じられたプルリクエストの数。長く続くドラフトの数。上限を四半期ごとにチームとレビューする
マージ後の修正率 リンクのない新しい作業項目の下に修正を記録する。修正的な作業を計画済みのフォローアップとラベル付けする。窓を過ぎるまで修正を遅らせて、メトリクスを避ける インシデントおよび変更失敗のデータと比べる。フォローアップ項目のサンプル。使われたラベルの監査

健全な読み取りは、落ち着いたものです。最初のレビューまでの時間が短く、裾も短いので、何日も待つプルリクエストはありません。大きさは、チームが読みやすいと感じる範囲にあり、チームが説明できる少数の大きな変更があります。レビューのラウンド数は低いがゼロではなく、負荷の集中は中程度で、滞留の数は小さく、マージ後の修正率は安定しています。ある数字が急激に改善したときは、組にした防護柵が悪い方向に動いていないかを誰かが確認するべきです。

トレードオフ:長所と短所

アプローチ 強み 弱み
厳格な応答の期待を伴う速いレビュー フィードバックのループが短い。作者の文脈の喪失が少ない。仕掛かり作業が少ない 素早く承認する圧力。集中した作業への割り込み
遅く、徹底したレビュー 設計とリスクを注意深く読める。知識の移転がより強い サイクルタイムが長い。バッチが大きく積み上がる。作者が先に進んで文脈を失う
小さなプルリクエスト 読みやすく、元に戻しやすい。フローがスムーズ 変更ごとのオーバーヘッドが大きい。機能を分かりにくい手順に断片化しうる
大きなプルリクエスト 引き継ぎが少ない。機能全体が一度に見える レビューが浅くなる。元に戻しにくい。長い待ち
名前のあるオーナーからの承認を必須にする リスクのある領域について責任が明確。変更の承認を支える ボトルネックと単一障害点を作る
人によるレビューの前の自動チェック 人を設計とリスクに振り向けられる。一貫している 誤った安心感を生みうる。保守が必要

唯一勝つポリシーはありません。目的は、精査を保ちながら待ちを短くすることであり、通常の道筋は、より小さな変更、明確なレビューの期待、定型のチェックのための強力な自動化、そして良いレビューがどのようなものかについてのチームの合意です。レビューのメトリクスは、ふりかえりへの問いとして最も有用で、目標としては最も有用でありません。

チームで話し合う問い

1. プルリクエストは、生涯の大半を、待つことと、レビューされることのどちらに費やしているか。 データを見る前にチームに推測してもらい、それから最初のレビューまでの時間と、マージまでの残りの時間の内訳を示します。ほとんどのグループは、どれだけが待ちかに驚きます。ファシリテーターは、どの推測が外れたかを記録し、外れた推測のそれぞれが、チームがレビューをどう経験しているかについて何を語るかを尋ねます。最大の待ちに取り組む変更を一つ決めて終えます。

2. このチームにとって良いレビューとはどのようなもので、部外者にはどう分かるか。 設計について尋ねる、テストを確認する、依頼の理由を説明するなど、チームが重んじる振る舞いを挙げます。次に、そのうちどれがプルリクエストに見える痕跡を残すかを尋ねます。個人を取り締まることなく、実質的な最初の応答と形だけの応答をどう見分けるかを話し合います。ワーキングアグリーメントに入れる短い書かれた記述に合意します。

3. 私たちにとって大きすぎるとはどれくらいで、仕事が本当に大きいときは何をするか。 大きさの分布を見て、最も大きいプルリクエストをいくつか選びます。それぞれがなぜ大きかったか、分割できたかを尋ねます。機能トグル、準備的なリファクタリング、フラグの背後へのマージのようなテクニックを話し合います。ファシリテーターは数値の上限を設定することに抵抗し、代わりに、チームが一か月試す習慣に合意します。

4. 私たちの最もリスクの高いコードを誰がレビューし、その人が不在のときはどうなるか。 コードの領域を、それをうまくレビューできる人々に対応づけます。負荷の集中と、資格のあるレビュアーが一人しかいない領域を見ます。ペアリングや担当のローテーションを通じて、各領域に二人目のレビュアーをどう育てるかを話し合います。会話は、チームのレジリエンスについてのものにとどめ、誰かの作業負荷の順位付けについてのものにはしません。

5. 明日、私たちのレビューの速さが倍になったら、品質について何が真であってほしいか。 マージ後の修正、最近の変更にリンクされたインシデント、リバートの件数のように、グループに見ていく品質のシグナルを挙げてもらいます。そのシグナルが現在、速さのチャートの隣に見えているかを確認します。速さが精査を犠牲にして得られたことの早期の兆候は何かを話し合います。ダッシュボードに示す対になるものに合意します。

6. 私たちが、役に立たない形で改善したくなるレビューの数字はどれか。 各メトリクスを順に見て、圧力を受けた人が、何かを良くすることなく、それを良く見せるにはどうするかを問います。答えを上のゲーミングの表と比べ、チーム自身のアイデアを加えます。目的は、起きる前にリスクに名前を付けることです。各メトリクスと一緒にレビューする防護柵に合意します。

四つの視点

プロダクトチームとデリバリーチーム

デリバリーチームはレビューのプロセスを所有しており、そのメトリクスも所有するべきです。毎日のレビュー枠、明確な依頼のプロセス、小さな変更という単純な合意で、待ちを短縮することから、最も多くを得ます。ふりかえりで数字を使い、仕掛かり作業を低く保ち、一つのチャートを最適化したくなる誘惑に抵抗するべきです。レビューは、新しいメンバーがコードベースを学ぶ場でもあるので、その目的を守ります。

サービスチームと運用チーム

運用チームは、インフラのコード、設定、ランブックの自動化がプルリクエストを通じて変更される場面で、レビューに出会います。彼らにとって、レビューはしばしば、標準変更が承認され、証拠が残される方法の一部です(トピック4.3「変更実現のメトリクス」を参照)。どの変更が二人目によるレビューを必要とするか、緊急の修正がどれだけ速くレビューされるか、緊急の変更が事後にどうレビューされるかについて合意し、急いだ修正も確認されるようにするべきです。リスクのある変更への薄いレビューは、後でインシデントとして現れます。

リーダーシップとガバナンス

リーダーは、レビューのメトリクスを、生産性のスコアではなく、チームの健全性とフローについてのシグナルとして扱うべきです。速さの数字が報告されるたびに、組になる品質の測定値を求め、丁寧なレビューにかかる時間を支援し、リポジトリとリスクが異なるので、生のレビュー時間でチームを比べるのは避けるべきです。ガバナンスの組織は、文書化されサンプリングされたレビューのプロセスが承認の件数より強いことを受け入れる限り、変更の保証の一部として、レビューの証拠を使えます。

顧客とユーザー

顧客はプルリクエストを目にしませんが、その結果を感じます。修正がどれだけ早く届くか、リリースがどれだけの頻度で新しい欠陥をもたらすかです。レビューの待ちが短ければ、緊急の修正がより早く届き、思慮深いレビューは、不具合を彼らから遠ざけます。サービスにリリースまたは欠陥の公開履歴がある場合、顧客は、チームが時間とともにリバートと繰り返しの修正が少なくなっていることを示せば、利益を得ます。

実践:アジャイルITILの例

ある地域病院の IT 部門は、患者の予約ウェブサービスを運営しており、七人のプロダクトチームが構築し、小さなサイト信頼性のグループが運用しています。この例の数字はすべて説明用です。

四半期のレビューで、チームは、レビューのサイクルタイムの中央値が26稼働時間、85パーセンタイルが71稼働時間であること(説明用)を見つけます。サイクルを分けると、最初のレビューまでの時間の中央値が19稼働時間で、遅れの大半が待ちであることが分かります。プルリクエストの大きさは中央値が180行、85パーセンタイルが900行(説明用)で、最も忙しい二人のレビュアーがレビューの68パーセント(説明用)を担当しています。マージ後の修正率は9パーセント(説明用)です。

チームは三つの合意をします。毎日30分のレビュー枠を設け、一営業日以内の最初の応答という期待をワーキングアグリーメントに書き、毎週「レビュー優先」の当番をローテーションします。また、大きな仕事のための分割の習慣を採用し、機能トグルを使って部分的な機能を安全にマージできるようにします。大きさの上限も、最初のレビューまでの時間の目標も設定しません。

二か月後、最初のレビューまでの時間の中央値は6稼働時間に、レビューのサイクルタイムの85パーセンタイルは34稼働時間(説明用)に下がります。負荷の集中は52パーセント(説明用)に下がり、マージ後の修正率は9パーセントのままです。

その後、チームはゲーミングのリスクを発見します。承認のサンプルから、予約リマインダーのロジックに触れる変更への最初の応答の約三分の一が数分以内に届き、「LGTM」とだけ書かれていることが分かります。速さの向上は、一部は本物で、一部は形だけの承認でした。影響を受けたコードは月次のサイクルで動くため、マージ後の修正率はまだ動いていませんでした。チームはワーキングアグリーメントを、最初の応答が質問、変更の特定の部分についてのコメント、または確認した内容の明示的な記述のいずれかを含まなければならないと変更し、コメントのない承認のサンプルの割合を、レビューのチャートに加えます。また、患者向けのリマインダーのロジックの変更には二人のレビュアーが必要で、そのうち一人は運用グループから出すことに合意します。理由を添えた決定は、チームの決定ログに入ります。

業種別の視点

スタートアップ。 小さなチームは、全員がコードを知っているので、数分でレビューでき、主なリスクは、時間がないときにレビューを飛ばすことです。メトリクスは少なく保ちます。最初のレビューまでの時間と大きさで十分です。コードベースとチームが成長してからでは導入がはるかに難しいので、小さな変更の習慣を早い段階で確立します。

小規模事業。 ソフトウェアを保守するのは、一人か二人の開発者、または外部のサプライヤーであることが多いです。レビューは一人の同僚か、サプライヤー自身のスタッフによるものかもしれません。サプライヤーに、どのようにレビューするか、プルリクエストのデータを共有できるかを尋ね、どの変更が誰によってレビューされたかの簡単な記録を保ちます。小さなチームでは、レビューが間違いに対する主なチェックだからです。

大企業。 多くのチーム、リポジトリ、承認ルールが、大きなばらつきを生みます。プラットフォームのデータが比較できるよう、時計の定義と除外を標準化しますが、リスクとコードベースが異なるので、生のレビュー時間でチームの順位を付けてはいけません。監査のために課されたレビューの要件が、精査を加えずに待ちを加えていないかに注意し、手動の承認を、自動チェックとサンプリングされたレビューに置き換える機会を探します。

政府・公共部門。 職務分掌、監査証跡、調達規則は、しばしば変更に独立した承認を求めます。それらのルールを設計の入力として扱います。誰が何をいつ承認したかを記録し、それが生む待ちを測ります。サプライヤーがコードを書く場合は、契約でレビューの証拠とデータへのアクセスを規定します(トピック8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

動機は、ピアレビューの利点、すなわち欠陥の減少、共有された知識、監査証跡を保ちながら、デリバリーの中で遅く、かつ制御可能な部分を短縮することです。待っているプルリクエストは、完成した仕事をユーザーから遠ざけ、作者のコンテキストスイッチのコストを増やし、ブランチが古くなるにつれてマージの衝突を起こりやすくします。したがって、待ちを減らすことは、より速いデリバリー、少ない手戻り、少ない不満という形で報われます。

バージョン管理プラットフォームがイベント履歴と API を提供していれば、これらのメトリクスを集めるコストは低いものです。主なコストは、時計と除外を定義し、レポートを作成または設定し、数字を定期的にレビューする時間です。より大きなコストは行動に関するものです。迅速にレビューするために人々が割く時間で、それは他の仕事と競合します。その時間こそが本当の投資であり、無料として扱うのではなく、予算に組み込むべきです。

リターンは、短くなったレビューのサイクルタイム、少なくなった滞留したプルリクエスト、安定した、または下がるマージ後の修正率として現れます。結果は出発点とチームに依存するので、特定のパーセンテージの改善を事前に主張するのは避けます。信頼できるケースは、他の組織の数字を引用するのではなく、チーム自身の前後の分布を、その品質の対になるものとともに比べます。2018年の本 Accelerate は、技術的および文化的なプラクティスをデリバリーの成果に結び付ける研究を報告しており、一般的な議論の妥当な出典ですが、あなたのチームの数字は、あなた自身のデータから来ます。

アンチパターンと落とし穴

  • レビュアーや作者の順位付け。 完了したレビューや変更した行数の個人別のリーダーボードは、協働を損ないます。チームレベルで報告し、数字はチームの習慣の調整に使います。
  • 品質の対になるものなしに、最初のレビューまでの時間を目標にする。 その結果は形だけの承認です。すべての速さのチャートの隣に、マージ後の修正率とコメントのない承認のサンプルを示します。
  • 厳格な大きさの上限を設定する。 チームは、従うために人為的に仕事を分割します。大きさを会話として使い、代わりに分割のテクニックを教えます。
  • コメントがゼロであることを成功として扱う。 吟味されない承認は、信頼を反映しているのかもしれず、不注意を反映しているのかもしれません。そうしたプルリクエストをサンプリングし、一緒に読みます。
  • ボットの活動をレビューとして数える。 自動化されたコメントは、待ちを短く見せます。時計と負荷の測定値からボットを除外します。
  • タイムゾーンとカレンダーを無視する。 生の時計時間は、週末や地域をまたぐ待ちを、遅いレビューのように見せます。稼働時間を使い、カレンダーに名前を付けます。
  • 滞留リストを増え続けるままにする。 古いプルリクエストはマージの衝突を溜め込み、文脈を失います。リストを毎週レビューし、各項目をマージ、手戻り、または理由付きでクローズします。

成熟度モデル

次元 1 開始 2 発展 3 標準化 4 管理 5 最適化
定義と時計 レビュー時間は推測されるか、感覚で報告される 一部のチームが、独自のルールでプラットフォームから時間をエクスポートする ボット、ドラフト、カレンダーの除外を含む、各時計の書かれた一つの定義がある 定義が周期的にレビューされ、変更が理由とともに記録される 定義がチームとサプライヤーの間で揃えられ、意思決定に役立たなくなったときに見直される
レビューのプラクティス 誰かが気づいたときにレビューが行われる 一部のチームに非公式な規範がある 依頼、応答の期待、レビューが何を扱うかについての、書かれたワーキングアグリーメントがある データから規範が調整され、知識の共有とリスク領域が追跡される レビューのプラクティスがチームとサプライヤーをまたいで調整され、定型のチェックは自動化が担う
品質の対になるもの レビューと欠陥の間に関連がない マージ後の修正を時折見る マージ後の修正率がレビューの速さの隣に示される 防護柵が定期的にレビューされ、承認のサンプルが読まれる レビューの証拠が、サービスをまたぐ変更の保証とインシデントの学びに結び付けられる
改善での活用 数字が使われない 一部のふりかえりで示される それを所有するチームが固定の周期でレビューする ギャップが、計画され、資源の付いた改善の仕事につながる 改善のアイデアが、チームから共有のプラクティスへ、そして戻って流れる

チェックリスト

  • 最初のレビューまでの時間とレビューのサイクルタイムの時計が、開始、終了、除外とともに書かれている。
  • ボット、ドラフト、マージされずに閉じられたプルリクエストが、除外される、または別に数えられ、ルールが見えている。
  • 時間が、稼働時間で、中央値と高いパーセンタイルとして報告されている。
  • プルリクエストの大きさが、生成ファイルとベンダーファイルについて合意された無視リストとともに測られている。
  • レビューがどう依頼され、最初の応答がどれだけ早く期待されるかについて、チームに書かれた合意がある。
  • レビュー負荷の集中が、チームレベルでのみ報告されている。
  • マージ後の修正率、または他の品質の対になるものが、レビューの速さと同じチャートに示されている。
  • コメントのない承認と非常に速い承認のサンプルが、毎月読まれている。
  • 滞留したプルリクエストの一覧が、毎週レビューされている。
  • レビューのデータが、ふりかえりで使われ、個人の評価には使われていない。
  • 資格のあるレビュアーが一人しかいないコードの領域が列挙され、計画がある。

AI プロンプト

レビューのメトリクスの時計の定義を下書きする。

I want to define review metrics for [team or repository]. Our platform is
[version control platform] and our workflow is [describe: draft pull requests,
required approvals, merge rules, bots in use]. Draft precise definitions for time
to first review and review cycle time, stating the event that starts and stops
each clock, what is excluded (bots, drafts, closed unmerged), how working hours
are handled for [time zones and working calendar], and which percentiles to
report. Do not invent benchmark values or tool features. List your assumptions and
the questions I should answer to finish the definitions.

レビューデータのエクスポートを分析する。

Here is an anonymized export of merged pull requests for [team] over [period],
with columns [list columns, for example ready time, first review time, merge time,
lines changed, review rounds, linked fix flag]: [paste data or summary]. Compute
the median and 85th percentile for each time measure and for size, split the
review cycle into waiting and reviewing, and point out patterns that deserve a
conversation. Do not rank individuals, and do not compare with outside
benchmarks. List your assumptions and any data quality problems you notice.

私たちのレビューのメトリクスにあるゲーミングのリスクを見つける。

Our team reports these review metrics: [list metrics and how each is calculated].
The pressures on us are [for example a release deadline, a leadership target, a
supplier contract]. For each metric, describe plausible ways it could be improved
without improving review, the early signs of each, and a paired guardrail metric
or practice that would catch it. Do not invent statistics. List your assumptions
and tell me what you would need to know to rank the risks.

レビューのフローについてのふりかえりを準備する。

Prepare a 45-minute retrospective agenda for [team] on review flow. Inputs: time
to first review [value], review cycle time [value], median size [value], load
concentration [value], and post-merge fix rate [value], all labeled with their
definitions. Suggest questions that surface causes, one small experiment the team
could run for [duration], and the quality signal to watch during the experiment.
Do not invent causes or targets. List your assumptions and the data I should bring.

AI スキル

  • Agile ITIL Metrics スキル:関連するフローまたは品質のメトリクスを定義するトピックと、レビューのメトリクスの隣に置くべき防護柵を見つけるために使います。
  • Agile ITIL Metrics メンテナースキル:このトピックへの編集が、テンプレート、ゲーミングの表、相互参照の整合性を保っているかを確認するために使います。

重要なポイント

  • レビューの遅れの大半は待ちなので、最初のレビューまでの時間とレビューのサイクルタイムを、稼働時間で、分布として測ります。
  • 小さなプルリクエストは、より速く、より注意深くレビューされます。大きさの上限を課すのではなく、分割を教えます。
  • すべての速さの測定値を、マージ後の修正率のような品質の対になるものと組にし、両方を一緒に読みます。
  • レビューの負荷をチームの容量として扱い、集中をチームレベルで報告し、人の順位付けには決して使いません。
  • レビューのメトリクスはふりかえりへの問いであり、その仕事を所有するチームに奉仕します。

参考文献とさらなる読み物

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  3. Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
  4. Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
  5. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Pull request.
  9. Wikipedia, Version control.
  10. Wikipedia, Code review.
  11. Wikipedia, Goodhart's law.
  12. Wikipedia, Continuous integration.
  13. Wikipedia, Trunk-based development.
  14. Wikipedia, Pair programming.
  15. Wikipedia, Static program analysis.