キャパシティとパフォーマンスのメトリクス
サービスがどれだけ埋まっているか、最も遅いリクエストがどれだけ遅いか、ユーザーが気づくまでにどれだけ余裕が残っているかを測り、需要を幅のある予測として見積もることで、キャパシティが苦情の後ではなく、必要になる前に届くようにします。
概要と動機
可用性は、サービスが応答するかどうかを教えてくれます。キャパシティとパフォーマンスは、どれだけうまく応答するか、そして需要が伸びてもいつまでそれを続けられるかを教えてくれます。応答に8秒かかるチェックアウトページは、ほとんどの可用性の定義では「稼働中」であり、どの顧客の定義でも「壊れている」状態です。ストレージが95パーセント埋まったデータベースは、今日は健全で、来月は停止です。このトピックは、そうしたずれを埋める測定を扱います。
キャパシティプランニングは、変化する需要を満たすためにサービスが必要とするリソースを見極める実践です。ITIL 4では、キャパシティとパフォーマンス管理のプラクティスに位置づけられ、サービスが合意された、期待どおりのパフォーマンスを達成し、現在と将来の需要をコスト効率よく満たすことを目的とします。このプラクティスは、ビジネス(組織がサービスに何を求めるか)、サービス(負荷の下でサービスがどう振る舞うか)、コンポーネント(各サーバー、データベース、ネットワーク回線、キューがどう振る舞うか)の三つの水準で説明されます。このトピックの測定は主にサービスとコンポーネントの水準で働きますが、何かを予測するにはビジネス水準からの入力が必要です。
サイト信頼性エンジニアリング(SRE)は、レイテンシ、トラフィック、エラー、飽和を、ユーザー向けのあらゆるシステムで見る価値のある四つのシグナルとし、パフォーマンスの目標をサービスレベル目標に結びつけます(トピック5.2「SLI、SLO、エラーバジェット」を参照)。アジャイルなチームは、キャパシティをデリバリーの問いとして受け止めます。次のリリースは想定される負荷に耐えられるか、その答えは誰が持つのか。パフォーマンスを受け入れ基準として扱い、パイプラインで確認すれば、この会話はより早い段階に移ります。
このトピックでは、いくつかの用語が繰り返し現れます。使用率は、ある期間にリソースのキャパシティのうち使われている割合です。たとえばプロセッサの時間のうち処理中だった割合です。飽和は、リソースが使い切られているために待たされている作業の量です。たとえば実行キューの長さやリクエストのバックログです。使用率はリソースがどれだけ忙しいかを示し、飽和は作業がそのリソースを待って並んでいるかを示します。ユーザーが感じるのは、並んでいることのほうです。レイテンシは、リクエストから応答までの時間です。スループットは、サービスが作業を完了する速さで、たとえば1秒あたりのリクエスト数です。ヘッドルームは、現在のピーク負荷と、サービスが目標を満たせなくなる負荷との差です。需要は、ユーザーとビジネスがサービスに求める作業であり、サービスが完了する作業とは同じではありません。過負荷のサービスは、求められた量より少ない作業しか完了しません。
待ち行列の性質を一つ知っておくと、これらの測定がなぜそう振る舞うかがわかります。待ち行列理論は、到着がランダムなサービスでは、使用率が中程度の間は待ち時間がゆっくりと増え、使用率が全面使用に近づくと急に跳ね上がることを示しています。リトルの法則は、システム内の平均リクエスト数を、到着率と各リクエストが滞在する平均時間に結びつけます。平均使用率が高いリソースは、崖の近くにいます。曲線の正確な形はサービスごとに異なるため、一般的な記事からしきい値を借りるのではなく、自分のシステムを負荷テストで調べて見つけてください。
レイテンシには特別な注意が要ります。平均は、重要な体験を隠してしまうからです。パーセンタイルは、観測値の一定の割合がそれを下回る値を表します。95パーセンタイル(p95)は、リクエストの95パーセントがそれより速く終わるレイテンシです。1回のユーザー操作が多数の内部呼び出しに広がるシステムでは、テールレイテンシが支配的になりがちです。平均だけでなくパーセンタイルを報告してください(トピック1.6「サービスメトリクスのための統計リテラシー」と、解決時間について同じ主張をするトピック3.3「インシデントの対応時間と解決時間」を参照)。
最後に、キャパシティは需要の予測に依存し、需要にはパターンがあります。日次の周期、週次の周期、そしてカレンダー、キャンペーン、製品ローンチに結びついた季節性です。オートスケーリングは感じ方を変えます。クラウドプラットフォームは数分でリソースを追加できるからです。しかし、このトピックをなくすわけではありません。オートスケーリングには上限があり、遅れがあり、コストがかかり、データベースやサードパーティのインターフェースのようにスケールしない依存先があります。コスト面はFinOpsに属します(トピック7.6「FinOpsとクラウドコストのメトリクス」を参照)。
隣接するトピックは、可用性の算術(トピック5.3「可用性のメトリクス」を参照)、アラートの設計(トピック5.5「監視とアラート品質のメトリクス」を参照)、ローテーションの負荷(トピック5.7「トイルとオンコールのメトリクス」を参照)を扱います。ここでの主題は、サービス自身のリソースと応答時間です。
重要な原則
- 使用率に加えて飽和を測ります。 使用率はリソースがどれだけ忙しいかを示し、飽和は作業が待たされているかを示します。ユーザーが体験するのは待ち時間です。
- レイテンシは分布として報告します。 ユーザー向けの操作ごとにパーセンタイルを使い、遅い裾野を見える状態に保ちます。偏った分布の平均は、ほとんど誰の体験も表しません。
- 目標をユーザー体験に結びつけます。 しきい値が意味を持つのは、ツールがたまたまグラフにしたものではなく、ユーザーやビジネスが気にすることにたどれるときです。
- 幅を持たせて計画し、見直します。 予測は、前提を明記した幅です。実際に起きたことと比べ、誤差から学びます。
- テストで限界を知ります。 キャパシティは、現実的な負荷テストで確かめるまでは仮説です。重要な変更の後はテストを繰り返します。
- システムを描き、人は描きません。 これらの測定はサービス、コンポーネント、チームのものであり、個人の成績表ではありません。
- コストとリスクを天秤にかけます。 余分なキャパシティにはお金がかかり、足りないキャパシティは顧客を失わせます。流れ着くのではなく選ぶために、このトレードオフを見えるようにします。
メトリクスの定義
表には七つの測定を挙げます。時計と境界は各計算式に明記します。パーセンタイルに基づく測定は、台帳に明記した固定のウィンドウを使い、生の観測値またはヒストグラムから計算し、平均の平均にはしません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITIL プラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| リソース使用率 | ある期間にリソースのキャパシティのうち使われている割合を、期間系列の高いパーセンタイルで報告したもの | 使用中のキャパシティ/全キャパシティを、1〜5分の期間ごとに算出します。レビューのウィンドウについて中央値と95パーセンタイルを報告します。リソースをドレインしたメンテナンス時間帯は除きます | パーセント | インフラ監視とクラウドプラットフォームのメトリクス | キャパシティとパフォーマンス管理、監視とイベント管理 | 完了の定義にある運用上の受け入れ基準、SREのリソースシグナル | 週次 |
| 飽和 | 使い切られたリソースを待っている作業の量 | キュー長、実行キュー、保留中のリクエスト、またはスロットリングされたリクエストを期間ごとに算出します。95パーセンタイルと、待ちが一度でもあった期間の割合を報告します。需要のない期間は除きます | 件数、または期間の割合(パーセント) | アプリケーションとインフラのテレメトリ | キャパシティとパフォーマンス管理、監視とイベント管理 | SREの飽和シグナル、サービスキューの仕掛かり作業制限 | 週次 |
| レイテンシのパーセンタイル | ユーザー向けの1操作についてリクエストに答えるまでの時間を、中央値、p95、p99で報告したもの | エッジでリクエストを受け取ってから最後のバイトを送るまでの応答時間を、成功したリクエストごとに計測します。失敗したリクエストは、速い応答ではなくエラーとして報告します。ローリングウィンドウで計測します | ミリ秒 | ロードバランサーまたはゲートウェイのログ、トレーシング、実ユーザー監視 | サービスレベル管理、キャパシティとパフォーマンス管理 | SREのレイテンシ指標とサービスレベル目標 | 継続的、週次でレビュー |
| ヘッドルーム | サービスが目標を割り込むまでに耐えられる残りの負荷 | (テストまたはモデルで得た限界負荷-現在のピーク負荷)/現在のピーク負荷。ピークはウィンドウ内で最も忙しい1時間とします。限界負荷は、ハードウェアの最大値ではなく、テストでレイテンシ目標が最初に破られる負荷です | パーセント、または現在の伸びでの日数 | 負荷テストの結果とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービスレベル管理 | パイプライン内の非機能要件とパフォーマンステスト | 月次、および大きなローンチの前 |
| 予測誤差 | ある期間の需要の予測と実績の差 | 絶対値(予測ピーク-実績ピーク)/実績ピーク。期間は明記します。予測は期間の開始時点で凍結し、後から修正しません。予測できなかった単発の出来事は、除外せず一覧にします | パーセント | 予測台帳とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービスの財務管理における需要関連の計画 | リリースとロードマップの予測、SREの需要予測 | 四半期ごと |
| キャパシティのリードタイム | 必要が承認されてから、新しいキャパシティをサービスに投入するまでの時間 | キャパシティ要求が承認された時点で時計を始め、そのキャパシティが本番トラフィックを運ぶ時点で止めます。中央値と85パーセンタイルを報告します。取り消された要求は除きます | 日 | ITSMツールの要求レコード、変更レコード、プロビジョニングログ | キャパシティとパフォーマンス管理、サービスリクエスト管理、変更実現 | プラットフォームバックログ項目のリードタイム(トピック2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと |
| パフォーマンステストのカバレッジ | 最近の、現実的な負荷テストがある重要サービスの割合 | 代表的な環境とワークロードで、明記した期間より新しい合格済みの負荷テストがある重要サービス/台帳にある重要サービス。期間の上限は書き出しておきます | パーセント | テスト結果ストアとサービス台帳 | キャパシティとパフォーマンス管理、リリース管理 | 継続的デリバリーパイプラインの非機能テスト | 四半期ごと |
これらを合わせると、四つの問いに答えられます。どれだけ埋まっているか、どれだけ遅いか、どれだけ余裕が残っているか、答えが変わったときにどれだけ速く対応できるか。
推奨事項
ユーザーから始め、次にリソースを見る
1. ユーザーが気にする少数の操作を選び、それを測る。 サービスには数百のエンドポイントがありますが、重要なジャーニーはわずかです。たとえばログイン、検索、支払い、明細のダウンロードです。これらをプロダクトオーナーや顧客と合意し、それぞれにレイテンシの期待値を設定します。これらはサービスレベル指標に自然につながります(トピック5.2「SLI、SLO、エラーバジェット」を参照)。
2. リソースのグラフには必ず飽和のグラフを組み合わせる。 プロセッサの使用だけを示すと、「70パーセントにしか達しなかった」という誤った安心を招きます。その隣に、キュー、待機中のリクエスト、スロットリングの件数を加えてください。使用率が危険に見える前に飽和が現れたら、本当の制約を見つけたことになります。その制約は、接続プール、スレッド上限、パートナー側インターフェースのレート制限のように、見ていたリソースではないことがよくあります。
3. 静かな平均より、忙しい裾野を優先する。 1日の平均は、深夜と昼休みのピークを混ぜてしまいます。最も忙しい時間帯を見て、最悪の期間の日付と原因を記録してください。計画上の問いは、想定される最悪の1時間にサービスがどう振る舞うかです。
レイテンシを正直に報告する
4. 操作ごとにパーセンタイルを公表し、ウィンドウを明記する。 重要な操作ごとに、ローリングウィンドウでの中央値、p95、p99を示し、どのリクエストが含まれるかを述べます。パーセンタイルをサーバー間や操作間で平均してはいけません。結果が実在するどのユーザーの体験にも対応しないからです。代わりにヒストグラムや生の観測値を統合してください。サンプルが小さいときはそう述べます。数百件のリクエストから出したp99は、ばらつきの大きい数字だからです(トピック1.6「サービスメトリクスのための統計リテラシー」を参照)。
5. サーバーのある場所だけでなく、ユーザーのいる場所でも測る。 サーバー側の計時には、ネットワーク、ブラウザ、デバイスが含まれません。実ユーザー監視または合成チェックを加えて、遅いバックエンドと遅いラストワンマイルを見分けられるようにしてください。
6. エラーとタイムアウトは、レイテンシの代わりではなく、レイテンシと一緒に数える。 速く失敗するサービスは、レイテンシのグラフでは速く見えます。タイムアウトするサービスは、間違った理由で遅く見えます。速い失敗が結果をよく見せないよう、レイテンシのパーセンタイルと一緒にエラー率を報告してください。
限界を見つけ、余裕を残す
7. 限界点を意図的にテストする。 現実的な操作の組み合わせを再現する負荷テストを行い、負荷を段階的に上げ、レイテンシ目標が最初に破られる地点と、最初に飽和するリソースを記録します。重要な点で本番に似た環境でテストし、似ていない点は書き出してください。安全な場所でのテストの失敗は、最も安上がりなインシデントです(パイプラインにチェックを入れる方法はトピック4.5「リリースとデプロイのメトリクス」を参照)。
8. ヘッドルームは方針として決め、トレードオフとして見直す。 サービスが想定ピークに対してどれだけの余裕を保つか、そしてその理由を決めます。顧客向けの重要サービスにはより多く、内部のバッチサービスにはより少なくするのが妥当です。その数字は、コストとリスクについてのビジネス上の選択なので、理由を記録し、停止のコストやキャパシティの価格が変わったときに見直してください。他組織の数字を写してはいけません。
需要を知る人と一緒に予測する
9. 何が来るのかをビジネスに尋ね、予測を書き留める。 マーケティングキャンペーン、新規顧客、規制の期限、季節行事は、トラフィックに現れるずっと前から需要を変えます。日付、前提、幅、責任者、各入力の出どころを書いた短い予測台帳を保ってください。低位、期待、高位のケースのように幅で示した予測は、単一の数字より正直で、どれだけ買うかを決めるのにも役立ちます。
10. 予測を採点し、誤差を改善に使う。 期間ごとに、凍結した予測を実際に起きたことと予測誤差で比べ、大きく外れた原因を一覧にします。よくある原因は、告知されなかったキャンペーン、ユーザー行動の変化、動いた依存先です。目的は、達成できないゼロの誤差ではなく、どの入力が信頼できるかを学び、信頼できないところでは幅を広げることです。
キャパシティを追加しやすくする
11. 精度を追う前に、キャパシティのリードタイムを短くする。 新しいキャパシティが届くまでに数週間かかるなら、遠い先まで予測し、より多くの余剰を抱えなければなりません。数分で済むなら、必要に近い水準で運用できます。「承認」から「トラフィックを運ぶ」までの調達、承認、プロビジョニング、構成、テストといった段階を見て、最も長い待ちから取り除いてください(トピック4.3「変更実現のメトリクス」を参照)。ITILの言い方では、これはキャパシティ戦略の選択、つまり需要に先行するか、合わせるか、遅れるかであり、サービスごとに意識して選びます。
12. オートスケーリングは、測るべき仕組みとして扱う。 スケーリングがどれくらいの頻度で起動するか、新しいキャパシティが使えるようになるまでにどれくらいかかるか、設定した上限にどれくらいの頻度で達するか、そしていくらかかるかを記録します。上限に張り付いたオートスケーラーは、すでに破綻したキャパシティ計画です。パフォーマンスと支出を一緒に議論できるよう、コストの観点と合わせてレビューしてください(トピック7.5「サービスコストとユニットエコノミクス」を参照)。
ゲーミングの手口と防護柵
| メトリクス | ゲーミングされ方 | 対になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| リソース使用率 | 長い間隔で平均してピークを隠す。使われていない予約済みキャパシティを「使用中」と数える。最も静かなリソースだけを報告する | 平均の隣にピーク時間帯の95パーセンタイルを示す。飽和の測定。対象リソースの一覧をサービスマップと照合してレビューする |
| 飽和 | キュー上限を上げて、拒否やスロットリングとして報告されないようにする。待ちを、測定していない別のキューに移す | 同じ操作のレイテンシのパーセンタイルとエラー率。一つの段階ではなく、エンドツーエンドのキュー時間。経路上のすべてのキューのレビュー |
| レイテンシのパーセンタイル | 平均または中央値だけを報告する。遅いリクエストや失敗したリクエストをサンプルから落とす。高速な内部の場所から測る。「外れ値」を除外する | p95とp99を常に示す。レイテンシの隣にエラー率とタイムアウト率を示す。実ユーザー監視をサーバー側の計時と比べる。生のサンプル数を示す |
| ヘッドルーム | 穏やかなテストワークロードを選ぶ。本番より大きな環境でテストする。限界点をハードウェアの最大値と定義する | テストワークロードを本番のトラフィックの形と照らしてレビューする。テスト環境と本番環境の違いの一覧を書き出す。関連する変更の後にヘッドルームを再テストする |
| 予測誤差 | 事後に予測を修正する。すべての結果が「幅の内」になるよう非常に広い幅を設定する。意外なことがあった月を「予測できなかった出来事」として除く | 予測を凍結して台帳に日付を記す。誤差と一緒に幅の広さも報告する。除外した出来事をすべて一覧にしてレビューする |
| キャパシティのリードタイム | 承認レコードを遅らせて時計の開始を遅くする。キャパシティがトラフィックを運んだ時点ではなく、発注した時点で要求を閉じる。要求を分割する | 承認からトラフィックを運ぶまでと定義した時計。閉じた要求のサンプルをプロビジョニングログと比較する。再オープンされた要求の件数 |
| パフォーマンステストのカバレッジ | カバレッジを主張するために形だけのテストを行う。重要サービスの一覧を縮める。古い合格テストを台帳に残す | テストの経過期間とワークロードの現実性を記録する。重要サービスの一覧をサービスカタログとインシデント履歴と照合してレビューする。合格に加えて失敗したテストも報告する |
健全な読み方では、使用率に日次の周期とヘッドルームが見え、飽和はまれに短時間だけ現れ、レイテンシのパーセンタイルは最も忙しい時間帯でも安定しているか改善しており、予測誤差は把握されていて徐々に縮んでいます。健全なしるしは、意外な出来事が原因とともに議論されていることです。完璧な数字には疑いを持ってください。多くの場合、測定が甘いことを意味するからです。
トレードオフ:長所と短所
| アプローチ | 長所 | 短所 |
|---|---|---|
| 余裕を十分に持って運用する | 想定外を吸収し、レイテンシと可用性を守れる | コストが高くなり、非効率や予測の弱さが隠れる |
| 高速なオートスケーリングで絞って運用する | コストが低く、キャパシティが需要に追随する | スケーリングの速度と上限に依存し、依存先がスケールしない場合もあり、インシデント時に状況を把握しにくい |
| パーセンタイル・レイテンシの目標 | 遅いリクエストの体感を反映し、平均によるごまかしに強い | より多くのデータと大きな標本が必要で、トラフィックの少ないサービスでは高いパーセンタイルがぶれやすい |
| 平均値または中央値のみのレイテンシ | 単純で安定している | 苦情や離脱の原因となるテール(裾野)が隠れる |
| 合成負荷テスト | 制御でき、再現性があり、安全である | ワークロードモデルと環境の現実性の範囲でしか信頼できない |
| 本番テレメトリを基礎にする | 実際の挙動と実際の構成比を反映する | 限界に達して初めて分かり、現在の需要を超える領域は探れない |
| 詳細な予測モデル | 季節性と成長を捉えられる | データと技能が必要で、入力が弱いと精度が高いという錯覚を生む |
| ビジネスと合意した単純なレンジ | 説明と更新が容易で、前提に焦点が当たる | 粗く、ビジネス側の誠実な入力に依存する |
意思決定を支える最も軽い方法を選んでください。多くのサービスでは、ピーク時間帯の使用率、飽和度、レイテンシ・パーセンタイルを週次で確認し、大きな変更の前に負荷テストを行い、四半期ごとに予測をレビューすれば十分です。間違えたときのコストが大きい箇所には、モデリングを加えます。
チームで話し合う問い
1. 最も重要な三つのユーザージャーニーは何で、それぞれユーザーはどのくらいの応答時間を期待していますか。 参加者にジャーニーを挙げてもらい、ダッシュボードがグラフ化しているものと比べます。ファシリテーターは、エンジニアリング上の好みではなく、ユーザーや顧客にたどれる期待値を求めてください。
2. 私たちのサービスはどこが崖の近くにあり、それをどうやって知っていますか。 コネクションプール、スレッド数の上限、パートナー側のレート制限などのリソースを探します。それぞれを限界まで最後にテストしたのはいつかを尋ねます。誰も知らなければ、それが最初の仕事です。
3. 現在レイテンシをどう報告していて、最も遅い1パーセントのユーザーは何と言うでしょうか。 一つの操作について、平均、中央値、p95、p99を並べて表示し、その差を話し合います。どのリクエストが除外されていてその理由は何か、失敗したリクエストを数えているかを尋ねます。
4. どれだけの余裕を持っていて、誰が決め、最後にその判断を見直したのはいつですか。 余裕のコストと、最も忙しい日に障害が起きるコストを話し合います。見直し日と、余裕を変える根拠となる証拠を合意します。
5. 直近三回の需要予測はどの程度当たり、何を学びましたか。 日付入りの予測を実績と、大きく外れた原因に照らして比べます。ビジネス側が知っていて運用側に届かなかった情報は何かを尋ねます。マーケティングカレンダーやローンチスケジュールなど、予測台帳に加える入力を一つ決めます。
6. 来月に倍のキャパシティが必要になったら、何が妨げになりますか。 依頼から本番トラフィックまでのすべてのステップを挙げ、待ちが生じる箇所に印を付けます。調達、承認、ライセンス、スケールしない依存先を含めます。ファシリテーターは、技術的でない最長の待ちを探してください。それは承認や契約であることが多いからです。短縮するステップを一つ合意し、その効果をキャパシティのリードタイムで測定します。
四つの視点
プロダクトチームとデリバリーチーム
混雑する経路に触れる機能の受け入れ基準に性能への期待値を含め、現実的であればパイプラインで負荷テストを実行し、ローンチを早めに運用チームへ伝えます。性能を後回しの「堅牢化」作業として扱う習慣に注意してください。それは計画外作業になります(トピック2.9「運用作業と計画外作業」を参照)。
サービスチームと運用チーム
運用チームは、テレメトリ、キャパシティ計画、限界に達したときの対応を担います。実際に使うダッシュボードに飽和度とテールレイテンシ、ビジネスと共有する予測台帳、信頼できるテスト結果が必要です。キャパシティに関連するインシデントは、それぞれ原因とともに記録してください(トピック4.1「問題管理のメトリクス」とトピック3.4「重大インシデントのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは組織が受け入れるリスクとコストを決め、その決定は余裕ポリシーに表れます。重要なサービスごとにレイテンシ・パーセンタイルと余裕を、予測誤差とあわせて求め、キャパシティの要請を証拠を伴う投資判断として扱ってください。ガバナンス組織は、組織全体で単一の使用率目標を設けることに抵抗すべきです。それはすべてのサービスを崖の同じ位置へ押しやります。
顧客とユーザー
顧客は、可用性の数値が変わるずっと前から、遅さを信頼性の低さとして感じます。性能は、負荷条件を示したうえでパーセンタイルで表し、サービスがピーク期間をどう扱うかを共有してください(トピック5.1「SLA、OLA、XLAのメトリクス」とトピック6.2「体験レベル合意」を参照)。
実践:アジャイルITILの例
中規模のオンライン小売業者が、ストアフロント、決済サービス、注文サービスを運用しています。各サービスはプロダクトチームが所有し、共有インフラはプラットフォームチームが提供します。この例の数値はすべて説明用のものです。
プラットフォームチームの週次レビューでは、ストアフロント検索の中央値レイテンシが180ミリ秒、p95が420ミリ秒で、どちらも目標内でした。プロセッサ使用率はピーク時間帯の95パーセンタイルで58パーセントです。セールの3週間前に、サポートリードが、夕方のキャンペーン中にサイトが「這うように遅い」と顧客が言っていると報告します。ダッシュボードは緑のままです。
チームは前回のセールで最も忙しかった時間帯の検索p99を調べ、p99の目標1.5秒に対して3.1秒だったことを確認します。飽和度が残りの事情を物語っていました。商品データベースへのコネクションプールは、ピーク中、1分間隔の14パーセントで待機中のリクエストを示し、その間プロセッサ使用率は60パーセントを超えませんでした。制約はプロセッサではありませんでした。トラフィックが今の3分の1だった頃に設定されたプール上限だったのです。
プロダクトオーナーとプラットフォームリードは、本番と同じ操作の構成比を使い、昨年のピークの1.5倍で負荷テストを実施します。テストの結果、p99の目標は昨年のピークの1.15倍で破られ、余裕は15パーセントでした。顧客向けサービスのポリシーは40パーセントです。マーケティングカレンダーでは、初日の需要は昨年のピークの1.6倍と見込まれます。台帳に固定された従来の予測はレンジを1.2倍から1.4倍としており、昨年のセールに対する誤差は22パーセントで、主因は告知されていないメールキャンペーンでした。
決定は意思決定ログに記録され、四つの部分からなります。第一に、プール上限を引き上げ、リードレプリカを追加して、再テストします。第二に、キャンペーンが少なくとも6週間前に予測台帳へ届くよう、リリースプロセスにセール準備チェックリストを加えます。第三に、p99とプールの飽和度を週次レビューに加えます。第四に、通年の余剰ではなくスケジュールされたスケーリングを使い、セール期間の追加キャパシティの費用を財務部門と合意します。
変更後、二度目のテストでは、p99の目標が昨年のピークの1.8倍まで保たれました。ゲーミングのリスクはレビューの中で表面化しました。ある契約者が、外れ値だという理由で、5秒より遅いリクエストをレイテンシ報告から除外する「手早い成果」を提案したのです。チームはこれを退けました。除外されるリクエストはまさに苦情を寄せた顧客だったからです。防護柵は、すべてのレイテンシ・パーセンタイルの横にエラー率とタイムアウト率を置き、標本数を記録することでした。セール中のp99のピークは1.2秒、プールの飽和度は間隔の1パーセント未満に収まり、予測誤差は9パーセントで、残った外れの理由とともに台帳に記録されました。
業種別の視点
スタートアップ。 トラフィックは小さく成長も不確かなので、凝った測定より安価な測定が優ります。収益を生む二つか三つのジャーニーについてレイテンシ・パーセンタイルを追跡し、データベースの飽和度を監視し、ローンチ前に簡単な負荷テストを実施します。バグやトラフィックの急増が請求額に化けないよう、支出アラートを設定してください。
小規模事業。 サービスはホスティングや購入であることが多く、キャパシティは供給者の問題です。供給者に性能とキャパシティの報告書を書面で求め、契約がピーク期間について何を定めているかを把握し、いくつかの合成チェックで顧客から見える状態を監視します。事業が欠かせない一つのシステムで、余裕を追跡してください。
大企業。 多くのサービスがインフラを共有するため、キャパシティの問題は思わぬ場所に現れます。サービスと利用するコンポーネントを結ぶサービスマップ、事業部門との共通の予測プロセス、チーム間で共通のレイテンシ・パーセンタイル定義に投資します。余裕ポリシーはサービスの重要度ごとに定めます。
政府・公共部門。 需要は、納税期限、給付金の申請、選挙など、法律で定められた期限によって形づくられ、その日の失敗は公になります。予測には法定のカレンダーを使い、ピーク用のキャパシティは数か月前に契約する必要があるかもしれません。調達のリードタイムはキャパシティのリードタイムを延ばすので、測定して計画に織り込みます。サービス性能の公的な報告には、パーセンタイルと負荷条件を明記してください(トピック8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは四つの部分からなります。第一は計装、つまりテレメトリとその保存です。第二はテストで、現実に近い環境と、保守が必要なワークロードモデルです。第三は計画のルーチンで、予測台帳の維持と四半期ごとの誤差レビューです。第四は余剰キャパシティそのもので、多くの場合これが最大のコストであり、最も明示する価値があります。
見返りは、キャパシティ起因のインシデントの減少、買うべき時と買わない時についてのより良い判断、データが不要だと示すキャパシティへの支出の回避から生まれます。事前に何パーセントの削減を約束してはいけません。代わりに、自分たちのパターンを測定します。四半期あたりのキャパシティ起因のインシデント数、緊急対応が必要だったピークの割合、合意した余裕ポリシーに対する遊休キャパシティへの支出、予測誤差の推移です。Google SREの書籍は、信頼性を経済的な判断として扱っています。
総所有コストは、人とテスト環境が大半を占めます。小さなチームは、既存の監視、週次レビュー、最も重要なジャーニーに対する一つの負荷テストから始められます。
アンチパターンと落とし穴
- 平均使用率をキャパシティの説明として報告する。 平均はピークと崖を隠します。ピーク時間帯の高いパーセンタイルと飽和度の指標を報告してください。
- 経営向けダッシュボードに平均レイテンシを載せる。 苦情を生むのはテールです。エラー率と標本数とともに、p95とp99を示してください。
- レイテンシから「外れ値」を除外する。 最も遅いリクエストも実在のユーザーです。残したうえで、データを削るのではなく原因を調べてください。
- サーバー間でパーセンタイルを平均する。 結果は誰のことも表しません。パーセンタイルを計算する前に、ヒストグラムまたは生の観測値を結合してください。
- 昨年のトラフィックだけでキャパシティ計画を立てる。 需要はビジネスイベントに左右されます。ビジネスカレンダーを取り入れ、予測誤差をレビューしてください。
- 本番と異なる環境でテストする。 合格の結果は誤った自信を与えます。違いを記録して補正するか、本番で安全にテストしてください。
- キャパシティのメトリクスでエンジニアやチームを順位付けする。 使用率とレイテンシはシステムを表すものです。サービス設計と需要の観点でレビューし、個人は対象外にしてください。
成熟度モデル
| 次元 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 最適化 |
|---|---|---|---|---|---|
| 使用率、飽和度、レイテンシの測定 | 少数のサーバーの平均値で、プロセッサ使用率が高いときにアラートを出す | 一部のチームがレイテンシ・パーセンタイルとキューをグラフ化している | 共通の定義:主要な操作ごとのパーセンタイル、使用率の横に飽和度、集計窓を文書化 | 目標に対して推移を追い、エラー率と組にして、毎週レビューする | 供給者や顧客と共同で定義を見直し、ユーザー側とサーバー側の見え方を突き合わせる |
| 限界と余裕 | 障害が起きるまで限界が分からない | 大きなローンチの前に時々負荷テストを行う | 重要なサービスで、文書化された余裕ポリシーに照らして負荷テストを行う | サービスごとに余裕を追跡し、関連する変更の後に再テストする | コスト、リスク、インシデントのデータに基づき、チームと供給者をまたいで余裕ポリシーを調整する |
| 予測 | 依頼の時点での場当たり的な推測 | 個々のチームが予測を頭の中や表計算に持っている | レンジと担当者を持つ共有の予測台帳で、ビジネスカレンダーが入力される | 予測誤差を採点してレビューし、外れた原因を把握する | ビジネスと供給者とともに予測を作り、入力を継続的に改善する |
| キャパシティの提供 | インシデントの後にキャパシティを追加する | 一般的なケース向けの標準リクエスト | 承認から本番トラフィックまでの文書化された経路があり、キャパシティのリードタイムを測定する | 最長の待ちを対象に、予算を付けて改善する | ポリシーの範囲内でキャパシティを自動的に追加し、スケーリングの挙動とコストをあわせてレビューする |
チェックリスト
- 重要なユーザージャーニーが特定され、それぞれにオーナーと合意したレイテンシの期待値がある。
- レイテンシは操作ごとに中央値、p95、p99で報告され、集計窓と標本数が明記されている。
- パーセンタイルはヒストグラムまたは生の観測値から計算され、サーバー間で平均していない。
- すべての使用率のグラフの横に飽和度のグラフがある。
- 各レイテンシ・パーセンタイルの横にエラー率とタイムアウト率が表示されている。
- 各重要サービスに負荷テストがあり、ワークロードと環境の違いが書き留められている。
- サービスの重要度ごとに余裕ポリシーがあり、その根拠が記録されている。
- 日付入りの予測台帳にレンジ、前提、担当者があり、ビジネスカレンダーが入力されている。
- 予測誤差を四半期ごとにレビューし、大きく外れた原因を記録している。
- キャパシティのリードタイムを、承認からトラフィックを処理するまでで測定している。
- オートスケーリングの上限、遅れ、コストをサービスオーナーとレビューしている。
- キャパシティや性能の測定値を個人別に報告していない。
AI プロンプト
レイテンシ報告に隠れた歪みがないかレビューする。
Here is how we report latency for [operation or service]: [description of the
measurement point, the window, the statistics shown, and which requests are
included or excluded]. Our users care about [user journey or expectation].
Identify ways this report could understate the experience of the slowest users,
such as averaging, exclusion rules, sampling, or measurement location. Suggest
what to show instead and what additional data I would need. Do not invent
benchmark values or thresholds; ask me for the ones you need. List your
assumptions.
サービスの負荷テスト計画を起案する。
I need a load test plan for [service name]. Its main user journeys are
[journeys], its dependencies are [dependencies], and its production traffic mix
is roughly [description of mix]. The test environment differs from production
in these ways: [differences]. Propose a workload model, a ramp pattern, the
measures to record (latency percentiles, error rate, utilization, saturation),
the stop conditions, and the questions the results should answer. Do not
assume tool features or invent target values. List your assumptions and the
risks of the test.
ビジネスとともに需要予測を構造化する。
I am preparing a capacity forecast for [service] covering [horizon]. Known
inputs: [historical traffic description], [business events and dates], and
[planned changes]. Draft a forecast register layout with low, expected, and high
cases, the assumptions behind each, the owner of each input, and a review
routine that scores forecast error. Suggest questions to ask [business
stakeholders]. Do not invent growth rates or seasonal factors. List your
assumptions.
症状から本当の制約を見つける。
A service shows these symptoms during peak load: [symptoms, for example slow
p99, queue growth, error types]. Utilization data: [summary of resource
utilization]. Saturation data: [summary of queues, pools, throttling].
Architecture notes: [short description]. List the resources and limits that
could be the constraint, the evidence that would distinguish between them, and
the cheapest next test for each. Do not claim a cause that the data does not
support. List your assumptions.
AI スキル
- Agile ITIL Metrics skill:キャパシティや性能の指標を定義するトピック、そのクロック、横に置くべき防護柵を見つけるために使います。
- Agile ITIL Metrics maintainer skill:編集したキャパシティや性能のトピックが、すべての指標にゲーミングの手口と防護柵を組にしたまま保っているかを確認するために使います。
重要なポイント
- 使用率とあわせて飽和度を測定してください。ユーザーが感じるのはパーセンテージではなく待ち行列です。
- レイテンシは、エラー率と標本数とともに、操作ごとのパーセンタイルで報告し、パーセンタイルを平均してはいけません。
- 限界はテストで見つけ、余裕はコストとリスクを比較した記録済みのポリシーとして定めます。
- 需要はビジネスとともにレンジとして予測し、予測を固定して、誤差から学びます。
- キャパシティのリードタイムを短縮し、オートスケーリングを測定して、キャパシティが必要に追随するようにします。
- 記述の対象はサービスとシステムであり、人ではありません。完璧に見える数値は、測定を確かめる合図として扱ってください。
参考文献とさらなる読み物
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
- Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
- Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
- Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
- Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
- Wikipedia, Capacity planning.
- Wikipedia, Site reliability engineering.
- Wikipedia, Latency (engineering).
- Wikipedia, Throughput.
- Wikipedia, Queueing theory.
- Wikipedia, Little's law.
- Wikipedia, Load testing.
- Wikipedia, Percentile.
- Wikipedia, Tail latency.
- Wikipedia, Forecasting.
- Wikipedia, Seasonality.
- Wikipedia, Autoscaling.