より意味のある監視を目指して、外形監視の有効活用

by Ryoma Aoki

Slide 1

Slide 1 text

株式会社スリーシェイク青木亮磨 2022/05/14 SRE NEXT 2022 より意味のある監視を目指して、外形監視の有効活用

Slide 2

Slide 2 text

Copyrights©3-shake Inc. All Rights Reserved. 2 自己紹介 Web 系企業にて、バックエンドエンジニアとして EC モールのシステムリプレイスや運用、大規模セールに向けた負荷対策などに従事した後、 2021 年に株式会社スリーシェイクに入社。現在は、 AWS / Google Cloud / Kubernetes などを用いた技術支援と、自社の新規プロダクト開発に携わっています。休日は愛犬と散歩したり、愛犬を撫でくりまわしたりして過ごしています。青木亮磨

Slide 3

Slide 3 text

スリーシェイクについて

Slide 4

Slide 4 text

Copyrights©3-shake Inc. All Rights Reserved. 4 提供しているサービス SRE 支援 / 技術支援サービス Sreake セキュリティ脆弱性診断サービス Sreake Security クラウド型 ETL / データパイプラインサービス Reckoner ハイスキルフリーランス紹介サービス Relance Reckoner はクラウド型 ETL / データパイプラインサービスです。データベース・ストレージ・アプリケーションなど、あらゆるデータを統合・連携することで、データを活用したビジネス変革に貢献します。 Sreake Security は経験豊富なセキュリティ専門家が貴社の課題に合わせたセキュリティ対策を支援するサービスです。 Sreake は金融・医療・動画配信・ AI ・ゲームなど技術力が求められる領域で豊富な経験を持つ SRE チームによる技術支援サービスです。戦略策定から設計・構築・運用、 SaaS 提供まで、幅広い領域をサポートします。 Relance はフリーランスエンジニア紹介サービスです。技術支援や、 1on1 での定期フォローなど、参画後も高いパフォーマンスを維持し続けられる体制を提供しています。

Slide 5

Slide 5 text

Copyrights©3-shake Inc. All Rights Reserved. 5 Securify β 版無償提供中！ ◯ Securify ( セキュリファイ ) とは診断したいサイトを登録するとクラウド上で自動で脆弱性診断を実施し、診断結果一覧と改善方法を分かりやすく提示するサービスです。手軽に何度でも脆弱性診断の実施を可能にし、セキュリティレベルの可視化・ DevSecOps への取り組みをサポートします。 β 版無償提供中！！

Slide 6

Slide 6 text

Slide 7

Slide 7 text

監視について

Slide 8

Slide 8 text

Copyrights©3-shake Inc. All Rights Reserved. 8 監視とは「監視とは、あるシステムやそのシステムのコンポーネントの振る舞いや出力を観察しチェックし続ける行為である」 ( 原文 ) “Monitoring is the actions of observing and checking the behavior and outputs of a system and its components over time.” by Greg Poirier at Monitorama 2016 システムを安定して継続的に提供するために、監視は重要な要素

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyrights©3-shake Inc. All Rights Reserved. 13 よくあるアラート設計思いつく怪しい状態をどんどん緊急的なアラートとして通知 Error ログが x 件出たらレイテンシが x sec 以上になったらディスクの空き容量が xx GB 以下になったらメモリの空き容量が x GB 以下になったらロードアベレージが x 以上になったら CPU 使用率が xx % 以上になったら

Slide 14

Slide 14 text

Copyrights©3-shake Inc. All Rights Reserved. 14 よくあるアラート設計の行く末思いつく怪しい状態をどんどん緊急的なアラートとして通知 Error ログが x 件出たらレイテンシが x sec 以上になったらディスクの空き容量が xx GB 以下になったらメモリの空き容量が x GB 以下になったらロードアベレージが x 以上になったら CPU 使用率が xx % 以上になったら大量のアラート電話やメンションの嵐

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyrights©3-shake Inc. All Rights Reserved. 16 よくあるアラート設計で生じる問題緊急ではないもしくはそもそも対応する必要がないのに業務の中断 or 業務時間外の呼び出しが発生し、貴重な時間を奪われる。また、そういったアラートが上がる状態が続くと単純に疲れてしまう。しまいにはアラートを軽視するようになり、本当に対応が必要な場合に ● 初動が遅れる ● 適当に対応して、判断や対処を誤る ● 無視してしまう

Slide 17

Slide 17 text

Copyrights©3-shake Inc. All Rights Reserved. 17 よくあるアラート設計で生じる問題緊急ではないもしくはそもそも対応する必要がないのに業務の中断 or 業務時間外の呼び出しが発生し、貴重な時間を奪われる。また、そういったアラートが上がる状態が続くと単純に疲れてしまう。しまいにはアラートを軽視するようになり、本当に対応が必要な場合に ● 初動が遅れる ● 適当に対応して、判断や対処を誤る ● 無視してしまう俗に言う「オオカミ少年アラート」問題

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyrights©3-shake Inc. All Rights Reserved. 19 じゃどうすれば良いかユーザー目線でサービスが正常に動いているかを監視し、サービス影響が生じている ( 緊急対応が必要な ) 場合に通知したい ... SRE の世界では、ユーザー目線でサービスの信頼度 (SLI / SLO) を定義・計測する際にクリティカルユーザージャーニー (CUJ) を活用しているよ。 SRE

Slide 20

Slide 20 text

Copyrights©3-shake Inc. All Rights Reserved. 20 クリティカルユーザージャーニー (CUJ) とはユーザージャーニー = ユーザーが目的を果たすために行う一連のアクションビジネスへのインパクトとして最も重要なものがクリティカルユーザージャーニー (CUJ) と呼ばれる。例えば、 EC サイトであれば商品を購入されることがビジネスとして重要なので、 CUJ としては次のようなものが考えられる。 → → 商品の検索商品をカートに追加購入

Slide 21

Slide 21 text

Copyrights©3-shake Inc. All Rights Reserved. 21 CUJ の監視には外形監視が導入しやすいパターン内容メリットデメリット API ベース CUJ を実行する際にアプリケーションから利用される API を順々に確認し、正常にレスポンスが返ってくるかを確認導入がシンプルブラウザや端末からサービスを利用できるかという観点での確認はできないブラウザベース (Web アプリの場合 ) ヘッドレスブラウザなどを用いて実際にブラウザ上でアプリケーションを操作して、 CUJ を実行できるか確認よりユーザー目線でサービスの状態を確認できる UI の変更が多い場合、保守が大変 CUJ の監視としては外形監視がシンプルで導入しやすい。外形監視としては大きく 2 パターンのやり方が存在する。

Slide 22

Slide 22 text

Copyrights©3-shake Inc. All Rights Reserved. 22 CUJ の監視には外形監視が導入しやすいパターン内容メリットデメリット API ベース CUJ を実行する際にアプリケーションから利用される API を順々に確認し、正常にレスポンスが返ってくるかを確認導入がシンプルブラウザや端末からサービスを利用できるかという観点での確認はできないブラウザベース (Web アプリの場合 ) ヘッドレスブラウザなどを用いて実際にブラウザ上でアプリケーションを操作して、 CUJ を実行できるか確認よりユーザー目線でサービスの状態を確認できる UI の変更が多い場合、保守が大変 CUJ の監視としては外形監視がシンプルで導入しやすい。外形監視としては大きく 2 パターンのやり方が存在する。多くの場合、ブラウザベースでの監視は運用コストが無視できない大きさに ...

Slide 23

Slide 23 text

Copyrights©3-shake Inc. All Rights Reserved. 23 CUJ の監視には外形監視が導入しやすいパターン内容メリットデメリット API ベース CUJ を実行する際にアプリケーションから利用される API を順々に確認し、正常にレスポンスが返ってくるかを確認導入がシンプルブラウザや端末からサービスを利用できるかという観点での確認はできないブラウザベース (Web アプリの場合 ) ヘッドレスブラウザなどを用いて実際にブラウザ上でアプリケーションを操作して、 CUJ を実行できるか確認よりユーザー目線でサービスの状態を確認できる UI の変更が多い場合、保守が大変 CUJ の監視としては外形監視がシンプルで導入しやすい。外形監視としては大きく 2 パターンのやり方が存在する。なので、今回は API ベースを採用して、 CUJ の監視を行ってみる

Slide 24

Slide 24 text

Datadog での CUJ 外形監視実装例

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyrights©3-shake Inc. All Rights Reserved. 30 Sock Shop のシステム構成図 ( 簡略版 ) front-end は SSR と BFF の役割を担う。 front-end の後ろにユーザーアカウントや商品、カート、支払い方法、注文情報を管理する API が存在する。先ほど設定した CUJ を実行する際に Web アプリケーションから利用される BFF のエンドポイントを順々に確認する外形監視を作成してみる。

Slide 31

Slide 31 text

Copyrights©3-shake Inc. All Rights Reserved. 31 Datadog の外形監視機能 (Synthetic Monitoring) Synthetic Monitoring で実行できるテスト内容 API Test API に対して、単一のリクエストを送り、レスポンスを検証できる。 Multistep API Test 複数の API Test をチェーンして、シナリオを検証できる。前のリクエストで得たレスポンスは後続のリクエストで用いることが可能。 Browser Test 実際にブラウザ上でアプリケーションを操作して、アプリケーションの動作を検証できる。

Slide 32

Slide 32 text

Copyrights©3-shake Inc. All Rights Reserved. 32 Datadog の外形監視機能 (Synthetic Monitoring) Synthetic Monitoring で実行できるテスト内容 API Test API に対して、単一のリクエストを送り、レスポンスを検証できる。 Multistep API Test 複数の API Test をチェーンして、シナリオを検証できる。前のリクエストで得たレスポンスは後続のリクエストで用いることが可能。 Browser Test 実際にブラウザ上でアプリケーションを操作して、アプリケーションの動作を検証できる。今回は API ベースで CUJ を監視するので、 Multistep API Test を利用する

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Copyrights©3-shake Inc. All Rights Reserved. 34 ステップ① ログイン ⇦ リクエスト内容の設定 Sock Shop はベーシック認証でログインする仕組みなので、 Authorization header にユーザー名とパスワードをセットし、ログイン用のエンドポイントにリクエスト。 ※ パスワードなどの機密情報は Global Variables という機能を “ hide and obfuscate variable value” というオプションとともに利用すると、値は利用できるが値の中身は見ることができないという状態で保持できる。 ⇦ レスポンスの検証内容の設定 ● レスポンスタイムが 2000ms 以下 ● ステータスコードが 200 ● Set-Cookie header に値が含まれている ⇦ レスポンスから値を抽出後続のリクエストの header に cookie をセットできるように、 cookie の中身を COOKIE という変数に入れておく。

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyrights©3-shake Inc. All Rights Reserved. 36 ステップ② 商品検索 ⇦ リクエスト内容の設定商品を検索するために、商品検索用エンドポイントにリクエスト。今回は brown タグが設定されている商品のみを検索するため、 tags=brown のクエリパラメータを設定。 ⇦ レスポンスの検証内容の設定 ● レスポンスタイムが 2000ms 以下 ● ステータスコードが 200 ⇦ レスポンスから値を抽出ステップ③以降では、ヒットした 1 件目の商品を購入するフローを検証していくので、 1 件目の商品 ID を変数に入れておく。

Slide 37

Slide 37 text

Copyrights©3-shake Inc. All Rights Reserved. 37 ステップ③ 商品情報取得 ⇦ リクエスト内容の設定先ほどの検索でヒットした 1 件目の商品の情報を取得するため、商品情報を取得するためのエンドポイントにリクエスト。 ⇦ レスポンスの検証内容の設定 ● レスポンスタイムが 2000ms 以下 ● ステータスコードが 200 ● body の id が検索した商品の ID と一致

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyrights©3-shake Inc. All Rights Reserved. 39 ステップ⑤ カートの中身を確認 ⇦ リクエスト内容の設定カートに先ほど追加した商品が入っているか確認するために、カートの状態を参照する用のエンドポイントにリクエスト。 ⇦ レスポンスの検証方法の指定 ● レスポンスタイムが 2000ms 以下 ● ステータスコードが 200 ● カートの商品の ID が追加した商品の ID と一致

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyrights©3-shake Inc. All Rights Reserved. 41 ステップ⑥ 注文 ⇦ リクエスト内容の設定カートに入れた商品を注文するために、注文用のエンドポイントにリクエスト。 ⇦ レスポンスの検証方法の指定 ● レスポンスタイムが 5000ms 以下 ● ステータスコードが 201 ※ 今回はデモアプリなので特に気にせず注文処理をテストしているが、実運用しているアプリケーションでは監視のリクエストにより不都合が生じないように、監視のリクエストの場合は決済のようなクリティカルな処理はスキップし、正常時と同じようなレスポンスを返すといった振る舞いに事前にしておく必要あり

Slide 42

Slide 42 text

Copyrights©3-shake Inc. All Rights Reserved. 42 監視の頻度監視の頻度は 30sec ~ 1week の間で設定可能。高頻度で行うことが望ましいが、その分費用が発生するので、そこは予算との相談で。 Datadog の Synthetic Monitoring の API Test だと費用は 10,000 テスト / 月あたり $5 (2022/04/11 時点）

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Copyrights©3-shake Inc. All Rights Reserved. 46 各 SaaS 、クラウドでの外形監視機能比較 [Datadog] Synthetic Monitoring API Test, Multistep API Test [New Relic] Synthetics Endpoint availability [AWS] Cloud Watch Synthetics Canaries [Google Cloud] Cloud Monitoring public uptime check シナリオ実装の可否 ◯ ◯ ◯ × 設定可能な実行間隔 30 sec ~ 1 week 1 min ~ 1 day 1 min ~ 1 year 1 min ~ 15 min 送信元国内からの送信 : ◯ IP 固定 : (Location △ 毎に IP range が決まっている ) 国内からの送信 : ◯ IP 固定 : (Location △ 毎に IP range が決まっている ) 国内からの送信 : ◯ IP 固定 : ◯ 国内からの送信 : ×️ IP 固定 : (Location △ 毎に IP range が決まっている ) gRPC 対応 △ ( ヘルスチェックなら可 ) ◯ ( 自環境に Containerized Private Minion を入れる必要あり ) △ ( ヘルスチェックなら可 ) × コスト 10,000/ 月あたり $5 無料プラン : 毎月 100 回まで Pro プラン : 毎月 100 万回まで Enterprise プラン : 毎月 1000 万回毎月 100 回まで無料それ以降は 1 回あたり $0.0019 無料要点 UI 上で設定できるので簡単。スクリプトを記述する形式なので柔軟に設定可能。スクリプトを記述する形式なので柔軟に設定可能。他と比べるとコスト高め。シナリオでのテストはできないが、無料なので気軽に利用できる。

Slide 47

Slide 47 text

まとめ

Slide 48

Slide 48 text

Copyrights©3-shake Inc. All Rights Reserved. 48 まとめ ● 何でもかんでも緊急的なアラートとして発報するのは危険 ○ アラート疲れが起きてしまう ○ アラートを軽視するようになり、アラートとしての効果を失ってしまう ● まずはサービス影響が生じている場合にアラートを発報する ○ サービス影響が生じているかの判断はクリティカルユーザージャーニー (CUJ) の監視を ○ CUJ の監視には外形監視がシンプルで導入しやすい ○ 各 SaaS やクラウドには外形監視機能が備わっているのですぐ導入可能 ● 余談 ○ CUJ の外形監視だけをしておけば良いというわけではない ■ CUJ の外形監視で捕捉できない障害は他の監視でカバー ■ 近いうちに起こりうる障害を検知するにはサービス影響が生じているかではなく、システム目線での健康診断も必要もし検知した場合は緊急的なアラートとは別の方法で通知したり、チケットを生成するなどして、アラートがごちゃごちゃにならないように

Slide 49

Slide 49 text

Copyrights©3-shake Inc. All Rights Reserved. 49 参考資料・動画 ● 入門監視、 Mike Julian 著、松浦隼人訳 ○ https://www.oreilly.co.jp/books/9784873118642/ ● Monitorama PDX 2016 - Greg Poirier - Monitoring is Dead. Long Live Monitoring ○ https://vimeo.com/173610062 ● Datadog : Synthetic Monitoring ○ https://docs.datadoghq.com/synthetics/ ● New Relic : Write synthetic API tests ○ https://docs.newrelic.com/docs/synthetics/synthetic-monitoring/scripting-monitors/write-synthetic-a pi-tests ● AWS : Using synthetic monitoring ○ https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Synthetics`_Ca naries.html ● Google Cloud : Create public uptime checks ○ https://cloud.google.com/monitoring/uptime-checks

Slide 50

Slide 50 text

Thank you