AWS SNSでエラー通知させ、SLOについて考える

AWS SNSでエラー通知させ、 SLOについて考える 2024/7/8 JAWS-UG SRE支部#9 初心者LT大会 @melanmeg

自己紹介株式会社スカイウイルインフラエンジニア 3年目山本直矢 @melanmeg 趣味：ホロライブやツイキャスを見ること業務：現在は、k6やKeycloakを触っている

アジェンダ • エラー通知の導入方法 • メトリクスフィルターとサブスクリプションフィルター • メトリクスフィルター構成 • サブスクリプションフィルター構成 •
SLOについて考える

{ "logs": { "logs_collected": { "files": { "collect_list": [ {
"file_path": "/var/log/syslog", "log_group_name": "/var/log/syslog", "log_stream_name": "{instance_id}", "timestamp_format": "%b %d %H:%M:%S" } ] } } } } ログ出力設定ファイルエラー通知の導入方法 1. 適当なVMを用意 2. ログドライバーをインストール 3. ログ出力設定 4. CloudWatch側でログを検知し、メール通知する AWSでログの中からエラーログだけを通知する監視基盤がほしいあるお客さんの要望

メトリクスフィルターとサブスクリプションフィルターメリットデメリットメトリクスフィルターアラームを組み合わせてメール通知可能メール内容のカスタマイズができないサブスクリプションフィルターログ内容をメールに含めることが可能
直接メール通知することができず、 Lambdaを経由するなどが必要一旦、メトリクスフィルターを検証今回「ERROR」という文字を含む場合アラート発生させる

• 長くてよく分からない… • ログ内容も欲しい… メトリクスフィルター構成構成メール内容

サブスクリプションフィルター構成 • パッと見で分かりやすい • ログ内容も分かる構成メール内容

Lambdaの整形コード ※EventBridgeによる死活監視も同様 Pythonで実装

SLOについて考える引用：https://www.oreilly.co.jp/books/9784814400348/ エラーバジェット SLO SLI SLIとは、たとえばWebページを十分な速さで読み込めるかといった指標 1日に訪問者数が60,000人いて、59,982人が2秒以内にページを読み込んだことを計測できたとするページ読み込みの99.97％が「良い速さ」であればユーザーは満足すると推測 59,982 60,000
＝ 99.97% SLO SLOとは？信頼性スタック

改善案現状エラーログはすべてメール通知 ⇒エラー通知が多すぎて、管理者が状況を把握しずらいと想定 ⇒特定の条件でアラートが発生したらLambda経由でメール通知する ※2023/12/22 CloudWatch AlermがLambdaをアラーム状態変更アクションとしてサポートされたよう引用：https://aws.amazon.com/jp/about-aws/whats-new/2023/12/amazon-cloudwatch-alarms-lambda-change-action/ 定義を考えてみる •
SLI：リクエストが十分なだけ成功しているかどうか仮定として、以下条件までを許容するとする。期間：1ヶ月合計リクエスト数：1,000,000 エラーログの総数：500 • SLO：99.95% • エラーバジェット：エラーログが500個まで 1ヶ月内にエラーログが 500個を超えたらアラートを発生

おわり

AWS SNSでエラー通知させ、SLOについて考える

AWS SNSでエラー通知させ、SLOについて考える

melanmeg

More Decks by melanmeg

Other Decks in Programming

Featured

Transcript