Slide 1

Slide 1 text

©2024 Metaps Holdings, Inc. システムの各種ログを確認する Dashboardの開発 株式会社メタップスホールディングス SREエンジニア 是永 総⼀郎

Slide 2

Slide 2 text

©2024 Metaps Holdings, Inc. ⾃⼰紹介 是永 総⼀郎 株式会社メタップスホールディングス SREエンジニア Soichiro Korenaga 好きなAWSサービス:AWS Systems Manager 趣味:折り紙 @s_korenaga

Slide 3

Slide 3 text

©2024 Metaps Holdings, Inc. 折り紙

Slide 4

Slide 4 text

©2024 Metaps Holdings, Inc. 社名
 株式会社メタップスホールディングス 
 (Metaps Holdings, Inc.) 
 設立
 2023年1月26日 
 資本金
 100百万円(資本準備金を含む)
 ※2023年12月末時点
 所在地
 東京都渋谷区渋谷二丁目24番12号 
 渋谷スクランブルスクエア 
 従業員数
 72名 ※2023年12月末時点
 経営陣
 代表取締役 山﨑 祐一郎 取締役   原 大輔
 取締役   青沼 克典 
 社外取締役 大谷 仁人 
 監査役   萩野矢 宏樹 事業内容
 クラウドとAIを中心にしたインキュベーション 
 テクノロジー企業への投資 
 
 MISSION テクノロジーでお金と経済のあり方を変える
 
 世界を解き放つ
 
 
 VISION 会社概要

Slide 5

Slide 5 text

©2024 Metaps Holdings, Inc. 5 srestはAWSファンデーショナルテクニカルレビュー (FTR)認証を取得しています 無料トライアル実施中 >

Slide 6

Slide 6 text

©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 6 インフラ基盤 アプリケーションが 動いてる環境 アプリケーションのエラーを トラッキングするツール オンコール担当 (SRE) に障害を エスカレーションするサービス インフラ基盤の監視 エラートラッキング オンコール通知 srestは各種インフラサービスのインテグレーション先となり、 各サービスのイベントログを集積‧可視化する基盤に イベントログの集積‧可視化 システムメトリクス 監視ツール 6 6 無料トライアル実施中 >

Slide 7

Slide 7 text

©2024 Metaps Holdings, Inc. システムログをいい感じに⾒やすくしたい!

Slide 8

Slide 8 text

©2024 Metaps Holdings, Inc. 背景 SREの⽇常業務 システムの正常性の確認 AWS、Datadog、Sentry、etc. 複数アカウントやサービスをまたがると⼤変 ⾯倒なので必要な情報はSlackに送るようにしたい (オンコール対象ではないものの発⽣したら確認したいイベントとか特に)

Slide 9

Slide 9 text

©2024 Metaps Holdings, Inc. Slack通知ツールの開発 欲しい情報をSlackに通知するツールを開発

Slide 10

Slide 10 text

©2024 Metaps Holdings, Inc. 欲しい情報と情報源 通知する内容(⼀部) 通知内容 理由 トリガー Health Dashboardのイベント 対応期限の短い問題を見逃すと危険 healthのイベント GuardDutyの検出結果 致命的な脆弱性にはなるべく早く対応したい GuardDutyのイベント SecurityHubの検出結果 致命的な脆弱性にはなるべく早く対応したい SecurityHubのイベント Inspectorが検知した脆弱性の検出結果 致命的な脆弱性にはなるべく早く対応したい Inspectorのイベント IAMの権限が無いため失敗した操作ログ 権限が無い不正な動きをしていないか確認 CloudTrailのイベント RDSのdatabaseやTableの作成・削除のログ RDS内で不正な動きがないか確認 Cloudwatch Logs ECSのオートスケーリングのログ オートスケールの理由を確認 ECSのイベント Configのルール変更 不審な動きや意図しない変更をいち早く察知したい Configのイベント WAFのブロックIPを通知 攻撃の検知や意図しないIPブロックを察知したい WAFのイベント 各種SaaSのイベント(Webhook経由)

Slide 11

Slide 11 text

©2024 Metaps Holdings, Inc. 構成図 GuardDuty Config Inspector CloudWatch Logs Lambda Slack Lambda Slack Datadog PagerDuty Slack Webhook EventBridge EventBridge Health Dashboard Sentry ‧ ‧ ‧ ‧ ‧ ‧

Slide 12

Slide 12 text

©2024 Metaps Holdings, Inc. ツールの配布⽅法 SARで各AWSアカウントに配布 開発したLambdaの提供が簡略化 Serverless Application Repository Lambda Developer

Slide 13

Slide 13 text

©2024 Metaps Holdings, Inc. 結果 確認したい情報がSlackで⾒れるようになった ‧緊急で対応が必要な情報(主にHealth Dashboard)も素早く検知 ‧いつもと違う挙動が発⾒しやすい ‧アカウントやサービスを切り替える⼿間を省略 ‧細かな対応は⾃動実⾏してくれる

Slide 14

Slide 14 text

©2024 Metaps Holdings, Inc. 結果 Happy!

Slide 15

Slide 15 text

©2024 Metaps Holdings, Inc. 結果 Happy! かと思われたが…

Slide 16

Slide 16 text

©2024 Metaps Holdings, Inc. 問題 管理するプロダクトが増えると通知が爆増 通知の⾒落としが発⽣してきた

Slide 17

Slide 17 text

©2024 Metaps Holdings, Inc. dashboardの開発 Slackに通知している情報を⼀元管理したい   dashboardを開発することに

Slide 18

Slide 18 text

©2024 Metaps Holdings, Inc. dashboardの構成図

Slide 19

Slide 19 text

©2024 Metaps Holdings, Inc. dashboardの構成図 データ収集

Slide 20

Slide 20 text

©2024 Metaps Holdings, Inc. dashboardの構成図 dashboard

Slide 21

Slide 21 text

©2024 Metaps Holdings, Inc. 実際の画⾯

Slide 22

Slide 22 text

©2024 Metaps Holdings, Inc. 実際の画⾯ SaaS‧AWSサービス

Slide 23

Slide 23 text

©2024 Metaps Holdings, Inc. 実際の画⾯ イベント数

Slide 24

Slide 24 text

©2024 Metaps Holdings, Inc. 実際の画⾯ イベントログ

Slide 25

Slide 25 text

©2024 Metaps Holdings, Inc. dashboard開発の結果 結果、⽇々の確認作業が簡略化 最近の傾向もわかりやすく(グラフ) 今度こそHappy!

Slide 26

Slide 26 text

©2024 Metaps Holdings, Inc. dashboardのサービス化 この仕組みは他の企業でも使えるのでは   サービス化

Slide 27

Slide 27 text

©2024 Metaps Holdings, Inc. srestの構成図

Slide 28

Slide 28 text

©2024 Metaps Holdings, Inc. まとめ ‧⽇々のアカウント巡回をSlack通知で楽に ‧Slack通知地獄をdashboardで楽に ‧楽にしてハードルを下げよう