AWS Security Hub CSPM Failure story on Slack notification of detection results

A real-world case where AWS Security Hub pushed thousands of findings to Slack, hit rate limits, and froze the workspace.
Fix: buffer findings in DynamoDB, batch via EventBridge Scheduler, and throttle Slack/SES notifications.
Takeaway: always design for SaaS rate limits—queue, batch, back-off, and monitor.

Transcript

1. AWS Security Hub CSPM 検出結果のSlack通知時の失敗談 Media-JAWS x JAWS-UG千葉支部 #2 幕張よ我々は帰ってきた！ 2025年6月25日 - 大高 洋一
2. 自己紹介 名前: 大高 洋一（Hirokazu Otaka） 経歴: • 2003年4月 某SIer 商社/金融系基幹システム設計/開発 • 2017年8月 某CIer AWS/GC ゲーム/エンタメ系インフラ構築/運用 • 2024年8月 某SaaS企業 メールセキュリティ AWS設計/構築/運用 千葉との縁: • 木更津市出身、木更津高専卒業 • 千葉市在住 • 元JAWS-UG千葉支部運営メンバー(2013-2016) @Hirokazu_329 2025 Japan All AWS Certifications Engineer
3. AWS Security Hub CSPMとは AWSアカウント上の様々なリソースのセキュリティデータを集約 して、一元的に可視化するサービス 前提： AWS Configの有効化が必要 • セキュリティのベストプラクティスからの逸脱を継続的モニタ リング • セキュリティ業界標準（CIS, PCI DSS等）に基づく評価を行 い、危険な設定やコンプライアンス違反を自動検出 • リスクの優先順位付け（Severity）と修復ガイダンスを提供
4. AWS Security Hub CSPMとは
5. 構成（失敗版） 30アカウント × 17リージョンで有効化
6. 翌朝出勤すると… Slackでメッセージが送信できないんだけど…
7. 何が起きたのか • Slackのレート制限を超過 • 大量の検出結果が一気に流れ込み、WebhookのAPI制限 に引っかかってしまった。 ⇨ Slackワークスペース全体が使用不能に！ 復旧するまでに2,3営業日ほど要した… 幸いなことに、業務では他のチャットツールを使用してい たため業務影響は生じなかった。
8. 構成（改善版） 30アカウント × 17リージョンで有効化 ポイント ・DynamoDB投入後、Status=NOTIFIEDに更新 ・EventBridge Schedulerで30分毎に通知処理を実行 検出結果タイトル毎に情報を集約して通知 ・Slack,Mail通知1件毎に2秒間スリープ また、通知後にStatus=NOTIFIEDに更新 結果：安定した通知システムが実現！
9. 今日の教訓 外部SaaS連携時はRate Limitを必ず意識しよう 学んだこと • 事前にAPI制限を調査・検証する • バッチ処理+適切な間隔での実行 • 障害時の代替手段（メール等）を用意 • 監視・アラートで早期発見
10. おまけ① 全アカウント＆全リージョン有効化時の月額運用コスト 構成：30アカウント × 17リージョン Security Hub： 約 $1,300 /月 Config： 約 $ 350 /月 GuardDuty： 約 $ 300 /月 Inspector： 約 $ 200 /月 IAM Access Analyzer： 約 $ 300 /月 その他（Lambda,DynamoDB,SES）約 $ 数十 /月 ーーーーーーーーーーーーーーーーーーーー 合計 約 $2,500 /月
11. おまけ② AWS ConfigのSeverityについて知っておきたいポイント • AWS Configで検知した検出結果は、デフォルトのSeverity がMEDIUMになっている 参照： https://docs.aws.amazon.com/securityhub/latest/userguide/securityhub-internal-providers.html
12. Thank You!! ご清聴ありがとうございました @Hirokazu_329