Startup.fm: SIEM on Amazon Elasticsearch Serviceでログ調査＆分析を楽にしよう / Startup.fm: Easier log analysis with SIEM on Amazon Elasticsearch Service

スタートアップのお客様にAWS Elasticsearch ServiceやSIEM on AWSの概要をご理解いただき、ログ分析に活かしていただくためのセミナーです。

以下のようなお悩みを抱えている方が対象です:
・Amazon GuardDuty や Amazon Virtual Private Cloud(VPC) Flow Logs、AWS CloudTrail などでログ収集はしているが、活用できていないと感じる
・アプリケーションログのうまい活用方法が分からない
・パフォーマンス調査やトラブルシューティングをもっと楽にしたい

Transcript

1. © 2021, Amazon Web Services, Inc. or its Affiliates.
   Tamirlan Torgayev @prog893
   Startup Solutions Architect
   Amazon Web Services Japan
   2021/04/08
   SIEM on Amazon Elasticsearch Serviceで
   ログ調査＆分析を楽にしよう
   Startup.fm – Analytics編
   

   View Slide

2. © 2021, Amazon Web Services, Inc. or its Affiliates.
   Tamirlan Torgayev (ティーマ)
   Startup Solutions Architect
   Amazon Web Services Japan
   メガベンチャーグループ企業に新卒入社、
   様々なメディアサービスのインフラを支援
   AWSでスタートアップ支援
   好きなもの: Amazon Kinesis、 Amazon ECS、
   カメラ!、猫"
   @prog893
   

   View Slide

3. © 2021, Amazon Web Services, Inc. or its Affiliates.
   本⽇のアジェンダ
   • トラブル発⽣時のログ調査の課題
   • Amazon Elasticsearch Service
   • Elasticsearchとは
   • Open Distroとは
   • Amazon Elasticsearch Serviceとは
   • SIEM on Amazon Elasticsearch Serviceとは
   • SIEM on Amazon Elasticsearch Serviceのデモ
   • 関連イベントの紹介
   • Q&A
   

   View Slide

4. © 2021, Amazon Web Services, Inc. or its Affiliates.
   トラブル発⽣時のログ調査の課題
   

   View Slide

5. © 2021, Amazon Web Services, Inc. or its Affiliates.
   ログの「そもそも」について学びたい⽅へ
   https://speakerdeck.com/prog893
   

   View Slide

6. © 2021, Amazon Web Services, Inc. or its Affiliates.
   ログ︖なぜ集めるの︖いつどう調査分析するの︖
   • ⾊々なログがある、例えば:
   • セキュリティ
   • AWS CloudTrail、VPC Flow Logs、など
   • アプリケーションの状態を把握するためのもの
   • エラーログ、アクセスログ、など
   • トラブル発⽣時、これらのログの調査が必要
   • セキュリティインシデント → 発⽣原因、被害範囲の特定、対応
   • アプリケーション → クラッシュ原因、スロウダウン原因の特定、
   障害時の調査
   • 多くの場合、それぞれのフォーマット、スキーマ、保存先がバラバラ
   

   View Slide

7. © 2021, Amazon Web Services, Inc. or its Affiliates.
   調査に時間がかかり⼈への依存が⾼い
   • 様々なログがバラバラになっていたり、調査には⾼度なスキルが必要
   • セキュリティログの収集や調査も重要だが、これもこれで⼤変…
   • 調査に時間がかかり、専⾨家など特定の⼈への依存が⾼い
   • lead timeが伸びて、開発効率が悪化する
   • セキュリティインシデンとの場合、
   なるべく早く原因を特定し、対応することが特に重要
   

   View Slide

8. © 2021, Amazon Web Services, Inc. or its Affiliates.
   私の経験談
   • トラブルが発⽣したら、職⼈技によって⽣み出されし
   謎のシェルスクリプトを実⾏ → トラブル原因調査をしていた
   • メンテナンス不可能なスクリプト、中⾝も読めない
   • zcat | jq | grep | cut
   • jqのクエリ、grepのregexが秘伝のタレ化しやすい
   • 都度スクリプト実⾏したりすると、事故ったり、調査時間が伸びたり
   • 障害対応は番⼈制だが、ログの調査、分析に詳しい⼈への依存があり
   その⽇の担当じゃない⼈が呼ばれる → 負担が偏る
   （こういうスクリプトを私も作ったりしていたが、作った翌⽇はもう、何がなんだかわからない）
   

   View Slide

9. © 2021, Amazon Web Services, Inc. or its Affiliates.
   ログ調査、分析をかんたんにするには︖
   • 継続的に調査で使う全てのログをElasticsearchに⼊れる
   • Kibanaで可視化 (Dashboard)
   • KibanaのGUIで調査
   • GUIで検索クエリを構築
   • 異なるログ種類同⼠の付き合わせ
   

   View Slide

10. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Amazon Elasticsearch Service
    

    View Slide

11. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Elasticsearchとは
    • 様々なユースケースを解決する分散型
    RESTful 検索/分析エンジン
    • Elasticsearch に付随するソフトウェア
    として、データ取り込みの Logstash や
    Beats、可視化⽤の Kibana などがある
    可視化
    検索・分析
    収集
    

    View Slide

12. © 2021, Amazon Web Services, Inc. or its Affiliates.
    IT 運⽤監視 セキュリティ情報や
    イベントの管理
    アプリケーションの
    監視や分析
    IoT 機器の
    監視やデータ分析
    アプリケーションの
    検索機能
    ターゲテイング広告
    さまざまなユースケース
    

    View Slide

13. © 2021, Amazon Web Services, Inc. or its Affiliates.
    エンタープライズグレードのセキュリティ、
    アラート、SQL などにより強化された
    Elasticsearch の Apache 2.0 ライセンスの
    ディストリビューション
    https://opendistro.github.io/for-elasticsearch/
    

    View Slide

14. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Open Distro: アラーティング
    アラート条件のカスタム
    アラートのしきい値および重⼤度を複数の
    トリガー条件に対して定義する
    アラート内容を確認
    すべてのアラートの実⾏はインデックスされ、追
    跡と視覚化を容易にする
    通知を取得
    WebhookとSlackへの組み込み済みの統合を使⽤
    して、利⽤中のチャネルで通知を受け取る
    モニターの作成
    アラートを受け取る必要のあるデータをクエリする
    

    View Slide

15. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Open Distro: インデックス管理
    インデックスの管理
    Kibana を使って Elasticsearch の
    インデックスを管理する
    ポリシーの定義
    インデックスを管理するポリシーを作成する
    ポリシーの適⽤
    ポリシーを適⽤して、
    インデックスを監視および管理する
    サポートされるアクションには、オープン、
    読み取り専⽤、読み取り書き込み、レプリカ数、
    ロールオーバー、強制マージ、クローズ、削除、
    通知が含まれる
    

    View Slide

16. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Amazon Elasticsearch Serviceとは
    ElasticsearchとKibana を
    簡単にデプロイ・管理し、
    スケールさせることが可能な
    フルマネージドサービス
    Amazon Elasticsearch Service
    (Amazon ES)
    

    View Slide

17. © 2021, Amazon Web Services, Inc. or its Affiliates.
    柔軟性
    データの検索やログの分析が可能
    AWS とオープンソースの
    取り込みツールをサポートする
    優れたコスト効率
    従量課⾦制の⽀払い
    運⽤コストの削減、適切なインスタンス
    タイプのサイジング、リザーブドインス
    タンスも選択可能
    ⾼可⽤性
    セルフヒーリング、24時間 365⽇の
    モニタリング、1クリックでマルチ AZ活⽤、
    ⾃動バックアップ、AWS サポートの利⽤、
    Amazon CloudWatch でのメトリクス取得
    スケーラブル & ⾼性能
    ワンクリックでスケール、
    Elasticsearchバージョンの
    アップグレード、パッチ適⽤
    セキュア
    Amazon VPC 内へのデプロイ、
    Amazon Cognitoによるログイン
    HIPAA、FISMA、SOC、PCI、
    FedRampに準拠
    フルマネージド型
    APIやAWSコンソールを利⽤して、
    わずか数分でクラスターをデプロイできる
    Amazon Elasticsearch Serviceの利点
    

    View Slide

18. © 2021, Amazon Web Services, Inc. or its Affiliates.
    UltraWarm for Amazon Elasticsearch Service
    ログ分析用のクラウド最適化アーキテクチャ
    • 最⼤ 90% のコスト削減
    • マルチ PB スケール
    • ⾼い性能と耐久性
    • インタラクティブで統合
    されたログ分析
    Amazon S3
    UltraWarm UltraWarm UltraWarm
    Data
    Node
    Data
    Node
    Data
    Node
    Data
    Node
    “Hot” Data
    Nodes
    UltraWarm
    Data Nodes
    Amazon Elasticsearch Service
    

    View Slide

19. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ログ⼀元管理への道
    • よし、Elasticsearchにデータを⼊れてKibanaで可視化しよう︕
    • 課題: データフローを作っていたりするのがコストがかかる
    • ログの形式、スキーマがバラバラ
    • 共通の形式に合わせるロジックをログ種類ごとに⽤意するのは⼤変
    • Elasticsearchへの格納のロジックの⽤意にも⼯数かかる…
    この課題を解決するのは、
    SIEM on Amazon Elasticsearch Service
    

    View Slide

20. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon Elasticsearch
    Serviceとは
    

    View Slide

21. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEMとは
    Security Information and Event Management
    セキュリティ機器、ネットワーク機器、その他のあらゆる機器の
    データを収集及び⼀元管理をして、相関分析によって脅威検出と
    インシデントレスポンスをサポートするためのソリューション
    

    View Slide

22. © 2021, Amazon Web Services, Inc. or its Affiliates.
    防御 検知 対応
    ⾃動化
    調査
    復旧
    識別
    AWS Systems
    Manager
    AWS Config
    AWS
    Lambda
    Amazon
    CloudWatch
    Amazon
    Inspector
    Amazon
    Macie
    Amazon
    GuardDuty
    AWS
    Security Hub
    AWS IoT
    Device Defender
    KMS
    IAM
    AWS
    Single
    Sign-On
    Snapshot Archive
    AWS
    CloudTrail
    Amazon
    CloudWatch
    Amazon
    VPC
    AWS WAF
    AWS Shield AWS Secrets
    Manager
    AWS
    Firewall
    Manager
    AWS
    Organizations
    Personal Health
    Dashboard
    Amazon
    Route 53
    AWS Direct
    Connect
    AWS Transit
    Gateway
    Amazon VPC
    PrivateLink
    AWS Step
    Functions
    Amazon Cloud
    Directory
    AWS
    CloudHSM
    AWS
    Certificate
    Manager
    AWS Control
    Tower
    AWS Service
    Catalog
    AWS Well-
    Architected
    Tool
    AWS Trusted
    Advisor
    Resource
    Access
    Manager
    AWS Directory
    Service
    Amazon
    Cognito
    Amazon S3
    Glacier
    AWS
    Security Hub
    AWS Systems
    Manager
    AWS
    CloudFormation
    AWS
    OpsWorks
    Amazon
    Detective
    AWS セキュリティサービスと NIST サイバーセキュリティフレームワーク
    SIEM
    +
    

    View Slide

23. © 2021, Amazon Web Services, Inc. or its Affiliates.
    インシデントレスポンスにおけるSIEMとその必要性
    • インシデントレスポンスでは脅威の検出後に調査が必要
    • 調査の⽬的攻撃成否/被害の有無の判断 (トリアージ)
    • 根本原因の特定
    • 被害規模や漏洩情報の特定
    • 迅速な調査で、対応完了までの時間を短縮し、被害を最⼩化
    • インシデントレスポンスにおけるログ調査の課題:
    • 脅威のアラート⽣成が複数に分散すると管理が難しい
    • 調査対象が広範囲になりがちで多数のログの収集や分析で
    時間を要する
    ! SIEMで課題解決︕
    

    View Slide

24. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ユースケース
    相関分析1(ネットワーク)
    GuardDuty の脅威検出結果の送信元のIPアドレスをキーにして、
    GuardDuty、CloudTrail、VPC Flow Logs、Webサーバ、SSH等のログを抽出
    ネットワークログを時系列に並び替えて分析
    相関分析2(インスタンスID)
    GuardDuty の脅威検出結果のインスタンスIDをキーにして、
    GuardDuty、CloudTrail、Inspector、 (Config、Config Rule) のログを抽出、
    インシデントと変更履歴と脆弱性を時系列に並び替えて分析
    ダッシュボードによる可視化
    CloudTrailのAPIコールの集計、時系列の変化、アクセス元のIPを世界地図で確認
    脅威検知とアラートの⼀元管理
    ITシステムの全ての脅威検知を集約、特定条件(危険度⾼等)に
    マッチした脅威のみをアラート
    

    View Slide

25. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon Elasticsearch Serviceとは
    • AWS ネイティブログのセキュリティ監視をするためのスクリプトや
    ダッシュボードのサンプル
    • オープンソースとして公開:
    https://github.com/aws-samples/siem-on-amazon-elasticsearch
    • AWS JapanのSecurity SAが開発
    • 特徴
    • マネージドサービスとサーバーレスのみで構成
    • AWS サービス専⽤の正規化、ダッシュボード
    • CloudFormation/CDK によるデプロイ、約20分で完了
    • クラウドサービスをご利⽤した分だけの従量制料⾦
    • マルチアカウント、マルチリージョン対応
    

    View Slide

26. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon ES のアーキテクチャ
    

    View Slide

27. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ダッシュボードの例
    # ログをセキュリティ分析の観点から
    時系列、地理情報などで視覚化
    AWS CloudTrail Amazon GuardDuty
    

    View Slide

28. © 2021, Amazon Web Services, Inc. or its Affiliates.
    1. GitHub: aws-samples/siem-on-amazon-elasticsearch にアクセス
    https://github.com/aws-samples/siem-on-amazon-elasticsearch/blob/main/README_ja.md
    2. AWS CloudFormation のテンプレートを選択
    3. CloudFormation でパラーメータを3つ⼊れて実⾏、約20分後にデプロイ完了
    4. 可視化・分析したいログを S3 バケットに保存
    SIEM on Amazon ES の利⽤⽅法
    

    View Slide

29. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ログの正規化 (ETL)
    • 正規化: 複数種類のログで同じ意味を持つフィールドに
    同⼀のフィールド名を付与
    • 正規化により串刺しで効率的に検索できるようになる
    • 正規化はElastic Common Schema準拠
    • 他にも送信元IP、送信先IP、 EC2 Instance ID、
    Access key等の重要フィールドは正規化済み
    

    View Slide

30. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ログの正規化 before/after例
    GuardDutyで脅威検知したインシデントの関連ログを複数ログから抽出
    正規化処理されてない例:
    (recipientAccountId:111111111111 AND sourceIPAddress:198.51.100.1) OR
    (account_id:111111111111 AND srcaddr:198.51.100.1) OR
    (accountId:111111111111 AND
    (service.action.awsApiCallAction.remoteIpDetails.ipAddressV4:198.51.100.1 OR
    service.action.portProbeAction.portProbeDetails.remoteIpDetails.ipAddressV4:198.51.100.1))
    ( cloud.account.id:111111111111 AND source.ip:198.51.100.1 )
    正規化処理をした場合:
    GuardDuty
    VPC Flow Logs
    CloudTrail
    共通スキーマ
    

    View Slide

31. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon ES で対応済みログ
    • AWS CloudTrail
    • AWS Network Firewall
    • Amazon VPC Flow Logs
    • Amazon GuardDuty
    • Amazon Security Hub
    • GuardDuty
    • Amazon Macie
    • Amazon Inspector
    • AWS IAM Access Analyzer
    • Route53 Resolver DNS query log
    • Linux /var/log/secure
    • Amazon Elastic Container Service
    • Amazon S3 access log
    • Elastic Load Balancing
    • Application Load Balancer
    • Network load balancer
    • Classic Load Balancer
    • AWS WAF
    • AWS WAF
    • AWS Classic WAF
    • Amazon CloudFront
    • Standard access log
    • Real-time log
    • Amazon Relational Database Service
    • MySQL/MariaDB/PostgreSQL
    • Amazon Managed Streaming for
    Apache Kafka
    他のログについても順次対応︕
    

    View Slide

32. © 2021, Amazon Web Services, Inc. or its Affiliates.
    S3 バケットの保存済みログの取り込み
    個別アカウント
    (マルチアカウント/マルチリージョン)
    ログ監視用アカウント
    ※バッチにはaws s3 listの
    実行結果を入力
    SIEM on Amazon ES のモジュールをサーバー上で実⾏することにより、
    S3 バケットに保存済みのログを可視化することが可能
    

    View Slide

33. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon ES に対するお客様の声
    • ダッシュボードで AWS のログを可視化できるのは助かる
    • 正規化の重要性がわかった。
    それを事前に定義しているのでありがたい
    • ⾍眼鏡のマイナスだったり簡単な操作でログをフィルタリングして
    調査できるのは良い
    • IT 運⽤のログ調査やトラブルシューティングにも使えそう
    • ⼀つの画⾯でテーブル表⽰によるサマリと、
    ⽣ログを確認できるのは良い
    

    View Slide

34. © 2021, Amazon Web Services, Inc. or its Affiliates.
    SIEM on Amazon Elasticsearch
    Serviceのデモ
    

    View Slide

35. © 2021, Amazon Web Services, Inc. or its Affiliates.
    デモ - 環境
    ログ監視用アカウント
    (オレゴン)
    複数アカウント(オレゴン)
    複数アカウント(東京)
    ログ集約
    Lambda関数
    ETL処理
    Amazon
    Elasticsearch
    Service
    

    View Slide

36. © 2021, Amazon Web Services, Inc. or its Affiliates.
    関連イベントの紹介
    

    View Slide

37. © 2021, Amazon Web Services, Inc. or its Affiliates.
    ログの可視化やセキュリティ分析を実現する
    SIEM on Amazon Elasticsearch Service ハンズオンセミナー
    • 日程: 2021年 4月 22日 (木) 14:00 ～ 16:30 オンライン開催
    • もっと詳しい話聞きたい方、
    構築を行なってSIEM on Amazon ESを触ってみたい方、ぜひご参加ください
    • 参加者にはハンズオン専用のAWSアカウントを提供します
    • スタートアップ向けのハンズオンなので、お気軽にご参加ください！
    • 詳細、申し込みはこちらから:
    https://pages.awscloud.com/JAPAN-field-OE-SIEM-on-AES-0422-2021-reg-
    event.html
    

    View Slide

38. © 2021, Amazon Web Services, Inc. or its Affiliates.
    最後に
    • 全てのログをしっかり取りましょう
    • CloudTrailログがないと、セキュリティインシデント発生時の
    調査ができなくなる
    • 同様、アプリケーションのログがないと、
    アプリケーション起因のトラブルの調査が不可能
    • 逆に、全てのログがS3にさえあれば、
    SIEM on Amazon ESの構築は後からでも可能
    • トラブル発生に備えて、迅速な対応ができる環境を作りましょう
    • ツール: Elasticsearch + Kibana
    • トラブル発生時のマニュアル (playbook)の用意、
    定期的な対応訓練の実施
    • トラブルに気付ける仕組みを整えましょう
    • 監視、メトリクス/ログベースアラート、GuardDuty、など
    

    View Slide

39. © 2021, Amazon Web Services, Inc. or its Affiliates.
    Q&A
    Tamirlan Torgayev
    Startup Solutions Architect, AWS Japan
    

    View Slide