2023/09/14 Fin-JAWS #32 「SIEM on Amazon OpenSearch Serviceを1年運用してわかったこと」

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 自己紹介小出淳二（こいでじゅんじ）株式会社QUICK グループ統括CIO補佐株式会社QES クラウドプラットフォーム本部本部長補佐 Fin-JAWS 運営 E-JAWS 人材育成分科会運営 re:Invent歴：5回（2015,2016,2017,2019,2022） AWS認定13冠趣味：海外旅行（渡航60ヵ国）世界遺産巡り

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. SIEM導入の背景 • ミッションクリティカルな株価配信サービス基盤を AWS へ移行し 1,500 台の仮想サーバーのクラウド化で 60% のサーバーコストを削減競合優位性の獲得に向けてクラウドネイティブ化を加速 https://aws.amazon.com/jp/solutions/case-studies/quick/ • 今後オンプレミスのさらに大規模な AWS 移行を予定している。現状さまざまな課題があるので、このタイミングで全社統合ログ分析基盤の構築を検討したい

Slide 5

Slide 5 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. • リアルタイムなログ分析現状のログ分析基盤はリアルタイムな集計や分析に対応していないため、顧客のニーズやインサイトをいち早く捉えることが出来ない • トラブル発生時のログ調査アプリケーション不具合、セキュリティインシデント等のトラブル発生時、ログの調査に時間がかかり対応も属人的になっている • AWS サービスログの分析 Amazon Athena で SQL クエリー文を書く必要があり学習コストが高いダッシュボードが準備されておらず分析等に有効活用できていない当時の課題

Slide 6

Slide 6 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 課題解決に向けて • 全社ログの集約全社のログを一カ所に集約し、横串で相関分析できるようにする • データソースの拡充（アクセスログ、アプリログの取り込み）データソースの範囲を AWS 全サービスログ、OS、アクセスログ、アプリケーションログ等に広げる • ログの可視化ダッシュボードを見れば一目で社内システムの状況がわかるように、ログを可視化する

Slide 7

Slide 7 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. SIEM基盤が出来ると何がうれしいのかトラブル対応（セキュリティインシデント等）トラブル発生時、迅速に原因を特定し対応することが出来る学習コストダッシュボードと使い易い GUI を用意することにより、学習コストが下がり、迅速な分析が可能になるデータ活用ログにおける様々なデータをニアリアルタイムに集約・収集・分析出来ることにより、サービスの機能改善や分析データの顧客提供などデータの活用が促進できる

Slide 8

Slide 8 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. SIEM基盤の要件 • AWS 全サービスログ、OS、アクセスログ、アプリケーションログ等を取り込みダッシュボードによる可視化が可能であること • ログの取り込みはマルチアカウントに対応していること • ニアリアルタイムな分析が可能であること • ログ監視基盤でもあること（柔軟なアラート設定が可能であること） • １年は即時検索可能であること（１年経過したログは、Amazon S3 に保管し Amazon Athena で検索可能）

Slide 9

Slide 9 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Elasticsearch Service における課題どうやって Amazon Elasticsearch Service にログを取り込めばいいのか？ログの取り込みにコストが掛かる • AWS各サービスのログを取り込むためには、Amazon S3 または Amazon CloudWatch Logs に出力されたログを取り込む Logstash サーバを立てる必要がある • 各ログのフォーマットを分析して Logstash で ETL 処理するのは正直つらい・・

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. SIEM on Amazon ES とは • AWS が OSS で公開している SIEM ソリューション • このソリューションを利用することで、AWS CloudTrail や VPC Flow Logs、 Amazon GuardDuty、OS などの各種ログの可視化やセキュリティ分析を行う事が可能 • 各種ログが適切に正規化されている • マネージドサービスとサーバーレスの仕組みで作られていて運用が楽 • マルチアカウント、マルチリージョンのログ取り込みが可能 https://github.com/aws-samples/siem-on-amazon-elasticsearch- service/blob/main/README_ja.md

Slide 13

Slide 13 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. なぜログ分析に Amazon Elasticsearch Service なのか？ Kibana の操作性が秀逸（これに尽きる！） • 簡単な直感的な操作でログをフィルタリングして調査できる • アドホックな分析に強く、検索性能も高い • ダッシュボード作成も難易度は低い “ 学習コストが低いため、利用者への説明コストもかなり低くなった ”

Slide 14

Slide 14 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kibana（現 OpenSearch Dashboard）画面 ❶全文検索機能 & 簡単操作でのフィルタリング ❷ 直感的なフィールド選択 ❹時間の範囲選択も簡単 ❸フィールド値の上位5位まで表示 SQL知識が無くても格納されているデータをすぐに把握できるのが最大の魅力

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. ※アプリケーション毎に Amazon Kinesis Data Firehose をデプロイアプリケーション毎に Amazon S3 のファイルパスを分ける AWS Cloud Fargate Task Application A Firelens log Amazon Kinesis Data Firehose Fluent bit S3 Bucket Fargate Task Application B Firelens log Amazon Kinesis Data Firehose Fluent bit S3 Bucket AWS Cloud S3 Replication Time Control S3 Bucket S3 Bucket S3 Replication Time Control Amazon Elasticsearch Service es-loader es-loader ログ分析基盤アカウント

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本番運用を1年以上やってわかったこと • 全AWSサービスログの取り込み、特にVPC Flowlogs はムリ全取り込みしていたが、ログ全体の95％以上が VPC Flowlogsというよくわからない状況にｗ大規模構成では、コスト見合いで必要なサブネットだけ取り込むとか、rejectだけ取り込むとか、あきらめる、とかの工夫が必要

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめエンタープライズの AWS利用に関して、SIEM基盤構築は組織や事業にとって非常に重要バージョンアップ運用（セキュリティパッチ含む）は結構つらい SIEM on Amazon OpenSearch Service は、AWS CloudFormation で手軽に導入可能なので是非ご活用いただきたい！ https://github.com/aws-samples/siem-on-amazon-opensearch- service/blob/main/README_ja.md

Slide 31

Slide 31 text