Slide 1

Slide 1 text

Copyright coconala Inc. All Rights Reserved. SIEMを用いて、セキュリティログ分析の可 視化と分析を実現し、 PDCAサイクルを回し てみた 株式会社ココナラ 川崎 雄太 2024/04/17 DevOpsDays Tokyo 2024 @大崎ブライトホール

Slide 2

Slide 2 text

Copyright coconala Inc. All Rights Reserved. 発表者紹介 2 川崎 雄太 Yuta Kawasaki @yuta_k0911 株式会社ココナラ システムプラットフォーム部 部長 / Head of Information SRE / 情シス / セキュリティ領域のEM SRE NEXT 2024のコアメンバー 去年の自慢:PR TIMESに3回載った✨

Slide 3

Slide 3 text

Copyright coconala Inc. All Rights Reserved. 3 ココナラの事業内容

Slide 4

Slide 4 text

Copyright coconala Inc. All Rights Reserved. ココナラのエンジニア数の変遷 4 事業拡大に合わせて3年で約3倍の組織規模に成長 2020年 2023年 フェーズ 上場前 上場後 エンジニア数 20人強 70人強 リポジトリ数 45 170以上

Slide 5

Slide 5 text

Copyright coconala Inc. All Rights Reserved. 本題に入る前に本セッションの 期待値コントロールをします🙇 「SREやOpsが中心の話」です! 5

Slide 6

Slide 6 text

Copyright coconala Inc. All Rights Reserved. 6 Agenda ココナラで抱えていたセキュリティの課題 セキュリティログ分析への取り組み セキュリティの課題をどのように解決していったか? SIEM on Amazon OpenSearch Serviceの導入効果 今後の取り組み 2 1 5 3 4

Slide 7

Slide 7 text

Copyright coconala Inc. All Rights Reserved. ココナラで抱えていたセキュリティの課題 Chapter 01 7

Slide 8

Slide 8 text

Copyright coconala Inc. All Rights Reserved. ココナラの上場前後でのセキュリティ課題 8 内部脅威・外部脅威に分類し、アセスメントを実施 ※2021年時点の情報 対策度合いを数値で表 し、数値が小さい=優 先度高と定義。 例えば、この時点では 「DDoS攻撃」や「脆 弱性攻撃」の対策が 弱み。

Slide 9

Slide 9 text

Copyright coconala Inc. All Rights Reserved. アセスメント後、急いで対策を進めた ものの、リアクティブなものばかり…😵 昨今、DDoS攻撃や不正アクセスなど、Web サービスが攻撃にさらされる機会は増えてお り、何かプロアクティブにできる対策はない かと真剣に考えました🤔 9

Slide 10

Slide 10 text

Copyright coconala Inc. All Rights Reserved. そこで思いついたことが・・・💡 突然ですが、 「セキュリティログ分析」に 取り組んでいますか?🤔 10

Slide 11

Slide 11 text

Copyright coconala Inc. All Rights Reserved. セキュリティログ分析とは? 11 システムのコンディション把握と打ち手の創出をすること 分析、検知、監査、監視など目的は様々だ が、「ある時点のシステムの状態(コン ディション)を把握」し、そこから「対応 が必要な場合の打ち手を創出する」こ とを目的としている。 システムの規模が大きくなればなるほど、ログ の量が膨大となるため、分析の仕組みが 不可欠となる。

Slide 12

Slide 12 text

Copyright coconala Inc. All Rights Reserved. セキュリティログ分析をする ↓ 攻撃の痕跡・予兆を見つける ↓ プロアクティブな対策を講じる ↓ これって信頼性向上だし、リアクティブを減 らす=生産性向上では!?💪 12

Slide 13

Slide 13 text

Copyright coconala Inc. All Rights Reserved. ということで本日のテーマは セキュリティログの分析。 セキュリティとSRE / DevOpsを 掛け算することで、より良いシステム運用 ができるようになります!😁 13

Slide 14

Slide 14 text

Copyright coconala Inc. All Rights Reserved. セキュリティログ分析への取り組み Chapter 02 14

Slide 15

Slide 15 text

Copyright coconala Inc. All Rights Reserved. さて、どうやって 「セキュリティログ分析」をするか?🤔 1.人に読みやすくない😵 →情報量が多すぎる&相関関係がわかりにくい 2.ログの量が膨大😵 →WAFログだけで120GB以上/日 15

Slide 16

Slide 16 text

Copyright coconala Inc. All Rights Reserved. セキュリティログ分析の手段比較 16 無計画だとコストが肥大化するが、容易性の高さが決め手 SIEM on Amazon OpenSearch Service S3 + Athena メリット 可視化・モニタリングが容易 継続したモニタリング / アラート 発報にも適している コストが比較的安価 特定時点のモニタリングに適し ている デメリット 取り込むデータ量に応じて、コス トが増加 継続したモニタリングに不向き アラート発報などの作り込みが 必要

Slide 17

Slide 17 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceとは? 17 AWSが提供するログ相関分析・可視化のソリューション

Slide 18

Slide 18 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceでモニタリングしているもの 18 主には以下の4つ、随時モニタリング可能なものを拡充中 ● AWS WAF ⭐後ほど紹介します! ● Amazon Elastic Load Balancing ⭐後ほど紹介します! ● Amazon GuardDuty ● AWS CloudTrail

Slide 19

Slide 19 text

Copyright coconala Inc. All Rights Reserved. セキュリティの課題をどのように 解決していったか? Chapter 03 19

Slide 20

Slide 20 text

Copyright coconala Inc. All Rights Reserved. 「餅は餅屋」ということで、まずはディスカッションから始める 20 AWS社との定例MTGや個別のハンズオンを開催

Slide 21

Slide 21 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング(1/3) 21 日次で傾向把握と分析、過去との比較からパターン化 ココナラは国内を中心にサービスをしてい るため、国内・海外のIPアドレスによる アクセス状況 / ブロック状況 / エラー 発生状況などをモニタリングする。 アクセス状況を見て、WAFルールの点 検などを行い、プロアクティブに攻撃 への対策を実施。

Slide 22

Slide 22 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング(2/3) 22 システム全体のアクセス状況を把握

Slide 23

Slide 23 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング(3/3) 23 アクセス状況の詳細を把握、分析

Slide 24

Slide 24 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング(1/3) 24 日次で傾向把握と分析、攻撃の芽を早めに摘む 4xx系と5xx系のリクエストが30秒あ たりに100回を超えた場合に怪しいア クセスが増加したと判断し、随時セキュリ ティログ分析を行う運用をしている。 特に不正なURLへのアクセスを多数確 認したら、WAFのIPアドレス拒否リス トへ追加する運用を実現。

Slide 25

Slide 25 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング(2/3) 25 HTTPレスポンスコードの状況から攻撃の芽を特定する

Slide 26

Slide 26 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング(3/3) 26 IPアドレス別、国別、UA別、URL別のアクセス状況を分析する

Slide 27

Slide 27 text

Copyright coconala Inc. All Rights Reserved. ココナラで実践しているセキュリティモニタリング運用 27 毎営業日モニタリングを実施し、アクションを創出する 毎営業日17:00時 点の情報で定点確 認(WAFログ以外 も含めて、レポート 作成) 問題があれば、毎 営業日18:00に集 まり、確認・議論 当日〜翌日以降の アクションを決め て、チケット化 ※↑は定常運用なので、異常が発生した場合は  アラートを発報し、随時調査しています!

Slide 28

Slide 28 text

Copyright coconala Inc. All Rights Reserved. 実際にセキュリティログ分析をしてみてわかったこと 28 意外と攻撃やお行儀の悪いアクセスは来ている 想像以上にお行儀の悪いアクセス・攻撃と思 われるアクセスが頻繁に来ていた。 例えば、◯snbotがとんでもない頻度でアク セス(おそらくスクレイピング)していて、閾値 に引っかかっていた。 怪しいアクセスは「5xx系」ではなく、 「403」で返せれば止まることが大多数!

Slide 29

Slide 29 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceの 導入効果 Chapter 04 29

Slide 30

Slide 30 text

Copyright coconala Inc. All Rights Reserved. システム全体の健康状態が一目瞭然になった 30 可視化とドリルダウンによる分析が可能になった 例えば、「リクエスト数の急な増 加」が発生した場合にそれが悪 意のあるアクセスなのかどう か?をダッシュボードを見る だけで一目瞭然になった。 その結果、次のアクションの 意思決定を即座にできるよう になった。

Slide 31

Slide 31 text

Copyright coconala Inc. All Rights Reserved. 状況が見えることで、アクションが打てるようになった 31 可視化 → 分析 → 改善のサイクルを回せるようになった システム全体のアクセス状況をダッシュボード 化し、ドリルダウンによる分析・異常値のを視 覚的な把握によって、セキュリティインシデン トの予兆検知と発生後の分析高速化を実 現した。 その結果、例えば悪意のあるIPアドレスの 拒否リスト登録〜定期リファクタリングまで つなげることができた。

Slide 32

Slide 32 text

Copyright coconala Inc. All Rights Reserved. 今後の取り組み Chapter 05 32

Slide 33

Slide 33 text

Copyright coconala Inc. All Rights Reserved. 継続したリファクタリングの実践 33 一度、導入して終わりではなく、継続したリファクタリングを行う 攻撃は日々進化しているため、チューニング / リファクタリングが必要。 怪しいアクセスを403で返されば信頼性は高 まると言えるが、油断はできない。 ・閾値によるモニタリングの脱却 → 機械 学習による異常予測検知 ・AIOpsによる速やかな原因分析 ・・・and more!

Slide 34

Slide 34 text

Copyright coconala Inc. All Rights Reserved. 新たなソリューションへの積極的なアプローチ 34 より良いソリューションを積極的にキャッチアップする セキュリティ対策ソリューションも日々進化し ているので、今のアーキテクチャーや運用 が最適解ではなくなるタイミングもいずれ は訪れる。 急にそのタイミングが訪れてあたふたしない ように日々、他社事例の収集や最新ソ リューションの動向を追いかけることが 大事。

Slide 35

Slide 35 text

Copyright coconala Inc. All Rights Reserved. セキュリティログの分析👀により、 サイトの信頼性向上の糸口💡が 見つかります!!😁 Security logs analysis could be a silver bullet…?? 35

Slide 36

Slide 36 text

Fin

Slide 37

Slide 37 text

Copyright coconala Inc. All Rights Reserved. Appendix Chapter 06 37

Slide 38

Slide 38 text

Copyright coconala Inc. All Rights Reserved. 38 ## AWS WAFログのサンプル {"timestamp":1660500016184,"formatVersion":1,"webaclId":"arn:aws:wafv2:xxxxxxxxxx:x xxxxxxxxxxx:regional/webacl/coconala-xxx-xxx/fxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx","t erminatingRuleId":"Default_Action","terminatingRuleType":"REGULAR","action":"ALLOW ","terminatingRuleMatchDetails":[],"httpSourceName":"ALB","httpSourceId":"xxxxxxxxxxx x-app/coconala-xxxxxxxxx/62e94fe4ea5bbd7d","ruleGroupList": 〜〜中略〜〜 "requestHeadersInserted":null,"responseCodeSent":null,"httpRequest":{"clientIp":"xxx.xx x.xxx.xxx","country":"JP","headers":[{"name":"host","value":"coconala.com"},{"name":"acc ept","value":"application/octet-stream,image/x-icon,image/jpg,image/jpeg,image/png,ima ge/x-win-bitmap,image/ico,image/x-bmp,image/tiff,image/gif,image/bmp,image/x-xbitmap ,binary/octet-stream,image/x-ms-bmp"},{"name":"user-agent","value":"Coconala/x.xx.x (com.coconala.ios.portal; build:x.xx.x; iOS xx.x.x) 〜〜後略〜〜

Slide 39

Slide 39 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング 39 WAFログ1行1行を人にわかりやすい形で確認

Slide 40

Slide 40 text

Copyright coconala Inc. All Rights Reserved. ココナラのセキュリティ基盤イメージ図(代表的なサービスのみ記載) 40

Slide 41

Slide 41 text

Copyright coconala Inc. All Rights Reserved. SIEMの仕組みとAWS WAF Bot Controlを組み合わせてみた 41 Botのアクセスを深掘りし、悪意を早期発見 BotとBot以外のアクセス状況 をリアルタイムに可視化。Botを カテゴライズして、状況を見るこ とが可能。 ココナラでは、Botによるアク セスが増加した場合、攻撃 の可能性もあるため、SIEM を確認する運用を実施。

Slide 42

Slide 42 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング(1/3) 42 日次で傾向把握と分析、攻撃の芽を早めに摘む ● ココナラでは、脅威発生状況(脅威の種類、IPアドレス別、 国別、など)を確認・分析。 ● 脅威を行うIPアドレスはHTTPリクエストとしても攻撃を仕掛 けてくる可能性があるので、AWS WAF / ELBログの状況と 突き合わせを行い、こちらもWAFのIPアドレス拒否リスト へ追加する運用を実現。

Slide 43

Slide 43 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング(2/3) 43 リージョン別、時間帯別の脅威状況を分析する

Slide 44

Slide 44 text

Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング(3/3) 44 種類別、IPアドレス別、ロケーション別の脅威状況を分析する

Slide 45

Slide 45 text

Copyright coconala Inc. All Rights Reserved. ココナラにおける別のセキュリティモニタリング( 1/2) 45 ログイン試行回数、侵入検知状況などもモニタリング

Slide 46

Slide 46 text

Copyright coconala Inc. All Rights Reserved. ココナラにおける別のセキュリティモニタリング( 2/2) 46 日次モニタリングを待たずに侵入行為やWAFブロック状況を検知