Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ココナラが膨大なセキュリティログの可視化と分析を実現するまで

 ココナラが膨大なセキュリティログの可視化と分析を実現するまで

# サマリ
「最新のサイバー攻撃の現状とWebセキュリティ対策(WAF/DDoS対策)実例セミナー」に登壇した際の資料
https://pages.awscloud.com/eib-edge-services-230810-reg.html

タイトルは「ココナラが膨大なセキュリティログの可視化と分析を実現するまで」

# 補足
昨今、DDoS 攻撃や不正アクセスなど、攻撃にさらされる機会は少なくありません。 その中でセキュリティ観点でのログ分析の重要性は高く、例えば「インシデント発生時のリアクティブな調査・分析」から「日々の傾向分析〜アクション創出といったプロアクティブな対応」を可能とします。 「ココナラで抱えていたセキュリティの課題」や「どのように SIEM on Amazon OpenSearch Service を導入し、セキュリティログ分析やモニタリングを実現していったか ?」について、具体的な取り組みをご紹介します。

coconala_engineer

August 10, 2023
Tweet

More Decks by coconala_engineer

Other Decks in Technology

Transcript

  1. Copyright coconala Inc. All Rights Reserved. 2 Agenda ココナラで抱えていたセキュリティの課題 セキュリティログ分析への取り組み

    セキュリティの課題をどのように解決していったか? SIEM on Amazon OpenSearch Serviceの導入効果 今後の取り組み 1 2 3 4 5
  2. Copyright coconala Inc. All Rights Reserved. 発表者紹介 3 川崎 雄太 Yuta

    Kawasaki 株式会社ココナラ システムプラットフォーム部 システムプラットフォームグループ Group Manager 2020年 株式会社ココナラ入社 プロダクトインフラ・SRE領域と社内情報システ ム / セキュリティ領域を担当 2023年から技術広報 / エンジニアブランディン グの立ち上げにも携わっている
  3. Copyright coconala Inc. All Rights Reserved. 5 ココナラの事業内容 「知識・スキル・経験」を売 り買いできるスキルマー

    ケット
 「ココナラ」 ITフリーランス向け
 業務委託案件紹介サービス
 「ココナラエージェント」
 ビジネス向けに特化した
 スキルマーケット
 「ココナラビジネス」
 一人ひとりにあった弁護士が 見つかる検索メディア
 「ココナラ法律相談」

  4. Copyright coconala Inc. All Rights Reserved. ココナラのエンジニア組織 6 事業拡大に合わせて3年で約3倍の組織規模に成長 2020年

    2023年 フェーズ 上場前 上場後 エンジニア数 20人強 60人強 リポジトリ数 45 146
  5. Copyright coconala Inc. All Rights Reserved. ココナラのセキュリティ組織(1/2) 7 「CSIRT」がプロダクト・社内情報システムの両方を見る •

    2021年9月にCSIRTを立ち上げた。 ◦ それまではセキュリティ専門組織はなく、インフラ ・SREエンジニアが手の空いたときに対応 • 2023年8月時点で2名の組織、プロダクト・社内情報システ ム両方のセキュリティ施策の企画からモニタリング運用まで 担当している。 ◦ リソースが限られているので、優先度の高い施策を効 率的に遂行することが不可欠
  6. Copyright coconala Inc. All Rights Reserved. ココナラのセキュリティ組織(2/2) 8 社員数は増加中、セキュリティの役割範囲はより広がる ※2023年5月の情報

    「社員数が増加する =セキュリティリスク にさらされる機会が増 える」という構図のた め、CSIRTに求めら れる期待値も高 まっていく。
  7. Copyright coconala Inc. All Rights Reserved. 2021年上場前後のセキュリティ課題 10 課題の把握が弱く、どの順番で何をすればよいか?が不明確 •

    2021年3月に上場したが、その時点でセキュリティの専門 部署がなく、どのようにロードマップを描き、合意形成し、推 進していけばよいか不明確。 • セキュリティの課題がリストアップされておらず、「もぐらたた き」で対応をしていた。 • 自己流でログの取得だけは行っていたが、プロアクティ ブ・リアクティブな活用が出来ていない。 ◦ 今回はここにフォーカス!
  8. Copyright coconala Inc. All Rights Reserved. ココナラでは、どのようにセキュリティ課題へ向き合ったか? 11 内部脅威・外部脅威に分類し、状況の可視化を実現 ※2021年時点の状況

    数字が小さいところが 対策できていない箇 所=優先して対応す べき事項。 例えば、DDoS攻撃 や脆弱性攻撃の対 策が不十分だった。
  9. Copyright coconala Inc. All Rights Reserved. セキュリティログ分析とは? 17 システムのコンディション把握と打ち手の創出をすること •

    分析、検知、監査、監視など目的は様々だが、「ある時点 のシステムの状態(コンディション)を把握」し、そこ から「対応が必要な場合の打ち手を創出する」こと を目的としている。 • システムの規模が多くなればなるほど、ログの量が膨大と なるため、分析の仕組みが不可欠となる。
  10. Copyright coconala Inc. All Rights Reserved. 20 ## AWS WAFログのサンプル

    {"timestamp":1660500016184,"formatVersion":1,"webaclId":"arn:aws:wafv2:xxxxxxxxxx:x xxxxxxxxxxx:regional/webacl/coconala-xxx-xxx/fxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx","t erminatingRuleId":"Default_Action","terminatingRuleType":"REGULAR","action":"ALLOW ","terminatingRuleMatchDetails":[],"httpSourceName":"ALB","httpSourceId":"xxxxxxxxxxx x-app/coconala-xxxxxxxxx/62e94fe4ea5bbd7d","ruleGroupList": 〜〜中略〜〜 "requestHeadersInserted":null,"responseCodeSent":null,"httpRequest":{"clientIp":"xxx.xx x.xxx.xxx","country":"JP","headers":[{"name":"host","value":"coconala.com"},{"name":"acc ept","value":"application/octet-stream,image/x-icon,image/jpg,image/jpeg,image/png,ima ge/x-win-bitmap,image/ico,image/x-bmp,image/tiff,image/gif,image/bmp,image/x-xbitmap ,binary/octet-stream,image/x-ms-bmp"},{"name":"user-agent","value":"Coconala/x.xx.x (com.coconala.ios.portal; build:x.xx.x; iOS xx.x.x) 〜〜後略〜〜
  11. Copyright coconala Inc. All Rights Reserved. そこで「SIEM on Amazon OpenSearch

    Service」の出番。 ココナラではアクセス状況や攻撃・インシデン トの可視化・予測を行うことを 目的として導入した。 23
  12. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceとは?(1/2) 28 AWSサービスのログ可視化やセキュリティ分析を可能にする • SIEMはSecurity Infomation and Event Managementの 略であらゆるログの収集と一元管理を行い、相関分析に よる脅威検出とインシデントレスポンスをサポート。 • オープンソースのOpenSearchとKibanaを用いて、上記を 実現している。
  13. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceでモニタリングしているもの 30 主には以下の4つ、随時モニタリング可能なものを拡充中 • AWS WAF ⭐ご紹介します! • Amazon Elastic Load Balancing ⭐ご紹介します! • Amazon GuardDuty ⭐ご紹介します! • AWS CloudTrail
  14. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたWAFログのモニタリング(1/4) 32 日次で傾向把握と分析、過去との比較からパターン化 • ココナラは国内を中心にサービスをしているため、国内・海 外のIPアドレスによるアクセス状況 / ブロック状況 / エ ラー発生状況などをモニタリングする。 • アクセス状況を見て、WAFルールの点検などを行い、プ ロアクティブに攻撃への対策を実施。
  15. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたWAFログのモニタリング(2/4) 33 システム全体のアクセス状況を把握
  16. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたWAFログのモニタリング(3/4) 34 アクセス状況の詳細を把握、分析
  17. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたWAFログのモニタリング(4/4) 35 WAFログ1行1行を人にわかりやすい形で確認
  18. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたELBログのモニタリング(1/3) 36 日次で傾向把握と分析、攻撃の芽を早めに摘む • ココナラでは、4xx系と5xx系のリクエストが30秒あたり に100回を超えた場合に怪しいアクセスが増加したと判 断。 • IPアドレスの割り出しやアクセスしているURLを確認し、特 に不正なURLへアクセスしていることを確認したら、WAF のIPアドレス拒否リストへ追加する運用を実現。
  19. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたELBログのモニタリング(2/3) 37 HTTPレスポンスコードの状況から攻撃の芽を特定する
  20. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたELBログのモニタリング(3/3) 38 IPアドレス別、国別、UA別、URL別のアクセス状況を分析する
  21. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたGuardDutyのモニタリング(1/3) 39 日次で傾向把握と分析、攻撃の芽を早めに摘む • ココナラでは、脅威発生状況(脅威の種類、IPアドレス別、 国別、など)を確認・分析。 • 脅威を行うIPアドレスはHTTPリクエストとしても攻撃を仕掛 けてくる可能性があるので、AWS WAF / ELBログの状況と 突き合わせを行い、こちらもWAFのIPアドレス拒否リスト へ追加する運用を実現。
  22. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたGuardDutyのモニタリング(2/3) 40
  23. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたGuardDutyのモニタリング(3/3) 41
  24. Copyright coconala Inc. All Rights Reserved. SIEMの仕組みとAWS WAF Bot Controlを組み合わせてみた

    42 Botのアクセスを深掘りし、悪意を早期発見 BotとBot以外のアクセス状況 をリアルタイムに可視化。Botを カテゴライズして、状況を見るこ とが可能。 ココナラでは、Botによるアク セスが増加した場合、攻撃 の可能性もあるため、SIEM を確認する運用を実施。
  25. Copyright coconala Inc. All Rights Reserved. ココナラで実践しているセキュリティモニタリング運用 43 毎営業日モニタリングを実施し、アクションを創出する 毎営業日17:00時

    点の情報で定点確 認(WAFログ以外 も含めて、レポート 作成) 問題があれば、毎 営業日18:00に集 まり、確認・議論 当日〜翌日以降の アクションを決め て、チケット化
  26. Copyright coconala Inc. All Rights Reserved. システム全体の健康状態が一目瞭然になった 47 可視化とドリルダウンによる分析が可能になった •

    例えば、「リクエスト数の急な増加」が発生した場合にそれ が悪意のあるアクセスなのかどうか?をダッシュボード を見るだけでわかるようになった。 • 結果をもとに次のアクションの意思決定を即座にできる ようになり、常に状況を追いかけることが可能になった。
  27. Copyright coconala Inc. All Rights Reserved. 日次モニタリング運用を効率的・効果的に実現できた 48 可視化・分析した内容を確実にアクションまで落とし込む •

    モニタリングの結果から、悪意のある or お行儀の悪い アクセスをしているIPアドレスを30以上捕捉し、拒否リ ストへ登録。 ◦ 累計1,000万回以上のアクセスをブロックし、正規の ユーザーのアクセスを守っている • また、AWS WAF Bot Controlを並用し、botのアクセス状況 を把握し、ログイン状況などのKPIへの影響をデータサイエ ンス部門と連携。
  28. Copyright coconala Inc. All Rights Reserved. 状況が見えることで、アクションが打てるようになった 49 可視化 →

    分析 → 改善のサイクルを回せるようになった • システム全体のアクセス状況をダッシュボード化し、ドリル ダウンによる分析を可能にした。 • 異常値を視覚的に把握することができ、セキュリティインシ デントの予兆検知と発生後の分析高速化を実現した。 • その結果、前述の拒否リストのアクションまでつなげる ことができた。
  29. Copyright coconala Inc. All Rights Reserved. 継続したリファクタリングの実践 51 一度、導入して終わりではなく、継続したリファクタリングを行う •

    攻撃は日々進化しているため、防御策も日々チューニング / リファクタリングを行う必要がある。 ◦ ソリューションは「導入する」よりも「導入後の運用」 が重要 ◦ 「リアクティブ」だけでなく、「プロアクティブ」な仕掛 けが重要
  30. Copyright coconala Inc. All Rights Reserved. 52 SIEM on Amazon

    OpenSearch Service には多数のダッシュ ボードがデフォルトで 用意されている。 ログを取り込むだけで 様々な情報の可視化・ 分析が可能になるの で、まずは試しに取り 込み、見える化を実 現する。
  31. Copyright coconala Inc. All Rights Reserved. 経営層を巻き込んでセキュリティ対策をより推進していく 53 経営層にセキュリティ対策の必要性・効果を理解してもらう •

    セキュリティ強化を進めていくためには、経営層の理解が 不可欠。 ◦ 「インシデント発生時の対応費」 > 「セキュリティ対 策費」という構図を理解してもらい、経営層と一緒にセ キュリティ対策を進めていく • 予算は限られるので、取捨選択しつつ、効率的・効果的に 対策を進めることが重要。
  32. Fin

  33. Copyright coconala Inc. All Rights Reserved. AWS WAF Bot Controlで見れるデータ

    59 AllowRequestsと BlokedRequestsの状況をリア ルタイムで見ることが可能。 Overview以外からも状況 をざっくり確認することがで きる。 許可 / ブロック状況もモニタリング可能
  34. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceの導入時に参考にした資料 60 • SIEM on Amazon OpenSearch Serviceのリポジトリ ◦ https://github.com/aws-samples/siem-on-amazon-op ensearch-service/blob/main/README_ja.md • AWS社のハンズオン資料 ◦ https://speakerdeck.com/prog893/startup-dot-fm-eas ier-log-analysis-with-siem-on-amazon-elasticsearch- service
  35. Copyright coconala Inc. All Rights Reserved. ココナラで運用しているAWS WAFのルール(一例) 61 •

    検索エンジンのクローラーのUA許可。 • 海外のIPアドレスに対するレートベース。 ◦ 同一IPアドレスから、閾値を超過するアクセスを検知し たら一定時間遮断する • 日本国内のIPアドレスに対するレートベース。 ◦ 同上
  36. Copyright coconala Inc. All Rights Reserved. SIEM on Amazon OpenSearch

    Serviceを用いたモニタリング 62 • リクエスト数の増減の確認 ◦ ココナラは20:00 - 24:00ごろがアクセス数がピークとな り、深夜はアクセス数が下がる • 普段と異なる波形を示している場合、WAFログ / ELBログ を突き合わせて、深堀り・傾向分析を実施 ◦ アクセスしているパスの妥当性 ◦ 単位時間あたりにアクセスしている回数の妥当性 ◦ その他攻撃のようなアクセスをしていないか?など