SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、 PDCAサイクルを回してみた

# サマリ
「SRE NEXT 2023」の登壇資料。
https://sre-next.dev/2023/

# 補足
昨今、DDoS攻撃や不正アクセスなど、攻撃にさらされる機会は少なくありません。
Site Reliability Engineering の組織の中でセキュリティに関しても見ている企業も多いのではないでしょうか。
ただし、「セキュリティのログを分析して打ち手を講じる」というフェーズまで取り組まれている企業は多くないかもしれません。

セキュリティ観点でのログ分析は「インシデント発生時のリアクティブな調査・分析」から「日々の傾向分析〜アクション創出といったプロアクティブな対応」を可能とします。
プロアクティブな対応ができれば、サイトの信頼性をより高めることが可能です。

ココナラで「どのようにSIEM on Amazon OpenSearch Serviceを導入し、ログ分析・モニタリングを実現したか？」や「ログ分析・モニタリングの結果をどのようにPDCAサイクルに繋げたか？」を登り方や事例を交えてご紹介します。
これからセキュリティログ分析に取り組む方だけでなく、現在取り組まれている方にも参考になる情報を提供します。

Transcript

1. Copyright coconala Inc. All Rights Reserved.
   SIEMを用いて、セキュリティログ分析の可
   視化と分析を実現し、
   PDCAサイクルを回してみた
   株式会社ココナラ
   川崎 雄太
   

   View Slide

2. Copyright coconala Inc. All Rights Reserved.
   本セッションに関するご質問、
   ご感想は「#srenext_b」をつけて
   ツイートをお願いします！
   また、懇親会にも参加しますので、
   ぜひ対面でもご質問ください！
   私のXアカウント（@yuta_k0911）も
   良かったらフォローしてください！
   2
   

   View Slide

3. Copyright coconala Inc. All Rights Reserved.
   3
   Agenda
   ココナラで抱えていたセキュリティの課題
   セキュリティログ分析への取り組み
   セキュリティの課題をどのように解決していったか？
   SIEM on Amazon OpenSearch Serviceの導入効果
   今後の取り組み
   1
   2
   3
   4
   5
   

   View Slide

4. Copyright coconala Inc. All Rights Reserved.
   発表者紹介
   4
   川崎 雄太　Yuta Kawasaki
   株式会社ココナラ
   システムプラットフォーム部
   部長 / Head of Information
   2020年　株式会社ココナラ入社
   プロダクトインフラ・SRE領域と社内情報システ
   ム / セキュリティ領域を担当
   2023年から技術広報 / エンジニアブランディン
   グの立ち上げにも携わっている
   

   View Slide

5. 一人ひとりが「自分のストーリー」を
   生きていく世の中を作る
   

   View Slide

6. Copyright coconala Inc. All Rights Reserved.
   6
   ココナラの事業内容
   「知識・スキル・経験」を売
   り買いできるスキルマー
   ケット

   「ココナラ」
   ITフリーランス向け

   業務委託案件紹介サービス

   「ココナラエージェント」

   ビジネス向けに特化した

   スキルマーケット

   「ココナラビジネス」

   一人ひとりにあった弁護士が
   見つかる検索メディア

   「ココナラ法律相談」

   

   View Slide

7. Copyright coconala Inc. All Rights Reserved.
   ココナラのエンジニア数の変遷
   7
   事業拡大に合わせて3年で約3倍の組織規模に成長
   2020年 2023年
   フェーズ 上場前 上場後
   エンジニア数 20人強 60人強
   リポジトリ数 45 146
   

   View Slide

8. Copyright coconala Inc. All Rights Reserved.
   ココナラで抱えていたセキュリティの課題
   Chapter 01
   8
   

   View Slide

9. Copyright coconala Inc. All Rights Reserved.
   2021年上場前後のセキュリティ課題
   9
   課題の把握が弱く、どの順番で何をすればよいか？が不明確
   ● 2021年3月に上場したが、その時点でセキュリティの専門
   部署がなく、どのようにロードマップを描き、合意形成し、推
   進していけばよいか不明確。
   ● セキュリティの課題がリストアップされておらず、「もぐらたた
   き」で対応をしていた。
   ● 自己流でログの取得だけは行っていたが、プロアクティ
   ブ・リアクティブな活用が出来ていない。
   ○ 今回はここにフォーカス！
   

   View Slide

10. Copyright coconala Inc. All Rights Reserved.
    ココナラでは、どのようにセキュリティ課題へ向き合ったか？
    10
    内部脅威・外部脅威に分類し、状況の可視化を実現
    ※2021年時点の状況
    数字が小さいところが
    対策できていない箇
    所＝優先して対応す
    べき事項。
    例えば、DDoS攻撃
    や脆弱性攻撃の対
    策が不十分だった。
    

    View Slide

11. Copyright coconala Inc. All Rights Reserved.
    セキュリティ課題の対応状況をモニタリングし、経営層へレポート
    11
    月次でセキュリティ課題の状況をモニタリングする運用を実現
    

    View Slide

12. Copyright coconala Inc. All Rights Reserved.
    話を戻しますが、
    今回のテーマはこちらです。
    12
    

    View Slide

13. Copyright coconala Inc. All Rights Reserved.
    セキュリティログの分析。
    「WAFログ」や「ELBログ」を中心に、課題
    や勘所をお伝えします。
    13
    

    View Slide

14. Copyright coconala Inc. All Rights Reserved.
    セキュリティログ分析への取り組み
    Chapter 02
    14
    

    View Slide

15. Copyright coconala Inc. All Rights Reserved.
    「セキュリティログ分析」と聞いて、
    何をイメージしますでしょうか？🤔
    私個人の解釈で説明します。
    15
    

    View Slide

16. Copyright coconala Inc. All Rights Reserved.
    セキュリティログ分析とは？
    16
    システムのコンディション把握と打ち手の創出をすること
    ● 分析、検知、監査、監視など目的は様々だが、「ある時点
    のシステムの状態（コンディション）を把握」し、そこ
    から「対応が必要な場合の打ち手を創出する」こと
    を目的としている。
    ● システムの規模が多くなればなるほど、ログの量が膨大と
    なるため、分析の仕組みが不可欠となる。
    

    View Slide

17. Copyright coconala Inc. All Rights Reserved.
    では、WAFログやELBログの
    セキュリティ分析は何が難しいか？🤔
    17
    

    View Slide

18. Copyright coconala Inc. All Rights Reserved.
    まずはそのままのデータ形式では、
    人に読みやすくない😵
    18
    

    View Slide

19. Copyright coconala Inc. All Rights Reserved.
    19
    ## AWS WAFログのサンプル
    {"timestamp":1660500016184,"formatVersion":1,"webaclId":"arn:aws:wafv2:xxxxxxxxxx:x
    xxxxxxxxxxx:regional/webacl/coconala-xxx-xxx/fxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx","t
    erminatingRuleId":"Default_Action","terminatingRuleType":"REGULAR","action":"ALLOW
    ","terminatingRuleMatchDetails":[],"httpSourceName":"ALB","httpSourceId":"xxxxxxxxxxx
    x-app/coconala-xxxxxxxxx/62e94fe4ea5bbd7d","ruleGroupList":
    〜〜中略〜〜
    "requestHeadersInserted":null,"responseCodeSent":null,"httpRequest":{"clientIp":"xxx.xx
    x.xxx.xxx","country":"JP","headers":[{"name":"host","value":"coconala.com"},{"name":"acc
    ept","value":"application/octet-stream,image/x-icon,image/jpg,image/jpeg,image/png,ima
    ge/x-win-bitmap,image/ico,image/x-bmp,image/tiff,image/gif,image/bmp,image/x-xbitmap
    ,binary/octet-stream,image/x-ms-bmp"},{"name":"user-agent","value":"Coconala/x.xx.x
    (com.coconala.ios.portal; build:x.xx.x; iOS xx.x.x)
    〜〜後略〜〜
    

    View Slide

20. Copyright coconala Inc. All Rights Reserved.
    ？？？
    なんとなくわかるところもあるが、
    ほとんどわからない…😅
    20
    

    View Slide

21. Copyright coconala Inc. All Rights Reserved.
    次に、ログの量が膨大😵
    WAFログだけで1日で120GB以上。
    人が1つ1つ確認するのは非現実的。
    21
    

    View Slide

22. Copyright coconala Inc. All Rights Reserved.
    そこで「SIEM on Amazon OpenSearch
    Service」の出番。
    ココナラではアクセス状況や攻撃・インシデン
    トの可視化・予測を行うことを
    目的として導入した。
    22
    

    View Slide

23. Copyright coconala Inc. All Rights Reserved.
    セキュリティの課題を
    どのように解決していったか？
    Chapter 03
    23
    

    View Slide

24. Copyright coconala Inc. All Rights Reserved.
    「餅は餅屋」ということで、まずはディスカッションをさせてもらう
    24
    AWS社と定例MTGを設けることで、検討の加速度を上げる
    

    View Slide

25. Copyright coconala Inc. All Rights Reserved.
    「餅は餅屋」ということで、ハンズオンを個別に開催してもらう
    25
    SIEM on Amazon OpenSearch Serviceの個別ハンズオン実施
    

    View Slide

26. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceとは？（1/2）
    26
    AWSサービスのログ可視化やセキュリティ分析を可能にする
    ● SIEMはSecurity Infomation and Event Managementの
    略であらゆるログの収集と一元管理を行い、相関分析に
    よる脅威検出とインシデントレスポンスをサポート。
    ● オープンソースのOpenSearchとKibanaを用いて、上記を
    実現している。
    

    View Slide

27. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceとは？（2/2）
    27
    

    View Slide

28. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceでモニタリングしているもの
    28
    主には以下の4つ、随時モニタリング可能なものを拡充中
    ● AWS WAF ⭐ご紹介します！
    ● Amazon Elastic Load Balancing ⭐ご紹介します！
    ● Amazon GuardDuty ⭐ご紹介します！
    ● AWS CloudTrail
    

    View Slide

29. Copyright coconala Inc. All Rights Reserved.
    ココナラのセキュリティ基盤イメージ図（代表的なサービスのみ記載）
    29
    

    View Slide

30. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング（1/4）
    30
    日次で傾向把握と分析、過去との比較からパターン化
    ● ココナラは国内を中心にサービスをしているため、国内・海
    外のIPアドレスによるアクセス状況 / ブロック状況 / エ
    ラー発生状況などをモニタリングする。
    ● アクセス状況を見て、WAFルールの点検などを行い、プ
    ロアクティブに攻撃への対策を実施。
    

    View Slide

31. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング（2/4）
    31
    システム全体のアクセス状況を把握
    

    View Slide

32. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング（3/4）
    32
    アクセス状況の詳細を把握、分析
    

    View Slide

33. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたWAFログのモニタリング（4/4）
    33
    WAFログ1行1行を人にわかりやすい形で確認
    

    View Slide

34. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング（1/3）
    34
    日次で傾向把握と分析、攻撃の芽を早めに摘む
    ● ココナラでは、4xx系と5xx系のリクエストが30秒あたり
    に100回を超えた場合に怪しいアクセスが増加したと判
    断。
    ● IPアドレスの割り出しやアクセスしているURLを確認し、特
    に不正なURLへアクセスしていることを確認したら、WAF
    のIPアドレス拒否リストへ追加する運用を実現。
    

    View Slide

35. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング（2/3）
    35
    HTTPレスポンスコードの状況から攻撃の芽を特定する
    

    View Slide

36. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたELBログのモニタリング（3/3）
    36
    IPアドレス別、国別、UA別、URL別のアクセス状況を分析する
    

    View Slide

37. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング（1/3）
    37
    日次で傾向把握と分析、攻撃の芽を早めに摘む
    ● ココナラでは、脅威発生状況（脅威の種類、IPアドレス別、
    国別、など）を確認・分析。
    ● 脅威を行うIPアドレスはHTTPリクエストとしても攻撃を仕掛
    けてくる可能性があるので、AWS WAF / ELBログの状況と
    突き合わせを行い、こちらもWAFのIPアドレス拒否リスト
    へ追加する運用を実現。
    

    View Slide

38. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング（2/3）
    38
    リージョン別、時間帯別の脅威状況を分析する
    

    View Slide

39. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Serviceを用いたGuardDutyのモニタリング（3/3）
    39
    種類別、IPアドレス別、ロケーション別の脅威状況を分析する
    

    View Slide

40. Copyright coconala Inc. All Rights Reserved.
    SIEMの仕組みとAWS WAF Bot Controlを組み合わせてみた
    40
    Botのアクセスを深掘りし、悪意を早期発見
    BotとBot以外のアクセス状況
    をリアルタイムに可視化。Botを
    カテゴライズして、状況を見るこ
    とが可能。
    ココナラでは、Botによるアク
    セスが増加した場合、攻撃
    の可能性もあるため、SIEM
    を確認する運用を実施。
    

    View Slide

41. Copyright coconala Inc. All Rights Reserved.
    ココナラで実践しているセキュリティモニタリング運用
    41
    毎営業日モニタリングを実施し、アクションを創出する
    毎営業日17:00時
    点の情報で定点確
    認（WAFログ以外
    も含めて、レポート
    作成）
    問題があれば、毎
    営業日18:00に集
    まり、確認・議論
    当日〜翌日以降の
    アクションを決め
    て、チケット化
    

    View Slide

42. Copyright coconala Inc. All Rights Reserved.
    SIEM on Amazon OpenSearch Service
    の導入効果
    Chapter 04
    42
    

    View Slide

43. Copyright coconala Inc. All Rights Reserved.
    システム全体の健康状態が一目瞭然になった
    43
    可視化とドリルダウンによる分析が可能になった
    例えば、「リクエスト数の急な
    増加」が発生した場合にそれ
    が悪意のあるアクセスなの
    かどうか？をダッシュボー
    ドを見るだけで一目瞭然に
    なった。
    その結果、次のアクション
    の意思決定を即座にでき
    るようになった。
    

    View Slide

44. Copyright coconala Inc. All Rights Reserved.
    日次モニタリング運用を効率的・効果的に実現できた
    44
    可視化・分析結果を確実にアクションまで落とし込めた
    モニタリングの結果から、悪意のある or お
    行儀の悪いアクセスをしているIPアドレ
    スを30以上捕捉し、拒否リストへ登録し
    た。（累計計1億回以上のアクセスをブロッ
    ク）
    また、AWS WAF Bot Controlを並用し、ログ
    イン状況などの事業KPIへの影響を他部
    門と連携して、適切な値を算出した。
    

    View Slide

45. Copyright coconala Inc. All Rights Reserved.
    状況が見えることで、アクションが打てるようになった
    45
    可視化 → 分析 → 改善のサイクルを回せるようになった
    システム全体のアクセス状況をダッ
    シュボード化し、ドリルダウンによる分
    析・異常値のを視覚的な把握によっ
    て、セキュリティインシデントの予兆
    検知と発生後の分析高速化を実現
    した。
    その結果、前述の拒否リストのアク
    ションまでつなげることができた。
    

    View Slide

46. Copyright coconala Inc. All Rights Reserved.
    今後の取り組み
    Chapter 05
    46
    

    View Slide

47. Copyright coconala Inc. All Rights Reserved.
    継続したリファクタリングの実践
    47
    一度、導入して終わりではなく、継続したリファクタリングを行う
    ● 攻撃は日々進化しているため、防御策も日々チューニング
    / リファクタリングを行う必要がある。
    ○ ソリューションは「導入する」よりも「導入後の運用」
    が重要
    ○ 「リアクティブ」だけでなく、「プロアクティブ」な仕掛
    けが重要
    

    View Slide

48. Copyright coconala Inc. All Rights Reserved.
    48
    SIEM on Amazon
    OpenSearch Service
    には多数のダッシュ
    ボードがデフォルトで
    用意されている。
    ログを取り込むだけで
    様々な情報の可視化・
    分析が可能になるの
    で、まずは試しに取り
    込み、見える化を実
    現する。
    

    View Slide

49. Copyright coconala Inc. All Rights Reserved.
    経営層を巻き込んでセキュリティ対策をより推進していく
    49
    経営層にセキュリティ対策の必要性・効果を理解してもらう
    ● セキュリティ強化を進めていくためには、経営層の理解が
    不可欠。
    ○ 「インシデント発生時の対応費」 ＞ 「セキュリティ対
    策費」という構図を理解してもらい、経営層と一緒にセ
    キュリティ対策を進めていく
    ● 予算は限られるので、取捨選択しつつ、効率的・効果的に
    対策を進めることが重要。
    

    View Slide

50. Copyright coconala Inc. All Rights Reserved.
    セキュリティログの分析👀により、
    サイトの信頼性向上の糸口💡が
    見つかります！！😁
    50
    

    View Slide

51. Fin
    

    View Slide

52. Copyright coconala Inc. All Rights Reserved.
    Appendix
    Chapter 06
    52
    

    View Slide

53. Copyright coconala Inc. All Rights Reserved.
    【参考】ココナラにおける別のセキュリティモニタリング（
    1/2）
    53
    ログイン試行回数、侵入検知状況などもモニタリング
    

    View Slide

54. Copyright coconala Inc. All Rights Reserved.
    【参考】ココナラにおける別のセキュリティモニタリング（
    2/2）
    54
    日次モニタリングを待たずに侵入行為やWAFブロック状況を検知
    

    View Slide