マルチプロダクト開発の現場でAWS Security Hubを1年以上運用して得た教訓

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 自己紹介吉澤政洋 @muziyoshiz ● 2017年8月からSRE ○ サービス運用監視の研究者、ソフトウェア開発者を経験したのち、DevOpsに関心を持つ ● 2023年3月にアンドパッド入社 ○ インフラセキュリティ ○ コスト可視化・最適化 ○ SREチームの社外発信・イベント参加の主導 ● SREコミュニティのスタッフ経験あり ○ SRE NEXT（2020〜2023）のコアスタッフ ● 趣味はボルダリング 2

Slide 3

Slide 3 text

アンドパッドの紹介

Slide 4

Slide 4 text

現場の効率化から経営改善まで一元管理できる建設DX プロジェクト管理サービス

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. マルチプロダクト戦略、多数の開発チーム ● インフラは全社統一基準だが、プロジェクト運営は各開発チームに委任 7 Frontend Backend Application QA Frontend Backend QA Frontend Backend Application 開発チームA 開発チームB 開発チームC Frontend Backend 開発チームD 横断的な関心事を扱うチーム（SRE, DBRE, CRE, セキュリティ, インフラコストマネジメントなど）

Slide 8

Slide 8 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. システム構成 ● メインはAWS ○ 要件に応じて、一部のプロダクトはGoogle Cloudのサービス（Firebaseなど）も利用 ● サービスはコンテナ化されており、Kubernetesを利用している ○ コンテナの大半はAmazon EKS上で動作するが、ECS on Fargateも併用 ○ サービスメッシュはLinkerdを採用 ● 2つのEKSクラスタを本番運用している ○ 歴史の長いモノリスのためのEKSクラスタ ○ マイクロサービスのためのEKSクラスタ ● Rubyの会社と思われがちだが、最近はGoで開発されるプロダクトも多い ○ 詳細は https://engineer.andpad.co.jp/ を参照のこと 8

Slide 9

Slide 9 text

AWS Security Hubによる継続的なセキュリティ診断

Slide 10

Slide 10 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 継続的なセキュリティ診断の必要性 ● アンドパッドでは開発チームにインフラの構築・管理を一部移譲している ○ SREチームだけでなく、開発チームも、TerraformなどのIaCツールを活用している ● 定期的なセキュリティ診断を行っているが、それだけではセキュリティリスクの発見が遅れる可能性がある ○ セキュリティリスクを早期発見するためにSREチームの事前レビューを必須とすると、SREチームが開発のボトルネックになってしまう 10

Slide 11

Slide 11 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. AWS Security Hubとは ● AWSが提供するクラウドセキュリティ態勢管理（CSPM: Cloud Security Posture Management）サービス ○ ビルトインされたセキュリティのベストプラクティスに基づき、 AWS上のリソースがベストプラクティスに従っているかチェックできる ※ベストプラクティス以外に、AWSの他サービス（Amazon GuardDutyなど）や　他社サービスによるチェック結果を集約する機能も持つが、今回の発表では扱わない 11

Slide 12

Slide 12 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 基礎知識：AWS Security Hubの用語 ● コントロール（セキュリティコントロール） ○ AWSリソースに対するチェック条件 ○ 各コントロールにIDが付与されている ■ 例：S3バケットに対するチェック条件はS3.1〜S3.24 ○ 不要なコントロールは無効化できる ● 検出結果 ○ 各AWSリソースに対するチェック結果 ○ AWSリソースとコントロールの組み合わせの数だけ発生する ○ 特別な理由がある場合には、特定のリソースの検出結果だけ抑止（suppress）できる 12

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. アンドパッドでの導入の効果 ● リソースの作成からセキュリティリスクの発見までの時間が短縮された ○ プッシュ通知への対応が定着した ○ 開発の初期段階でセキュリティリスクに気付けるため、開発チームに対して、設定の見直しを頼みやすくなった ● ナレッジが蓄積され、セキュリティリスクの発生が減った ○ ドキュメントの整備やTerraformファイルの改善が進んだため、過去の設定を踏襲してリソースを作成すればコントロールに違反しない（最初からPassedになる）状態になった ● 自発的な活用の度合いは開発チームによってまちまち ○ アンドパッドではAtlantis（TerraformのCIツール）の導入および開発チームへの展開を進めている ○ 開発チームによるリソースの作成が増えれば、Security Hubはさらに重要になる 16

Slide 17

Slide 17 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. ブログ記事： AWS Security Hubコントロールの有効無効をコード管理するのは予想のN倍大変だった話 https://tech.andpad.co.jp/entry/202 3/09/26/100000 過去の発表(1)：システム面の詳細 17 プレゼン資料： AWS Security Hubを「有効化したけど見てない」人に向けたDevSecOpsの実現方法 https://speakerdeck.com/muziyoshiz /kayac-andpad-event

Slide 18

Slide 18 text

Slide 19

Slide 19 text

AWS Security Hubを 1年以上運用して得た教訓

Slide 20

Slide 20 text

Slide 21

Slide 21 text

教訓1. 運用開始前に、対応が必要なコントロールの検出結果だけがプッシュ通知される状態にする

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 「運用開始前に」コントロールを分類する 24 対応すべきコントロールで、運用開始までに成功（Passed）状態にできる成功（Passed）状態にしたうえでそのコントロールを有効化するコントロールの内容運用開始前にすべきこと対応すべきコントロールだが、運用開始までには成功（Passed）状態にできない有効化するために必要な作業をタスク管理システムに登録したうえでそのコントロールを無効化する AWSが示す以外の方法でセキュリティが確保されているなどの理由で優先度が低いコントロールそのコントロールを無効化する

Slide 25

Slide 25 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. アンドパッドでのSecurity Hub導入プロセス 25 システム設計 2023年7月 8月 9月コントロールに関する SRE/DBREへのヒアリング運用スクリプトの開発や運用プロセスの整備開発チームとの調整、運用開始の周知対応すべきコントロールを成功（ Passed）状態にするための AWSリソースの修正 7/11 導入提案 9/25 説明会

Slide 26

Slide 26 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. アンドパッドでのSecurity Hub導入プロセス 26 システム設計 2023年7月 8月 9月コントロールに関する SRE/DBREへのヒアリング運用スクリプトの開発や運用プロセスの整備開発チームとの調整、運用開始の周知対応すべきコントロールを成功（ Passed）状態にするための AWSリソースの修正 7/11 導入提案 9/25 説明会 251件（当時）のコントロールを分類するために、 SRE/DBREと計11回の打合せを実施

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

教訓2. 新しいコントロールを自動的に有効にしない

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. Security Hubのデフォルトの動作 ● Security Hubの一般設定のなかにある「有効になっている標準で新しいコントロールを自動的に有効にする」という設定が、デフォルトでオンになっている ● 「コントロールが追加されたらプッシュ通知が届いて気づけるってこと？便利そうだからデフォルトのままにしておこう」 → そんなことはなかった 31

Slide 32

Slide 32 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 運用開始から2024年11月までに行われた変更 32 告知日変更内容 2023-10-10 19件追加 2023-12-14 15件追加 2024-02-15 6件削除 2024-02-19 1件追加 2024-05-03 15件追加 2024-05-13 7件追加 2024-06-11 9件追加告知日変更内容 2024-07-15 15件追加 2024-08-15 1件更新（Config.1） 2024-08-30 8件追加 2024-10-03 7件追加 2024-10-18 7件追加 2024-11-08 1件削除（Glue.2） 2024-11-15 5件追加 108件の追加、1件の更新、7件の削除

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. なにが問題だったのか？ 36 見る必要のない検出結果が大量に通知される新しいコントロールの採用は組織内で合意されていない問題理由コントロールの追加を知る手段として不完全コントロール1個につき複数の通知が発生するため、何個追加されたのかわかりづらいコントロールの追加の確認作業が1日で済まない AWSアカウントごとにコントロールの追加日が異なり、その都度通知が発生するコントロールの追加直後は対応できないことがある追加直後はAWSの公式サイトにまだ説明文がないことがある

Slide 37

Slide 37 text

Slide 38

Slide 38 text

教訓3. 一度有効または無効にすると決めたコントロールも定期的に棚卸しする

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. 「運用開始前に」コントロールを分類する 40 対応すべきコントロールで、運用開始までに成功（Passed）状態にできる成功（Passed）状態にしたうえでそのコントロールを有効化するコントロールの内容運用開始前にすべきこと対応すべきコントロールだが、運用開始までには成功（Passed）状態にできない有効化するために必要な作業をタスク管理システムに登録したうえでそのコントロールを無効化する AWSが示す以外の方法でセキュリティが確保されているなどの理由で優先度が低いコントロールそのコントロールを無効化する運用開始前に登録したタスクを振り返れていない

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

まとめ

Slide 44

Slide 44 text

Copyright © 2024 ANDPAD Inc. All Rights Reserved. まとめ ● アンドパッドでは、マルチプロダクト開発の現場で、開発チームを巻き込みながらAWS Security Hubを1年以上運用してきた ● その経験を、以下の3つの教訓にまとめてご紹介した 44 1 運用開始前に、対応が必要なコントロールの検出結果だけがプッシュ通知される状態にする 2 新しいコントロールを自動的に有効にしない 3 一度有効または無効にすると決めたコントロールも定期的に棚卸しする