AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data linkage with AWS Storage Gateway

「Storage-JAWS #4 Storage LT祭り」で発表した資料
https://storage-jaws.connpass.com/event/319243/

Transcript

1. AWS Storage Gatewayで始めるセキュアなデータ連携 大島 悠司 Storage-JAWS #4 Storage LT祭り
2. 自己紹介 ◼ 大島 悠司 (Yuji Oshima) • NRI / NRIセキュア / ニューリジェンセキュリティ • SREグループマネージャー • AWS Community Builders (Security & Identity) • 2023 Japan AWS Top Engineers (Security) • 2022-2023 Japan AWS All Certifications Engineers • 10大脅威選考会 • 情報処理技術者試験委員会・情報処理安全確保支援士試験委員会 • JAWU-UG横浜支部 ◼ 経歴 • デジタルフォレンジック、マルウェア解析、スレットインテリジェンス • SOC、基盤運用、インシデントレスポンス • サービス開発、基盤構築運用、研究開発 yuj1osm 2
3. 背景 ◼ 運用中のサービスで利用している膨大なデータを、他サービスで処理するために連携する要件あり 3 うちは OCI (Oracle Cloud Infrastructure) を使ってます データを連携できるようにするので要件を教えてください OCI に Windows Server が載ってます SMB (Server Message Block) で連携したいです
4. 要件整理 ◼ やりたいこと • OCI 上の Windows Server から S3 に SMB 接続ができること • Windows Server から S3 のオブジェクトを読み書きできること 4 AWS OCI OCI Compute SMB(445)
5. AWS Storage Gatewayを利用 ◼ AWS Storage Gateway とは • オンプレミス環境のデータとクラウドストレージの橋渡しをするサービス • 高い拡張性、データ転送時のSSL/TLS暗号化やロギングなどのセキュリティ機能 • 以下のタイプが利用可 • S3ファイルゲートウェイ ：SMB/NFSプロトコルを使ったS3へのアクセスを提供 • テープゲートウェイ ：物理テープの代替として仮想テープライブラリを提供 • ボリュームゲートウェイ ：iSCSIベースのストレージボリュームを提供 • S3ファイルゲートウェイの料金 ① ゲートウェイのEC2 + EBS 利用料 ② ゲートウェイ利用料 ：ゲートウェイからS3への書き込み 0.01 USD/GB（100 GB/アカウントまで無料） ③ S3データ転送量 ：inは無料 ④ S3データ保存量 5 Storage Gateway S3 ② EC2 EBS ① ③ ④
6. 検証してみた ◼ OCI の代わりに AWS を利用 ◼ S3 と EBS がファイル共有されており、EBS がアタッチされた EC2 に対して SMB アクセス ◼ アカウントB 側からは S3 に直接マウントしているように見える 6
7. ◼ ゲートウェイを新規作成する 7 ゲートウェイセットアップ1 S3ファイルゲートウェイを選択 EC2を起動する 以下の文章に細かな要件が 書いてあるのでよく読むこと
8. ゲートウェイセットアップ2 ◼ EC2インスタンスを起動 • インスタンスタイプ m5.xlarge 以上 • EBS は 150 GiB 以上 • SMB の場合はセキュリティグループの インバウンドで TCP/445 を許可 8 セットアップ時だけ作業端末からの TCP/HTTP 許可が必要 これが無いとセットアップがエラーになる セットアップ後に TCP/HTTP のみ削除
9. ゲートウェイセットアップ3 ◼ ゲートウェイに戻って作成を完了させる 9 成功するとこの画面に遷移し、 EBSがキャッシュとして認識される 失敗するとこの画面に遷移する セキュリティグループの設定ミスの可能性が高い 設定内容を確認し「次へ」を押下 OK NG
10. ファイル共有セットアップ1 ◼ ファイル共有を新規作成する 10 エンドポイントのサービスがS3でない場合 エンドポイントのインバウンドで TCP/443を許可してない場合 共有するS3バケットを指定
11. ファイル共有セットアップ2 ◼ SMBアクセスやキャッシュのTTLを設定 11 S3からはリアルタイム同期されない SMBのパスワードを設定
12. ファイル共有セットアップ3 ◼ ファイル共有作成後にSMBアクセスのためのコマンドを控えておく 12 net use Z: ¥¥<test-storagegw-eip>¥test-storagegw-bucket /user:sgw-XXXXXXXX¥smbguest SMBアクセスのためのコマンド
13. ドライブマウント確認 ◼ Windows Server から先ほど控えたコマンドを実行する 13 ファイル共有作成時に設定したパスワード入力 成功すると、「The command completed successfully.」 と表示される エクスプローラーを見ると、ZドライブにS3がマウントされている
14. ファイル共有確認 ◼ Windows Server → S3 14 ◼ S3 → Windows Server リアルタイムに反映 ファイル共有作成時のTTLの 設定どおり、遅延して反映
15. CloudWatch確認 ◼ 先ほどの「Windows Server → S3」のログ • ファイル作成と属性書き込みにより 「New Text Document.txt」 が作成される • その後ファイル名変更と属性書き込みで 「windows_to_s3.txt」 に変更される 15
16. CloudWatchアラーム ◼ 以下のアラームが自動で作成される • CachePercentDirty ：Storage Gateway から S3 へのアップロードできていない割合 • FileSharesUnavailable ：Storage Gateway で使用不可状態にあるファイル共有の数 • IoWaitPercent ：Storage Gateway の I/O の割合 16
17. 推奨監視項目 ◼ 以下のようなメトリクスを監視しておくとよい 17 メトリクス 概要 UserCpuPercent ゲートウェイのCPU利用率 MemUsedBytes MemTotalBytes ゲートウェイのメモリ利用量と合計量 RootDiskFreeBytes ゲートウェイのルートディスク空き容量数 NfsSessions ゲートウェイのアクティブなNFSセッションの数 SmbV1Sessions SmbV2Sessions SmbV3Sessions ゲートウェイのアクティブなSMBセッションの数 CachePercentUsed ゲートウェイのキャッシュストレージ利用率 FilesFailingUpload AWSへのアップロードに失敗したファイル数
18. まとめ Storage Gatewayを活用するメリット ◼ オンプレミスとのハイブリッドクラウドや他クラウドとのマルチクラウドなストレージを構築 ◼ データをシームレスに連携 ◼ 暗号化やロギングの機能によりセキュリティとコンプライアンスを確保 ◼ 要件に応じて様々なゲートウェイタイプに対応 18