Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data...
Search
Yuji Oshima
June 05, 2024
Technology
2
300
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data linkage with AWS Storage Gateway
「Storage-JAWS #4 Storage LT祭り」で発表した資料
https://storage-jaws.connpass.com/event/319243/
Yuji Oshima
June 05, 2024
Tweet
Share
More Decks by Yuji Oshima
See All by Yuji Oshima
AWS re:Inforce 2024をおうちで楽しんでみた / Enjoyed AWS re:Inforce 2024 from home
yuj1osm
1
200
AWS BuilderCardsの遊び方 / How to play AWS BuilderCards
yuj1osm
1
230
2023年のAWSセキュリティと生成AIを振り返る / Review AWS Security and Generative AI in 2023
yuj1osm
0
260
re:Invent 2023で感じたセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as I felt at re:Invent 2023
yuj1osm
2
410
AWS Top Engineer (Security)がre:Invent 2023で見たセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as seen by AWS Top Engineer (Security) at re:Invent 2023
yuj1osm
0
230
AWS re:Invent 2023に参加してきた ~Amazon Inspectorのアップデートを添えて~ / AWS re:Invent 2023 Participation Bulletin with Amazon Inspector Updates
yuj1osm
0
590
Amazon Inspectorの進化がアツい!脆弱性管理サービスをよりインテリジェントに / Amazon Inspector's Evolution is Hot! Making Vulnerability Management Services more Intelligent
yuj1osm
1
420
クラウド時代を生き抜くためのセキュリティ技術と人材育成 / Security Technology and Human Resource Development to Survive in the Cloud Era
yuj1osm
0
200
アナハイムに行ってきた!AWS re:Inforce 2023参加報告(速報版) / AWS re:Inforce 2023 Participation Bulletin
yuj1osm
0
900
Other Decks in Technology
See All in Technology
Webセキュリティのあるきかた
akiym
20
7.3k
Hazard pointers with reference counter
ennael
PRO
0
120
Oracle GoldenGate 23ai 導入Tips
oracle4engineer
PRO
1
240
ITエンジニアとして知っておいてほしい、電子メールという大きな穴
logica0419
4
960
エンジニアは伝え方が9割/90% of what engineers need is communication skills
ykanoh
2
180
Strict Concurrencyにしたらdeinitでクラッシュする話
0si43
0
120
「ばん・さく・つき・たー!」にならないためにSHIROBAKOから 学んだこと
ysknsid25
3
610
【shownet.conf_】革新と伝統を融合したファシリティ
shownet
PRO
0
300
HashHub会社案内「なぜ今、パブリックブロックチェーンに賭けるのか」
hashhub
3
75k
KDD2024参加報告
cyberagentdevelopers
PRO
1
250
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
260
ガバメントクラウド開発と変化と成長する組織 / Organizational change and growth in developing a government cloud
kazeburo
4
710
Featured
See All Featured
Design by the Numbers
sachag
278
19k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
A designer walks into a library…
pauljervisheath
201
24k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
279
13k
Facilitating Awesome Meetings
lara
49
6k
Atom: Resistance is Futile
akmur
261
25k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
VelocityConf: Rendering Performance Case Studies
addyosmani
324
23k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
The Cult of Friendly URLs
andyhume
77
6k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
6
260
Transcript
AWS Storage Gatewayで始めるセキュアなデータ連携 大島 悠司 Storage-JAWS #4 Storage LT祭り
自己紹介 ◼ 大島 悠司 (Yuji Oshima) • NRI / NRIセキュア
/ ニューリジェンセキュリティ • SREグループマネージャー • AWS Community Builders (Security & Identity) • 2023 Japan AWS Top Engineers (Security) • 2022-2023 Japan AWS All Certifications Engineers • 10大脅威選考会 • 情報処理技術者試験委員会・情報処理安全確保支援士試験委員会 • JAWU-UG横浜支部 ◼ 経歴 • デジタルフォレンジック、マルウェア解析、スレットインテリジェンス • SOC、基盤運用、インシデントレスポンス • サービス開発、基盤構築運用、研究開発 yuj1osm 2
背景 ◼ 運用中のサービスで利用している膨大なデータを、他サービスで処理するために連携する要件あり 3 うちは OCI (Oracle Cloud Infrastructure) を使ってます
データを連携できるようにするので要件を教えてください OCI に Windows Server が載ってます SMB (Server Message Block) で連携したいです
要件整理 ◼ やりたいこと • OCI 上の Windows Server から S3
に SMB 接続ができること • Windows Server から S3 のオブジェクトを読み書きできること 4 AWS OCI OCI Compute SMB(445)
AWS Storage Gatewayを利用 ◼ AWS Storage Gateway とは • オンプレミス環境のデータとクラウドストレージの橋渡しをするサービス
• 高い拡張性、データ転送時のSSL/TLS暗号化やロギングなどのセキュリティ機能 • 以下のタイプが利用可 • S3ファイルゲートウェイ :SMB/NFSプロトコルを使ったS3へのアクセスを提供 • テープゲートウェイ :物理テープの代替として仮想テープライブラリを提供 • ボリュームゲートウェイ :iSCSIベースのストレージボリュームを提供 • S3ファイルゲートウェイの料金 ① ゲートウェイのEC2 + EBS 利用料 ② ゲートウェイ利用料 :ゲートウェイからS3への書き込み 0.01 USD/GB(100 GB/アカウントまで無料) ③ S3データ転送量 :inは無料 ④ S3データ保存量 5 Storage Gateway S3 ② EC2 EBS ① ③ ④
検証してみた ◼ OCI の代わりに AWS を利用 ◼ S3 と EBS
がファイル共有されており、EBS がアタッチされた EC2 に対して SMB アクセス ◼ アカウントB 側からは S3 に直接マウントしているように見える 6
◼ ゲートウェイを新規作成する 7 ゲートウェイセットアップ1 S3ファイルゲートウェイを選択 EC2を起動する 以下の文章に細かな要件が 書いてあるのでよく読むこと
ゲートウェイセットアップ2 ◼ EC2インスタンスを起動 • インスタンスタイプ m5.xlarge 以上 • EBS は
150 GiB 以上 • SMB の場合はセキュリティグループの インバウンドで TCP/445 を許可 8 セットアップ時だけ作業端末からの TCP/HTTP 許可が必要 これが無いとセットアップがエラーになる セットアップ後に TCP/HTTP のみ削除
ゲートウェイセットアップ3 ◼ ゲートウェイに戻って作成を完了させる 9 成功するとこの画面に遷移し、 EBSがキャッシュとして認識される 失敗するとこの画面に遷移する セキュリティグループの設定ミスの可能性が高い 設定内容を確認し「次へ」を押下 OK
NG
ファイル共有セットアップ1 ◼ ファイル共有を新規作成する 10 エンドポイントのサービスがS3でない場合 エンドポイントのインバウンドで TCP/443を許可してない場合 共有するS3バケットを指定
ファイル共有セットアップ2 ◼ SMBアクセスやキャッシュのTTLを設定 11 S3からはリアルタイム同期されない SMBのパスワードを設定
ファイル共有セットアップ3 ◼ ファイル共有作成後にSMBアクセスのためのコマンドを控えておく 12 net use Z: ¥¥<test-storagegw-eip>¥test-storagegw-bucket /user:sgw-XXXXXXXX¥smbguest SMBアクセスのためのコマンド
ドライブマウント確認 ◼ Windows Server から先ほど控えたコマンドを実行する 13 ファイル共有作成時に設定したパスワード入力 成功すると、「The command completed
successfully.」 と表示される エクスプローラーを見ると、ZドライブにS3がマウントされている
ファイル共有確認 ◼ Windows Server → S3 14 ◼ S3 →
Windows Server リアルタイムに反映 ファイル共有作成時のTTLの 設定どおり、遅延して反映
CloudWatch確認 ◼ 先ほどの「Windows Server → S3」のログ • ファイル作成と属性書き込みにより 「New Text
Document.txt」 が作成される • その後ファイル名変更と属性書き込みで 「windows_to_s3.txt」 に変更される 15
CloudWatchアラーム ◼ 以下のアラームが自動で作成される • CachePercentDirty :Storage Gateway から S3 へのアップロードできていない割合
• FileSharesUnavailable :Storage Gateway で使用不可状態にあるファイル共有の数 • IoWaitPercent :Storage Gateway の I/O の割合 16
推奨監視項目 ◼ 以下のようなメトリクスを監視しておくとよい 17 メトリクス 概要 UserCpuPercent ゲートウェイのCPU利用率 MemUsedBytes MemTotalBytes
ゲートウェイのメモリ利用量と合計量 RootDiskFreeBytes ゲートウェイのルートディスク空き容量数 NfsSessions ゲートウェイのアクティブなNFSセッションの数 SmbV1Sessions SmbV2Sessions SmbV3Sessions ゲートウェイのアクティブなSMBセッションの数 CachePercentUsed ゲートウェイのキャッシュストレージ利用率 FilesFailingUpload AWSへのアップロードに失敗したファイル数
まとめ Storage Gatewayを活用するメリット ◼ オンプレミスとのハイブリッドクラウドや他クラウドとのマルチクラウドなストレージを構築 ◼ データをシームレスに連携 ◼ 暗号化やロギングの機能によりセキュリティとコンプライアンスを確保 ◼
要件に応じて様々なゲートウェイタイプに対応 18