AWS ファイルストレージはじめの一歩

AWS Summit Japan 2024 のミニステージにて話したファイルストレージセッション

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. J A P A N | J U N E 2 0 , 2 0 2 4
2. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ファイルストレージ はじめの⼀歩 吉澤 巧 M I N I S E S S I O N アマゾン ウェブ サービス ジャパン合同会社 デジタルサービス技術本部 デジタルサービスソリューション部 Solutions Architect
3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 名前︓吉澤 巧（Yoshizawa Takumi） 所属︓アマゾン ウェブ サービス ジャパン合同会社 所属︓技術統括本部 所属︓ソリューションアーキテクト 特技︓気象予報⼠ 好きなAWSサービス︓ 所属︓Amazon Simple Storage Service（Amazon S3） Amazon FSx シリーズ ⾃⼰紹介
4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションのゴール AWS におけるファイルストレージサービスの特徴を理解し 最適なサービスを選択できるようになる 本セッションの対象者 • オンプレミスにおけるファイルストレージの運⽤に課題を持たれている⽅ • AWS のファイルストレージサービスの理解を深めたい⽅
5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda • AWS のストレージサービスについて • 各ファイルストレージサービスの紹介 • まとめ
6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS のストレージサービスについて
7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. オンプレミス上のファイルストレージの課題 ハードウェア運⽤ ソフトウェア運⽤ • 定期的な増設対応 • 保守期限終了への対応 • 障害対応と復旧 • ⾼額な初期費⽤ • …
8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ストレージサービスのメリット 俊敏性 必要なストレージリソースを すぐに展開 経済性 初期投資が不要、従量課⾦ ライセンス管理が不要に 柔軟性 容量やスループットを 迅速に拡張可能 幅広いサービス お客様の声による 新サービス提供や機能改善 グローバル 簡単に世界中に デプロイが可能 ⾼いセキュリティ セキュリティは常に AWS の最優先事項
9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS のストレージサービス ブロック Amazon Elastic Block Store (EBS) ファイル オブジェクト Amazon S3 バックアップ AWS Backup AWS Snowball Edge AWS Snowcone AWS Storage Gateway AWS DataSync AWS Transfer Family データ転送と移⾏ Amazon Elastic File System (EFS) Amazon FSx for NetApp ONTAP Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon FSx for OpenZFS Amazon File Cache
10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 各ファイルストレージサービスの紹介
11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 つのファイルストレージファミリー Amazon EFS • ファイルの変更に応じて⾃動で 拡張・縮⼩する NFS サーバー • サーバーレスアプリケーションからも 利⽤可能 クラウドネイティブな アプリケーション構築に Amazon FSx シリーズ • 広く利⽤される 4 種の ファイルシステムをマネージドに提供 • 既存のファイルシステムを クラウド上で継続利⽤可能 オンプレミス上の ファイルストレージ移⾏に
12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 つのファイルストレージファミリー Amazon EFS • ファイルの変更に応じて⾃動で 拡張・縮⼩する NFS サーバー • サーバーレスアプリケーションからも 利⽤可能 クラウドネイティブな アプリケーション構築に Amazon FSx シリーズ • 広く利⽤される 4 種の ファイルシステムをマネージドに提供 • 既存のファイルシステムを クラウド上で継続利⽤可能 オンプレミス上の ファイルストレージ移⾏に
13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS プロトコル NFS 4.0, 4.1 最⼤ IOPS 250,000 (read) 50,000 (write) 最⼤スループット 20 GiB/s (read) 5 GiB/s (write) レイテンシー 最低 250 μs (read) 最低 2.7 ms (write) * リージョンタイプ、Elastic スループットを選択した場合 フルマネージドな NFS サーバー • マネジメントコンソールを 数回クリックするだけで起動可能 • サーバーや OS の管理が不要で、 簡単に NFS サーバーが利⽤できる プロビジョニングは不要に • 使⽤したストレージ容量に応じて⾃動で拡張縮⼩ 料⾦は実際に使⽤した分のみ 様々なサービスと連携可能 • Amazon EC2 だけではなく、AWS Fargate や AWS Lambda、Amazon SageMaker から 利⽤可能 • Amazon CloudWatch と統合され、監視が可能 …
14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS 3 つのスループットモード Bursting Provisioned • 汎⽤的なワークロードに 利⽤可能 • ストレージ容量に合わせ スループットがスケール • スループットが予測可能 なワークロード向け • スループットの値を指定 • プロビジョニングした スループットの料⾦を ⽀払う Elastic (推奨) • スループットが予測不可 能なワークロード向け • スループットが利⽤負荷 に合わせてスケール • 従量課⾦ 2022.11 ⼀般提供開始
15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS ストレージクラス （optional）アクセスがあると標準へ移⾏ 標準クラス 低頻度アクセスクラス ミリ秒未満の レイテンシー 標準と⽐較して 95 % の ストレージコスト削減 Tier inactive data アクセス頻度の⾼いデータに ⾼いパフォーマンスを提供 アクセス頻度の 低いデータに ⼀定⽇数 経過 アーカイブクラス 低頻度と⽐較して 50 % の ストレージコスト削減 さらにアクセス頻度の 低いデータに Tier cold data ⼀定⽇数 経過 2023.12 ⼀般提供開始
16. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 つのファイルストレージファミリー Amazon EFS • ファイルの変更に応じて⾃動で 拡張・縮⼩する NFS サーバー • サーバーレスアプリケーションからも 利⽤可能 クラウドネイティブな アプリケーション構築に Amazon FSx シリーズ • 広く利⽤される 4 種の ファイルシステムをマネージドに提供 • 既存のファイルシステムを クラウド上で継続利⽤可能 オンプレミス上の ファイルストレージ移⾏に
17. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. プロトコルから⾒る Amazon FSx シリーズ Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon FSx for NetApp ONTAP Amazon FSx for OpenZFS NFS SMB 独⾃ プロトコル （POSIX 準拠）
18. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon FSx for Windows File Server プロトコル SMB 最⼤ IOPS 400,000 最⼤スループット 12 GB/s レイテンシー < 1 ms フルマネージドな Windows ファイルサーバー • Microsoft Active Directory と統合した Windows ACL、シャドウコピー、ストレージクォータと いったネイティブな機能を利⽤可能 ⾼速で柔軟なオプション • ⾼い IOPS とスループットを実現 • SSD と HDD、2 種類のストレージを⽤意し、 ニーズに応じてコストの最適化が可能 エンタープライズ対応のための様々な機能 • 増分バックアップ • データ重複排除 • 監査ログの配信 等 * 東京リージョンで SSD を選択した場合 2.0, 2.1 3.0, 3.1.1
19. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon FSx for OpenZFS フルマネージドな OpenZFS ファイルシステム • AWS Graviton プロセッサを搭載し、 最新のディスク、ネットワークテクノロジーを活⽤ • OpenZFS の機能を使⽤した、 オンデマンドなスナップショット レプリケーション ⾼いパフォーマンス • インメモリキャッシュにより、頻繁にアクセス されるデータに 100 万以上の IOPS と 21 GB/s のスループットを実現 接続性 • NFS 3, 4-4.2 に対応、使い慣れた機能を オンプレミスと同等のパフォーマンスで利⽤可能 • Linux 以外に Windows や Mac からの NFS マウントをサポート プロトコル NFS 最⼤ IOPS 200 万 最⼤スループット 21 GB/s レイテンシー < 0.5 ms 2023.10 ⼀般提供開始 3, 4.0, 4.1, 4.2
20. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon FSx for NetApp ONTAP フルマネージドな ONTAP のファイルシステム • SnapMirror といった ONTAP の ネイティブ機能をそのまま利⽤可能 • マネージドサービスとしての 俊敏性、シンプルさをもたらす ⾼速かつコスト効率が良い • ストレージ階層化により、⾼性能な SSD 層とコスト を最⼤ 90 % 削減できる Capacity Pool 層を利⽤可能 • ⾃動的な重複排除とデータ圧縮 セキュリティとコンプライアンス • Windows ACL や POSIX ACL により、 アクセス権限の制御が可能 • ウイルス対策ソフトとの統合 • 変更不可能な WORM 機能を提供する SnapLock の機能 プロトコル SMB 2.0, 2.1, 3.0, 3.1.1 NFS 3, 4.0, 4.1, 4.2 iSCSI 最⼤ IOPS 数百万 最⼤スループット 80 GB/s レイテンシー < 1 ms * スケールアウト（HA構成）を利⽤する場合 2023.7 ⼀般提供開始
21. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. [New] ⼤阪リージョンにて利⽤可能に Amazon EFS Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon FSx for OpenZFS 2023.11 ⼀般提供開始 2023.10 ⼀般提供開始 Amazon FSx for NetApp ONTAP
22. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon FSx for Lustre オープンソースの Lustreファイルシステムを マネージドに提供 • HPC ワークロードに対応する Lustre ファイルシステム • ⾼性能な分散ファイルシステムを マネージドに利⽤可能 ⼤規模にスケールするパフォーマンス • 1 つのファイルシステムあたり 1000 GB/s のスループット 数百万の IOPS までスケール可能 ワークロードに最適化されたコスト • Amazon FSx for Lustre と S3 の間で、 データの透過的アクセスが可能 • データの⻑期保存には S3 を使⽤することで コスト最適化を実現可能 プロトコル 独⾃プロトコル 最⼤ IOPS 数百万 最⼤スループット 1000 GB/s レイテンシー < 1 ms
23. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ
24. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EFS と Amazon FSx の選択 Amazon EFS Amazon FSx シリーズ ü ⾃動で拡張・縮⼩する フルマネージドな NFS サーバーを利⽤したい ü AWS Lambda や AWS Fargate といったサーバーレス アーキテクチャで利⽤したい ü オンプレミスの 対応する製品を移⾏したい ü ⾼性能なファイルストレージを 利⽤したい
25. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon FSx シリーズの選択 Amazon FSx for NetApp ONTAP Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon FSx for OpenZFS ü Windows File Server の 移⾏先 ü Windows Server の 運⽤経験がある ü NetApp ONTAP や その他 NAS からの移⾏ ü 利⽤頻度の低いデータを 低コストに抑えたい ü ZFS やその他 Linux ベース ファイルサーバーからの移⾏ ü ⾼い IOPS ü 最低容量が⽐較的⼩さい ü Lustre や 分散ファイルシステムの移⾏ ü HPC ワークロードで 性能の⾼いストレージを利⽤
26. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! Yoshizawa Takumi Solutions Architect