FSx for Lustreを使ったAIモデル開発の始め方

JAWS-UG福岡 #20: Storage-JAWS共催スペシャル

Transcript

1. JAWS-UG福岡 #20 Storage-JAWS共催スペシャル 森⽥⼒ FSx for Lustreを使ったAIモデル開発の 始め⽅
2. ⾃⼰紹介 2 • 名前 ◦ 森⽥ ⼒ • 所属 ◦ クラスメソッド株式会社 ▪ 福岡オフィス所属 ◦ クラウド事業本部 コンサルティング部 • 好きなAWSサービス ◦ AWS Lambda ◦ Amazon Bedrock
3. ⽬次 3 • AIモデル開発で必要となるファイルシステムの要件 • そもそもLustreとは • Amazon FSx for Lustre とは • AIモデル開発で利⽤するには
4. AIモデル開発で必要となるファイルシステムの要件
5. AIモデル開発に必要なもの 5 AIモデル開発では何が必要か • ⾼性能コンピューティング（GPU/TPU） • ⼤規模データセット⽤の⾼速ファイルシステム • 効率的なデータパイプライン • スケーラブルなストレージソリューション • 並列処理能⼒
6. AIモデル開発に必要なもの 6 AIモデル開発では何が必要か • ⾼性能コンピューティング（GPU/TPU） • ⼤規模データセット⽤の⾼速ファイルシステム • 効率的なデータパイプライン • スケーラブルなストレージソリューション • 並列処理能⼒
7. ファイルシステムの課題 7 AIモデル開発におけるストレージの課題 • ⼤量のデータ（TB〜PB規模）の⾼速アクセス • 並列読み取り/書き込みのパフォーマンス • トレーニング中のI/Oボトルネック • データセットの効率的な管理
8. そもそもLustreとは
9. Lustreとは 9 Lustreの特徴 • オープンソースの分散ファイルシステム • ⼤規模クラスターコンピューティング向けに設計 • ⾼スループット、低レイテンシー • HPC（⾼性能コンピューティング）環境で広く採⽤ • 並列I/O処理に最適化
10. FSx for Lustre とは 10 • AWSが提供するフルマネージドLustreファイルシステム • インフラ管理不要 ◦ セットアップ, パッチ適⽤などマネージド管理 • S3との統合 • 数百GBpsのスループット、数百万IOPSを実現 ◦ ⼤規模な分散学習に耐えれる • オンデマンドでスケーリング可能 • 従量課⾦ ◦ 秒単位（ストレージサイズ, スループット）
11. S3からシームレスにデータをRead/Write 11 • S3バケットにデータセットを格納 • S3バケットがファイルシステムに同期される ◦ 低レイテンシ、⾼スループット • 学習済みモデルなどのアーティファクトをS3に保存する
12. AIモデル開発で利⽤するには
13. AIモデル開発で利⽤するには 13 SageMaker HyperPod で利⽤する • 容易さ ◦ 設定ファイル内で定義するだけで⾃動接続 ◦ 分散学習向けに最適化された構成が提供される • パフォーマンス ◦ EFAとの最適化された統合 ◦ SageMaker分散ライブラリとの連携 • 管理 ◦ FSx for Lustreの設定もライフサイクルスクリプトに含められる ◦ モデルチェックポイント管理などマネージドなS3との統合
14. 設定ファイルの変更 14 https://github.com/aws-samples/awsome-distributed-training/tree/mai n/1.architectures/5.sagemaker-hyperpod
15. AIモデル開発で利⽤するには 15 SageMaker HyperPod recipes • re:Invent 2024で発表 • ML必要なリソースの⾃動セットアップ ◦ トレーニングデータセットのロード ◦ 分散トレーニング ◦ 障害復旧の⾃動化
16. SageMaker HyperPod recipes 16 DeepSeek-R1をFine-Tuningしてみたのでよければご参考ください！
17. まとめ
18. まとめ 18 • FSx for Lustreでは ⾼速‧⼤容量ファイルシステムをAWS上でフルマネージド提供 ◦ AIモデル開発⽤途に良い • S3との統合で⼤規模データセットを低レイテンシ‧⾼スループットで処 理可能 • SageMaker HyperPodとの連携で分散学習環境を容易に構築でき、AIモ デル開発のデータ処理ボトルネックを解消 ◦ 特に、SageMaker HyperPod recipes がおすすめ