Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon SageMaker Studio について

Ryota Sawa
February 13, 2024

Amazon SageMaker Studio について

Amazon SageMaker Studio についての説明資料です。
Amazon SageMaker Studio は Web 上から使える機械学習開発に特化した統合開発環境です。どのような機能を持つ IDE なのか、こちらの資料からご覧ください。

Ryota Sawa

February 13, 2024
Tweet

More Decks by Ryota Sawa

Other Decks in Technology

Transcript

  1. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Studio Web 上から使える 機械学習開発に特化した統合開発環境 澤 亮太 Solutions Architect Amazon Web Services Japan G.K.
  2. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. ⾃⼰紹介 2 澤 亮太 (Ryota Sawa) 技術統括本部 エンタープライズ技術本部 ストラテジック製造グループ ソリューションアーキテクト --- 前職では… 画像を中⼼とした機械学習開発, AI/ML ⼈材育成, etc…
  3. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 3 ツールの分散: 複数の統合開発環境 (IDE) で使⽤される異なるツールが多く、 作業の流れがバラバラになりがち。 ⾃動化の⽋如: チーム間での作業⼿順が標準化されていないことから⼀貫性が失われ、 管理者の⼿作業が増える。 作業の孤⽴化: チームメンバー間の連携が取りづらく、⽣産性やコラボレーションの 妨げになる。 同じ作業の繰返し: 他チームが構築したモデル、もしくは OSS モデルがチームで 認識されていないと、データサイエンティストは同じモデルを再構築する必要がある。 機械学習コストが不透明: ツールがチーム内で分散していると、コスト管理が より複雑になる。 チームで機械学習モデルを構築する時の問題点
  4. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 機械学習開発には複数の役割が存在し、ツール要件も異なる 4 機械学習モデルに ⼊⼒可能なデータと 特徴を作成する 機械学習モデルを 構築する 機械学習モデルを 本番環境へデプロイ 可能な形式に変換する 解決すべき ビジネス上の問題を 定義する データ サイエンティスト データ エンジニア ML エンジニア ビジネス アナリスト データ収集・準備 分析・視覚化 ビルド・学習 チューニング デプロイ・パフォーマンス改善 モニタリング・データガバナンス データ可視化 簡易モデル作成
  5. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Studio 5 あらゆるフェーズに対応する Amazon SageMaker の各機能が使える 特徴量 ストア モデル 構築 運⽤ 監視 学習 評価 本番への デプロイ パラメータ チューニング S A G E M A K E R S T U D I O | R S T U D I O データ 準備 C I / C D | G O V E R N A N C E | R E S P O N S I B L E M L Web 上から使える機械学習開発に特化した統合開発環境
  6. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker の概要 デ ー タ 準 備 や ビ ル ド 、 ト レ ー ニ ン グ や デ プ ロ イ な ど モ デ ル 構 築 に 必 要 な あ ら ゆ る 作 業 が 可 能 に 6 SageMaker Canvas ノーコードで正確な ML 予測を実現 MLOps: Pipelines | Projects | Model Registry ワークフロー⾃動化、機械学習⽤ CI/CD、モデルカタログ SageMaker Studio エンドツーエンドで ML を実現する Web ベースのインターフェイス Notebooks: フルマネージドな Jupyter ノー トブック Built-In Algorithms: 事前準備された表形式 や NLP、および画像系などのアルゴリズム JumpStart: 400 を超えるモデルやソ リューションの検索、Fine-tuning、デプロ イなどを UI ベースで利⽤可能 Autopilot: ML モデルの⾃動作成 Bring Your Own: 独⾃のコンテナやアルゴ リズムの持ち込み Local Mode: テストやプロトタイプをロー カルマシンで実⾏ Ground Truth: ⾼品質なデータセット作成 Data Wrangler: データの集約や加⼯、準備 Processing: ビルトイン Python、BYO R/ス パーク Feature Store: 特徴量の保存やカタログ化、 検索、再利⽤などの機能 Clarify: バイアスを検出してモデルを理解 Fully Managed Training: 幅広いハードウェ アからフルマネージドな学習環境を実現 Distributed Training Libraries: ⼤規模な データセットとモデル向けの⾼性能トレー ニング Automatic Model Tuning: ハイパーパラ メーターの最適化 Managed Spot Training: トレーニングコス トを最⼤ 90% 削減 Debugger and Profiler: 実⾏したトレーニ ングのデバッグとプロファイリング Experiments: モデルアーティファクトを チーム間で共有、追跡、視覚化 Customization Support: ⼀般的なオープン ソースのフレームワークやライブラリとの 統合 Fully Managed Deployment: 超低遅延、⾼ スループットな推論環境 Real-Time Inference: 安定したトラフィッ ク向けのリアルタイム推論環境 Serverless Inference: 断続的なトラフィッ ク向けのサーバレス推論環境 Asynchronous Inference: ⼤きなペイロー ドや⻑い処理時間向けの⾮同期推論環境 Batch Transform: ⼤規模なデータセットの バッチ変換をオフライン実⾏する推論環境 Multi-Model Endpoints: 複数のモデルをホ ストして推論コストを削減 Multi-Container Endpoints: 複数のコンテ ナをホストして推論コストを削減 Inference Recommender: 最適なインスタ ンスや構成を⾃動選択 Model Monitor: デプロイされたモデルの精 度を維持 Kubernetes and Kubeflow Integration: Kubernetes ベースの ML を簡素化 Edge Manager: エッジデバイス上のモデル を管理、監視 ビルド 準備 トレーニング デプロイと管理
  7. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. タスクに応じた SageMaker の各機能が1つの画⾯に 7 IDE SageMaker 各機能 作業エリア
  8. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio なら同じ画⾯で様々なツールが使える 8 それぞれのツールが SageMaker Studio で使える 同じプラットフォームで動き、Web ブラウザからアクセスできる SageMaker Studio SageMaker Studio SageMaker Studio SageMaker Studio データ サイエンティスト データ エンジニア ML エンジニア ビジネス アナリスト
  9. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio をチームで活⽤することにより PoC の実験サイクルから本番フェーズへの移⾏を素早く実現 9 必要とする機能を統合: JupyterLab・ Rstudio ・Code Editor (OSS の Visual Studio Code ベース) など、お好みのマネージドな IDE を使⽤できる。データの準備やモデルのビルド・ トレーニング・デプロイ・監視など全ての作業を1つの画⾯で⾏うことができる。 チームコラボレーション: 共有スペースが、データサイエンティスト・MLエンジニア・ ビジネスアナリストなどの役割を超えたコラボレーションとプロジェクト管理ができる。 ML プロセスの⾃動化: MLOpsツールを使⽤することで、モデルのデプロイとモニタリングを ⼀貫性を持って効率的に⾏うことができる。 400以上の事前構築済みモデルへのアクセス: Amazon SageMaker JumpStart を通じて、 ⼈気のある公開基盤モデル (FMs) を迅速に稼働させることができる。 コスト管理の容易さ: 機械学習(ML)プロセスの各フェーズにて⾃動タグ付けを⾏い、 チーム・ユーザー・プロジェクトごとのコスト管理が実現できる。
  10. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 10 JupyterLab ノートブック、コード、データ⽤のインタラクティブ開発環 境 (IDE) ⽤のフルマネージド型 JupyterLab を数秒で起動。 最新の Version 4 が利⽤可能。 Code Editor (VS Code – Open Source ベース) 使い慣れたショートカットやターミナル、⾼度なデバッグ機 能やリファクタリングツールを備えた軽量でパワフルな IDE。 RStudio R 向けのオープンソースツールと、データサイエンスチーム が開発したり、成果物を組織内で共有したりするためのエン タープライズ対応のプロフェッショナルソフトウェアを提供。 SageMaker Studio には、機械学習向けのフルマネージド IDE が幅広く⽤意されている 必要に応じて IDE が選択できる
  11. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. すぐにコードを書き始められる 11 JupyterLab の スペース作成 インスタンスの選択 ランタイムの設定 ストレージサイズの設定 起動︕
  12. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. すぐにコードを書き始められる 12
  13. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 作業を中断してもすぐに再開可能 13
  14. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker の各機能がすぐに使える 14 Amazon SageMaker Data Wrangler : ノーコードでデータの集約や加⼯、準備 Amazon SageMaker Feature Store : 特徴量保存やカタログ化、検索、再利⽤など Amazon SageMaker Autopilot : 機械学習モデルの⾃動作成 Amazon SageMaker Experiments : モデルアーティファクトを共有、追跡、視覚化 Amazon SageMaker Clarify : バイアスを検出してモデルを理解 Amazon SageMaker Pipelines : MLOps ワークフロー⾃動化、機械学習⽤ CI/CD Amazon SageMaker Model Registry : モデルカタログ、 機械学習モデルを⼀元管理 Amazon SageMaker JumpStart : 400 を超えるモデルやソリューションの検索、 Fine-tuning、デプロイなどを UI ベースで利⽤可能 Amazon SageMaker Inference Recommender : 最適なインスタンスや構成を⾃動選択 etc...
  15. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker の各機能例 15 モデル学習の ⾃動化 既存モデルの 利⽤ モデル承認 フロー簡素化 CI/CDの 実現 バイアスの 検出 特徴量共有 実験の記録 並列実験できる リソース モデル精度の 追跡 モニタリング 実験 データ デプロイ HW/ 環境 ML Code GUIによる 前処理実装
  16. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker の各機能例 GUIによる 前処理実装 モデル学習の ⾃動化 既存モデルの 利⽤ モデル承認 フロー簡素化 CI/CDの 実現 バイアスの 検出 特徴量共有 実験の記録 並列実験できる リソース モデル精度の 追跡 SageMaker Data Wrangler SageMaker Autopilot SageMaker JumpStart SageMaker Studio Notebooks SageMaker Model Monitor SageMaker Pipelines SageMaker Model Registry SageMaker Expriments SageMaker Clarify SageMaker Feature Store SageMaker Studio Notebooks モニタリング 実験 データ デプロイ HW/ 環境 ML Code 16
  17. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Data Wrangler (in Canvas) 17 • データインサイト • ⽤意された可視化機能で簡単に分析できる。 • データ品質の問題や データのバイアス検出及び軽減ができる。 特徴量エンジニアリング • 300を超える組み込みのデータ変換処理で 素早くデータを加⼯できる。 エクスポートして連携 • Notebook や Python コードへ 作成したワークフローをエクスポートできる。 データをインポートするだけで、様々な機能が活⽤できる
  18. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Autopilot (in Canvas) 18 機械学習に必要な知識がなくても、最適なモデルを⾃動⽣成できる • 数クリックでAutoMLを実現 • 最適な予測タイプを⾃動的に推測できる。 • 数百のモデルをトレーニングおよび最適化し て、データに最適なモデルを選択できる。 モデル性能や精度を全て記録 • 正確性、再現率、AUC などのメトリクスを Autopilot 実⾏時のモデル全てで確認できる。 ワンクリックでデプロイ • 利⽤したいモデルを選択するだけで 本番環境へデプロイできる。
  19. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker JumpStart 19 様々なモデルやソリューションが、アルゴリズムの構築なしに数クリックで利⽤できる • 400を超えるモデルが利⽤可 • 様々な⼈気のあるモデルハブにより 事前トレーニング済みのモデルを利⽤できる。 簡単にデプロイできる • 推論⽤のコードがノートブック形式で 簡単に⾃動作成できる。 ファインチューニング可能 • ⾃作のデータセットでトレーニングできる。 ビルド済みソリューション • 機械学習の⼀般的なユースケース向けに ビルドされたソリューションも使える。
  20. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon EMR クラスターを 作成、閲覧、接続する。 AWS Glue インタラクティブ セッションを使⽤して、 対話式データの準備や 分析アプリケーションの 構築・テストを実⾏する。 Spark UI などの使い慣れた ツールを使⽤して、 Spark ジョブの監視や デバッグを SageMaker Studio から⾏える。 20 SageMaker Studio は、データ分析と機械学習ワークフローが⼀連の流れで実⾏できる環境を提供 ビッグデータ分析と機械学習の統合も充実
  21. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. ⽣成 AI を使う データサイエンティストの開発効率が上がる SageMaker Studio の⽣成 AI 機能 ⽣成 AI モデルを構築する ⼤規模な基盤モデルを構築するための SageMaker Studio Amazon CodeWhisperer や Jupyter AI の 拡張機能は、コード⽣成やデバッグ、 コードの解説などを⽀援してくれる。 Amazon CodeGuru の拡張機能は、 セキュリティとコード品質の スキャンに役⽴つ。 様々な基盤モデルへのアクセスや、 ⾼性能なリソース上でノートブックを動かして Fine-Tuning を⾏うこともできる。 また、Studio ノートブックから 分散トレーニングを⾏うこともできる。 21 Generative AI と SageMaker Studio
  22. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 22 Amazon SageMaker Clarify の プレビュー機能である Foundation Model Evaluations(FMEval)で基盤モデルの評価を⾏えます。 基盤モデルの評価も⾏える 評価ウィザードとレポート: モデル選択とカスタマイズの 影響を定量化した、多⾯的な評価と詳細レポートが得られる。 カスタマイズ: 複数のデータセットとアルゴリズムを使⽤して 即座に開始し、⾃由なカスタマイズができる。 ⼈間ベースの評価: 微妙な違いや主観的な評価基準に対して、 ⼈間によるモデル評価を⾏うこともできる。 モデル品質評価: 特定の⽣成的 AI タスクに対して⾼品質の応 答が得られるかどうかを判断できる。 モデル責任評価: ステレオタイプや有害な内容に対するモデル のリスクを、⾃動評価や⼈間ベースの評価で判断できる。S
  23. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 機械学習向けのノーコードツールも選択可能 23 SageMaker Studio からノーコードツールの Amazon SageMaker Canvas も起動できる
  24. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. データサイエンティストとビジネスアナリストの シームレスなコラボレーションが可能 ビジネスアナリストは、 SageMaker Canvasでビジネス ユースケース⽤のモデルを ノーコードで開発できる。 ビジネスアナリストは、 データサイエンティストが チューニングしたモデルを ⼿に⼊れることができる。 ビジネスアナリストは 、 SageMaker Canvas で作成したモデルを SageMaker Studio に共有できる。 データサイエンティストは、 SageMaker Studio でモデルをレビュー して変更を加える。 必要に応じてモデルを再分析して ビジネスアナリストに共有する。 SageMaker Canvas SageMaker Studio 24
  25. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio のコスト分析や管理 25 ・SageMaker Studio は、使⽤したリ ソース分のみのお⽀払いとなり、ライ センスは不要。 ・SageMaker Studio では、リソース へのタグ付けが⾃動的に⾏われる。 ユーザープロファイル・スペース・ド メイン毎でタグ付けされるため、管理 者はコストエクスプローラーにてきめ 細かく利⽤料を確認できる。 ・ライフサイクル設定を使⽤すること で、アイドル状態のリソースを⾃動的 にシャットダウンすることもできる。 0K 2K 4K 6K 8K Jun 2023 Jul 2023 Aug 2023 Sep 2023 Oct 2023 Costs ($) arn:aws:sagemaker:us-east-1:875795279384:user-profile/d-nyzmf7q9z10s/default-1673970110265 arn:aws:sagemaker:us-east-1:875795279384:user-profile/d-mogpqyaesnj4/studio-user arn:aws:sagemaker:us-east-1:875795279384:user-profile/d-mogpqyaesnj4/genai-user arn:aws:sagemaker:us-east-1:875795279384:user-profile/d-gdqhxxtb5wxh/mair-user コストエクスプローラーの例
  26. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 26 SageMaker Studio のセキュリティ インフラストラクチャとネットワークの分離 Amazon Virtual Private Cloud(Amazon VPC)のサポー ト、AWS PrivateLink のサポート、インターネットアク セスの無効化などができる。 認証と承認 AWS Identity and Access Management(IAM)や AWS IAM Identity Center での認証や、企業ネットワークなどの幅広 い IP アドレスにアクセスを制限するなどができる。 データ保護 保管時や転送時も⾃動的にデータの暗号化が⾏われる。独 ⾃キーの持ち込みもできる。 可監査性と監視 すべてのAPIコール・イベント・データアクセス、または ユーザーと IP レベルまでのインタラクションを追跡・追 跡・監査ができる。 コンプライアンス認証 機械学習ワークフロー、継続的インテグレーションと継続 的デリバリー (CI/CD)、リネージトラッキング、カタログ化 などが⾏える。 あらかじめ組み込まれた機能により、 セキュリティを犠牲にすることなく、 PoC からプロダクションまでの 移⾏時間を短縮できる
  27. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Cherry Cabading Global Senior Enterprise Architect, AstraZeneca Amazon SageMaker Studio を利⽤することで、 機械学習開発プロセスのほとんどが簡単に⾃動化できます。 AstraZeneca 27 Rather than creating many manual processes, we can automate most of the ML development process simply within Amazon SageMaker Studio.
  28. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. チャレンジ 以前の機械学習ソリューションでは、データサイエンティストのための環境を構築するのに 1 か⽉以上の集中的な労⼒を要し、時間とコストの両⾯で⾮効率でした。 アプローチと解決策 アストラゼネカは、データ準備・モデル構築・ トレーニング・デプロイを⾏うために、Amazon SageMaker 上に機械学習プラットフォームを構築 し、SageMaker Studio IDE を活⽤しました。 ü SageMaker を使⽤することで、以前は 6 か⽉以 上の時間を要していたインサイトの⽣成が、2.5 か⽉未満で⾏えるようになりました。 ü インサイトを得るまでの時間を約 150% 短縮し ました。 詳細:記事 | ケーススタディ 28
  29. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 僅か 1 分で初回セットアップ完了 クイックセットアップなら権限やアク セス制御、ネットワーク、ストレージ などの初回設定が 1 分で完了する。 暗号化や SSO など⾼度な設定を⾏いた い場合は標準セットアップを選ぶ。 29
  30. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. [重要] リソースの消し忘れにご注意ください︕ 30 各アプリケーション起動後にインスタンスを消し忘れると課⾦が継続するため、 利⽤が終わったらインスタンスの停⽌をお忘れなく︕ ・稼働中インスタンスの確認⽅法 画⾯左側のメニューにある [ Runnning Instance ] を選択すると、 現在稼働しているインスタンスが ⼀覧表⽰されます。 インスタンスの稼働が想定通りか、 こまめな確認をお奨めします。
  31. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. [重要] インスタンスの停⽌⽅法 31 JupyterLab・Code Editor・ SageMaker Studio Classic ・RStudio の場合 ① 画⾯左上から対象の Application を選択して⼀覧を表⽰する。 ② 停⽌したいインスタンスの Action 列にある [ Stop ] ボタンを押す。 ③ 停⽌されたことを Status 列で確認する。 ① ②
  32. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. [重要] インスタンスの停⽌⽅法 32 SageMaker Canvas の場合 ① 画⾯左上から対象の Application ( Canvas ) を選択する。 ② [ Stop Canvas ] ボタンを押す。 ③ 停⽌されたことを Status で確認する。 ① ②
  33. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 33 詳細については、 SageMaker Studio に アクセスしてください SageMaker Studio を使ってみよう
  34. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 注意事項 34 ・Amazon SageMaker Studio は 2023/11/30 に新 UI へ移⾏し、 旧 UI は Amazon SageMaker Studio Classic という名称に変更されました。 本資料では、新 UI にフォーカスを当てて記載しています。 ・記載内容は 2024/02/10 時点の情報です。
  35. Thank you! © 2024, Amazon Web Services, Inc. or its

    affiliates. All rights reserved. Amazon Web Services, AWS, the Powered by AWS logo, and all AWS service names used in this slide deck are trademarks of Amazon.com, Inc. or its affiliates.
  36. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio でシームレスにデータ準備 37 ローコード・ノーコードでのデータ準備 Amazon SageMaker Data Wrangler 使⽤して、コードを書かずに数 ステップでデータ準備が⾏える。 Spark 分析を⾏うためにネイティブサービスの統合 サーバーレスな AWS Glue を⽤いて EMR クラスターを作成・管理 し、迅速に対話式のデータ準備や分析アプリケーションの構築、テ ストを実⾏できる。 データバイアスの検出 Amazon SageMaker Clarify を使⽤して、データの準備・モデルト レーニング、およびデプロイされたモデルに対する潜在的なバイア スを検出して制限できる。
  37. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio での効率的なモデル構築 38 迅速にモデルを作成、または事前構築されたモデルを使⽤ SageMaker JumpStart から、基盤モデルを含む 400 種類以上の公 開モデルから選択できる。 フルマネージドなノートブック 伸縮⾃在なコンピューティングリソースで Jupyter ノートブックを 実⾏し、インスタンスを簡単に起動・停⽌できる。ノートブック内 でインタラクティブにモデルをトレーニングできる。 主要なフレームワークとツールキットのサポート TensorFlow・PyTorch・Apache MXNet・Hugging Face など、⼈気 のあるディープラーニングフレームワークに最適化されている。
  38. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. データやコードの共有が簡単に実現できる 39
  39. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 異なる IDE 間でも共有できる 40 Amazon Elastic Block Store (Amazon EBS) Amazon Elastic Block Store (Amazon EBS) Amazon Elastic File System (Amazon EFS) Code Editor
  40. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 異なる IDE 間でも共有できる 41 Amazon Elastic Block Store (Amazon EBS) Amazon Elastic Block Store (Amazon EBS) Amazon Elastic File System (Amazon EFS) Code Editor こちらの設定は UI からではなく SageMaker API、または AWS SDK や AWS CLI を⽤いて設定します。 設定⽅法はこちらをご参考下さい。 https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/domain-custom-efs.html (英語に切り替えないと最新情報が出ない可能性があります。ご注意ください。)
  41. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio でコスト効率良くモデルをトレーニング 42 実験管理とモデルチューニング トレーニングの実⾏状況を⾃動追跡し、ハイパーパラメータを チューニングすることで、数週間分の労⼒が節約できる。 トレーニング実⾏のデバッグとプロファイリング リアルタイムのメトリクスを使⽤し、パフォーマンスの問題を修正 できる。 SageMaker Studio ノートブックから 分散トレーニングジョブを起動 分散トレーニングの完了時間を最⼤ 40% 短縮できる。
  42. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 詳細な実験管理が⾃動的に⾏える 43 SageMaker での実験が 全て記録される
  43. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 詳細な実験管理が⾃動的に⾏える 44 パフォーマンス アーティファクト セキュリティ ハイパーパラメータ 構成 インスタンス
  44. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. ⼤規模なモデルを SageMaker Studio でデプロイ 45 迅速なモデル作成、または事前構築済みのモデル利⽤ ワークフロー⾃動化・MLOps ⽤ CI/CD・特徴量ストア・ドリフト 検出など、ビルトインされた MLOps の各機能が利⽤できる。モデ ルのデプロイやスケーリングなど、管理に伴う運⽤上のオーバー ヘッドが削減できる。 SageMaker Studio UI からホストしたエンドポイントを監視 モデルやデータの品質、およびエンドポイントの設定を確認できる。 ホストしたエンドポイントのデプロイやテスト CPU や GPU インスタンスを含め、コンピューティングやメモリの組 合せが 70 種類以上と豊富なインスタンスタイプから選択できる。
  45. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker で使える 2 種類のノートブック SageMaker Studio ノートブック ノートブックインスタンス SageMaker のコンソール上にて起動できるフルマ ネージドな Jupyter ノートブックインスタンス。 スタンドアロンで⽴ち上がる。 SageMaker Studio から起動できるノートブック。 SageMaker の各機能や、他の AWS サービスとの コラボレーションが容易に⾏え、素早く起動する ことができる。 46 SageMaker では、データ探索と機械学習モデル構築のために 2 種類のフルマネージドな Jupyter ノートブックが利⽤できる。
  46. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. SageMaker Studio ノートブック 47 クイックスタート TensorFlow や PyTorch など 200 を超えるサンプルノート ブックが利⽤できる。データサイエンスなど⽤途に合わ せた環境が数ステップで起動できる。 EMR クラスタの管理や操作、Spark ジョブのデバッグ EMR クラスターの作成や閲覧、接続が実施できる。 スケーリング⾃在なコンピューティングリソース コンピューティングリソースを、わずか 1 ステップで スケールアップ・スケールダウンできる。 チームでのコラボレーションが可能 チームメンバーがアクセス可能な環境を 1 ステップで⽤意 できる。ノートブックの共有も簡単に⾏える。 カスタマイズ可能 カスタムしたの Docker イメージを使⽤して、SageMaker Studio ノートブックへ独⾃の環境を⽤意できる。 フルマネージドで 共有可能なノートブック
  47. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. ノートブック インスタンス 48 使い慣れた Jupyter ノートブックをクラウド上で起動 フルマネージドな Jupyter ノートブックは、OSS を最新に 保ちセキュアなコンピューティング環境を提供している。 リソースの拡張が簡単 データサイエンスや 機械学習向けのフレームワークを AWS が最適なパフォーマンスが発揮できるようにパッケージ化。 データからインサイトを得るまでの時間を短縮できる。 カスタマイズ可能 Git ベースのコードリポジトリをノートブックインスタンス にリンクし、ライフサイクル設定のスクリプトを記述するこ とでセットアップを⾃動化できる。これによりノートブック での共同作業や共有が簡単に⾏える。 インスピレーションを得る ノートブックインスタンスには、SageMaker が提供する 200 を超えるノートブックのサンプルが含まれており、⾃ 由に利⽤できる。 Amazon EC2 上で動く フルマネージドなノートブック
  48. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. RStudio on SageMaker 49 フルマネージドなクラウドベースの RStudio Workbench 事前設定された R のパッケージを使⽤し、RStudio Connect を使⽤ して公開することができる。 幅広い選択肢を持つコンピューティングリソース コンピューティング最適化、または GPU アクセラレーションインス タンスにより、リソースの増減がすぐに、簡単に⾏える。 簡単なリフトアンドシフト移⾏ AWS License Manager またはカスタム Docker イメージへ独⾃の RStudio 開発環境を⽤意することでワークベンチライセンスを持ち込 むことができる。 ビルトインされたセキュリティとコンプライアンス IAM や IAM Identity Center・VPC 制限・KMS 暗号化・CloudWatch でのモニタリングなどと連携可能であり、セキュリティへの⼼配が 軽減された状態でクイックにスタートできる。 SageMaker 上で Python と R のデータサイエンスチームを統合 RStudio IDE と SageMaker Studio はシームレスに切り替えることが できる。また、コードやデータセット・リポジトリ・その他のアー ティファクトなどは⾃動的に同期されている。 フルマネージドな クラウドベースの RStudio
  49. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. RStudio Workbench と SageMaker Studio の 切り替えは簡単に実行できる 50 ホームディレクトリはどちらの IDE でもそのまま利用できる
  50. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 51 2023/11/30 より、 Data Wrangler・Autopilot は SageMaker Canvas に組み込まれ、 ノーコードでデータ準備やモデルの訓練などが可能になりました。 AWSドキュメントでは、SageMaker Studio Classic をそのまま利⽤することも可能ですが、 より直感的な操作を求める⽅には SageMaker Canvas をご検討ください。 API や SDK はこれまで通り利⽤可能です。詳細は以下のリンクをご覧ください。 Data Wrangler︓ https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler.html Autopilot︓ https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model- development.html (英語に切り替えないと最新情報が出ない可能性があります。ご注意ください。)
  51. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Data Wrangler (Classic UI) 52 • データインサイト • ⽤意された可視化機能で分析が容易に • データ品質の問題や データのバイアス検出及び軽減ができる 特徴量エンジニアリング • 300を超える組み込みのデータ変換処理で 素早くデータを加⼯できる エクスポートして連携 • Notebook や Python コードへ 作成したワークフローをエクスポートできる データをインポートするだけで、様々な機能が活⽤できる
  52. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker Autopilot (Classic UI) 53 機械学習に必要な知識がなくても、最適なモデルを自動生成できる • 数クリックでAutoMLを実現 • 最適な予測タイプを⾃動的に推測 • 数百のモデルをトレーニングおよび最適化し て、データに最適なモデルを選択 モデル性能、精度を⼀覧化 • 正確性、精度、再現率、AUC などの メトリクスでランク付けしてリストを表示 ワンクリックでデプロイ • 利用したいモデルを選択するだけで 本番環境へデプロイできる
  53. © 2024, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon SageMaker JumpStart (Classic UI) 54 様々なモデルやソリューションが、アルゴリズムの構築なしに数クリックで利⽤できる • 400を超えるモデルが利⽤可 • 様々な⼈気のあるモデルハブにより 事前トレーニング済みのモデルを利⽤できる 簡単にデプロイできる • 推論⽤のコードがノートブック形式で 簡単に⾃動作成できる ファインチューニング可能 • ⾃作のデータセットでトレーニングできる ビルド済みソリューション • 機械学習の⼀般的なユースケース向けに ビルドされたソリューションも使える