Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実践Amazon SageMaker - 全体像からユースケースまで
Search
貞松政史
June 26, 2020
Technology
0
3.2k
実践Amazon SageMaker - 全体像からユースケースまで
2020/06/26 Developers.IO 2020 Connect Day4のセッション2。
Amazon SageMakerの最新機能を軸に全体像と実際の利用ケースについて発表。
貞松政史
June 26, 2020
Tweet
Share
More Decks by 貞松政史
See All by 貞松政史
Amazon Forecast亡き今、我々がマネージドサービスに頼らず時系列予測を実行する方法
sadynitro
0
930
今日のハイライトをシステマティックに
sadynitro
1
69
はじめてのレコメンド〜Amazon Personalizeを使った推薦システム超超超入門〜
sadynitro
2
2k
予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜
sadynitro
0
990
20230904_GoogleCloudNext23_Recap_AI_ML
sadynitro
0
860
Foundation Model全盛時代を生きるAI/MLエンジニアの生存戦略
sadynitro
0
960
Amazon SageMakerが存在しない世界線 のAWS上で実現する機械学習基盤
sadynitro
0
260
Amazon SageMakerが存在しない世界線のAWS上で実現する機械学習基盤
sadynitro
0
2k
みんな大好き強化学習
sadynitro
0
1.2k
Other Decks in Technology
See All in Technology
「魔法少女まどか☆マギカ Magia Exedra」の必殺技演出を徹底解剖! -キャラクターの魅力を最大限にファンに届けるためのこだわり-
gree_tech
PRO
0
450
シークレット管理だけじゃない!HashiCorp Vault でデータ暗号化をしよう / Beyond Secret Management! Let's Encrypt Data with HashiCorp Vault
nnstt1
3
140
ZOZOマッチのアーキテクチャと技術構成
zozotech
PRO
3
1.2k
実践アプリケーション設計 ③ドメイン駆動設計
recruitengineers
PRO
13
4.1k
Function Body Macros で、SwiftUI の View に Accessibility Identifier を自動付与する/Function Body Macros: Autogenerate accessibility identifiers for SwiftUI Views
miichan
2
150
20250903_1つのAWSアカウントに複数システムがある環境におけるアクセス制御をABACで実現.pdf
yhana
2
280
allow_retry と Arel.sql / allow_retry and Arel.sql
euglena1215
1
150
Jaws-ug名古屋_LT資料_20250829
azoo2024
3
220
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
270
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
110
Grafana Meetup Japan Vol. 6
kaedemalu
1
200
なぜスクラムはこうなったのか?歴史が教えてくれたこと/Shall we explore the roots of Scrum
sanogemaru
1
410
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
30
6.1k
For a Future-Friendly Web
brad_frost
179
9.9k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Building Adaptive Systems
keathley
43
2.7k
KATA
mclloyd
32
14k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
How to Ace a Technical Interview
jacobian
279
23k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.8k
Side Projects
sachag
455
43k
Transcript
実践 Amazon SageMaker 〜全体像からユースケースまで〜 データアナリティクス事業本部 インテグレーション部 貞松 政史
2 ⾃⼰紹介 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部
機械学習チーム 岡⼭オフィス勤務 好きなAWSサービス SageMaker Personalize Forecast
3 本セッションのゴール Amazon SageMaker ⼤体わかった ü SageMaker Studioを軸とした全体像の理解 ü SageMakerを使うと何が嬉しいか
ü SageMakerを利⽤したなんとなくの活⽤イメージ
4 本セッションで話さないこと × 機械学習とは何ぞや × 機械学習アルゴリズムの詳細な解説 × 全ての関連サービスに関する詳細な解説
5 おしながき 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
6 Amazon SageMakerとは 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker
Studioを軸とした全体像 2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
7 Amazon SageMakerとは ü 機械学習の完全マネージド型サービス ü すべての開発者やデータサイエンティストが対象 ü 機械学習モデルを迅速に構築、学習、デプロイ
8 機械学習の実⾏における課題 ü 実⾏環境 • 学習の為に必要なコンピューティングパワーやストレージ • 機械学習モデルの開発環境 ü 機械学習の前提知識
• 様々な課題に対する機械学習のアルゴリズム ü システムの運⽤ • 学習済みモデルのデプロイ • モデル性能のモニタリングや再学習・再デプロイ
9 SageMakerを使うと何が嬉しいのか︖ ü マネージドな実⾏環境 • スケーラブルなインスタンス • ホストされたJupyter Notebook上での開発 ü
⽬的別に⽤意されたビルトインアルゴリズム • 分類、予測、レコメンデーションなど • コンソール上の操作、Notebookからの呼び出し • 既定のデータセットと幾つかのパラメータ設定で即座に利⽤可能 ü その他サービスとの連携
10 SageMakerの全体像 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
11 これまでのSageMaker (re:Invent 2019以前)
12 これまでのSageMakerの課題 • 学習途中や学習済みモデルの情報が部分的(ブラックボックス) • 有効なアルゴリズムの選別は実装者の知識、経験に依る (ハイパーパラメータの⾃動チューニングは存在する) • Notebookインスタンスの起動・停⽌の管理とスケーリング •
開発から運⽤・保守までのプロセスを集中管理したい
13 現在のSageMakerの全体像 https://aws.amazon.com/jp/sagemaker/
14 現在のSageMakerの全体像 re:Invent 2019(2019年12⽉)で発表されたサービス
開発環境から運⽤・保守までサポート SageMaker Studio SageMaker Notebooks SageMaker AutoPilot SageMaker Debugger SageMaker
Experiments SageMaker Model Monitor 開発・運⽤・保守 AutoML 開発環境・インフラ
16 SageMaker Studio
17 SageMaker Studio SageMaker Studio Keyword: 統合開発環境(IDE)
18 SageMaker Studioとは • SageMaker⽤のWebベースの統合開発環境(IDE) • ビジュアルインターフェースによる操作 • SageMakerによる機械学習の開発プロセスを ⼀元的に管理できる
• データのアップロード • 新規ノートブックの作成 • モデルのトレーニングと調整 • 結果の可視化 • モデルのデプロイ など…
19 SageMakerのメリット・デメリット • メリット • ⼀つの画⾯で関連サービスの恩恵を受けられる • デメリット • 現状利⽤可能なリージョンが限られる
(以下の4リージョンのみ) • us-east-1 ⽶国東部(オハイオ) • us-east-2 ⽶国東部(バージニア北部) • us-west-2 ⽶国⻄部(オレゴン) • eu-west-1 欧州(アイルランド)
20 SageMaker Notebooks
21 SageMaker Notebooks SageMaker Notebooks Keyword: スケーラブルなノートブック
22 SageMaker Notebooks • Notebookインスタンスの作成が不要に • Jupyter Notebookを数秒で利⽤開始 • リソースのスケーリングが容易
• 他のユーザーにNotebookの共有が可能
23 SageMaker Autopilot
24 SageMaker Autopilot SageMaker Autopilot Keyword: AutoML
25 SageMaker Autopilotとは • 俗に⾔うAutoML機能 • 機械学習のプロセスを完全に制御しながら、最適な分類 および回帰の機械学習モデルを⾃動的に作成 • トレーニングの追跡、可視化
26 SageMaker Autopilotでできること • 適⽤可能な問題 • 線形回帰 • バイナリ分類 •
マルチクラス分類 • ⾃動ハイパーパラメーター最適化 • 分散トレーニング • インスタンスとクラスターの⾃動サイズ選択
27 SageMaker Autopilotのメリット・デメリット • メリット • 機械学習の前提知識なしで利⽤可能 • 実⾏される多数のトレーニングを追跡・可視化できる •
デメリット • 全ての問題で使⽤できるわけではない • 学習時間がかかる(それに伴って料⾦もかかる)
28 SageMaker Experiments
29 SageMaker Experiments SageMaker Experiments Keyword: トレーニング結果の保存と追跡
30 SageMaker Experiments • 機械学習モデルへの繰り返し処理を調整および追跡 • 情報を⾃動的に収集 → 実験結果として保存 •
データセット • アルゴリズムのバージョン • モデルのパラメータ など…
31 保存された実験結果
32 SageMaker Debugger
33 SageMaker Debugger SageMaker Debugger Keyword: メトリックの取得とアラートルール
34 SageMaker Debuggerとは • トレーニング中のメトリクスをリアルタイムに取得 • 評価値 • 混同⾏列 •
学習勾配
35 SageMaker Debuggerとは • メトリクスに対するルールを設定 (プリセットのルールも準備されている) • 設定されたルールに従ってアラートをあげたり 学習ジョブを停⽌したりできる •
既存コードの修正は不要
36 SageMaker Model Monitor
37 SageMaker Model Monitor SageMaker Model Monitor Keyword: コンセプトドリフトの検出
38 SageMaker Model Monitor • 開発者がコンセプトドリフトを検出し、修復できる ようになります • デプロイ済みのモデルでコンセプトドリフトを検出 し、問題の原因を特定するのに役⽴つ詳細なアラー
トを出します
39 コンセプトドリフトとは • デプロイされたモデルの精度に影響を及ぼす可能性のあ る⼤きな要因のひとつ • 予測の⽣成に使⽤されたデータが、モデルのトレーニングに 使⽤されたデータと異なるケース • これが⽣じると予測を作るためにモデルで使⽤されるデータ
のパターンが適応できなくなる
40 コンセプトドリフトの例 COVID-19の影響により、短期的に⼩売のトレンドが変化 している為に、過去のデータで学習したモデルが正常に機能 しなくなってしまった https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic- broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop/ MIT Technology Review
Our weird behavior during the pandemic is messing with AI models
41 SageMakerを使⽤した予測 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
42 ユースケース︓需要予測 レンタル⾃転⾞の需要予測 ⽇別のレンタル⾃転⾞の貸出台数実績データ 平⽇/休⽇、天候などのメタデータ
43 ユースケース︓需要予測 最終的に出来上がるモデル 平⽇/休⽇、天候などのメタデータ ↓ 学習済みモデル ↓ 貸出台数の予測値
44 モデル学習の流れ 学習データの配置 学習アルゴリズムの選択 ハイパーパラメータの設定 ノートブックの作成 ⼊出⼒の指定 データの前処理 評価・可視化の設定 学習データの配置
(事前整形済) SageMaker Experimentsでモデル作成 SageMaker Autopilotで作成実⾏ ⼊出⼒の指定 柔軟さが必要なモデル開発向け ⼊出⼒の形がハッキリした分類・予測向け 今回はコチラで
45 AutopilotとExperimentsを使ってモデルを作成 インプットの設定 ※ S3バケットのリージョンは 実⾏するSageMakerと同⼀にすること
46 AutopilotとExperimentsを使ってモデルを作成 アウトプットの設定 予測の対象 対象の問題タイプ これで実⾏ するだけ︕
47 モデル作成の実⾏ ⾃動的にRegression(回帰)の問題と判定されている
48 ⼤量の学習ジョブが処理される
49 各学習ジョブの詳細も確認できる メトリックとか 実⾏時パラメーターとか メトリックの⾃動収集 ⾃動で設定されている • インスタンス • ストレージ
• ハイパーパラメータ など…
50 作成されたモデルによる予測 精度が良かったBestなモデルをデプロイしてみる
51 予測モデルのエンドポイントを作成
52 エンドポイントを呼び出して予測実⾏ Notebookからエンドポイントを呼び出して予測結果を得てみる エンドポイント名 ⼊⼒パラメーター 予測台数
53 想定されるアーキテクチャの⼀例 AWS Lambda Amazon Redshift Amazon RDS Amazon SageMaker
Amazon CloudWatch Amazon API Gateway Amazon Simple Storage Service Local Computer エンドユーザー システム管理者 or or etc… Endpoint Alert Model Monitor
54 まとめ 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
55 まとめ Amazon SageMakerは機械学習の為のフルマネージ ドなクラウドサービス SageMaker Studioを軸として、各種関連サービスを 組み合わせることで機械学習システムの構築に必要な機 能を揃えることができる 予測の例のように、簡単にモデル学習
→ デプロイ → コンテンツへの適⽤が可能
56 Let’s get started! Amazon SageMakerでHappy ML Life!
None
セッション後はアンケートへのご協力をよろしくお願いします。 ご回答いただいた方には後日、資料を送付いたします。 SNS投稿にはこちらをお使いください。 #devio2020 イベントのポータルサイトはこちら https://classmethod.jp/m/devio_2020_connect/ ライブセッション録画もこちらから 視聴できます。 https://forms.gle/3twz4kFZR4Rwe7KE8 14:00〜14:45
「実践 Amazon Sagemaker - 全体像からユースケースまで」 のアンケートはこちらからお願いします。 Q&A Q&A