機械学習の技術的負債を Amazon SageMaker Studio で解消

© 2023, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 機械学習の技術的負債を Amazon SageMaker Studio で解消澤亮太 A W S - 3 0 アマゾンウェブサービスジャパン合同会社技術統括本部⻄⽇本ソリューション部ソリューションアーキテクト

rights reserved. 本セッションについて対象者・機械学習プロジェクトに関わる⽅データアナリスト、データエンジニア、データサイエンティスト、機械学習エンジニア、機械学習モデルの運⽤監視に関わる⽅など持ち帰っていただきたいこと・機械学習プロジェクトには特有の技術的負債があり、いかに少ない労⼒で対策を⾏えるかが重要であること・Amazon SageMaker が機械学習の様々なフェーズをサポートすること・Amazon SageMaker Studio は単なる統合開発環境ではなく、技術的負債を解消するツールとして活⽤できること 2

rights reserved. 澤亮太 (Ryota Sawa) 技術統括本部⻄⽇本ソリューション部ソリューションアーキテクト --- 前職では… 画像を中⼼とした機械学習開発, AI/ML⼈材育成, etc… ⾃⼰紹介 3

rights reserved. Agenda ・機械学習における技術的負債とは・なぜ技術的負債の解消に Amazon SageMaker Studio が有効か・機械学習プロジェクトのよくある悩み事から⾒る Amazon SageMaker Studio のユースケース 4

rights reserved. 世界中の企業で機械学習活⽤が進む The 2022 McKinsey Global Survey The state of AI in 2022—and a half decade in review December 6, 2022 | Survey 6 2017 2022 50％を超える企業が機械学習を活⽤ 2017年と⽐較して 2.5倍に増加 20% 50%

rights reserved. 機械学習開発に求める要件は多岐にわたるハードウェアコストオーケストレーションスケーリングデータ⾃動化セキュリティ 7

rights reserved. 機械学習プロジェクトのワークフロー 8 ビジネスゴールの特定機械学習の課題設定データ収集データ前処理特徴量エンジニアリング学習チューニングデプロイ監視 ML Lensより抜粋（AWS Well-Architected Machine Learning Lens） https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/well-architected-machine-learning.html

rights reserved. ソフトウェア開発における技術的負債とは 9 開発スピードを優先したあまり、適切な設計や実装を犠牲にしてしまい、後になってから様々な影響を及ぼすこと障害リスクの増⼤、プロジェクト遅延、コスト増加、品質低下絵絵可読性の低いコード不⼗分なテストケースドキュメントの⽋如・・・

rights reserved. 機械学習はコード以外に多くの周辺システムが必要 “Only a small fraction of real-world ML systems is composed of the ML code” source: Hidden Technical Debt in Machine Learning Systems [D. Sculley, & al.] – 2015 https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf 10 Configuration (構成) Data Collection (データ収集) Machine Resource Management (機械学習開発のリソース管理) Serving Infrastructure (推論環境) ML Code Analysis Tool (解析ツール) Process Management Tools (プロセス管理ツール) Feature Extraction (特徴量エンジニアリング) Monitoring (監視) Data Verification (データ検証)

rights reserved. 機械学習プロジェクトには、ソフトウェア開発にはない技術的負債が存在機械学習特有の技術的負債とは低品質のデータ記録されていない実験データ/モデル変更の影響範囲が不明 HW調達や環境準備に時間を要する監視や再学習などの運⽤事項の考慮不⾜モデル精度低下要員追加のリードタイム増再現実験のリードタイム増システム障害リスク増モデル精度劣化 HW/環境データ実験デプロイモニタリング 11

rights reserved. GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 12 モニタリング実験データデプロイ機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code

rights reserved. GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 13 モニタリング実験データデプロイ機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code Amazon SageMaker Studio で解決できます

rights reserved. Amazon SageMaker の機能⼀覧データ準備からモデル構築、トレーニング、デプロイまで、あらゆるユースケースに対応準備 Geospatial Visualize geospatial data Ground Truth Create high quality datasets for ML Data Wrangler Aggregate and prepare data for ML Processing Built-in Python, BYO R/Spark Feature Store Store, catalog, search, and reuse features Clarify Detect bias and understand model predictions ビルド Studio Notebooks & Notebook Instances Fully managed Jupyter notebooks with elastic compute Studio Lab Free ML development environment Built-in Algorithms Integrated tabular, NLP, and vision algorithms JumpStart UI based discovery, training, and deployment of models, solutions, and examples Autopilot Automatically create ML models with full visibility Bring Your Own Bring your own container and algorithms Local Mode Test and prototype on your local machine トレーニング Fully Managed Training Broad hardware options, easy to setup and scale Distributed Training Libraries High performance training for large datasets and models Training Compiler Faster deep learning model training Automatic Model Tuning Hyperparameter optimization Managed Spot Training Reduce training cost by up to 90% Debugger and Profiler Debug and profile training runs Experiments Track, visualize, and share model artifacts across teams Customization Support Integrate with popular open source frameworks and libraries デプロイ・運⽤ Fully Managed Deployment Ultra low latency, high throughput inference Real-Time Inference For steady traffic patterns Serverless Inference For intermittent traffic patterns Asynchronous Inference For large payloads or long processing times Batch Transform For offline inference on batches of large datasets Multi-Model Endpoints Reduce cost by hosting multiple models per instance Multi-Container Endpoints Reduce cost by hosting multiple containers per instance Shadow Testing Validate model performance in production Inference Recommender Automatically select compute instance and configuration Model Monitor Maintain accuracy of deployed models Kubernetes Operators & Components Manage and monitor models on edge devices Edge Manager Manage and monitor models on edge devices Studio | RStudio Integrated development environment (IDE) for ML Canvas Generate accurate machine learning predictions—no code required MLOps: Pipelines | Projects | Model Registry Workflow automation, CI/CD for ML, central model catalog Governance Model Cards | Dashboard | Permissions 15

rights reserved. 【再掲】機械学習はコード以外に多くの周辺システムが必要 “Only a small fraction of real-world ML systems is composed of the ML code” source: Hidden Technical Debt in Machine Learning Systems [D. Sculley, & al.] – 2015 https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf 16 Configuration (構成) Data Collection (データ収集) Machine Resource Management (機械学習開発のリソース管理) Serving Infrastructure (推論環境) ML Code Analysis Tool (解析ツール) Process Management Tools (プロセス管理ツール) Feature Extraction (特徴量エンジニアリング) Monitoring (監視) Data Verification (データ検証)

rights reserved. 17 Configuration Data Collection Data Verification Machine Resource Management Serving Infrastructure ML Code Analysis Tool Process Management Tools Feature Extraction Monitoring Ground Truth S3 Clarify Data Wrangler Feature Store Processing Studio Autopilot JumpStart Debugger Model Monitor Pipelines MWAA Greengrass QuickSight Experiments Auto Scaling Training Job SageMakerの機能他のAWSサービス Glue Amazon SageMaker は機械学習システム全体で機能を提供 Endpoint

rights reserved. Amazon SageMaker Studio 18

rights reserved. とあるデータサイエンティストの話をみてみよう 20

rights reserved. とあるデータサイエンティストの話をみてみよう機械学習プロジェクトへ参画することになった︕ 21 A

rights reserved. とあるデータサイエンティストの話をみてみよう数値データを⽤いて、ある判定を⾏うモデルを開発することに 22 A

rights reserved. とあるデータサイエンティストの話をみてみようまずはデータの分析や前処理を検討してモデル開発に使えるように分析や前処理はどうやって進めていこうか… 23

rights reserved. とあるデータサイエンティストの話をみてみよう有識者に聞くとプログラムを書いて⾊々と⾏っているらしい… ちょっとハードル⾼いなぁ… 24 A B

rights reserved. モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 25 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code GUIによる前処理実装

rights reserved. モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 26 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code GUIによる前処理実装 Amazon SageMaker Data Wrangler

rights reserved. Amazon SageMaker Data Wrangler データインサイト • ⽤意された可視化機能で分析が容易に • データ品質の問題やデータのバイアス検出及び軽減ができる特徴量エンジニアリング • 300を超える組み込みのデータ変換処理で素早くデータを加⼯できるエクスポートして連携 • Notebook や Python コードへ作成したワークフローをエクスポートできる 27 データをインポートするだけで、様々な機能が活⽤できる

rights reserved. とあるデータサイエンティストの話をみてみようデータは揃ったので次はモデル作りをすることに 28 HW ライブラリやフレームワークモデル⾊々なモデル試すにも準備が⼤変だなぁ… A

rights reserved. GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 29 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code

rights reserved. 既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 30 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code GUIによる前処理実装モデル学習の⾃動化 Amazon SageMaker Autopilot

rights reserved. Amazon SageMaker Autopilot 数クリックでAutoMLを実現 • 最適な予測タイプを⾃動的に推測 • 数百のモデルをトレーニングおよび最適化して、データに最適なモデルを選択モデル性能、精度を⼀覧化 • 正確性、精度、再現率、AUC などのメトリクスでランク付けしてリストを表⽰ワンクリックでデプロイ • 利⽤したいモデルを選択するだけで本番環境へデプロイできる 31 機械学習に必要な知識がなくても、最適なモデルを⾃動⽣成できる

rights reserved. モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 33 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤ Amazon SageMaker JumpStart

rights reserved. Amazon SageMaker JumpStart 350を超えるモデルが利⽤可能 • 様々な⼈気のあるモデルハブにより事前トレーニング済みのモデルを利⽤できる簡単にデプロイできる • 推論⽤のコードがノートブック形式で簡単に⾃動作成できるファインチューニング可能 • ⾃作のデータセットでトレーニングできるビルド済みソリューション • 機械学習の⼀般的なユースケース向けにビルドされたソリューションも使える 34 様々なモデルやソリューションが、アルゴリズムの構築なしに数クリックで利⽤できる

rights reserved. 2017 StackGAN, Zhang et al. 2022 Stable Diffusion, Rombach et al. “a picture of a very clean living room” 注⽬を集める⼤規模モデル 35

rights reserved. アルゴリズムの⾶躍的な進化 3.3億 ( GPT-2 ) 5400億 ( PaLM ) 2019 2022 ⼤規模モデルのパラメータ数は1600倍以上に増加 ※ 当時の最新モデルで⽐較 36

rights reserved. Amazon SageMaker JumpStart が提供するモデルやソリューション etc… 37

rights reserved. とあるデータサイエンティストの話をみてみようもっとカスタマイズしてモデルを作成したい 38 公開されたモデルを動かしたり⾃作モデルを作りたいパラメータを変えて並列学習したい A

rights reserved. 39 やっぱり⼤変な環境構築から逃れられないのか… とあるデータサイエンティストの話をみてみようもっとカスタマイズしてモデルを作成したい 1つ前の話に出てきた環境構築に必要な作業 A

rights reserved. GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録モデル精度の追跡 41 モニタリング実験データデプロイ【再掲】機械学習の技術的負債を⽣み出さないための機能例 HW/ 環境 ML Code 並列実験できるリソース Amazon SageMaker Studio Notebooks

rights reserved. 42

rights reserved. GUIによる前処理実装モデル学習の⾃動化既存モデルの利⽤モデル承認フロー簡素化 CI/CDの実現バイアスの検出特徴量共有実験の記録並列実験できるリソースモデル精度の追跡 44 【再掲】機械学習の技術的負債を⽣み出さないための機能例 SageMaker Data Wrangler SageMaker Autopilot SageMaker JumpStart SageMaker Studio Notebooks SageMaker Model Monitor SageMaker Pipelines SageMaker Model Registry SageMaker Expriments SageMaker Clarify SageMaker Feature Store SageMaker Studio Notebooks モニタリング実験データデプロイ HW/ 環境 ML Code

rights reserved. 45 Configuration Data Collection Data Verification Machine Resource Management Serving Infrastructure ML Code Analysis Tool Process Management Tools Feature Extraction Monitoring Ground Truth S3 Clarify Data Wrangler Feature Store Processing Studio Autopilot JumpStart Debugger Model Monitor Pipelines MWAA Greengrass QuickSight Experiments Auto Scaling Training Job SageMakerの機能他のAWSサービス Glue Amazon SageMaker や AWS サービスを⽤いることで技術的負債を解消できる Endpoint

rights reserved. SageMaker Immersion Day ⼀般公開されているワークショップコンテンツ https://catalog.us-east-1.prod.workshops.aws/workshops/63069e26-921c-4ce1-9cc7-dd882ff62575/ja-JP

rights reserved. Amazon SageMaker Studio Lab データサイエンスの学習に適した環境がメールアドレスのみ、無料で開始できます。

rights reserved. まとめ • 機械学習では技術的負債となる作業が数多くある • 各作業をいかに省⼒化できるかが⼤切 • Amazon SageMaker Studio は技術的負債を解消する機能がある • 前処理をGUIで⾏える Amazon SageMaker Data Wrangler • 多種多様なモデルをすぐに利⽤できる Amazon SageMaker JumpStart • 開発・学習環境を必要に応じて簡単に⽤意し、使い分けができる • モデルの学習を並列で実⾏も容易にできるなどなど • Amazon SageMaker Studio はライセンス不要かつ無料で使える • 使った機能や⽤意した実⾏環境に対してのみ課⾦される 48 Amazon SageMaker Studio の機能を活⽤して機械学習プロジェクトの技術的負債を解消しましょう︕

機械学習の技術的負債を Amazon SageMaker Studio で解消

機械学習の技術的負債を Amazon SageMaker Studio で解消

More Decks by Ryota Sawa

Other Decks in Technology

Featured

Transcript