Tweet
Tweet

Slide 1

Slide 1 text

© 2019, Amazon Web Services, Inc. or its Affiliates. アマゾン ウェブ サービス ジャパン株式会社 Solutions Architect 針原 佳貴 2019-11-07 15:20-16:10 九州⼤学 情報基盤研究開発センター (伊都キャンパス) AWS における機械学習の取り組み クラウドでの機械学習基盤と深層学習の研究開発 @_hariby

Slide 2

Slide 2 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 自己紹介 針原 佳貴 (はりばら よしたか) • 大阪府 箕面市 出身 • 博士 (情報理工学) 経歴 • 2007-2013 阪大 理学部 数学科 • 軽音楽部 (ドラム) • 2013-2015 東大 情報理工 電子情報 (修士) • 2015-2018 東大 情報理工 数理情報 (博士) • 2018- AWS Japan, Startup Solutions Architect • スタートアップ・機械学習担当 • 好きなサービスは Amazon SageMaker

Slide 3

Slide 3 text

研究紹介 (大学院時代) 博士論文 「組合せ最適化問題のための測定 フィードバック型コヒーレント・ イジングマシンの実現と評価」 • 量子光学系を使ってグラフ最大 カットに代表される組合せ最適 化問題を高速に解く手法の研究 • 物理系を用いた近似解法 • 乱数生成 • アナログメモリ • 行列積 Haribara, Yoshitaka, et al. "Performance evaluation of coherent Ising machines against classical neural networks." Quantum Science and Technology 2.4 (2017): 044002.

Slide 4

Slide 4 text

研究とクラウドの関わり (大学院時代) 研究成果をクラウド上に構 築・公開して、ユーザー・ 企業の方に試してほしい！ 出典: https://www.jst.go.jp/pr/announce/20171120/index.html

Slide 5

Slide 5 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 機械学習 (を始める以前) の課題 • 高性能なプロセッサ、特に GPU が必要 • NVIDIA Tesla V100 GPU • GPU を買うと高い。必要なリソース見積もりが難しい • 必要な時に、必要な分だけの、柔軟なリソース調達が必要 • 開発時は手元の GPU サーバーで行うが、 長いトレーニングジョブはリモート (クラウドなど) に投げたい • 研究室のサーバーだと足りなくなる • クラウドだとインスタンスの落とし忘れ • 環境構築が面倒 • GPU ドライバ、CUDA、cuDNN、フレームワーク (TensorFlow, PyTorch, MXNet, Chainer, …)、Python ライブラリ (NumPy, Pandas, OpenCV, …)

Slide 6

Slide 6 text

© 2019, Amazon Web Services, Inc. or its Affiliates.

Slide 7

Slide 7 text

© 2019, Amazon Web Services, Inc. or its Affiliates. © 2019, Amazon Web Services, Inc. or its Affiliates. 全てのデベロッパーの手に 機械学習を Our mission at AWS

Slide 8

Slide 8 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Customer-focused 90%以上の ML ロードマップは お客様の声によるもの Multi-framework 主要なフレームワークの サポート Pace of innovation 去年200以上の ML 関連の 発表・主要な機能追加 Breadth and depth 幅広い AI/ML サービスを プロダクション導入 Security and analytics 豊富なセキュリティ・暗号化 に関する機能と頑強な分析基盤 Embedded R&D 顧客中心のアプローチで state-of-the-art を実現 AWS の機械学習に対するアプローチ

Slide 9

Slide 9 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Customer-focused 90%以上の ML ロードマップは お客様の声によるもの Multi-framework 主要なフレームワークの サポート Pace of innovation 去年200以上の ML 関連の 発表・主要な機能追加 Breadth and depth 幅広い AI/ML サービスを プロダクション導入 Security and analytics 豊富なセキュリティ・暗号化 に関する機能と頑強な分析基盤 AWS の機械学習に対するアプローチ Embedded R&D 顧客中心のアプローチで state-of-the-art を実現 What is ?

Slide 10

Slide 10 text

AWS 上で機械学習ワークロードを実行中のお客様 (ごく一部)

Slide 11

Slide 11 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタックを用途に合わせて A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML Amazon SageMaker

Slide 12

Slide 12 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: AI サービス (学習済みAPI/AutoML) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces • コンピュータビジョン (画像及び動画内の物体検出・顔認識・不適切コンテンツ の検出)、音声 (読み上げ・書き起こし)、自然言語処理 (翻訳・文書意味理解)・ チャットボットのトレーニング済みモデルを API で簡単に呼び出せる • AutoML: お客様のデータをアップロードして、モデル選択・トレーニング・パラ メータチューニングを行いエンドポイントにデプロイ AutoML

Slide 13

Slide 13 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: ML サービス (ML プラットフォーム) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML データ収集 クリーン アップ データ変換・ ラベル付け トレーニング モデル評価 本番環境に デプロイ 推論・監視 に求められること:

Slide 14

Slide 14 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: ML サービス (ML プラットフォーム) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML • ワークフロー構築を助けるためのプラットフォームサービス • 機械学習ワークロードに特化した機能 • 単純な仮想マシンに比べて運用が楽 • 他の AWS サービスと組合せて研究により得られた価値をユーザーに還元

Slide 15

Slide 15 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: インフラ A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML • 深層学習フレームワーク • MXNet/Gluon はじめ TensorFlow, PyTorch, Chainer を幅広くサポート • CPU/GPU/FPGA/ASIC (インスタンスタイプ例) • (C5/C5d) Intel Xeon Scalable Processors • (P3/G4) NVIDIA Tesla V100/T4 • (F1) Xilinx UltraScale Plus • ストレージ・ネットワーク • Lustre, ≦ 100 Gbps Ethernet

Slide 16

Slide 16 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 深層学習フレームワーク & インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタックを用途に合わせて A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML Amazon SageMaker

Slide 17

Slide 17 text

© 2019, Amazon Web Services, Inc. or its Affiliates. © 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker

Slide 18

Slide 18 text

© 2019, Amazon Web Services, Inc. or its Affiliates. あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ Amazon SageMaker

Slide 19

Slide 19 text

© 2019, Amazon Web Services, Inc. or its Affiliates. あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ Amazon SageMaker トレーニングと パラメーター チューニング トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ

Slide 20

Slide 20 text

© 2019, Amazon Web Services, Inc. or its Affiliates. あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon SageMaker Ground Truth トレーニングと パラメーター チューニング Amazon SageMaker

Slide 21

Slide 21 text

© 2019, Amazon Web Services, Inc. or its Affiliates. あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon SageMaker Ground Truth AWS Marketplace for Machine Learning トレーニングと パラメーター チューニング • k-means クラスタリング • Factorization Machines (レコメンド) • DeepAR (時系列予測) • BlazingText (Word2Vec) • XGBoost • 画像分類・物体検出 • Seq2Seq • LDA / Neural Topic Modelling (トピックモデル) • 主成分分析 • 線型学習器 (回帰 / 分類) Amazon SageMaker

Slide 22

Slide 22 text

© 2019, Amazon Web Services, Inc. or its Affiliates. あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth AWS Marketplace for Machine Learning トレーニングと パラメーター チューニング Amazon SageMaker

Slide 23

Slide 23 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth AWS Marketplace for Machine Learning Amazon SageMaker

Slide 24

Slide 24 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 25

Slide 25 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 26

Slide 26 text

© 2019, Amazon Web Services, Inc. or its Affiliates. © 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker の使い方

Slide 27

Slide 27 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 開発環境として Jupyter Notebook/Lab を簡単に使える • インスタンスタイプを選んで立ち上げるだけ • フレームワークがプリインストール • ノートブックインスタンス作成・起動時にスクリプト実行 • https://github.com/aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples

Slide 28

Slide 28 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker 開発 Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office.

Slide 29

Slide 29 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker 開発 Jupyter Notebook/Lab Amazon S3 学習 Amazon EC2 P3 Instances Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. ビルド済みのコンテナイメージが 予め用意されている

Slide 30

Slide 30 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker 開発 学習 Amazon EC2 P3 Instances Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. トレーニングでのメリット: • API 経由で学習用インスタン スを起動、 学習が完了すると自動停止 • 高性能なインスタンスを 秒課金で、 簡単にコスト削減 • 指定した数のインスタンスを 同時起動、 分散学習も容易

Slide 31

Slide 31 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker 開発 学習 推論 Amazon EC2 P3 Instances Jupyter Notebook/Lab Endpoint/ Batch transform Amazon S3 Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Office.

Slide 32

Slide 32 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 「コンテナ」による環境の統⼀化 CUDA, cuDNN トレーニングスクリプト train.py Deep Learning Framework スクリプトの実行に必要なものを コードで記述し一箇所にまとめる Docker image

Slide 33

Slide 33 text

© 2019, Amazon Web Services, Inc. or its Affiliates. © 2019, Amazon Web Services, Inc. or its Affiliates. SageMaker Deep Dive

Slide 34

Slide 34 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 35

Slide 35 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Ground Truth

Slide 36

Slide 36 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Ground Truth • アノテーションの一般的なワークフローをサポート • 5種類の組み込みラベリングツールとワーカー (クラウドソーシング) 連携 • ラベル統合 (label consolidation) による高精度なラベル付け • アクティブラーニング・自動ラベリング機能で最大70%のコスト削減 • AWS StepFunctions からの呼び出しにも対応 迅速・効率的 簡単 高精度

Slide 37

Slide 37 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 5種類の組み込みツール+カスタムジョブと 3種類のワーカー カスタム

Slide 38

Slide 38 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 5種類の組み込みツール+カスタムジョブと 3種類のワーカー カスタム

Slide 39

Slide 39 text

© 2019, Amazon Web Services, Inc. or its Affiliates. クラウドソーシングにおける品質管理の課題 • 複数ワーカーが異なるラベルを返した場合 • 多数決よりも「賢く」結果を統合したい • 統計的品質管理 bulldog sharpei bulldog bulldog ?

Slide 40

Slide 40 text

© 2019, Amazon Web Services, Inc. or its Affiliates. クラウドソーシングにおける品質管理の課題 • 複数ワーカーが異なるラベルを返した場合 • ワーカーが複数タスクに回答することを利用して能力を評価、 正解ラベルの推定に使用 bulldog sharpei bulldog bulldog 0.1 Bulldog 0.9 Sharpei 0.7 0.9 0.5 0.3

Slide 41

Slide 41 text

© 2019, Amazon Web Services, Inc. or its Affiliates. クラウドソーシングにおける品質管理の課題 • 複数ワーカーが異なるラベルを返した場合 • Bulldog • Sharpei bulldog sharpei bulldog bulldog 0.7 0.9 0.5 0.3 P(x1, x2, x3, x4 |B) = Y i P(xi |B) = 0.7 ⇤ 0.1 ⇤ 0.5 ⇤ 0.3 ⇡ 0.01 P(x1, x2, x3, x4 |S) = Y i P(xi |S) = 0.3 ⇤ 0.9 ⇤ 0.5 ⇤ 0.7 ⇡ 0.1 P(S|x1, . . . x4) P(B|x1, . . . x4) = P(x1, . . . x4 |S) P(x1, . . . x4 |B) ⇡ 10 AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw== AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw== AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw== AAADCHicbVJLa9tAEF4pfaTuy0mPhTLUtDilBG3i4vYQCO6lRxfXScAyYrVeJUv0YndVbGQfe8lfySWHltJrf0Jv/TcdbURxHA/M8PHNzDea0YZ5LLXxvL+Ou3Hn7r37mw8aDx89fvK0ubV9pLNCcTHkWZypk5BpEctUDI00sTjJlWBJGIvj8PxjlT/+KpSWWfrFzHIxTthpKiPJmUEq2HJevIZ+exrQt9NgD30fvTPv7cAB+LnKJoG0aQlzQBJZb7cLbzBSG9/ZuA8+y7F6itij4PuNdaKDdaKWrBQqnQ9Lmt0lTWoV/UgxXvbbA2yrtMGfZEYj7OwskO6toauBddfN1HwAtmmlw265+D+Zeo2g2cKdrMFtQGvQIrX1g+YfVONFIlLDY6b1iHq5GZdMGcljsWj4hRY54+fsVIwQpiwRelzaH7mAV8hMIMoUemrAsssdJUu0niUhVibMnOnVXEWuy40KE70flzLNCyNSfj0oKmIwGVSvAiZSCW7iGQLGlcRvBX7G8HIG3051BLq68m1wtLdLEX/utA579Tk2yXPykrQJJV1ySD6RPhkS7nxzLp3vzg/3wr1yf7q/rktdp+55Rm6Y+/sflAHeBw== 0.1 Bulldog 0.9 Sharpei

Slide 42

Slide 42 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 精度の高い 学習用データセット 入力 データセット 人がラベル付けしたデータから アクティブラーニングのモデルを学習 自動 アノテーション 信頼度の低いデータは 人間がアノテーション アクティブラーニングと自動データラベリング アクティブ ラーニング

Slide 43

Slide 43 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 Dawid, Alexander Philip, and Allan M. Skene. "Maximum likelihood estimation of observer error‐rates using the EM algorithm." Journal of the Royal Sta0s0cal Society: Series C (Applied Sta0s0cs) 28.1 (1979): 20-28. Branson, Steve, Grant Van Horn, and Pietro Perona. "Lean crowdsourcing: Combining humans and machines in an online system." Proceedings of the IEEE Conference on Computer Vision and PaAern Recogni0on. 2017. Van Horn, Grant, et al. "Lean multiclass crowdsourcing." Proceedings of the IEEE Conference on Computer Vision and PaAern Recogni0on. 2018. Yang, Jie, et al. "Leveraging crowdsourcing data for deep active learning an application: Learning intents in Alexa." Proceedings of the 2018 World Wide Web Conference. International World Wide Web Conferences Steering Committee, 2018. AWS re:Invent 2018: Amazon SageMaker Ground Truth: Quality & Accurate Datasets (AIM369) 馬場雪乃. "クラウドソーシングにおける統計的品質管理理⼿ 手法の研究動向." (2014).

Slide 44

Slide 44 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon SageMaker Ground Truth AWS Marketplace for Machine Learning Amazon SageMaker • k-means クラスタリング • Factorization Machines (レコメンド) • DeepAR (時系列予測) • BlazingText (Word2Vec) • XGBoost • 画像分類・物体検出 • Seq2Seq • LDA / Neural Topic Modelling (トピックモデル) • 主成分分析 • 線型学習器 (回帰 / 分類)

Slide 45

Slide 45 text

© 2019, Amazon Web Services, Inc. or its Affiliates. BlazingText • Word2Vec: 単語の分散表現 (ベクトル空間に埋め込み) • Continuous Bag of Words (CBOW) • Skip-gram

Slide 46

Slide 46 text

© 2019, Amazon Web Services, Inc. or its Affiliates. BlazingText: Word2Vec の分散実装 (CPU/GPU) 確率的勾配法 (Stochastic Gradient Descent; SGD)が sequential なことが本質的な難しさ • HogWild parallel SGD (Word2Vecに限らず一般のSGDの並列化) • スレッドごとに別の単語の組を学習しコンフリクトは無視 • 理論的には収束が悪くなるはずだが、複数スレッドが同一の単語を更新しなければ問題ない。 実際、大きな語彙数に対してコンフリクトは起こりづらく、収束性は損なわれない • HogBatch parallel SGD • ミニバッチ間でのネガティブサンプルを共有する (“negative sample sharing”) 手法を提案 • Level 3 BLAS の行列積 (SGEMM; Single-precision GEneral Matrix-Matrix operation) で問題を記述 • BlazingText (論文での提案手法; SageMaker built-in では上記の手法も提供) • GPU 実装は深層学習フレームワークを使わず CUDA で高速化 • 各文を thread block に割り当て、その中で埋め込み次元を各スレッドに割り当て並列化 BlazingText CBOW Skip-gram Batch_skipgram Single instance (CPU) ☑ HogWild ☑ HogWild ☑ HogBatch Distributed (CPU) ☑ HogBatch Single instance (≧ 1 GPU) ☑ Proposed ☑ Proposed

Slide 47

Slide 47 text

© 2019, Amazon Web Services, Inc. or its Affiliates. BlazingText: 結果 • スケーラブルな実装 • コスト効率よく高い精度を実現 スループット BlazingText GPU CPU FastText (比較手法) Accuracy コスト ($) BlazingText (p3.2xl)

Slide 48

Slide 48 text

© 2019, Amazon Web Services, Inc. or its Affiliates. HRNN: 手法 • ユーザー行動のメタデータを系列として入力し、レコメンドに使用 • 過去の動画閲覧履歴など Ma, Yifei, and Murali Balakrishnan Narayanaswamy. "Hierarchical Temporal-Contextual Recommenders." (2018).

Slide 49

Slide 49 text

© 2019, Amazon Web Services, Inc. or its Affiliates. HRNN: 結果 • Movie Lens 評価予測タスクで Factorization Machines や RNN (セッショ ン情報なし) に比べ、HRNN が誤差が少ないという結果に Ma, Yifei, and Murali Balakrishnan Narayanaswamy. "Hierarchical Temporal-Contextual Recommenders." (2018).

Slide 50

Slide 50 text

© 2019, Amazon Web Services, Inc. or its Affiliates. DeepAR: 手法 自己回帰 RNN Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting (2019).

Slide 51

Slide 51 text

© 2019, Amazon Web Services, Inc. or its Affiliates. DeepAR: 結果 ec データセットでの予測結果 (青) 80%信頼区間を表示 Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting (2019).

Slide 52

Slide 52 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Apache MXNet • Deep Neural Net 学習・推論のための高速・スケーラブルなフレームワーク • CV、NLP、時系列予測、推薦、RL など産業界のあらゆるユースケースに • 2016年以降 Amazon/AWS の多くのプロダクションサービスで利用 • Alexa, Amazon Go, Amazon Retail Warehouse Systems, Amazon Music, Amazon Rekognition, Amazon Comprehend • 教科書: https://github.com/d2l-ai/d2l-ja Computer Vision (CV) Recommendation Engine Forecasting Sentiment Analysis

Slide 53

Slide 53 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Apache MXNet 主なメリット F l e x i b l e D e b u g g a b l e S c a l a b le 8 f r o n t e n d l a n g u a g e s O p t i m i z e d b i n a r i e s Po r t a b le Keras

Slide 54

Slide 54 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 BlazingText Gupta, Saurabh, and Vineet Khare. "Blazingtext: Scaling and accelerating word2vec using multiple gpus." Proceedings of the Machine Learning on HPC Environments. ACM, 2017. Amazon SageMaker BlazingText: Parallelizing Word2Vec on Multiple CPUs or GPUs HRNN Ma, Yifei, and Murali Balakrishnan Narayanaswamy. "Hierarchical Temporal-Contextual Recommenders." (2018). DeepAR Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting (2019).

Slide 55

Slide 55 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 56

Slide 56 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Managed Sport Training でトレーニング料金を削減 • オンデマンドに比べて最大90%のコスト削減 • 中断が発生する可能性があるので checkpoints に途中経過を書き出し • 最大で待てる時間を指定 呼び出し方 (SageMaker Python SDK >= v1.37.2 で対応): estimator = Estimator("train.py", role=sagemaker.get_execution_role(), train_instance_count=1, train_instance_type="ml.p3.2xlarge", framework_version="1.4.0”, train_use_spot_instances=True, train_max_wait=2*24*60*60, # train_max_run (デフォルト1日) より長い時間を指定 checkpoint_s3_uri="s3://mybucket/checkpoints", checkpoint_local_path="/opt/ml/checkpoints/" ) estimator.fit(“s3://mybucket/data/train”) # fit でトレーニングは同様

Slide 57

Slide 57 text

© 2019, Amazon Web Services, Inc. or its Affiliates. P3/P3dn p3.16xlarge / p3dn.24xlarge • ネットワークトポロジー p3.16xl p3dn.24xl Processor Intel Xeon E5- 2686 v4 Intel Skylake 8175 (w/ AVX 512) vCPUs 64 96 GPU 8x 16 GB NVIDIA Tesla V100 8x 32 GB NVIDIA Tesla V100 RAM 488 GB 768 GB Network 25 Gbps ENA 100 Gbps ENA + EFA GPU Interconnect NVLink – 300 GB/s

Slide 58

Slide 58 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 59

Slide 59 text

© 2019, Amazon Web Services, Inc. or its Affiliates. TensorFlow でのマルチノードトレーニング ImageNet で分散学習 • 120万枚の画像 • 1000カテゴリ • 256 GPUs • 15分 TF CUDA10 TF CUDA 9 IDEAL 120k img/s 14.6 min w/ 256 GPUs

Slide 60

Slide 60 text

© 2019, Amazon Web Services, Inc. or its Affiliates. P3dn + EFA • スケーラブルなスループット • Fairseq (PyTorch seq-to-seq) での分散効率ベンチマーク

Slide 61

Slide 61 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 Scalable multi-node training with TensorFlow Launching TensorFlow distributed training easily with Horovod or Parameter Servers in Amazon SageMaker Optimizing deep learning on P3 and P3dn with EFA

Slide 62

Slide 62 text

© 2019, Amazon Web Services, Inc. or its Affiliates. ベイズ最適化 • ブラックボックス関数の最適化手法 • グリッドサーチ・ランダムサーチ に比べ効率が良いと考えられてお り、機械学習のハイパーパラメー タ最適化 (HPO) でよく使われる Figure 1 from arXiv:1012.2599 [cs.LG]

Slide 63

Slide 63 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Optuna • PFN が開発している OSS の HPO フレームワーク • Define-by-Run のインターフェース (複雑なパラメータ空間を記述しやすい) • Tree-structured Parzen Estimator Approach (TPE) を含む 複数のサンプリング手法を利用 • SageMaker の分散環境でも使えるようなテンプレートを公開 • https://aws.amazon.com/jp/blogs/news/amazon-sagemaker- optuna-hpo/

Slide 64

Slide 64 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 Brochu, Eric, Vlad M. Cora, and Nando De Freitas. "A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning." arXiv preprint arXiv:1012.2599 (2010). Bergstra, James S., et al. "Algorithms for hyper-parameter optimization." Advances in neural information processing systems. 2011. Snoek, Jasper, Hugo Larochelle, and Ryan P. Adams. "Practical bayesian optimization of machine learning algorithms." Advances in neural information processing systems. 2012. Akiba, Takuya, et al. "Optuna: A next-generation hyperparameter optimization framework." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2019. Amazon SageMaker で Optuna を用いたハイパーパラメータ最適化を実装する

Slide 65

Slide 65 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 66

Slide 66 text

© 2019, Amazon Web Services, Inc. or its Affiliates. © 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Neo

Slide 67

Slide 67 text

© 2019, Amazon Web Services, Inc. or its Affiliates. モデルを最適な形で各デバイスにデプロイしたい

Slide 68

Slide 68 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Neo トレーニング済のモデルをコンパイルし、様々な環境で動作 K E Y F E A T U R E S Neo-AI デバイスランタイム・コンパイラはオープンソース (Apache license 2.0) ランタイムは DL フレームワークの 1/10 のサイズ https://github.com/neo-ai/

Slide 69

Slide 69 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Amazon SageMaker Neo

Slide 70

Slide 70 text

© 2019, Amazon Web Services, Inc. or its Affiliates. TVM Stack

Slide 71

Slide 71 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Parse Model Optimize Tensors Generate Code Optimize Graph TensorFlow, MXNet, PyTorch, XGBoost のモデルを共通 フォーマットに変換 ML モデル (NN) 中のパターンを 認識し、実行コストを削減する ようグラフ構造の最適化 入力データの shape から パターンを抽出し、 効率的にメモリを割り当てる ターゲットデバイス用に 低レベルコンパイラを 用いて機械語を生成 TVM によるコンパイル Pruning Operator fusion Nested loop tiling Vectorization / Tensorization Data layout transform

Slide 72

Slide 72 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 TVM Chen, Tianqi, et al. "{TVM}: An automated end-to-end optimizing compiler for deep learning." 13th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 18). 2018. AutoTVM Using AutoTVM to Automatically Generate Deep Learning Libraries for Mobile Devices https://github.com/apache/incubator-tvm/wiki/Benchmark AutoTVM の紹介 Learning to Optimize Tensor Programs Relay Roesch, Jared, et al. "Relay: a new IR for machine learning frameworks." Proceedings of the 2nd ACM SIGPLAN International Workshop on Machine Learning and Programming Languages. ACM, 2018.

Slide 73

Slide 73 text

© 2019, Amazon Web Services, Inc. or its Affiliates. トレーニングと パラメーター チューニング あらゆる規模で機械学習・深層学習モデルを構築・トレーニング・デプロイ トレーニング 環境の 整備と運用 本番環境への デプロイ 学習データの 収集と準備 ML アルゴリズム の 選択と最適化 1 2 3 本番環境での 運用とスケーリン グ Amazon EC2 P3 Instances Managed Spot Training Amazon SageMaker Ground Truth Amazon Elastic Inference AWS Marketplace for Machine Learning Amazon SageMaker Neo Amazon SageMaker

Slide 74

Slide 74 text

© 2019, Amazon Web Services, Inc. or its Affiliates. AWS Inferentia (ASIC) • Scalable performance from 32 TOPS to 512 TOPS at INT8 • high scale deployments common to machine learning inference deployments where costs really matter. • Near-linear scale-out, and build on high volume technologies like DRAM rather than HBM. • INT8 for best performance • also support mixed-precision FP16 and bfloat16 for compatibility, • Working with the wider Amazon/AWS Machine learning service teams like • Amazon Go, • Alexa, • Rekognition, and • SageMaker • We support • ONNX (https://onnx.ai/) • interface natively with • MXNet, PyTorch, and TensorFlow

Slide 75

Slide 75 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 参考文献 AWS Inferentia Machine Learning Processor

Slide 76

Slide 76 text

© 2019, Amazon Web Services, Inc. or its Affiliates. おまけ: イジングマシン Simulated Bifurcation Machine (SBM) Marketplace から EC2 P3 インスタンスを立ち上げ、REST API で計算 http://dfk66cqpwr4ko.cloudfront.net/user_manual_en.pdf REQUEST $ curl -i -H "Content-Type: application/octet-stream" -X POST "http://123.45.67.89:8000/solver/maxcut?steps=10000&loops=10" --data-binary "@testdata/Gset/G22" RESULT HTTP/1.1 100 Continue HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 Content-Length: 4113 ETag: W/"1011-Z42q2FWKAaAAm6ElkgQkv5LQpok" Date: Mon, 10 Jun 2019 02:28:45 GMT Connection: keep-alive {"id":"r2273333554","time":1.65,"wait":0,"runs":3200,"steps":10000,"messa ge":"finished","value":13359,"result":[0,0,1,0,1,0,0,0,0,1,1,0,1,0,1,0,1, 1,1,1,1,0,0,1,0,0,0,1,1,0,0,0,1,0,0,1,0,1,0,0,0,1,0,1,0,0,1,1,0,1,0,0,0, 1,0,0,1,1,1,0,0,1,0,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,1,1,1,0,0 ,1,0,0,0,1,0,1,1,0,1,1,0,0,1,0,1,1,1,1]} 1-bit Simulated Annealing https://github.com/hariby/SA-complete-graph

Slide 77

Slide 77 text

© 2019, Amazon Web Services, Inc. or its Affiliates. おまけ: 量子コンピュータのシミュレーション on AWS Blueqat+Qgate https://qiita.com/YuichiroMinato/items/b562d7b8e0975840a85f

Slide 78

Slide 78 text

© 2019, Amazon Web Services, Inc. or its Affiliates. ML@Loft #8 量子コンピュータ × 機械学習 (11/20 Wed.) https://mlloft8.splashthat.com/ • 根来 誠 氏 (大阪大学先導的学際研究機構 特任准教授) • 「量子機械学習実装」 • 久保 健治 氏 (株式会社メルカリ mercari R4D Researcher) • 「量子機械学習アルゴリズム」 • 藤井 啓祐 氏 (大阪大学大学院基礎工学研究科システム創成専攻 教授) • 「量子コンピュータの現状と課題」 • 湊 雄一郎 氏 (MDR株式会社 CEO) • 「量子コンピュータと世界のベンチャー企業」 • 後藤 隼人 氏 (株式会社東芝 研究開発センター 主任研究員) • 「量子インスパイアド古典アルゴリズム」

Slide 79

Slide 79 text

© 2019, Amazon Web Services, Inc. or its Affiliates. 研究ファンド: AWS Machine Learning Research Awards (MLRA) https://aws.amazon.com/blogs/machine-learning/aws-machine-learning- research-awards-call-for-proposal/ The following types of projects are eligible for MLRA funding: • Development of open-source tools and research that benefit the ML community at large. • Impactful research that uses any of the following AWS ML solutions: Amazon SageMaker, Amazon SageMaker Ground Truth, Amazon SageMaker Neo, Apache MXNet on AWS, and AWS AI Services. The average awarded amount is no more than $70,000 cash and $100,000 AWS Promotional Credits for individual projects.

Slide 80

Slide 80 text

© 2019, Amazon Web Services, Inc. or its Affiliates. Thank You! [email protected] @_hariby