90%以上の ML ロードマップは お客様の声によるもの Multi-framework 主要なフレームワークの サポート Pace of innovation 去年200以上の ML 関連の 発表・主要な機能追加 Breadth and depth 幅広い AI/ML サービスを プロダクション導入 Security and analytics 豊富なセキュリティ・暗号化 に関する機能と頑強な分析基盤 AWS の機械学習に対するアプローチ Embedded R&D 顧客中心のアプローチで state-of-the-art を実現 What is ?
& インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタックを用途に合わせて A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML Amazon SageMaker
& インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: AI サービス (学習済みAPI/AutoML) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces • コンピュータビジョン (画像及び動画内の物体検出・顔認識・不適切コンテンツ の検出)、音声 (読み上げ・書き起こし)、自然言語処理 (翻訳・文書意味理解)・ チャットボットのトレーニング済みモデルを API で簡単に呼び出せる • AutoML: お客様のデータをアップロードして、モデル選択・トレーニング・パラ メータチューニングを行いエンドポイントにデプロイ AutoML
& インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: ML サービス (ML プラットフォーム) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML データ収集 クリーン アップ データ変換・ ラベル付け トレーニング モデル評価 本番環境に デプロイ 推論・監視 に求められること:
& インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: ML サービス (ML プラットフォーム) A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML • ワークフロー構築を助けるためのプラットフォームサービス • 機械学習ワークロードに特化した機能 • 単純な仮想マシンに比べて運用が楽 • 他の AWS サービスと組合せて研究により得られた価値をユーザーに還元
& インフラストラクチャ AI サービス ML サービス Amazon SageMaker A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタック: インフラ A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML • 深層学習フレームワーク • MXNet/Gluon はじめ TensorFlow, PyTorch, Chainer を幅広くサポート • CPU/GPU/FPGA/ASIC (インスタンスタイプ例) • (C5/C5d) Intel Xeon Scalable Processors • (P3/G4) NVIDIA Tesla V100/T4 • (F1) Xilinx UltraScale Plus • ストレージ・ネットワーク • Lustre, ≦ 100 Gbps Ethernet
& インフラストラクチャ AI サービス ML サービス A M A Z O N E C 2 C 5 I n s t a n c e s A M A Z O N E C 2 P 3 / G 4 I n s t a n c e s F P G A s Frameworks AWS の機械学習スタックを用途に合わせて A m a z o n R e k o g n i t i o n I m a g e / V i d e o A m a z o n P o l l y A m a z o n T r a n s c r i b e A m a z o n T r a n s l a t e A m a z o n C o m p r e h e n d A m a z o n L e x Chatbots A m a z o n F o r e c a s t Forecasting A m a z o n T e x t r a c t A m a z o n P e r s o n a l i z e Recommendations Vision Speech Language E l a s t i c I n f e r e n c e Infrastructure Interfaces AutoML Amazon SageMaker
Dawid, Alexander Philip, and Allan M. Skene. "Maximum likelihood estimation of observer error‐rates using the EM algorithm." Journal of the Royal Sta0s0cal Society: Series C (Applied Sta0s0cs) 28.1 (1979): 20-28. Branson, Steve, Grant Van Horn, and Pietro Perona. "Lean crowdsourcing: Combining humans and machines in an online system." Proceedings of the IEEE Conference on Computer Vision and PaAern Recogni0on. 2017. Van Horn, Grant, et al. "Lean multiclass crowdsourcing." Proceedings of the IEEE Conference on Computer Vision and PaAern Recogni0on. 2018. Yang, Jie, et al. "Leveraging crowdsourcing data for deep active learning an application: Learning intents in Alexa." Proceedings of the 2018 World Wide Web Conference. International World Wide Web Conferences Steering Committee, 2018. AWS re:Invent 2018: Amazon SageMaker Ground Truth: Quality & Accurate Datasets (AIM369) 馬場雪乃. "クラウドソーシングにおける統計的品質管理理⼿ 手法の研究動向." (2014).
手法 自己回帰 RNN Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting (2019).
MXNet 主なメリット F l e x i b l e D e b u g g a b l e S c a l a b le 8 f r o n t e n d l a n g u a g e s O p t i m i z e d b i n a r i e s Po r t a b le Keras
BlazingText Gupta, Saurabh, and Vineet Khare. "Blazingtext: Scaling and accelerating word2vec using multiple gpus." Proceedings of the Machine Learning on HPC Environments. ACM, 2017. Amazon SageMaker BlazingText: Parallelizing Word2Vec on Multiple CPUs or GPUs HRNN Ma, Yifei, and Murali Balakrishnan Narayanaswamy. "Hierarchical Temporal-Contextual Recommenders." (2018). DeepAR Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting (2019).
Scalable multi-node training with TensorFlow Launching TensorFlow distributed training easily with Horovod or Parameter Servers in Amazon SageMaker Optimizing deep learning on P3 and P3dn with EFA
Brochu, Eric, Vlad M. Cora, and Nando De Freitas. "A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning." arXiv preprint arXiv:1012.2599 (2010). Bergstra, James S., et al. "Algorithms for hyper-parameter optimization." Advances in neural information processing systems. 2011. Snoek, Jasper, Hugo Larochelle, and Ryan P. Adams. "Practical bayesian optimization of machine learning algorithms." Advances in neural information processing systems. 2012. Akiba, Takuya, et al. "Optuna: A next-generation hyperparameter optimization framework." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2019. Amazon SageMaker で Optuna を用いたハイパーパラメータ最適化を実装する
SageMaker Neo トレーニング済のモデルをコンパイルし、様々な環境で動作 K E Y F E A T U R E S Neo-AI デバイスランタイム・コンパイラはオープンソース (Apache license 2.0) ランタイムは DL フレームワークの 1/10 のサイズ https://github.com/neo-ai/
TVM Chen, Tianqi, et al. "{TVM}: An automated end-to-end optimizing compiler for deep learning." 13th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 18). 2018. AutoTVM Using AutoTVM to Automatically Generate Deep Learning Libraries for Mobile Devices https://github.com/apache/incubator-tvm/wiki/Benchmark AutoTVM の紹介 Learning to Optimize Tensor Programs Relay Roesch, Jared, et al. "Relay: a new IR for machine learning frameworks." Proceedings of the 2nd ACM SIGPLAN International Workshop on Machine Learning and Programming Languages. ACM, 2018.
Inferentia (ASIC) • Scalable performance from 32 TOPS to 512 TOPS at INT8 • high scale deployments common to machine learning inference deployments where costs really matter. • Near-linear scale-out, and build on high volume technologies like DRAM rather than HBM. • INT8 for best performance • also support mixed-precision FP16 and bfloat16 for compatibility, • Working with the wider Amazon/AWS Machine learning service teams like • Amazon Go, • Alexa, • Rekognition, and • SageMaker • We support • ONNX (https://onnx.ai/) • interface natively with • MXNet, PyTorch, and TensorFlow
AWS Machine Learning Research Awards (MLRA) https://aws.amazon.com/blogs/machine-learning/aws-machine-learning- research-awards-call-for-proposal/ The following types of projects are eligible for MLRA funding: • Development of open-source tools and research that benefit the ML community at large. • Impactful research that uses any of the following AWS ML solutions: Amazon SageMaker, Amazon SageMaker Ground Truth, Amazon SageMaker Neo, Apache MXNet on AWS, and AWS AI Services. The average awarded amount is no more than $70,000 cash and $100,000 AWS Promotional Credits for individual projects.
hariby
bengo4com
jacopen
databricksjapan
emiki
judeeeee
ch1aki
onk
bkuhlmann
meow_noisy
uezo
soracom
pelelgrino
tanoku
destraynor
bluesmoon
edds
samlambert
pedronauck
addyosmani
dotmariusz
trishagee
cherdarchuk
eileencodes
sferik
