Googleがめざす、誰もが使える機械学習

by Kazunori Sato

Slide 1

Slide 1 text

Slide 2

Slide 2 text

+Kazunori Sato @kazunori_279 佐藤　一憲クラウドプラットフォームデベロッパーアドボケイトデータ＆分析チームテックリード

Slide 3

Slide 3 text

今日のトピックニューラルネットワークとディープラーニング Googleサービスを支える機械学習誰もが使える機械学習サービスオープンソースの機械学習ライブラリTensorFlow TensorFlowで誰もが使えるディープラーニングへ Googleクラウドによる大規模分散学習

Slide 4

Slide 4 text

ニューラルネットワークとディープラーニング

Slide 5

Slide 5 text

ニューラルネットワーク＝学習できる関数

Slide 6

Slide 6 text

どう分類する？

Slide 7

Slide 7 text

認識のかなめとなるデータの特徴を探しだす

Slide 8

Slide 8 text

どう分類する？

Slide 9

Slide 9 text

ディープラーニングによる認識の階層化

Slide 10

Slide 10 text

From: mNeuron: A Matlab Plugin to Visualize Neurons from Deep Models, Donglai Wei et. al.

Slide 11

Slide 11 text

Googleサービスを支える機械学習

Slide 12

Slide 12 text

12 過去2年以上のランク品質改善で最大の成果 Google検索 machine learning for search engines RankBrain: ディープラーニングによる検索ランキング

Slide 13

Slide 13 text

No content

Slide 14

Slide 14 text

WaveNet by Google DeepMind

Slide 15

Slide 15 text

15 [glacier] Googleフォト 15

Slide 16

Slide 16 text

16 Gmailのスマートリプライコンテキストから自動生成モバイルアプリからの返信のうち 10%

Slide 17

Slide 17 text

http://googleresearch.blogspot.com/2016/05/announcing-syntaxnet-worlds-most.html

Slide 18

Slide 18 text

データセンター冷却コストが40%低下データセンター電力効率（PUE）が15%改善

Slide 19

Slide 19 text

19 Android Apps Gmail Maps Photos Speech Search Translation YouTube その他多数利用サービス： 2012 2013 2014 2015 Googleでのディープラーニングの利用増加

Slide 20

Slide 20 text

誰でも使える機械学習サービス

Slide 21

Slide 21 text

TensorFlow Cloud Machine Learning 機械学習API 簡単・使いやすい・一般エンジニア向けカスタマイズ可能・機械学習エンジニア向け機械学習サービスのラインナップ

Slide 22

Slide 22 text

画像認識の学習済みモデルを提供画像をAPIに送るだけ、機械学習の知識は不要 $2.50 / 1,000 認識（無償* で試用可能）一般公開済み Cloud Vision API * Google Cloud Platform のプロジェクト内で使用したリソースのコストは別途発生します。

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

24 24 デモ

Slide 25

Slide 25 text

音声認識の学習済みモデルを提供音声をAPIに送るだけ、機械学習の知識は不要 80か国語以上に対応 Public Beta版 - cloud.google.com/speech Cloud Speech API

Slide 26

Slide 26 text

26 26 デモ

Slide 27

Slide 27 text

自然言語処理の学習済みモデルを提供テキストをAPIに送るだけ、機械学習の知識は不要英語、日本語、スペイン語に対応形態素解析、構文解析、固有表現抽出、感情分析 Public Beta版 - cloud.google.com/nl Cloud Natural Language API

Slide 28

Slide 28 text

28 28 デモ

Slide 29

Slide 29 text

特定用途向けの認識を行いたい ● 医療のCT・MRI画像からの病変部所の検知 ● クルマの画像から車種判定 ● 工場の製品画像からの異物・異常検知画像や音声以外のさまざまなデータ分析 ● ゲームログ分析、製造、流通、IoTなど →　専用のニューラルネットワークの設計と学習が必要機械学習APIが適さない用途

Slide 30

Slide 30 text

オープンソースの機械学習ライブラリTensorFlow

Slide 31

Slide 31 text

Googleが開発したオープンソースの機械学習ライブラリ tensorflow.org を2015年11月に公開 Googleの多くのプロジェクトで利用 TensorFlowとは？

Slide 32

Slide 32 text

Googleの機械学習技術を誰でも使いやすくリポジトリ（GitHubの機械学習カテゴリ） #1

Slide 33

Slide 33 text

# define the network import tensorflow as tf x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) # define a training step y_ = tf.placeholder(tf.float32, [None, 10]) xent = -tf.reduce_sum(y_*tf.log(y)) step = tf.train.GradientDescentOptimizer(0.01).minimize(xent) ネットワークをプレハブのように簡単設計学習アルゴリズムを呼び出すだけ

Slide 34

Slide 34 text

ポータブルで、実開発と実運用が容易学習環境 Mac/Windows GPUマシンクラウドのGPUクラスタ実行環境 Android、iOS、 RasPi

Slide 35

Slide 35 text

TensorBoard：デバッグを容易にする可視化ツール

Slide 36

Slide 36 text

TensorFlow以前データサイエンティストを採用 ↓ 教科書の数理モデルを理解 ↓ プログラミング言語で実装 ↓ 単体マシンで学習 ↓ 分散システム開発 ↓ 分散システムで分散学習 ↓ 学習結果の実運用環境を開発スマホやIoTは別途に開発 TensorFlow以降 TensorFlowで簡単設計 ↓ 単体マシンで学習 ↓ クラウドで分散学習 ↓ 学習結果をクラウドで実運用スマホ・IoT展開も容易とても困難

Slide 37

Slide 37 text

TensorFlowで誰もが使えるディープラーニングへ

Slide 38

Slide 38 text

TensorFlowによるからあげロボット From: http://www.rt-net.jp/karaage1/

Slide 39

Slide 39 text

TensorFlowによるキュウリ仕分け機 From: http://workpiles.com/2016/02/tensorflow-cnn-cucumber/

Slide 40

Slide 40 text

TensorFlowによる RasPiカーの自動運転 From: https://github.com/zxzhijia/GoPiGo-Driven-by-Te nsorflow

Slide 41

Slide 41 text

アイドル顔認識（95%の認識精度） From: http://memo.sugyan.com/entry/2016/06/14/220624

Slide 42

Slide 42 text

From: http://otoro.net/ TensorFlowによる自動生成アート

Slide 43

Slide 43 text

TensorFlow＋ RasPiでゴミの分別 From: https://techcrunch.com/2016/09/13/auto-trash-sorts-gar bage-automatically-at-the-techcrunch-disrupt-hackathon/

Slide 44

Slide 44 text

TensorFlow＋ドローンで車両台数のカウント From: http://www.brainpad.co.jp/news/2016/09/02/3454

Slide 45

Slide 45 text

Googleクラウドによる大規模分散学習

Slide 46

Slide 46 text

ディープラーニング普及の課題：計算パワー数十万枚、数百万枚の画像による学習 1台のGPUサーバに収まらない大規模モデル各種設定・アルゴリズムを変えての試行錯誤 ↓ 学習に数日間〜数週間が必要

Slide 47

Slide 47 text

ナノ秒で動くGPUの並列化に不可欠なのはマイクロ秒で動くスパコン並のネットワーク

Slide 48

Slide 48 text

No content

Slide 49

Slide 49 text

Enterprise Googleクラウド　＝ The Datacenter as a Computer

Slide 50

Slide 50 text

Jupiterネットワーク 10 GbE x 100 K = 1 Pbps サーバ間をマイクロ秒で結ぶ

Slide 51

Slide 51 text

Borg Google独自のコンテナ技術 1〜2万台単位でプログラムを分散実行 CPU・メモリ・HDD等のリソース配分を最適化

Slide 52

Slide 52 text

Googleクラウド＋TensorFlowによる分散学習画像認識モデル：50 GPUで1/40の時間短縮 RankBrainモデル：500 台で1/300の時間短縮

Slide 53

Slide 53 text

フルマネージドの分散学習と分散実行サービス TensorFlowによるニューラルネットワーク設計 Limited Preview版： cloud.google.com/ml Cloud Machine Learning (Cloud ML)

Slide 54

Slide 54 text

54 54 機械学習API TensorFlowによるカスタムモデル Cloud Vision API Cloud Speech API Cloud Translate API Cloud Machine Learning Google BigQuery Stay Tuned…. Cloud Storage Cloud Datalab NEW Alpha GA Beta GA Alpha GA GA

Slide 55

Slide 55 text

Tensor Processing Unit TensorFlow専用LSI Googleによる設計 10倍の電力性能比ニューラルネットに特化した演算処理

Slide 56

Slide 56 text

TPU導入事例 AlphaGo Googleフォト音声認識その他

Slide 57

Slide 57 text

Thank you!

Slide 58

Slide 58 text

リンク集 Large Scale Distributed Systems for Training Neural Networks, Jeff Dean and Oriol Vinals Cloud Vision API: cloud.google.com/vision Cloud Speech API: cloud.google.com/speech TensorFlow: tensorflow.org Cloud Machine Learning: cloud.google.com/ml