Distributed Deep Newral Networks

Slide 1

Slide 1 text

Distributed Deep Newral Networks 0x64 物語 reboot 第01 夜 "Network" @yubessy

Slide 2

Slide 2 text

今日の話ニューラルネットワーク x 分散コンピューティング

Slide 3

Slide 3 text

Why Distributed? データ量の増加テキスト < 画像 < 動画計算量の増加いわゆるディープラーニング単一マシンの処理能力の頭打ち -> 時代は分散コンピューティング

Slide 4

Slide 4 text

分散コンピューティングの歩き方分散対象: 何を分けるかそもそも分割できるのか負荷を均等化できるかアーキテクチャ: どうつなぐかクライアント・サーバ型 / メッシュ型 / ... 同期 / 非同期スループット / レイテンシプロトコル

Slide 5

Slide 5 text

深層ニューラルネット (DNN) 多数のレイヤを接続した有向グラフ Back Propagation (BP) 入力値に対する、モデルの出力値と正解値の差分を求める差分が小さくなるよう、出力側から順に各レイヤのパラメータを調整 Stochastic Gradient Descent (SGD) データ点を１つずつ与えながらモデルを学習

Slide 6

Slide 6 text

深層ニューラルネット (DNN) From http://joelouismarino.github.io/blog_posts/blog_googlenet_keras.html

Slide 7

Slide 7 text

DNN と分散処理 DNN は分散処理に向いているモデル並列化 = 計算グラフを複数の部分に分割データ並列化 = データを分割しノード毎にSGD "Large Scale Distributed Deep Networks" Dean, et al. 2012. By Google DNN のモデル / データ並列化両方について解説

Slide 8

Slide 8 text

モデル並列化分散対象 = DNN のグラフグラフ全体を部分グラフに分割各部分グラフを別々のノードに割り当てアーキテクチャ = メッシュ型元のグラフで結合されていた部分がノードをまたいで通信ボトルネック適切に分割しないとノード間のトラフィックがえらいことに

Slide 9

Slide 9 text

モデル並列化 Dean, et al. [1] Figure 1

Slide 10

Slide 10 text

データ並列化分散対象 = 学習データデータをチャンクに分割各チャンクを別々のノードに処理させるアーキテクチャ = Parameter Server (PS) 方式 PS ノードが各レイヤのパラメータを保持ワーカーノードは一定量の学習を終えるごとに非同期通信によりパラメータを更新ボトルネックワーカが増えるとPS ノードの負荷が高くなる

Slide 11

Slide 11 text

データ並列化 Dean, et al. [1] Figure 2

Slide 12

Slide 12 text

Distributed TensorFlow ここまで説明した分散処理機能が実はすでに TensorFlow に組み込まれている Distributed TensorFlow ノード間はgRPC で通信

Slide 13

Slide 13 text

雰囲気だけ紹介

Slide 14

Slide 14 text

クラスタ定義 cluster = tf.train.ClusterSpec({ # ワーカー ( データ分散) "worker": [ "worker0.example.com:2222", "worker1.example.com:2222", "worker2.example.com:2222" ], # パラメータサーバ ( モデル分散) "ps": [ "ps0.example.com:2222", "ps1.example.com:2222" ]})

Slide 15

Slide 15 text

モデル並列化レイヤを複数のPS に分散 # 同じPS に乗せたいパラメータ群を tf.device でくくる with tf.device("/job:ps/task:0"): weights_1 = tf.Variable(...) biases_1 = tf.Variable(...) # タスクの番号に応じてラウンドロビンでPS が決まる with tf.device("/job:ps/task:1"): weights_2 = tf.Variable(...) biases_2 = tf.Variable(...)

Slide 16

Slide 16 text

データ並列化各ワーカーに同じグラフを複製 # replica_device_setter で # 複数のワーカに同じグラフを複製 with tf.device(tf.train.replica_device_setter( worker_device="/job:worker/task:%d" % task_index, cluster=cluster)): input, labels = ... layer_1 = tf.nn.relu( tf.matmul(input, weights_1) + biases_1) logits = tf.nn.relu( tf.matmul(layer_1, weights_2) + biases_2) train_op = ...

Slide 17

Slide 17 text

まとめ NN は分散コンピューティングと相性がよいモデル並列化 / データ並列化 TensorFlow 最強

Slide 18

Slide 18 text

参考 [1] Large Scale Distributed Deep Networks [2] Distributed TensorFlow [3] Distributed TensorFlow を試してみる [4] Distributed TensorFlow の話