深層学習フレームワーク Chainerとその進化

1. 深層学習フレームワーク Chainerとその進化 Preferred Networks 海野 裕也
2. http://chainer.org/
3. Chainerの⽬標 l ⾼い⾃由度で直感的に記述できる l ⼗分に⾼速に実⾏できる l 容易にデバッグできる 社内の深層学習の研究開発を加速させる 世の中
4. ニューラルネットの学習⽅法 1. ⽬的関数の設計 l RNNなどを利⽤して⾃分で設計 2. 勾配の計算 l ⾃動で計算できる（これから説明） 3. 最⼩化のための反復計算 l ライブラリが提供してくれる 4 １さえ設計すれば残りは ほぼ⾃動化されている
5. ニューラルネット＝合成関数 l ベクトルに対して線形・⾮線形な関数をたくさん適⽤す る合成関数と捉えるとよい l 各ノードはベクトルを保持する変数 l 各関数はLSTMや線形和など様々 5 y = h(g(f(x)))
6. 計算グラフの例 z = x ** 2 + 2 * x * y + y 6 x y _ ** 2 2 * _ _ * _ _ + _ z _ + _
7. 誤差逆伝播によって勾配を計算できるのが重要 l 誤差逆伝播は連鎖律をつかって勾配を計算する l ニューラルネットのフレームワークはこれを⾃動で ⾏ってくれる 7 y’ = h’(g(f(x))) g’(f(x)) f’(x)
8. 計算グラフの作成戦略 define-and-runとdefine-by-run l define-and-run（静的グラフ） l まず計算グラフを構築し、構築した計算グラフにデータを流すと いう、2ステップから成る l Caffe, theano, TensorFlowなど l define-by-run（動的グラフ） l 通常の⾏列演算をする感覚で順伝播処理をすると同時に、逆伝播 ⽤の計算グラフが構築される l Chainer, DyNet, PyTorchなど 8
9. 擬似コードで⽐較する define-and-run # 構築 x = Variable(‘x’) y = Variable(‘y’) z = x + 2 * y # 評価 for xi, yi in data: eval(z, (xi, yi)) define-by-run # 構築と評価が同時 for xi, yi in data: x = Variable(xi) y = Variable(yi) z = x + 2 * y 9 データを⾒ながら 違う処理をしてもよい
10. なぜ、⾃由度の⾼いフレームワークが必要か？ 深層学習とは階層の深いだけではなくなってきている l 深いボルツマンマシン l 深い畳込みニューラルネットワーク l 再帰ニューラルネットワーク l 双⽅向再帰ネットワーク l 注意機構 ⼿法⾃体がどんどん複雑化して、古いフレームワークは新⼿法を扱い づらくなっていく 10
11. 研究開発・実⽤化を加速する様々なプロジェクトを紹介 l ChainerMN l 複数ノード上で分散計算するChainer l ChainerRL l Chainerを利⽤した深層強化学習ライブラリ l Intel版Chainer l Intel CPU上で最適化されたChainer
12. l 2015/04 Chainer開発開始 l 2015/06 Chainer 1.0.0公開 l 2015/11 TensorFlow公開 l 2017/01 ChainerMNの実験結果公表 l 2017/01 PaintsChainer公開 l 2017/02 ChainerRL公開 l 2017/03 Intel版Chainerのリポジトリが公開 l 2017/05 Chainer 2.0.0公開予定
13. ChainerMN
14. ChainerMN Chainerの使いやすさはそのままに，複数GPU，複数ノード環境で⾼ 速に学習することができる GPU GPU InfiniBand GPU GPU InfiniBand
15. ノード内通信とノード間通信をそれぞれ最適化 InfiniBand MPI ChainerMN pyMPI NCCL NVIDIA GPU ノード内 ノード間 CuPy
16. 既存のコードを多少書き換えるだけで利⽤できる optimizer = chainer.optimizers.MomentumSGD() optimizer = chainermn.DistributedOptimizer( chainer.optimizers.MomentumSGD())
17. GPUの数にほぼ⽐例した性能向上
18. 実時間に対する学習速度も向上
19. 他のフレームワークに⽐べても⾼速
21. ChainerRL
22. ChainerRL Chainerを使った深層強化学習フレームワーク https://github.com/pfnet/chainerrl
23. 強化学習は試⾏錯誤で学習する⼿法 どうすればいいか（教師データ）を教えるのではなく，試 ⾏錯誤して正しい⽅法を探す学習⽅法 教師あり学習：いつペダルを踏むかを教える 強化学習：倒れずに前に進む⽅法を試⾏錯誤
25. 深層学習が簡単になったため，⼿法が複雑化 Chainer 全部⾃作 深層学習 Chainer 深層学習 が複雑化 Chainer ChainerRL 深層学習
26. Intel版Chainer
27. ハードウェアの選択は速度だけが重要ではない l 利⽤シーンの違い l 運⽤コストの違い l 消費電⼒の違い
28. Intel版Chainer Github上でIntel CPU向けに最適化されたChainerの開発 が開始 https://github.com/intel/chainer
29. Intel CPU上でのChainer Chainer MKL-DNN MKL (Math Kernel Library) Intel CPU MKL NumPy OpenBLAS/ATLAS NumPy
30. MKL-DNNはCPU向けの最適化された深層学習ライブラリ l MKL (Intel Math Kernel Library) l Intel製の数値計算ライブラリ l NumPyのバックエンドとして利⽤可能 l MKL-DNN l Intel CPU向けに最適化された深層学習ライブラリ l https://github.com/01org/mkl-dnn
31. まとめ l Chainerは⾃由度の⾼い深層学習フレームワーク l Chainerの周辺で様々なプロジェクトが進⾏中 l ChainerMN：⼤規模分散学習 l ChainerRL：深層強化学習ライブラリ l Intel版Chainer：CPU向けの最適化 l 深層学習のみならず，HPCや⾼度な機械学習，コードの最適化な ど，様々な分野の専⾨家を求めています