文章生成の高速化とチーム開発でのTensorBoard活用事例

https://cyberagent.connpass.com/event/73734/ のイベントで登壇したときの資料です。
文章生成の実験のイテレーションを早くするための知見とチーム開発でTensorBoardを活用するためのノウハウについて発表しました。

Transcript

1. 文章生成の高速化と チーム開発での TensorBoard活用事例 Data Engineering and Data Analysis Workshop #3 December 22, 2017 Atsushi Hara
2. 自己紹介 原　淳史 （@toohsk） 株式会社ミクシィ 2017/09 入社 •自然言語処理R&Dエンジニア ◦ 固有表現抽出 ◦ 分散表現 ◦ 文章の自動生成
3. 自己紹介 原　淳史 （@toohsk） 経歴 • メーカ系 SIer に新卒で入社 • サイバーエージェントに中途入社 ◦ 広告のデータ分析を少し ◦ 基盤開発を少し ◦ 固有表現を少し
4. 本日のテーマ 1. 文章を生成する上での 事前学習の効果 2. チーム開発での TensorBoard 活用事例
5. 文章を生成する上での 事前学習の効果
6. 事前学習していますか？
7. 事前学習とは 結合重みなどのパラメータの初期値 をランダムに与えるのではなく， 自己符号化としてパラメータを予め 推定し，推定した結合重みを本学習 で利用する．
8. 事前学習は必要？ 事前学習は層を深くしたニューラル ネットで起きる勾配消失問題を解決 する方法として考えられた． けれど，アルゴリズムの改良から 事前学習は不要 となった．
9. 事前学習していますか？
10. 自然言語処理での素性 自然言語処理では， Word Embeddingの登場で tokenをone-hot形式ではなく 分散ベクトルとして表現し，学習させ ることが多くなってきた．
11. 分散ベクトル tokenをN次元のベクトルで表現し たもの 分散ベクトルの目的はtokenの特 徴をベクトル空間に落し込むこと Char2Vec で文字の特性について調べてみた
12. では ディープラーニングのアルゴリズム の改良で分散ベクトルをランダムに 与えても学習はうまくいく？
13. 実験 分散ベクトルを以下の３つ用いたと きの文章生成における，Lossの減 少の仕方を比較する． • 一様分布に基づく初期化 • 正規分布に基づく初期化 • 学習済みの分散ベクトル
14. 分布の確認 事前学習した場合 一様分布で初期化した場合 正規分布で初期化した場合
15. 結果
16. 結果
17. 結論 • 事前学習をすることで 学習の高速化が図れる • 分布の形での学習の違いは見 られなかった • 生成される文章に違いはなかっ た
18. 事前学習しています ⬇ 問題を分割したほうが うまくいくこともあります
19. チーム開発での TensorBoard 活用事例
20. TensorBoardとは Google が提供している学習過程を 可視化するためのツール． 可視化できるものの事例 • Loss • Accuracy • Histograms • 生成された文章
21. DL FW + TensorBoard DeepLearningをする上で 何かしらのFWとTensorBoardを組 み合わせるのは，デファクトスタン ダードになりつつある． ChainerならChainer UI．
22. チーム開発で 利用していますか？
23. 開発環境 1人1台GPUマシンが配布 それぞれの環境で TensorFlow TensorBoard が起動している． 学習ログは それぞれの環境で蓄 積される．
24. TensorBoardを使うには チーム開発でTensorBoardを機能 させるためには， • 学習ログを都度1台に集約させ る • 学習ログを必要なタイミングでも らう ⇒正直，面倒
25. 問題点 • 隣の人の学習過程が見えない ◦ TensorBoard はウェブアプリ ケーションなので，見に行こう と思えば見に行ける • 各環境で行われた学習の比較 ができない
26. ブラウザだとこんな感じ...
27. ブラウザだとこんな感じ... 容易に比較できない
28. 各環境でやっていたこと • 学習したモデルをAWS S3に 保存 • 学習ログはローカルに おいたまま
29. こうすればいい… S3をマウント EC2上で TensorBoardを 起動 各環境での学習 過程を容易に 比較できる
30. 結論 • EC2とS3をNFSマウントする ◦ チーム内で学習過程を比較できる • 実験ノウハウを自分の中に留め ないオープンな環境 ◦ TensorBoardが共有ツールになる
31. まとめ • 問題を切り分ける ◦ 問題を切り分けることで全体の 学習を高速化 • NFSマウントする ◦ TensorBoardがチーム内で学 習過程を共有するツールにな る