Slide 1

Slide 1 text

Copyright © since 2017 DMM All Rights Reserved. における レコメンドへの Deep Learning の活⽤ 中野 裕貴, 領家 ⾶⿃ DMM.comラボ ビッグデータ部 レコメンドチーム DMM.com Copyright © since 2017 DMM All Rights Reserved.

Slide 2

Slide 2 text

Copyright © since 2017 DMM All Rights Reserved. WHO IS 2

Slide 3

Slide 3 text

Copyright © since 2017 DMM All Rights Reserved. 3 中野 裕貴 Yuki Nakano 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院では服装のレコメンドを研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社

Slide 4

Slide 4 text

Copyright © since 2017 DMM All Rights Reserved. 4 領家 ⾶⿃ Asuka Ryoke 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院ではニューラルネットの進化的学習を研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社

Slide 5

Slide 5 text

Copyright © since 2017 DMM All Rights Reserved. 5

Slide 6

Slide 6 text

Copyright © since 2017 DMM All Rights Reserved. 6 DMM.comは1999年から続く ⽼舗サービスサイトです。 時代のニーズに合わせた多彩 なコンテンツを、17年間培った 独⾃プラットフォームで安定的 に提供しています。 About DMM.com サービスについて

Slide 7

Slide 7 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 7 ビッグデータ部の仕事 DMMユーザのログ ビッグデータ 基盤 レコメンド基盤 検索基盤 メルマガ 収集・クレンジング レコメンドを提供 検索を提供

Slide 8

Slide 8 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 8 これまでの活動 登壇 2015/02:Developers Summit Winter 2015: リアルタイムレコメンド(Spark) 2015/11:Cloudera World Tokyo 2015: Kafka 2016/02:Hadoop/Spark Conference Japan 2016: Hive on Spark 2016/11:Cloudera World Tokyo 2016: ディープラーニング プレスリリース 2015/09:“Sparkを活⽤したアジアパシフィック初のレコメンド基盤実現” 2017/05:“DMM.comラボとIDCフロンティア、コンテンツレコメンドの精度向上を共同検証”

Slide 9

Slide 9 text

Copyright © since 2017 DMM All Rights Reserved. 9 本題の前に…

Slide 10

Slide 10 text

Copyright © since 2017 DMM All Rights Reserved. 10 DMM.com Deep Learning 使って何かしたい Deep Learningを⽤いた レコメンドとかは? Deep Learningを⽤いてコ ンテンツをパーソナライズ できないか? ⼿動で⾏っている作業を Deep Learningなどを 使って⾃動化したい

Slide 11

Slide 11 text

Copyright © since 2017 DMM All Rights Reserved. 11 Deep Learning が社内で盛り上がってる ふわっと

Slide 12

Slide 12 text

Copyright © since 2017 DMM All Rights Reserved. 12 Deep Learning で実現したいことを社内で投票してもらった

Slide 13

Slide 13 text

Copyright © since 2017 DMM All Rights Reserved. 13 Deep Learning で実現したいことを社内で投票してもらった Deep Learning を使ってシーンの特徴を抽出 Deep Learning を使って不正検出・⾃動化

Slide 14

Slide 14 text

Copyright © since 2017 DMM All Rights Reserved. 14 本⽇のテーマ

Slide 15

Slide 15 text

Copyright © since 2017 DMM All Rights Reserved. 15 ⼿始めとして取り組んだ Deep Learningを活⽤したレコメンドの話

Slide 16

Slide 16 text

Copyright © since 2017 DMM All Rights Reserved. 16 ⼿始めとして取り組んだ Deep Learningを活⽤したレコメンドの話 ...と⾔うより 『モデル作成までの道のりの話』

Slide 17

Slide 17 text

Copyright © since 2017 DMM All Rights Reserved. 17 Deep Learning の活⽤

Slide 18

Slide 18 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 18 画像 Deep Learning Deep Learningの活⽤ 特徴量

Slide 19

Slide 19 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 19 Deep Learningの活⽤ Deep Learningの活⽤ 特徴量 レコメンド 画像 ⾃動タグ付け 利⽤ Deep Learning 動画, ⾳声 など 応⽤ 検索

Slide 20

Slide 20 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 20 Deep Learningを活⽤したレコメンド 商品のパッケージ画像が類似した商品をレコメンド

Slide 21

Slide 21 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 21 Deep Learningを活⽤したレコメンド 画像の特徴を使ってレコメンド …パッケージ買いのような効果を期待 商品のパッケージ画像が類似した商品をレコメンド

Slide 22

Slide 22 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 22 画像特徴を算出するモデル モデル ⼊ ⼒ 出 ⼒ 商品画像 brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア

Slide 23

Slide 23 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 23 パッケージ画像レコメンドのアーキテクチャ IDCF クラウド

Slide 24

Slide 24 text

Copyright © since 2017 DMM All Rights Reserved. 24 画像特徴を算出するモデルの作成

Slide 25

Slide 25 text

Copyright © since 2017 DMM All Rights Reserved. 25 キャラクターの特徴 を 抽出できるモデルが必要

Slide 26

Slide 26 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 26 Illustration2Vec Illustration2Vec : http://illustration2vec.net/ 様々なイラストを学習したモデル 画像から特徴 (タグ)とスコアを取得可能 Illustlatio n2vec brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア

Slide 27

Slide 27 text

Copyright © since 2017 DMM All Rights Reserved. 27 弊社コンテンツの美少⼥たち の特徴としては不⼗分

Slide 28

Slide 28 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 28 ⾃作モデルの作成 Illustration2Vec で得られない特徴も算出したい Deep Learning Illustlatio n2vec ⾃作 モデル cute : 0.9 brown hair : 0.9 smile : 0.8 long hair : 0.8 young : 0.6 特徴タグとスコア

Slide 29

Slide 29 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 29 ⾃作モデルの作成の流れ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング

Slide 30

Slide 30 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 30 学習データの収集 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング

Slide 31

Slide 31 text

Copyright © since 2017 DMM All Rights Reserved. 31 データの収集

Slide 32

Slide 32 text

Copyright © since 2017 DMM All Rights Reserved. 32 データの収集 ①オープンなデータセットを使うパターン 例: Google提供 The Open Images Dataset

Slide 33

Slide 33 text

Copyright © since 2017 DMM All Rights Reserved. 33 イラストのオープンなデータセットはない ※研究⽤途では、 ニコニコ静画のイラストデータセットなどが存在 https://nico-opendata.jp/ja/index.html データの収集

Slide 34

Slide 34 text

Copyright © since 2017 DMM All Rights Reserved. 34 データ収集 ②⾃社保有のコンテンツ データの収集

Slide 35

Slide 35 text

Copyright © since 2017 DMM All Rights Reserved. 35 検索 ③Webから取得 データの収集

Slide 36

Slide 36 text

Copyright © since 2017 DMM All Rights Reserved. 36 検索 Web Search API データの収集

Slide 37

Slide 37 text

Copyright © since 2017 DMM All Rights Reserved. 37 かわいい イラスト 検索 Bing Search API データの収集

Slide 38

Slide 38 text

Copyright © since 2017 DMM All Rights Reserved. 38 かわいい イラスト 検索 Bing Search API データ収集 データの収集

Slide 39

Slide 39 text

Copyright © since 2017 DMM All Rights Reserved. 39 ⽬grep

Slide 40

Slide 40 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 40 学習データの精査 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング 学習データの収集

Slide 41

Slide 41 text

Copyright © since 2017 DMM All Rights Reserved. 41 画像を⽬で確認 ⽬grep 乱雑なデータ 精査したデータ ⽬grep

Slide 42

Slide 42 text

Copyright © since 2017 DMM All Rights Reserved. 42 ⽬grep 乱雑なデータ 精査したデータ ⽬grep とてもたいへん

Slide 43

Slide 43 text

Copyright © since 2017 DMM All Rights Reserved. 43 ⽬grep 乱雑なデータ 精査したデータ ⽬grep 現在、 機械的処理に挑戦中

Slide 44

Slide 44 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 44 学習データの加⼯ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング

Slide 45

Slide 45 text

Copyright © since 2017 DMM All Rights Reserved. 45 データ加⼯

Slide 46

Slide 46 text

Copyright © since 2017 DMM All Rights Reserved. 46 データ加⼯

Slide 47

Slide 47 text

Copyright © since 2017 DMM All Rights Reserved. 47 データ加⼯ アニメ顔検出: OpenCV + カスケード分類器 https://github.com/nagadomi/lbpcascade_animeface

Slide 48

Slide 48 text

Copyright © since 2017 DMM All Rights Reserved. 48 データ加⼯

Slide 49

Slide 49 text

Copyright © since 2017 DMM All Rights Reserved. 49 データ加⼯ なぜこのような処理をする? メリット: ノイズ除去により少ないデータで精度がでる デメリット: 顔画像の取得有無に左右される

Slide 50

Slide 50 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 50 モデルの作成・学習 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング

Slide 51

Slide 51 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 51 Deep Learningの利⽤ Deep Learning を⼀から 学んで利⽤するのは難しそう...

Slide 52

Slide 52 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 52 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) Deep Learning の利⽤までの学習や実装がたいへんではないか? ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤

Slide 53

Slide 53 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 53 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) ① 過去の資産が豊富 ② NVIDIAのDeepLearning 学習ツールDIGITSが便利 Deep Learning の利⽤までの学習や実装がたいへんではないか? ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤

Slide 54

Slide 54 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 54 Deep Learning ⽤の環境の準備が⼤変ではないか? ・Cloudサービスで簡単にGPU環境が使える Deep Learning: 環境⾯ IDCF クラウド (M40 インスタンス) NVIDIA Tesla M40

Slide 55

Slide 55 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 55 Deep Learning: モデルの作成と学習 モデルの作成と学習を実装するのが⼤変ではないか? ・NVIDIA DIGITS の活⽤ …GUI上でデータセット作成, モデル作成・学習, 結果の確認が可能

Slide 56

Slide 56 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 56 既存モデルの利⽤ Deep Learning: モデルの作成と学習

Slide 57

Slide 57 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 57 モデルの構築 Deep Learning: モデルの作成と学習

Slide 58

Slide 58 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 58 モデルのチューニング 学習データの収集 学習データの加⼯ モデルの完成 精査 チューニング モデルの作成・学習

Slide 59

Slide 59 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 59 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング 30 epoch 200 epoch Deep Learning: モデルのチューニング

Slide 60

Slide 60 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 60 30 epoch 200 epoch 過学習 汎化誤差と学習誤差に ⼤きな差がある - Dropoutの調整 - ユニット数・レイヤー数の調整 Deep Learning: モデルのチューニング 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング

Slide 61

Slide 61 text

Copyright © since 2017 DMM All Rights Reserved. 61 実装した画像レコメンドの例 ※ 著作権等の理由のため公開資料に関しては このセクションのスライドを省いております

Slide 62

Slide 62 text

Copyright © since 2017 DMM All Rights Reserved. 62 まとめと今後の展開

Slide 63

Slide 63 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 63 まとめ 商品のパッケージ画像が類似した商品をレコメンド ・画像特徴を算出するモデルの作成 • 学習データやモデルの作成に関して説明 • 学習データ周りは泥臭いことが多々 • ライブラリ等を活⽤すればDeep Learning⾃体の実装は簡単 課題はあるが簡単に様々なサービスへ活⽤可能

Slide 64

Slide 64 text

Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 64 今後の展開 ディープラーニングの動画への適応を予定 ・動画のシーン抽出 ・今後、IDCF主催のイベントで発表予定