Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DMM.comにおけるレコメンドへのDeep Learningの活用

B6d9eb9a3825f15c84b5e7588c56a405?s=47 DMM.com
August 07, 2017

DMM.comにおけるレコメンドへのDeep Learningの活用

B6d9eb9a3825f15c84b5e7588c56a405?s=128

DMM.com

August 07, 2017
Tweet

Transcript

  1. Copyright © since 2017 DMM All Rights Reserved. における レコメンドへの

    Deep Learning の活⽤ 中野 裕貴, 領家 ⾶⿃ DMM.comラボ ビッグデータ部 レコメンドチーム DMM.com Copyright © since 2017 DMM All Rights Reserved.
  2. Copyright © since 2017 DMM All Rights Reserved. WHO IS

    2
  3. Copyright © since 2017 DMM All Rights Reserved. 3 中野

    裕貴 Yuki Nakano 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院では服装のレコメンドを研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社
  4. Copyright © since 2017 DMM All Rights Reserved. 4 領家

    ⾶⿃ Asuka Ryoke 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院ではニューラルネットの進化的学習を研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社
  5. Copyright © since 2017 DMM All Rights Reserved. 5

  6. Copyright © since 2017 DMM All Rights Reserved. 6 DMM.comは1999年から続く

    ⽼舗サービスサイトです。 時代のニーズに合わせた多彩 なコンテンツを、17年間培った 独⾃プラットフォームで安定的 に提供しています。 About DMM.com サービスについて
  7. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 7 ビッグデータ部の仕事 DMMユーザのログ ビッグデータ 基盤 レコメンド基盤 検索基盤 メルマガ 収集・クレンジング レコメンドを提供 検索を提供
  8. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 8 これまでの活動 登壇 2015/02:Developers Summit Winter 2015: リアルタイムレコメンド(Spark) 2015/11:Cloudera World Tokyo 2015: Kafka 2016/02:Hadoop/Spark Conference Japan 2016: Hive on Spark 2016/11:Cloudera World Tokyo 2016: ディープラーニング プレスリリース 2015/09:“Sparkを活⽤したアジアパシフィック初のレコメンド基盤実現” 2017/05:“DMM.comラボとIDCフロンティア、コンテンツレコメンドの精度向上を共同検証”
  9. Copyright © since 2017 DMM All Rights Reserved. 9 本題の前に…

  10. Copyright © since 2017 DMM All Rights Reserved. 10 DMM.com

    Deep Learning 使って何かしたい Deep Learningを⽤いた レコメンドとかは? Deep Learningを⽤いてコ ンテンツをパーソナライズ できないか? ⼿動で⾏っている作業を Deep Learningなどを 使って⾃動化したい
  11. Copyright © since 2017 DMM All Rights Reserved. 11 Deep

    Learning が社内で盛り上がってる ふわっと
  12. Copyright © since 2017 DMM All Rights Reserved. 12 Deep

    Learning で実現したいことを社内で投票してもらった
  13. Copyright © since 2017 DMM All Rights Reserved. 13 Deep

    Learning で実現したいことを社内で投票してもらった Deep Learning を使ってシーンの特徴を抽出 Deep Learning を使って不正検出・⾃動化
  14. Copyright © since 2017 DMM All Rights Reserved. 14 本⽇のテーマ

  15. Copyright © since 2017 DMM All Rights Reserved. 15 ⼿始めとして取り組んだ

    Deep Learningを活⽤したレコメンドの話
  16. Copyright © since 2017 DMM All Rights Reserved. 16 ⼿始めとして取り組んだ

    Deep Learningを活⽤したレコメンドの話 ...と⾔うより 『モデル作成までの道のりの話』
  17. Copyright © since 2017 DMM All Rights Reserved. 17 Deep

    Learning の活⽤
  18. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 18 画像 Deep Learning Deep Learningの活⽤ 特徴量
  19. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 19 Deep Learningの活⽤ Deep Learningの活⽤ 特徴量 レコメンド 画像 ⾃動タグ付け 利⽤ Deep Learning 動画, ⾳声 など 応⽤ 検索
  20. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 20 Deep Learningを活⽤したレコメンド 商品のパッケージ画像が類似した商品をレコメンド
  21. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 21 Deep Learningを活⽤したレコメンド 画像の特徴を使ってレコメンド …パッケージ買いのような効果を期待 商品のパッケージ画像が類似した商品をレコメンド
  22. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 22 画像特徴を算出するモデル モデル ⼊ ⼒ 出 ⼒ 商品画像 brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア
  23. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 23 パッケージ画像レコメンドのアーキテクチャ IDCF クラウド
  24. Copyright © since 2017 DMM All Rights Reserved. 24 画像特徴を算出するモデルの作成

  25. Copyright © since 2017 DMM All Rights Reserved. 25 キャラクターの特徴

    を 抽出できるモデルが必要
  26. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 26 Illustration2Vec Illustration2Vec : http://illustration2vec.net/ 様々なイラストを学習したモデル 画像から特徴 (タグ)とスコアを取得可能 Illustlatio n2vec brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア
  27. Copyright © since 2017 DMM All Rights Reserved. 27 弊社コンテンツの美少⼥たち

    の特徴としては不⼗分
  28. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 28 ⾃作モデルの作成 Illustration2Vec で得られない特徴も算出したい Deep Learning Illustlatio n2vec ⾃作 モデル cute : 0.9 brown hair : 0.9 smile : 0.8 long hair : 0.8 young : 0.6 特徴タグとスコア
  29. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 29 ⾃作モデルの作成の流れ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
  30. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 30 学習データの収集 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
  31. Copyright © since 2017 DMM All Rights Reserved. 31 データの収集

  32. Copyright © since 2017 DMM All Rights Reserved. 32 データの収集

    ①オープンなデータセットを使うパターン 例: Google提供 The Open Images Dataset
  33. Copyright © since 2017 DMM All Rights Reserved. 33 イラストのオープンなデータセットはない

    ※研究⽤途では、 ニコニコ静画のイラストデータセットなどが存在 https://nico-opendata.jp/ja/index.html データの収集
  34. Copyright © since 2017 DMM All Rights Reserved. 34 データ収集

    ②⾃社保有のコンテンツ データの収集
  35. Copyright © since 2017 DMM All Rights Reserved. 35 検索

    ③Webから取得 データの収集
  36. Copyright © since 2017 DMM All Rights Reserved. 36 検索

    Web Search API データの収集
  37. Copyright © since 2017 DMM All Rights Reserved. 37 かわいい

    イラスト 検索 Bing Search API データの収集
  38. Copyright © since 2017 DMM All Rights Reserved. 38 かわいい

    イラスト 検索 Bing Search API データ収集 データの収集
  39. Copyright © since 2017 DMM All Rights Reserved. 39 ⽬grep

  40. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 40 学習データの精査 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング 学習データの収集
  41. Copyright © since 2017 DMM All Rights Reserved. 41 画像を⽬で確認

    ⽬grep 乱雑なデータ 精査したデータ ⽬grep
  42. Copyright © since 2017 DMM All Rights Reserved. 42 ⽬grep

    乱雑なデータ 精査したデータ ⽬grep とてもたいへん
  43. Copyright © since 2017 DMM All Rights Reserved. 43 ⽬grep

    乱雑なデータ 精査したデータ ⽬grep 現在、 機械的処理に挑戦中
  44. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 44 学習データの加⼯ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
  45. Copyright © since 2017 DMM All Rights Reserved. 45 データ加⼯

  46. Copyright © since 2017 DMM All Rights Reserved. 46 データ加⼯

  47. Copyright © since 2017 DMM All Rights Reserved. 47 データ加⼯

    アニメ顔検出: OpenCV + カスケード分類器 https://github.com/nagadomi/lbpcascade_animeface
  48. Copyright © since 2017 DMM All Rights Reserved. 48 データ加⼯

  49. Copyright © since 2017 DMM All Rights Reserved. 49 データ加⼯

    なぜこのような処理をする? メリット: ノイズ除去により少ないデータで精度がでる デメリット: 顔画像の取得有無に左右される
  50. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 50 モデルの作成・学習 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
  51. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 51 Deep Learningの利⽤ Deep Learning を⼀から 学んで利⽤するのは難しそう...
  52. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 52 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) Deep Learning の利⽤までの学習や実装がたいへんではないか? ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤
  53. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 53 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) ① 過去の資産が豊富 ② NVIDIAのDeepLearning 学習ツールDIGITSが便利 Deep Learning の利⽤までの学習や実装がたいへんではないか? ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤
  54. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 54 Deep Learning ⽤の環境の準備が⼤変ではないか? ・Cloudサービスで簡単にGPU環境が使える Deep Learning: 環境⾯ IDCF クラウド (M40 インスタンス) NVIDIA Tesla M40
  55. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 55 Deep Learning: モデルの作成と学習 モデルの作成と学習を実装するのが⼤変ではないか? ・NVIDIA DIGITS の活⽤ …GUI上でデータセット作成, モデル作成・学習, 結果の確認が可能
  56. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 56 既存モデルの利⽤ Deep Learning: モデルの作成と学習
  57. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 57 モデルの構築 Deep Learning: モデルの作成と学習
  58. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 58 モデルのチューニング 学習データの収集 学習データの加⼯ モデルの完成 精査 チューニング モデルの作成・学習
  59. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 59 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング 30 epoch 200 epoch Deep Learning: モデルのチューニング
  60. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 60 30 epoch 200 epoch 過学習 汎化誤差と学習誤差に ⼤きな差がある - Dropoutの調整 - ユニット数・レイヤー数の調整 Deep Learning: モデルのチューニング 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング
  61. Copyright © since 2017 DMM All Rights Reserved. 61 実装した画像レコメンドの例

    ※ 著作権等の理由のため公開資料に関しては このセクションのスライドを省いております
  62. Copyright © since 2017 DMM All Rights Reserved. 62 まとめと今後の展開

  63. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 63 まとめ 商品のパッケージ画像が類似した商品をレコメンド ・画像特徴を算出するモデルの作成 • 学習データやモデルの作成に関して説明 • 学習データ周りは泥臭いことが多々 • ライブラリ等を活⽤すればDeep Learning⾃体の実装は簡単 課題はあるが簡単に様々なサービスへ活⽤可能
  64. Copyright © since 2017 DMM All Rights Reserved. Copyright ©

    since 2017 DMM All Rights Reserved. 64 今後の展開 ディープラーニングの動画への適応を予定 ・動画のシーン抽出 ・今後、IDCF主催のイベントで発表予定