Deep Learningを用いた類似画像レコメンドのSQL on Hadoopによる実現

Cloudera World Tokyo 2016の登壇内容です

Transcript

1. Deep Learning を用いた 類似画像レコメンドの SQL on Hadoop による実現 中野 裕貴 , 領家 飛鳥 DMM.com ラボ ビッグデータ部 1
2. 自己紹介 2
3. 中野 裕貴 Yuki Nakano 株式会社 DMM.com ラボ ビッグデータ部 レコメンドチーム 大学院では服装のレコメンドを研究 →2016 年 4 月 1 日から DMM.com ラボ新卒入社 3
4. 領家 飛鳥 Asuka Ryoke 株式会社 DMM.com ラボ ビッグデータ部 レコメンドチーム 大学院ではニューラルネットの進化的学習を研究 →2016 年 4 月 1 日から DMM.com ラボ新卒入社 4
5. DMM 5
6. DMM.com は 1999 年から続く 老舗サービスサイトです。 時代のニーズに合わせた多彩 なコンテンツを、 17 年間培った 独自プラットフォームで安定的 に提供しています。 About DMM.com 40 以上の幅広いサービスを展開 サービスについて 6
7. ビッグデータ部とは 7
8. ビッグデータ部のミッション ビッグデータを用いて 事業の KPI( 重要経営指標 ) 向上へ貢献する事 マーケティングオートメーション データドリブンマーケティング 8
9. ビッグデータ部のミッション ビッグデータを用いて 事業の KPI( 重要経営指標 ) 向上へ貢献する事 マーケティングオートメーション 9
10. ビッグデータ部の仕事 10
11. ビッグデータ部の仕事 11
12. レコメンドシステム User log API Batch HDFS HIVE Spark HIVE Spark DB Spark HIVE Hadoop 12
13. これまでの活動 登壇 2015/02：Developers Summit Winter 2015： リアルタイムレコメンド(Spark) 2015/11：Cloudera World Tokyo 2015: Kafka 2016/02：Hadoop/Spark Conference Japan 2016： Hive on Spark プレスリリース “Sparkを活用したアジアパシフィック初のレコメンド基盤実現” http://www.cloudera.co.jp/customers/dmm.html 13
14. DeepLearningの活用 特徴量 画像 Deep Learning 14
15. DeepLearningの活用 特徴量 レコメンド 画像 自動タグ付け 利用 Deep Learning 動画 , 音声 応用 15
16. 課題 DeepLearningの活用に関して • Spark上でDeepLearningを想定 • データノードにGPUが必要 • 標準機能でDeepLearningがまだ不可能 • コードの実装が必要 • Hiveで手軽にDeepLearningの結果を利用したい！ 16
17. DeepLearning活用のためのアーキテクチャ DeepLearning HIVE Hadoop Caffe NVIDIA amazon web services 画像特徴 API User log API Batch HDFS HIVE Spark HIVE Spark DB Spark 17
18. Hive と画像特徴 API のやりとりをどうするのか？ 18
19. 画像特徴 API HIVE (SQL) ユーザ定義関数 (User Defined Function:UDF) 19
20. ユーザ定義関数 (User Defined Function:UDF) … Hive の SQL 上で利用する関数をユーザ側で定義可能 ユーザ定義関数 (User Defined Function) Java .jar HIVE 利用 20
21. HIVE (SQL) SQLでAPIを叩く 画像特徴 API .jar ④ score (JSON) ③ http://xxx/img_src ( 画像 URL) ① SELECT get_image_tags(img_src) ② class getImageTags UDF 21
22. UDF内部 (Java) public class getImageTags extends UDF{ public Map <String, Double> evaluate(Text imgSrc ){ ・ API 通信 ・ JSON パース ・ Map 型で結果を返却 } } 22
23. UDFとの通信(SQL) SELECT get_image_tags(img_src) AS result FROM mst_table id name img_src 73 雷 073.jpg 74 電 074.jpg mst_table UDF 23
24. UDFから取得した値を返却 "brown hair", 0.97 "brown eyes", 0.78 SELECT get_image_tags(img_src) AS result FROM mst_table UDF 24
25. UDFから取得した値を返却 SELECT tag_name , score FROM score_from_dl LATERAL VIEW explode(result) s AS tag_name , score "brown hair", 0.97 "brown eyes", 0.78 tag_name score brown hair 0.97 brown eyes 0.78 25
26. 公開されている画像特徴APIの例 IBM Watson Visual Recognition Google Cloud Vision API Microsoft Cognitive Services - Computer Vision API http://www.ibm.com/watson/developercloud/visual-recognition.html https://cloud.google.com/vision/ https://www.microsoft.com/cognitive-services/en-us/computer-vision-api 26
27. 画像特徴APIの作成 自社の製品に最適化させた画像特徴 API が欲しい 既存 API HIVE UDF Watson Google 27
28. 画像特徴APIの作成 自社の製品に最適化させた画像特徴 API が欲しい HIVE UDF Deep Learning 内製 API 画像特徴を抽出するモデルを用意 28
29. 画像特徴を抽出するモデルを利用するには？ 29
30. Deep Learning 画像特徴 API HIVE UDF 30
31. Deep Learningの利用 Deep Learning を一から 学んで利用するのは難しそう ... 31
32. Deep Learningの利用 Deep Learning を一から 学んで利用するのは難しそう ... 学習済みモデルの利用 32
33. Deep Learningの利用 Deep Learning を一から 学んで利用するのは難しそう ... 学習済みモデルの利用 深い知識は不要 モデル作成が不要 学習が不要 33
34. Deep Learningの利用 Deep Learning を一から 学んで利用するのは難しそう ... 学習済みモデルの利用 画像 学習済み モデル 特徴タグ スコア 電車 0.7 夕焼け 0.5 川 0.8 34
35. Illustration2Vec Illustration2Vec : http://illustration2vec.net/ 様々なイラストを 学習したモデル 画像を与えると ・特徴 ( タグ ) ・スコア を取得可能 35
36. 自作モデルの作成 より細かなモデルのチューニングがしたい … Deep Learning 画像特徴 API UDF 学習済み モデル HIVE 36
37. 自作モデルの作成 より細かなモデルのチューニングがしたい … Deep Learning 画像特徴 API UDF 学習済み モデル 自作 モデル HIVE 37
38. そもそも … Deep Learning って何？ 38
39. Deep Learning より層数の多いニューラルネットの学習 ( 学習方法 ) 39
40. Deep Learning より層数の多いニューラルネットの学習 ( 学習方法 ) 40
41. ニューラルネット 機械学習の手法の一つ 脳神経細胞のネットワークをシミュレートしたモデル シミュレート 41
42. ニューラルネット技術の変遷 42
43. 形式ニューロン もっとも単純なニューラルネットのモデル … ニューロンをモデル化したもの ・・・ X: 入力値 , w: 重み , θ: 閾値 , φ 活性化関数 43
44. ニューラルネット技術の変遷 44
45. パーセプトロン 形式ニューロンを複数組み合わせたモデル • 単純パーセプトロン 入力層と出力層の 2 層からなる パーセプトロン 線形分離不可能な問題が解けない … XOR の学習 など 45
46. ニューラルネット技術の変遷 冬の時代 「 XOR 問題」による批判 … 線形分離不可能な問題が解けない 46
47. ニューラルネット技術の変遷 冬の時代 線形分離不可な問題も解けるように 「 XOR 問題」による批判 … 線形分離不可能な問題が解けない 47
48. パーセプトロン 形式ニューロンを複数組み合わせたモデル • 多層パーセプトロン 入力層 , 複数の中間層 , 出力層の 3 層以上からなるパーセプトロン 線形分離不可能な問題が解ける 48
49. ニューラルネット技術の変遷 冬の時代 冬の時代 「 XOR 問題」による批判 … 線形分離不可能な問題が解けない データ不足による精度の停滞 … 複雑な問題を解くためのデータが足りない 49
50. ニューラルネット技術の変遷 冬の時代 冬の時代 「 XOR 問題」による批判 … 線形分離不可能な問題が解けない ビッグデータの活用 データ不足による精度の停滞 … 複雑な問題を解くためのデータが足りない 新たな手法の登場 ハードウェアの向上 50
51. Deep Learning より層数の多いニューラルネットの学習 ( 学習方法 ) 51
52. Deep Learning 多層化のメリット … ニューラルネットが識別可能な特徴の表現力が向上 耳 顔 52
53. Deep Learning 多層化のメリット … ニューラルネットが識別可能な特徴の表現力が向上 顔 耳 目 髭 髭 口 ニューラルネットの 多層化 耳 顔 53
54. 画像の特徴抽出 畳み込みニューラルネット (CNN) … 画像認識に用いられるニューラルネットの一つ 画像特徴 … 画像特徴 ( 特徴ベクトル ) を抽出 54
55. 画像の識別 CNN の識別層 … 識別層は通常の多層パーセプトロンを用いるのが一般的 … 得られた画像特徴から画像の識別 特徴抽出 識別層 55
56. 自作モデル作成までのハードル Deep Learning の利用までの学習や実装がたいへんではないか？ • Deep Learning ライブラリの利用 GPU を積んだマシンがない。スペックが必要では？ • ローカル環境で試す場合： GPU なしでも上記ライブラリは試せます • AWS の GPU インスタンスの利用が簡単 56
57. 自作モデル作成までのハードル 学習済みモデル作成までたいへんではないか？ • 入力データを集めるのはたいへん • Deep Learning ライブラリを用いて GUI 上で簡単に試せます 57
58. Deep Learning ライブラリ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O Spark ・ Hadoop , R, Python Deeplearning4j Java/Scala (JVM 言語 ) MXNet C++, Go, Java/Scala, JavaScr ipt, Julia, Matlab, Python, R ① 過去の資産が豊富 ② NVIDIA の DeepLearning 学習ツール DIGITS が便利 DIGITS : https://github.com/NVIDIA/DIGITS 58
59. トップ画面(DIGITS) ① Dataset 登録 ② Model 作成 59
60. トップ画面(DIGITS) ① Dataset 登録 60
61. ①Dataset登録 2.Training Images データが入っているフォルダを指定 1. 登録する画像の設定 グレー・カラー設定 画像サイズ設定 リサイズ設定 61
62. トップ画面(DIGITS) ② Model 作成 62
63. ②Model作成(パラメータ調整) 1.Dataset 登録 63
64. ②Model作成(アルゴリズム設定) 2. アルゴリズム設定 64
65. ③結果確認(GUI) 1. 画像をアップロードして結果を確認 65
66. ③結果の確認(REST API) $ curl localhost :5000/models/images/classification/classify_one.json -XPOST -F job_id=20150915-230450-2524 -F image_file=@horse_bird.png { “predictions”: [ [ “horse”, 0.8 ], [ “bird”, 0.7 ] ] } 66
67. Amazon EC2 GPU インスタンス モデル GPU vCPU メモリ （ GiB ） ストレージ （ GB ） 料金 g2.2xlarge 1 8 15 1 x 60 $0.65 /1 時間 g2.8xlarge 4 32 60 2 x 120 $2.6 /1 時間 p2.xlarge 1 4 61 EBS のみ $0.9 /1 時間 p2.8xlarge 8 32 488 EBS のみ $7.2 /1 時間 p2.16xlarge 16 64 732 EBS のみ $14.4 /1 時間 NEW 67
68. Amazon EC2 コミュニティ AMI 検索 : DIGITS 68
69. NVIDIA DIGITS 4 on Ubuntu 14.04 69
70. 商品の類似度を算出方法は？ 70
72. 類似度の算出方法 2 種類の方法で算出 ・画像の特徴の近さ ( コサイン類似度 ) ・画像の特徴の一致度 ( ダイス係数 ) …2 商品間の特徴タグのスコアから類似度を算出 …2 商品間の特徴タグの集合の一致度から類似度を算出 72
73. コサイン類似度 特徴ベクトルの角度を元に類似度を算出 商品 a と商品 b の特徴ベクトル コサイン類似度 角度が小さいほど類似度が高い 73
74. コサイン類似度の一例 角度が小さいほど類似度が高い 髪の長さ 髪の色合い ロング ショート セミロング 金髪 黒 茶髪 ※イメージ 74
75. コサイン類似度計算 72. 響 73. 雷 74. 電 tag_id tag_name score 1 silver hair 0.89 3 Serafuku 0.82 tag_id tag_name score 2 brown hair 0.96 3 serafuku 0.87 tag_id tag_name score 2 brown hair 0.97 3 serafuku 0.59 似てる？ 似てる？ タグ情報 75
76. コサイン類似度計算 ①正規化 コサイン類似度計算 ・ ②掛け合わせて コサイン類似度算出 76
77. STEP 1: 正規化 SELECT score / SQRT(SUM(score * score) OVER(PARTITION BY id)) FROM contents ①正規化 id name tag_id tag_name score 72 響 1 silver hair 0.89 72 響 3 serafuku 0.82 73 雷 2 brown hair 0.96 73 雷 3 serafuku 0.87 74 電 2 brown hair 0.97 74 雷 3 serafuku 0.59 77
78. SELECT score / SQRT(SUM(score * score) OVER(PARTITION BY id)) FROM contents STEP 1: 正規化 ①正規化 id 毎に分割 id name tag_id tag_name score 73 雷 2 brown hair 0.96 73 雷 3 serafuku 0.87 72 響 1 silver hair 0.89 72 響 3 serafuku 0.82 74 電 2 brown hair 0.97 74 電 3 serafuku 0.59 78
79. STEP 1: 正規化 SELECT score / SQRT(SUM(score * score) OVER(PARTITION BY id)) FROM contents ベクトルの大きさ計算 id name tag_id tag_name score |score| 72 響 1 silver hair 0.89 1.21 72 響 3 serafuku 0.82 1.21 ①正規化 (0.89) + (0.82) 2 2 (a1 ) + (a2 ) 2 2 79
80. STEP 1: 正規化 SELECT score / SQRT(SUM(score * score) OVER(PARTITION BY id)) FROM contents ①正規化 正規化 id name tag_id tag_name score |score| normalize 72 響 1 silver hair 0.89 1.21 0.73 72 響 3 serafuku 0.82 1.21 0.67 score |score| = normalize 80
81. STEP 1: 正規化 SELECT score / SQRT(SUM(score * score) OVER(PARTITION BY id)) FROM contents ①正規化 正規化 72 響 1 silver hair 0.89 1.21 0.73 72 響 3 serafuku 0.82 1.21 0.67 73 雷 2 brown hair 0.96 1.30 0.74 73 雷 3 serafuku 0.87 1.30 0.67 74 電 2 brown hair 0.97 1.14 0.85 74 電 3 serafuku 0.59 1.14 0.52 id name tag_id tag_name score |score| normalize 81
82. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 ・ ②掛け合わせ id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 normalized_vector 82
83. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 v1 v2 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 83
84. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 v1 v2 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 84
85. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 v1 v2 id name tag_id tag_name normalize 72 響 1 silver hair 0.73 72 響 3 serafuku 0.67 73 雷 2 brown hair 0.74 73 雷 3 serafuku 0.67 74 電 2 brown hair 0.85 74 電 3 serafuku 0.52 85
86. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 73 雷 2 brown hair 0.74 73 雷 2 0.74 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 72 響 3 0.67 73 雷 3 serafuku 0.67 73 雷 3 0.67 73 雷 3 serafuku 0.67 74 電 3 0.52 86
87. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 73 雷 2 brown hair 0.74 73 雷 2 0.74 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 72 響 3 0.67 73 雷 3 serafuku 0.67 73 雷 3 0.67 73 雷 3 serafuku 0.67 74 電 3 0.52 87
88. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 72 響 3 0.67 73 雷 3 serafuku 0.67 74 電 3 0.52 88
89. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 72 響 3 0.67 73 雷 3 serafuku 0.67 74 電 3 0.52 89
90. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 74 電 3 0.52 73 雷 3 serafuku 0.67 72 響 3 0.67 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 90
91. SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name STEP 2: コサイン類似度 73 雷 2 brown hair 0.74 74 電 2 0.85 73 雷 3 serafuku 0.67 74 電 3 0.52 73 雷 3 serafuku 0.67 72 響 3 0.67 v1. id v1. name v1. tag _id v1. tag _name v1. normalize v2. id v2. name v2. tag _id v2. normalize 91
92. STEP 2: コサイン類似度 SELECT SUM(v1.normalize * v2.normalize) FROM normalized_vector AS v1 JOIN normalized_vector AS v2 ON v1.tag_id = v2.tag_id WHERE v1.id <> v2.id GROUP BY v1.id , v2.id , v1.name , v2.name v1.id v1_nam e v2.id v2.name cosine_ similarity_ socre 73 雷 72 響 0.45 73 雷 74 電 0.97 92
93. STEP 3: ランキング計算 ROW_NUMBER() OVER(PARTITION BY v1.id ORDER BY cosine_similarity_socre DESC) v1. id v1. name v2. id v2. name cosine_ similarity_ socre 73 雷 72 響 0.45 73 雷 74 電 0.97 93
94. ROW_NUMBER() OVER(PARTITION BY v1.id ORDER BY cosine_similarity_socre DESC) STEP 3: ランキング計算 id 毎に分割 v1. id v1. name v2. id v2. name cosine_ similarity_ socre 73 雷 72 響 0.45 73 雷 74 電 0.97 94
95. ROW_NUMBER() OVER(PARTITION BY v1.id ORDER BY cosine_similarity_socre DESC) STEP 3: ランキング計算 id 毎に分割 コサイン類似度順位並び替え v1. id v1. name v2. id v2. name cosine_ similarity_ socre 73 雷 74 電 0.97 73 雷 72 響 0.45 95
96. ROW_NUMBER() OVER(PARTITION BY v1.id ORDER BY cosine_similarity_socre DESC) STEP 3: ランキング計算 id 毎に分割 コサイン類似度順位並び替え ランク付け ROW_ NUMBER v1. id v1. name v2. id v2. name cosine_ similarity_ socre 1 73 雷 74 電 0.97 2 73 雷 72 響 0.45 96
97. コサイン類似度計算 tag_id tag_name score 1 silver hair 0.89 3 serafuku 0.82 tag_id tag_name score 2 brown hair 0.96 3 serafuku 0.87 tag_id tag_name score 2 brown hair 0.97 3 serafuku 0.59 似てない 似てる 45% 97% 72. 響 73. 雷 74. 電 タグ情報 97
98. ダイス係数 特徴タグの一致を元に類似度を算出 商品 a と商品 b の特徴タグ ダイス係数 共通したタグが多いほど類似度が高い 98
99. ダイス係数計算 ②要素を組み合わせ ①各要素計算 各商品のタグ数 2 つの商品のタグの積集合 ダイス係数計算 99
100. ダイス係数 tag_id tag_name score 1 silver hair 0.89 3 serafuku 0.82 tag_id tag_name score 2 brown hair 0.96 3 serafuku 0.87 tag_id tag_name score 2 brown hair 0.97 3 serafuku 0.59 似てる？ 似てる？ 72. 響 73. 雷 74. 電 タグ情報 100
101. STEP 1: 各要素計算(各商品のタグ数) SELECT … , COUNT(1) OVER(PARTITION BY id) AS num_tags FROM contents id name tag_id tag_name 72 響 1 silver hair 72 響 3 serafuku 73 雷 2 brown hair 73 雷 3 serafuku 74 電 2 brown hair 74 電 3 serafuku ①各要素計算 各商品のタグ数 101
102. SELECT … , COUNT(1) OVER(PARTITION BY id) AS num_tags FROM contents STEP 1: 各要素計算(各商品のタグ数) id 毎に分割 id name tag_id tag_name 73 雷 2 brown hair 73 雷 3 serafuku 72 響 1 silver hair 72 響 3 serafuku 74 電 2 brown hair 74 電 3 serafuku ①各要素計算 各商品のタグ数 102
103. SELECT … , COUNT(1) OVER(PARTITION BY id) AS num_tags FROM contents STEP 1: 各要素計算(各商品のタグ数) id 毎に総数をカウント id name tag_id tag_name num_tags 73 雷 2 brown hair 2 73 雷 3 serafuku 2 72 響 1 silver hair 2 72 響 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 ①各要素計算 各商品のタグ数 103
104. STEP 2: 各要素計算(2つの商品のタグの積集合) ①各要素計算 2 つの商品のタグの積集合 id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags 104
105. SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags STEP 2: 各要素計算(2つの商品のタグの積集合) t1 t2 id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 105
106. SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags STEP 2: 各要素計算(2つの商品のタグの積集合) id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 t1 t2 id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 106
107. STEP 2: 各要素計算(2つの商品のタグの積集合) id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 id name tag_id tag_name num_tags 72 響 1 silver hair 2 72 響 3 serafuku 2 73 雷 2 brown hair 2 73 雷 3 serafuku 2 74 電 2 brown hair 2 74 電 3 serafuku 2 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags t1 t2 107
108. SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags STEP 2: 各要素計算(2つの商品のタグの積集合) t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 73 雷 2 brown hair 2 73 雷 2 2 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 72 響 3 2 73 雷 3 serafuku 2 73 雷 3 2 73 雷 3 serafuku 2 74 電 3 2 108
109. SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags STEP 2: 各要素計算(2つの商品のタグの積集合) t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 73 雷 2 brown hair 2 73 雷 2 2 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 72 響 3 2 73 雷 3 serafuku 2 73 雷 3 2 73 雷 3 serafuku 2 74 電 3 2 109
110. STEP 2: 各要素計算(2つの商品のタグの積集合) SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 72 響 3 2 73 雷 3 serafuku 2 74 電 3 2 110
111. STEP 2: 各要素計算(2つの商品のタグの積集合) SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 72 響 3 2 73 雷 3 serafuku 2 74 電 3 2 111
112. STEP 2: 各要素計算(2つの商品のタグの積集合) 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 74 電 3 2 73 雷 3 serafuku 2 72 響 3 2 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 112
113. STEP 2: 各要素計算(2つの商品のタグの積集合) 73 雷 2 brown hair 2 74 電 2 2 73 雷 3 serafuku 2 74 電 3 2 73 雷 3 serafuku 2 72 響 3 2 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags t1. id t1. name t1. tag _id t1. tag_name t1. num _tags t2. id t2. name t2. tag _id t2. num _tags 1 2 113
114. STEP 2: 各要素計算(2つの商品のタグの積集合) t1. id t1. name t1. num_ tags t2. id t2. name t2. num_ tags count 73 雷 2 74 電 2 2 73 雷 2 72 響 2 1 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags 114 タグ数 積集合 タグ数
115. STEP 2: 各要素計算(2つの商品のタグの積集合) t1. id t1. name n1 t2. id t2. name n2 n12 73 雷 2 74 電 2 2 73 雷 2 72 響 2 1 SELECT … , t1.num_tags AS n1 , t2.num_tags AS n2 , COUNT(1) AS n12 FROM tag_set AS t1 JOIN tag_set AS t2 ON tag_id = tag_id WHERE t1.id <> t2.id GROUP BY t1.id, t1.name, t1.num_tags , t2.id, t2.name, t2.num_tags 115 タグ数 積集合 タグ数
116. STEP 3: ダイス係数計算+ランキング t1. id t1. name n1 t2. id t2. name n2 n12 73 雷 2 72 響 2 1 73 雷 2 74 電 2 2 ②要素を組み合わせ ROW_NUMBER() OVER(PARTITION BY t1.id ORDER BY 2 * n12 / (n1 + n2) DESC) 116
117. ROW_NUMBER() OVER(PARTITION BY t1.id ORDER BY 2 * n12 / (n1 + n2) DESC) STEP 3: ダイス係数計算+ランキング id 毎に分割 t1. id t1. name n1 t2. id t2. name n2 n12 73 雷 2 72 響 2 1 73 雷 2 74 電 2 2 117
118. ROW_NUMBER() OVER(PARTITION BY t1.id ORDER BY 2 * n12 / (n1 + n2) DESC) STEP 3: ダイス係数計算+ランキング ダイス係数計算 t1. id t1. name n1 t2. id t2. name n2 n12 n12 (n1 + n2) 73 雷 2 72 響 2 1 0.5 73 雷 2 74 電 2 2 1 118
119. STEP 3: ダイス係数計算+ランキング ROW_NUMBER() OVER(PARTITION BY t1.id ORDER BY 2 * n12 / (n1 + n2) DESC) 並び替え t1. id t1. name n1 t2. id t2. name n2 n12 n12 (n1 + n2) 73 雷 2 74 電 2 2 1 73 雷 2 72 響 2 1 0.5 119
120. ROW_NUMBER() OVER(PARTITION BY t1.id ORDER BY 2 * n12 / (n1 + n2) DESC) STEP 3: ダイス係数計算+ランキング ランク付け ROW_ NUMBER t1. id t1. name n1 t2. id t2. name n2 n12 n12 (n1 + n2) 1 73 雷 2 74 電 2 2 1 2 73 雷 2 72 響 2 1 0.5 120
121. ダイス係数計算 tag_id tag name score 1 silver hair 0.89 3 serafuku 0.82 tag_id tag name score 2 brown hair 0.96 3 serafuku 0.87 tag_id tag name score 2 brown hair 0.97 3 serafuku 0.59 似てない 似てる 50% 100% 72. 響 73. 雷 74. 電 タグ情報 121
122. 画像レコメンドの実装はどのように？ 122
123. DB レコメンド API レコメンド ユーザ 123
124. 画像によるレコメンド 商品のパッケージ画像が類似した商品をレコメンド 124
125. 画像によるレコメンド 商品のパッケージ画像が類似した商品をレコメンド 画像の特徴を使ってレコメンド … パッケージ買いのような効果を期待 … ユーザの行動ログが不必要 125
126. 類似画像レコメンドの概要 126
127. 類似画像レコメンドの概要 イラストの特徴 ( タグとスコア ) を返す 学習済みモデル 127
128. 類似画像レコメンドの概要 イラストの特徴 ( タグとスコア ) を返す 学習済みモデル 128
129. 類似画像レコメンドの概要 129
130. 類似画像レコメンドの概要 130
131. 類似画像レコメンドの概要 商品のレコメンド API 131
132. まとめ Deep Learning の利用ハードルはそれほど高くない • 公開されている API や学習済みのモデルの利用 • ライブラリ等を用いるとモデルを容易に自作可能 132
133. まとめ Deep Learning の利用ハードルはそれほど高くない SQL on Hadoop + Deep Learning Tool の活用 • モデルから得られた特徴量から SQL(UDF) を用いて 容易に類似度算出が可能 133
134. まとめ Deep Learning の利用ハードルはそれほど高くない 類似画像レコメンドの実現 SQL on Hadoop + Deep Learning Tool の活用 • 学習済みモデル (Illustlation2Vec) と自作モデルで 画像特徴を抽出 • SQL(+ UDF) により自作 API から画像特徴を取得 • SQL により類似度を算出 -> レコメンド 134
135. ご静聴ありがとうございました Deep Learning の利用ハードルはそれほど高くない 類似画像レコメンドの実現 SQL on Hadoop + Deep Learning Tool の活用 135