グラフデータベース Neo4j によるレコメンド /POL-TechLab-LT-1

Published on Mar 31, 2021

TechLab LT会 #１ - connpass, https://pol-inc.connpass.com/event/208421/
LT② グラフデータベース Neo4j によるレコメンド

社内で取り組んでいた Neo4j を使ったレコメンドの簡単な紹介と簡単な実践について．

詳細: グラフデータベース Neo4j を使ってアニメをレコメンドしてみた - Qiita, https://qiita.com/kohei-shinden/items/e1c1fbc0a90a9fd7ecb9

Transcript

1. グラフデータベース Neo4j による レコメンド 株式会社POL プロダクト部インターン 新⽥洸平 株式会社POL TechLab LT会 #１ 2021年3⽉31⽇
2. • レコメンドシステムの構築は重要 ‒ ユーザに有益な商品をおすすめしたり， ユーザに合ったユーザをおすすめしたり • ⼀⽅で，レコメンドシステムの構築は難しい ‒ 対象データの特徴を考慮して設計しなければならない ‒ なるべく簡単かつ直感的にレコメンドシステムを 構築したい… 背景 2 ？ ⽅法の１つとして グラフデータベースを紹介
3. • グラフ構造のデータベース ‒ グラフとは要素（頂点）間の関係を表す線からなる数学理論 グラフデータベースとは？ 3 [1] グラフ理論 ‒ Wikipedia, http://ja.wikipedia.org/w/index.php?curid=429680(Access: 2020.03.31) [2] Neo4j Graph Platform ‒ The Leader in Graph Databases, https://neo4j.com/ (Access: 2020.03.31) 6つの節点と7つの辺から成るグラフの⼀例[1] ノード エッジ グラフデータベースによる構成の⼀例[2] ノードによって「商品，カテゴリ，注⽂，供給者，顧客」を表現 ノード間の関係性をエッジとして表現 要素として プロパティがあり 属性情報を表現 { id: 100, age: 22, ...} データ間の関係性を格納できる
4. • データ間の関係性によって直感的なレコメンドが可能 グラフデータベースの利点 4 ユーザ1 ユーザ2 ユーザ3 アイテム1 アイテム2 アイテム3 関係性: ⾼評価 例: 動画サイトにおける商品評価 {Rate: 2} ユーザ アイテム 評価 グラフデータ ベースによる 表現 … • 同じアイテムを評価しているユーザ同⼠は類似する可能性が⾼い • あるユーザが未評価のアイテムの中で類似ユーザが評価している アイテムは有益なアイテムである可能性が⾼い
5. • 実際にユーザのアニメ評価データを使ってレコメンドを実践 ‒ Kaggle の Anime Recommendations Database[3] を利⽤ アニメデータでレコメンドしてみる 5 [3] Anime Recommendations Database | Kaggle, https://www.kaggle.com/CooperUnion/anime-recommendations-database (Access: 2020.03.31) anime_id name genre type episodes rating members 32281 Kimi no Na wa. "Drama, Romance, School, Supernatural" Movie 1 9.37 200630 5114 Fullmetal Alchemist: Brotherho od "Action, Adventure, Drama, Fantasy, Magic, Military, Shounen" TV 64 9.26 793665 … … … … … … … user_id anime_id rating 1 20 -1 1 24 -1 … … … anime.csv rating.csv
6. • グラフデータベース Neo4j に対してクエリ⾔語 Cypher を⽤いてCSV から インポートしてユーザ/アニメノードを作成 ‒ Neo4j の import ディレクトリ下にデータファイルを配置することで読み込み可能 Neo4j へのデータ⼊⼒: ノードの作成 6 rating.csv anime.csv LOAD CSV WITH HEADERS FROM 'file:///anime.csv' AS row CREATE (:Anime { name: row.name, anime_id: row.anime_id }); LOAD CSV WITH HEADERS FROM 'file:///rating.csv' AS row WITH DISTINCT row.user_id as user_id WHERE toInteger(user_id) <= 1000 CREATE (:User { user_id: user_id }); アニメノード作成のクエリ ユーザノード作成のクエリ グラフデータベース Neo4j
7. • ユーザのアニメに対する評価をエッジとして作成 ‒ プロパティとして評価値を持たせることなども可能 Neo4j へのデータ⼊⼒: エッジの作成 7 LOAD CSV WITH HEADERS FROM 'file:///rating.csv' AS row MATCH (u:User) WHERE u.user_id = row.user_id AND toInteger(row.user_id) <= 1000 MATCH (a:Anime) WHERE a.anime_id = row.anime_id CREATE (u)-[:RATING{rating:toInteger(row.rating)}]->(a); rating.csv レーティングエッジ作成のクエリ グラフデータベース Neo4j
8. • 格納したデータはブラウザアクセスによって簡単に確認できる Neo4j へのデータ⼊⼒結果 8 user_id 1,000 anime_id 12,294 rating 96,489 (⾼評価も低評価も含む) user_id が 3 のユーザノード user_id が 4 のユーザノード user_id が 4 のユーザが 評価したアニメノード user_id が 3 のユーザが 評価したアニメノード 上の画像は出⼒結果を保存した画像
9. • ⾃分へアニメをレコメンドするために，データベース内から⾃分が好きなア ニメデータを探して⾼評価をつけてみる ‒ 任意のプロパティに対してフルテキストインデックスを作成することで 検索を⾼速で⾏える ⾃分の好きなアニメを登録 9 ⼿順 ⾃分のユーザノード作成 アニメのタイトルで検索 検索結果のアニメノードに Rating のエッジを作成 アニメを⾼評価している ユーザに基づいてレコメンド 好きなアニメ「One Piece」の検索結果
10. • ユーザベース協調フィルタリングによってレコメンド ‒ 同じアニメを⾼評価しているユーザ同⼠は類似していると仮定 ⾃分の好きなアニメに基づいたレコメンドの考え⽅ 10 ユーザ1 ユーザ2 ユーザ3 アニメ1 アニメ2 アニメ3 関係性: ⾼評価 類似したユーザが より多く評価していて アニメは対象ユーザにとって 有益である可能性が⾼い ユーザ1とユーザ2は 同じアニメを評価 同じアニメを⾼評価している ユーザ同⼠は類似している 可能性が⾼い
11. • 協調フィルタリングの考え⽅をクエリとして直接表現して データを出⼒する ⾃分の好きなアニメに基づいたレコメンドのクエリ 11 // ⾃分が⾼評価しているアニメ MATCH (:User{user_id:"1001"})-[:RATING]-(a0:Anime) WITH collect(a0.anime_id) AS a0_ids // ⾃分が⾼評価しているアニメを⾼評価している他のユーザが⾼評価している他のアニメ MATCH (:User{user_id:"1001"})-[:RATING]-(:Anime)-[r0:RATING]-(:User)-[r1:RATING]-(a1:Anime) // ⾃分が⾼評価しているアニメを除外するかつ r0 と r1 の rating が 1 より⼤きい WHERE NOT a1.anime_id IN a0_ids AND r0.rating > 1 AND r1.rating > 1 WITH a1, count(a1) as cnt_a1 RETURN a1, cnt_a1 // 重複数の降順でソート ORDER BY cnt_a1 DESC LIMIT 10;
12. レコメンドの結果 12 • 上から順に，進撃の巨⼈，ワンピース（Film: Strong World），デスノート，ソードアート オンライン，鋼の錬⾦術師... • 進撃の巨⼈はワンピースと同じようなアクショ ン漫画のアニメなのでユーザが評価する可能性 • デスノートは週刊少年ジャンプで連載されてい た漫画のアニメなのでユーザが評価する可能性 ⾃分の評価したアニメに基づいた出⼒結果
13. • グラフデータベースを紹介 • ノード間の関係性によって直感的なレコメンドシステムを 構築できる利点 • ノードやエッジの種類を変えれば様々なプロダクトへ応⽤可能 • 属性情報を使って絞り込むことでより⾼精度な推薦の実現 • 今回利⽤したデータは⼗分な量があったが，データが少ないよう なシステムに今回のような⽅法を適⽤しても，あまり使えるもの ではない可能性が⾼いので⼯夫が必要 • データ分析を⾏う追加機能などもある まとめ 13 以下のリンクに詳細が載っています グラフデータベース Neo4j を使ってアニメをレコメンドしてみた ‒ Qiita, https://qiita.com/kohei-shinden/items/e1c1fbc0a90a9fd7ecb9
14. ⾃⼰紹介 14 新⽥洸平 (Kohei Shinden) POL における活動 • インターン⽣としてデータの分析や検索の改善などに⾃由に取り組む 研究・技術領域の興味 • 情報検索，情報推薦，⾃然⾔語処理，機械学習 など • Go, Flutter, Python, Neo4j など その他の活動 • 2020年度 未踏IT⼈材発掘・育成事業 • ZENPEN（⾼専⽣の編⼊対策⽀援） 筑波⼤学 情報学群 知識情報・図書館学類 B4 知識獲得システム研究室 （加藤誠研究室） 個⼈サイト: https://sites.google.com/view/kohei-shinden 研究室サイトの個⼈ページ: https://kasys.slis.tsukuba.ac.jp/member/kohei-shinden/ @KoheiShinden kohei-shinden