GDS入門

Transcript

1. GDS入門 1
2. 今日の内容 • 自己紹介 • Graph Datascience Libraryの概要紹介 • neo4j sandboxでの実例紹介 2
3. 自己紹介 名前：竹花洋明 所属：クリエーションライン 前職：IoT関連 現在：クラウド(GCP)、Terraform、DBサポート・PoC(neo4j, mongodb) 3
4. Graph Data Science Libraryとは？ • グラフアルゴリズムをCypher経由で実行できるライブラリ • neo4j database上のデータではなく、in-memory graph形式のデータに対して実行 • 無料のCommunity版と有料のEnterprise版があり、Enterprise版だと以下のような 特徴がある ◦ CPU Core数が無制限 ◦ RBACをサポート ◦ model catalogのいくつかの機能が追加で使用可能 ◦ optimized in-memory graph implementationが使用可能 4
5. グラフアルゴリズムとは • グラフに対するアルゴリズムで、いくつかの種類に分けられるので次のスライドから はそちらを紹介します • GDS内では成熟度(maturity)により、以下3種類に分けられます ◦ Production-quality ◦ Beta ◦ Alpha 5
6. Centrality algorithms relationshipの数や向き、hop数等を用いて各ノードをスコア化する。 (影響力の高い人物の検出等に利用 ) GDSで使用可能な主なアルゴリズム： PageRank、Closeness Centrality、Degree Centrality https://neo4j.com/docs/graph-data-science/current/algorithms/page-rank/#algorithms-page-rank 6
7. Community Detection algorithms 各ノードのrelationshipに基づき、グループに割り当てる (コミュニティ検出等に利用 ) GDSで使用可能な主なアルゴリズム： Louvain、Label Propagation、Weakly Connected Components https://neo4j.com/docs/graph-data-science/current/algorithms/label-propagation/#algorithms-label-propagation 7
8. Similarity algorithms ノード間の近似性をスコア化する (recommendation等に利用) GDSで使用可能な主なアルゴリズム： Node Similarity、K-Nearest Neighbors、Jaccard Similarity https://neo4j.com/docs/graph-data-science/current/algorithms/node-similarity/#algorithms-node-similarity 8
9. その他 • Path finding algorithms • Link Prediction algorithms • Node embeddings • Machine Learning Models • Auxiliary procedures • Pregel API 9
10. GDSの内部動作 https://neo4j.com/docs/graph-data-science/current/common-usage/ 10
11. 実例紹介 • neo4j sandbox・・・Webブラウザのみでneo4jの機能や、データセットを元にしたシ ナリオを通してneo4jの学習ができる • 今回は金融系のデータから怪しいアカウントを検出する「Fraud Detection」を実施 します。 11
12. Fraud Detectionの概要 個人情報を偽装や盗みだしたものを使用している想定。 特徴として複数の人が同じ個人情報を使用している場合が多いので、今回はこれを元 に詐欺を検出する。 Person Person Phone 12
13. 特定の流れ Person Person Phone Person Person Phone Email Email Person Person Phone Person Person Person Person 1.個人情報を共有している人を 特定しグループ化する 2.共有している個人情報の被り 具合を元に、Similarity(近似 性)をスコア化する 3．1と2を元にグループ内での Similarityから詐欺スコアを算 出する 13
14. WCC(重みなし) A C B D E 14
15. WCC(重みなし) A C B D E GroupID:1 GroupID:1 GroupID:1 GroupID:2 GroupID:2 15
16. WCC(重みあり) A C B D E weight:0.5 weight:1 weight:1 16
17. WCC(重みあり) A C B D E GroupID:1 GroupID:3 GroupID:1 GroupID:2 GroupID:2 weight:0.5 weight:1 weight:1 17