Neo4j with Spark for Big Data Analysis

Slide 1

Slide 1 text

Neo4j with Spark for Big Data Analysis Machine Learning, Graph Analysis, Streaming 株式会社 DMM.comラボビッグデータ部加嵜⻑⾨領家⾶⿃ 2016年11⽉17⽇ Neo4j ユーザー勉強会 #9

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

加嵜⻑⾨ • Sparkエンジニア ü『詳解 Apache Spark』領家⾶⿃ • 今年⼊ったばっかの新⼈ ü 研修中にグラフDB(Neo4j)に興味を持つ Copyright © since 1998 DMM All Rights Reserved. 4 ⾃⼰紹介 Neo4j… 使ってみたい http://gihyo.jp/book/2016/978-4-7741-8124-0 第8章 GraphX を担当

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

• Spark • DataFrames Copyright © since 1998 DMM All Rights Reserved. 18 Sparkとは？ DataFramesを⽤いてデータの絞り込み（WHERE句に相当）を⾏う例 // 年齢で絞り込み df.filter($"age" > 20).show() +------+----+--------+ | name| age|location| +------+----+--------+ |Nagato| 27| Kure| | Asuka| 24| null| +------+----+--------+

Slide 19

Slide 19 text

• Spark • DataFrames Copyright © since 1998 DMM All Rights Reserved. 19 Sparkとは？ DataFramesを⽤いてデータの集約とカウントを⾏う例 // GROUP BYで集約 df.groupBy("location").count().show() +--------+-----+ |location|count| +--------+-----+ | Kure| 2| | null| 1| +--------+-----+

Slide 20

Slide 20 text

• Spark • MLlib Copyright © since 1998 DMM All Rights Reserved. 20 Sparkとは？ Spark MLlib は、スケーラブルな機械学習を⼿軽に実現するためのAPI // 協調フィルタリングのモデル作成 val als = new ALS() .setMaxIter(10) .setRegParam(0.01) .setUserCol("userId") .setItemCol("productId") .setRatingCol("rating") val model = als.fit(ratings)

Slide 21

Slide 21 text

• Spark • GraphX Copyright © since 1998 DMM All Rights Reserved. 21 Sparkとは？ Spark GraphXは、プロパティグラフに対して分散グラフ処理を⾏うためのAPI val g = GraphGenerators.gridGraph( sc, rows = 3, cols = 4) // ⽣成されたグラフのtripletを⼀覧表⽰ g.triplets.collect.foreach(println(_)) ((0,(0,0)),(1,(0,1)),1.0) ((0,(0,0)),(4,(1,0)),1.0) ((1,(0,1)),(2,(0,2)),1.0) ... ((9,(2,1)),(10,(2,2)),1.0) ((10,(2,2)),(11,(2,3)),1.0)

Slide 22

Slide 22 text

Slide 23

Slide 23 text

• Spark • GraphFrames Copyright © since 1998 DMM All Rights Reserved. 23 Sparkとは？ GraphFramesでは、 Neo4jと同様にCypherによる問い合わせやグラフ操作も可能 // Cypherクエリによる問い合わせ g.find( " (a)-[]->(x); (b)-[]->(x);" + " (b)-[]->(y); !(a)-[]->(y)" ).groupBy( "a.user", "y.item" ).count().show() +----+----+-----+ |user|item|count| +----+----+-----+ | u1| i4| 2| | u2| i1| 2| +----+----+-----+

Slide 24

Slide 24 text

• Spark • Structured Streaming Copyright © since 1998 DMM All Rights Reserved. 24 Sparkとは？ Spark Structured Streamingは、 DataFramesと同等のインターフェースでストリーム処理を⾏うAPI val lines = spark.readStream.format("socket").load() lines.as[String]. flatMap(_.split(" ")).groupBy("value").count() --------------------------------------- Batch: 0 --------------------------------------- +------+-----+ | value|count| +------+-----+ |apache| 1| | spark| 1| +------+-----+

Slide 25

Slide 25 text

Slide 26

Slide 26 text

• Neo4j-spark-connector Copyright © since 1998 DMM All Rights Reserved. 26 Neo4jとSparkの連携 Neo4j 3.0から実装されたboltプロトコルを⽤いて、Neo4jとSpark間の接続を⾏う https://github.com/neo4j-contrib/neo4j-spark-connector https://neo4j.com/blog/neo4j-3-0-milestone-1-release/ Neo4j Spark Bolt オンライントランザクション⼤規模な分散処理データロードに中間データ（CSV）が不要機械学習グラフ処理ストリーム処理バイナリプロトコルによる⾼スループット・低レイテンシ

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 29 DataFrameの利⽤・spark-shellの起動オプションで以下を設定… • Neo4j(bolt)のホストを設定 • Neo4jのユーザ名を設定 • Neo4jのパスワードを設定 • neo4j-spark-connectorと GraphFrameのパッケージを追加 >> $SPARK_HOME/bin/spark-shell ¥ --conf spark.neo4j.bolt.url=bolt:// ¥ --conf spark.neo4j.bolt.user= ¥ --conf spark.neo4j.bolt.password= ¥ --packages neo4j-contrib:neo4j-spark-connector:2.0.0- M2,graphframes:graphframes:0.2.0-spark2.0-s_2.11

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 31 DataFrameの利⽤ “Apllo 13”に出演した俳優の名前をDataFrameとして取得し表⽰ // spark-neo4j-connectorのインポート scala> import org.neo4j.spark._ // Sparkとneo4jをつなぐおまじない scala> val neo = Neo4j(sc) // DataFrameを作成 scala> val ActorNames = |neo.cypher(" |MATCH (p:Person)-[a:ACTED_IN]->(m:Movie) |WHERE m.title = 'Apllo 13' |RETURN p.name AS actor |").loadDataFrame // 結果を表⽰ scala> ActorNames.show

Slide 32

Slide 32 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 32 DataFrameの利⽤ neo.cypher() … openCypherでクエリを実⾏ loadDataFrame() … DataFrameとして取得 // spark-neo4j-connectorのインポート scala> import org.neo4j.spark._ // Sparkとneo4jをつなぐおまじない scala> val neo = Neo4j(sc) // DataFrameを作成 scala> val ActorNames = |neo.cypher(" |MATCH (p:Person)-[a:ACTED_IN]->(m:Movie) |WHERE m.title = 'Apllo 13' |RETURN p.name AS actor |").loadDataFrame // 結果を表⽰ scala> ActorNames.show

Slide 33

Slide 33 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 33 DataFrameの利⽤ ActorNames.show() … ActorNamesを表⽰ // spark-neo4j-connectorのインポート scala> import org.neo4j.spark._ // Sparkとneo4jをつなぐおまじない scala> val neo = Neo4j(sc) // DataFrameを作成 scala> val ActorNames = |neo.cypher(" |MATCH (p:Person)-[a:ACTED_IN]->(m:Movie) |WHERE m.title = 'Apllo 13' |RETURN p.name AS actor |").loadDataFrame // 結果を表⽰ scala> ActorNames.show

Slide 34

Slide 34 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 34 DataFrameの利⽤ WHEREの条件などのパラメータを後から与える場合は param(pram名: String, pram: Any) … パラメータが⼀つの場合 params(prams: Map(String, Any)) … パラメータが2つ以上の場合を⽤いる // DataFrameを作成 scala> val ActorNames = |neo.cypher(" |MATCH (p:Person)-[a:ACTED_IN]- >(m:Movie) |WHERE m.title = {title} |RETURN p.name AS actor LIMIT {limit} |") |.params(Map("title"->"Apollo 13", "limit"->2)) |.loadDataFrame // 結果を表⽰ scala> ActorNames.show

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 38 GraphXでPageRank Neo4jGraph.loadGraph … PageRankを計算引数は・PageRankを計算したいグラフ・計算の繰り返し回数 // GraphXとGraphX.libのインポート scala> import org.apache.spark.graphx._ scala> import org.apache.spark.graphx.lib._ // PageRankを計算 scala> val pageRank = |PageRank.run(reviewedGraph, 10)

Slide 39

Slide 39 text

Spark-Shell での実⾏例 (映画のやつ) Copyright © since 1998 DMM All Rights Reserved. 39 GraphXでPageRank “REVIEWD”の関係で繋がれたグラフのページランクを計算 à 結果をNeo4jへ格納 // Neo4jにPageRankをrank(プロパティ)としてSave scala> Neo4jGraph.saveGraph(sc, pageRank, "rank")