Neo4jによる学術文献データベースの構築

Neo4j ユーザー勉強会 #9 LT

Transcript

1. Neo4jによる 学術⽂献データベースの構築 Neo4j ユーザー勉強会 #9 LT 2016年 11⽉ 17⽇ 統計数理研究所 濵⽥ひろか @hrk0619
2. About Me • いちおうプログラマー • Master of Medical Science • Neo4jに触れたのは2016年9⽉！ • NoSQLの経験はMongoDB程度 • 現⾏版DBの構築には 携わっていません！ • 2015年10⽉〜2016年8⽉まで 産休＆育休でした
3. 研究⽬的について 研究⽬的は「新たな研究⼒評価のための指標を開発する」こと。 例えば、研究者の共同研究への取り組みに注⽬し、「共同研究へ の貢献度合い」を表す新たな指標[1][2] など、評価軸は様々である。 参考⽂献 [1]Keisuke Honda, Yuji Mizukami, Shigenori Jason Suzuki and Junji Nakano(2015). An approach for evaluating academic research performance using betweenness centrality in authors network. 3rd International IBM Cloud Academy Conference, p.34. [2]本多啓介, ⽔上祐治, ⽔⾕陽介, 鈴⽊重徳, 中野純司(2015). ⼤規模学術⽂献データを⽤いたグラフ解析 による評価指標開発と視覚化. ⽇本計算機統計学会第29回シンポジウム講演論⽂集, pp.105-108
4. なぜ学術⽂献をNeo4jに？ 学術⽂献（論⽂など）には「引⽤被引⽤関係」や「共著関係」と いった relationship が存在する。 従って、学術⽂献は グラフ構造のデータ として表現できる。 → グラフ構造であることを活⽤した分析ができる！ Article1 Article3 Author3 Author2 Article2 Author1 共著 引⽤被引⽤ 執筆 執筆 執筆 執筆 引⽤ 引⽤
5. データについて 学術⽂献のオリジナルデータには Web of Science Core Collection を使⽤。 WoSオリジナルデータはXML形式。 1. Pythonで前処理、CSV形式に変換 2. CSV形式のデータをNeo4jに登録
6. 学術⽂献データベース 現在のデータベースは試験段階(phase1)のもので昨年度構築。 今年度中にphase2へ移⾏する(予定)。 項⽬ 2015年度 2016年度 開発段階 phase1 phase2 登録⽂献 2005〜2014年の10年分 30年分 ノード数 138,219,658 ? リレーションシップ数 691,837,443 ? Neo4j version 2.3.2 最新安定版(少なくとも3.0系) Machine Spec CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz Memory: 64GB HDD: 2TB + 240GB 変更なし
7. 学術⽂献データベース 現在のデータベースは試験段階(phase1)のもので昨年度構築。 今年度中にphase2へ移⾏する(予定)。 項⽬ 2015年度 2016年度 開発段階 phase1 phase2 登録⽂献 2005〜2014年の10年分 30年分 ノード数 138,219,658 ? リレーションシップ数 691,837,443 ? Neo4j version 2.3.2 最新安定版(少なくとも3.0系) Machine Spec CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz Memory: 64GB HDD: 2TB + 240GB 変更なし $ df Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda3 212041040 46524612 154738676 24% / tmpfs 32922440 564 32921876 1% /dev/shm /dev/sda1 2064208 108196 1851156 6% /boot /dev/sdb1 1922728752 823416024 1001637056 46% /home
8. &('!     -&"(%.&"(%
     && &'+#                "' #%"( %%! !'+ +% %" &$!" %#%!' (%&& &#+!    " '+ (!  *( *( &&"!!" &'' *"&&'!% '"! '"! &&! "(!'%+ %&'!  #('+# #('+# &&! ,# &'!  #(+% #(+% %'!"  % &"%'' &"%'' Author <14828140> Source <19218031> Source <92162197> Address <10820177> subject <275> Doi <1148925 8> データモデル/phase1 . . . . . .
9. 書誌データの利⽤例 RNeo4j function() Cypherクエリー 書誌データ（XML） インポート 各種関数 データフレーム √ ターゲットデータ（CSV） エクスポート インポート
10. 引⽤被引⽤関係
11. 共著関係
12. 移⾏に向けた課題 • リレーショナルシップの登録が不正確なため前処理プログラム は全体的に書き直し • ユーザーによるクエリーチューニングが難しく検索時の負荷が ⾼い • 分析にはRを利⽤しているため検索結果を出⼒する必要があり、 ファイルサイズに関するトラブルなどが発⽣ など
13. 今後ともどうぞよろしくお願いします • 引き続き頑張ります • Twitterあります @hrk0619 • 11/24-25に開催される第30回⽇本計算機統計学会シンポジウム にてIRテーマセッションを⾏います →タイトルは「⼤学研究⼒評価のための書誌情報の分析」です • Oracle PGX 版プロジェクトも⾛っています →近々開催されるPGXユーザー会にも顔を出します ご清聴ありがとうございました！