学習院大学 #社会科学のための実践的データサイエンス 2020春: 6/11

学習院大学「社会科学のための実践的データサイエンス」2020春: 6/11
6.地域経済にまつわるエトセトラ
6.1.論文データの使い方
6.2.RESAS の使い方
6.3.Lens.org の使い方

Transcript

1. 学習院大学 「社会科学のための 実践的データサイエンス」 2020春: 6/11 6.地域経済にまつわるエトセトラ 6.1.論文データの使い方 6.2.RESAS の使い方 6.3.Lens.org の使い方 一橋大学大学院経済学研究科 原泰史 yasushi.hara@r.hit-u.ac.jp
2. 今日の内容 • 16:10-16:20 • プレ講義 [録画なし] • 16:10-16:30 • 6.1論文データの使い方 [録画あり] • 16:30-16:40 • インターミッション[録画な し] • 16:40-17:00 • 6.2 RESAS の使い方 [録画あり] • 17:00-17:10 • インターミッション 2[録画なし] • 17:10-17:30 • 6.3 Lens.org の使 い方[録画]
3. 6.1 論文情報の探し方と使い方
4. 論文データでわかること • 1905年にアインシュタインが出した論文が、誰にどのくらい引用さ れているのか？ • 企業が基礎研究にどのくらい注力しているのか？ • 大学はどのくらい論文を生産しているのか？ • 「△△学部の◦◦先生」はy年にx個論文を出していて、それがt回引 用されているか？ • そもそも、自分の卒論や修論や博論にどんな先行研究があるのか？ • Web of Science; • 一橋学部生/院生は学内ネットワークよりアクセス可能
5. Schumpeter 1947 の後方引用数推移(Web of knowledge) 6/17/2020 5
6. シュンペーター、死後40年後に流行りがち
7. 論文データベース • 何がわかるのか • だれが、いつ、どこで、どんな論文を書いたのかがわかる • だれが、いつ、どこで、どんな論文を引用したかがわかる • メリット • 先行研究を知ることができる • 自分のリサーチテーマと被る研究がどのくらいあるのか • 新規性がどのくらいあるのか • みんなが読んでいる論文がわかる！ • インパクトファクターの高い雑誌がわかる！（アカデミアでの就職に 有利な！） • どんな研究が世の中で行われているかがわかる！ 2020/6/17 7
8. 論文データベースに掲載されている情報 アブストラ クト タイトル 著者名 ジャーナル 名とページ 数 発行年 論文キーワード 著者の所属と住 所 パブリッシャー 論文の分類 論文のタイプと 使用言語 論文の引用数 と被引用数 2020/6/17 8
9. 前方引用と後方引用: 時点 : t "An Approach to the Study of Entrepreneurship," THE TASKS OF ECONOMIC HISTORY (Supplemental Issue of THE JOURNAL OF ECONoMIc HISTORY), VI (1946), 1-15 Oscar Lange, "A Note on Innovations," Review of Economic Statistics, XXV (1943), 19-25 F. W. Taussig, Inventors and Money-Makers (New York: The Macmillan Company, 1915). Fritz Redlich, The Molding of American Banking—Men and Ideas (New York: Hafner Publishing Company, 1947). Robert A. Gordon, Business Leadership in the Large Corporation (Washington, D.C.: The Brookings Institution, 1945). F. J. Marquis and S. J. Chapman on the managerial stratum ,of the Lancashire cotton industry in the Journal of the Royal Statistical Society, LXXV, Pt. III (1912). 293-306. 前方引用 後方引用 ・後方引用からわかること -- どのような先行研究が活用されたのか -- いつ公開された先行研究を活用したのか -- 論文を執筆するにあたり、「科学的源泉」 はいったいなんだったのか ・後方引用からわからないこと -- 引用されていないけど、重要だった「科学 的源泉」 -- 引用されていないけど、参照された先行研 究 (in context.) ・前方引用からわかること -- 論文自体の重要性 -- 「巨人の肩の上に立つ (Standing on the shoulders of the giants) 」 -- 知識の伝播過程 -- 論文自体が「古くなっていない」か ・前方引用からわからないこと -- ほんとうにその論文は重要な論文なのか (引用されること自体が, 論文の重要性を示し ているのか) -- 後発の論文にとって重要な科学的源泉が, 直接的には引用されていない場合も 2020/6/17 9
10. 論文のデータベースを使うと何がわかる？ • 著者の数が多い論文は被引用数が多くなる？ • どういうジャンルの論文を, 特定の大学や企業が投稿してい る？ • ある産業内では, どういった企業が論文を多く投稿している？ • ノーベル賞を取るようなスターサイエンティストはだれ？ • 引用する論文が多いほど, 被引用数が増える？ • 博士ホルダーが書いた論文は, 普通の研究者に比べてパフォー マンスが高くなる？ • 様々なジャンルに投稿している研究者のパフォーマンスは高く なる？ 2020/6/17 10
11. 具体例1. (後方)引用分析 • 後方引用をたどることで, 発明に至る知識の流れを明らかにす る • JST プロジェクトの Feasibility Study • Shuji Nakamura Patent に至るまでの Main Path • 特許と、特許に引用された論文について調査 • ソース: Web of Science / Thomson Innovation 2020/6/17 11
12. Network 全体 (属性付き) 赤色は Main Path に選択 された Node を示す. 2020/6/17 12
13. 1930s 1960s 1970s 1990s 2000s 1910-2007 (1次引用すべて導入; 上位12社明記) 1980s 2020/6/17 13
14. (英文)論文データベース 名前 Web of Science Scopus 作っている会社 トムソン・ロイター エルゼビア カバー範囲 ・社会科学文献の書誌および引用情報 (1898年-) ・自然科学文献の書誌および引用情報 (1900年-) ・5000以上の出版社の21,000誌以上の学術ジャー ナル ・20000タイトル以上の査読ジャーナル ・370タイトルのブックシリーズ ・550万件以上の会議録 メリット ・過去データが豊富 ・社会科学のカバー率が高い ・他のデータベースとリンクさせることが比較的容 易 ・分野分類が (Web of Science) に比べて明確 ・自然科学のカバー率は Web of Science に比べ 高い ・企業名および著者名の名寄せの精度が高いこと もないみたい・・・ デメリット ・1945年以前のデータはカバー範囲が限られている ・カテゴリ分類が不明確 ・現在カバー範囲が(Web of Science に比べ)狭い [引用情報は1996年以降のみカバー] (2016年に向け拡大される予定) 価格 すごく高い！ すごく高い！ 気をつけること ・一橋大学では利用可能 ・大学によってカバーしているデータ範囲が違う 一橋大学では利用不能 (部局によっては契約して いる場合あり) 2020/6/17 14
15. 論文データベースを使った分析の課題 • データ処理の開始までに手間が掛かる • データクリーニング: ネットワーク図作成ソフトに合致するようにデー タの処理を行う手間 (平準化, 欠落データの処理など) • 名寄せ (企業名, 個人名, 表記ゆれ etc…) を手作業で修正するのは、き わめて時間のかかる作業 • わかりやすいネットワーク図をつくるには、パラメータの調整 が必要 (NetDraw etc…) • 大量データを利用する場合、(フリーソフトウェアの場合)うま く動作しない場合がある 2020/6/17 15
16. 論文データベースを使った分析の課題(2) • 世の中に「完備な」データベースはありません • 「大人は嘘つきではありません、ただ間違いをするだけなのです …」 • 組織名が違う • 自分の名前が違う • 所属国が違う • 論文のカテゴリが違う ことが多々出てきます。 • 自らのリサーチクエスチョンに合わせて精緻な分析を行うために は、(1) 問いに対応する最適なデータベースを選び, (2) データの クリーニング作業 を行う必要があります 2020/6/17 16
17. 論文データベースによってカバーしてい る情報が違うことを確かめてみる • “The renaissance in optical spectroscopy of phthalocyanines and other tetraazaporphyrins” という論文を • 1. J-Global: http://jglobal.jst.go.jp/ • 2. CiNII : http://ci.nii.ac.jp/ • 3. Web of Science http://apps.webofknowledge.com/ • 4. Scopus http://www.scopus.com/ • 5. Google Scholar https://scholar.google.co.jp/ • 6. Microsoft Academics http://academic.research.microsoft.com/ の5種類の論文データベースで探し, どのような情報が掲載されているの か確認する. 2020/6/17 17
18. 1. J-global の場合: 検出, しかしほとんど情報な し 2020/6/17 18
19. 2. CiNii の場合: 検出できない 2020/6/17 19
20. 3. Web of Science@一橋の場合: いろいろ見つかる 2020/6/17 20
21. 3-2. Web of Science @GRIPSの場合:一橋 とまったく同じ情報が見つかる 2020/6/17 21
22. 4. Scopus の場合: Web of Scienceと同じ 結果になるけど, 被引用数が違う…. Web of Science の場合: 被引用数 67 Scopus の場合: 被引用数 69 2020/6/17 22
23. 5. Google Scholar の場合 検出できる. 被引用数は WoS/Scopus と異なる 2020/6/17 23
24. 6. Microsoft Academic の場合 検出できる. 2020/6/17 24
25. わかること • 有料のデータベースと無料のデータベースがある • Web of Science や Scopus にアクセスするのは, 実はお金がかかる • Stay Home していると、実は読めない論文があることに気づく • 当該論文を検出できるデータベースとできないデータベースがある • 被引用数はデータベースによって異なる • 掲載されている情報もデータベースによって異なる • 一番いいのは、実際の論文を読むこと/ダウンロードすること • しかしながら, そんな時間はないので論文データベースを使わざるを 得ない ⇒ 網羅性が高いのは Web of Science または Scopus, 日本語の論文 なら CiNII 2020/6/17 25
26. 今日のまとめ • 論文データベースは大学にいる間に活用しよう • かと思ったらLens.org なども出てきているので, そんなに困らないかも • Lens.org について 6.1 で話します • 論文データベースは完璧ではないことを知ろう • かと思ったら Lengs.org などもあるので, Scopus と Web of Science 含め相互補 完的に使うのが吉 • 論文データベースを使って分析するには、データの整理や名寄せが必 要不可欠である • NISTEP製テーブルをたくさん使いましょう • 論文データベースからデータを取得して多変量解析するには、やっぱ りデータベース処理の知識が必要になってくる • いまのうちにNoSQL とか覚えておくと、すごい論文が書けちゃうかも 2020/6/17 26
27. 6.2 地域情報(RESAS)の探し方
28. 今回利用するNotebook • Jupyter Notebook 版 • https://www.dropbox.com/s/a eu6bk2img5wg1z/RESAS%20A PI%20%E3%81%8B%E3%82%8 9%E3%83%87%E3%83%BC%E 3%82%BF%E3%82%92%E5%8 F%96%E5%BE%97%E3%81%9 9%E3%82%8B%28ver%202019. 10.05%29.ipynb?dl=0 • Google Colaboratory 版 • https://colab.research.google. com/drive/1Tqe2LmituEjA96V jFW0EyPqOTxpXa_k7
29. RESAS • https://resas.go.jp • 地域経済分析システム（2015年4月～） • ～Regional Economy Society Analyzing System～ • 地方創生のデータ利用の「入口」として、地域経済に関する官民の 様々 なデータを、地図やグラフ等で分かりやすく「見える化」してい るシステム • 各地域が、自らの強み・弱みや課題を分析し、その解決策を検討する ことを後押しするツール • Evidence Based Policy Making を目指した活動 引用; http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h31-01-07- newinfo.pdf
30. RESAS の収録データ http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h31-02-28-data.pdf
31. 実習2; RESAS API からデータを取得する • https://opendata.resas- portal.go.jp/ • API経由でデータを取得する • 右上の “RESAS-API 利用登 録・ログイン” からアカウン ト登録を行い, API キーを取 得する
32. 実習2; RESAS API からデータを取得する • 取得したAPI キーを, などの形式で保存する(このとき, 文字コード utf-8 で保存すること) {“X-API-KEY”:“(API 登録画面に表示されたAPI キー)"}
33. 実習2; RESAS をAPI で利用する • Notebook 上で必要なライブラリをインポートする
34. 実習2; RESAS をAPI で利用する • API キーを取得できるか確認する.
35. 実習2; RESAS をAPI で利用する • 都道府県のコード情報 を取り込む • データを読み込む先の URL 情報を指定 • URL とともに, APIキー を指定する • データを取り込み, 中身 を確認する
36. 実習2. RESAS をAPI で利用する • データを取得できる
37. 実習2. RESAS をAPI で利用する • Panda Dataframe に変換する
38. 実習2. RESAS をAPI で利用する • 東京都の市町村コードを取得する
39. 実習2. RESAS をAPI で利用する • 指定したURL にAPI キーを渡す • 東京23区の地域コードが取得できる
40. 実習2. RESAS をAPI で利用する • 出力結果
41. 実習2. RESAS を API で利用する • Panda Dataframe 形式に変換する
42. 実習2. RESAS を API で利用する • 出力結果
43. 実習2. RESAS をAPI で利用する • 一人あたりの固定資産税を取得する • 今回は東京都 (prefCode = 13) 国立市 (cityCode = 13215) の データをまとめて取り出す.
44. 実習2. RESAS をAPI で利用する • 出力結果
45. 実習2. RESAS をAPI で利用する • Panda DataFrame 形式に変換する
46. 実習2. RESAS をAPI で利用する • 都道府県ごとの集計値 を取得する • For 文で47都道府県分 のデータを取得する • 創業比率のデータ • https://opendata.res as- portal.go.jp/docs/api /v1/municipality/foun dation/perYear.html
47. Tips: For 文 • 同じ作業を繰り返すときの構文 • - Python の場合, Range 関数 を利用することで, その範囲内 で作業を繰り返すことができる • - たとえば, for i in range (1, 48) は, 1 から48 まで i という数 字をひとつずつ増やしなながら 作業することを可能にする • For 変数名 in (繰り返す範囲): • 実行する内容
48. 実習2. RESAS を API で利用する • データの取得結果
49. 実習2. RESAS を API で利用する • 市町村コードを Dataframe で保存し, コードのみ取り出す
50. 実習2. RESAS をAPI で利用する • 出力結果 • 東京都の市町村コードのみ取得 できる
51. 実習2. RESAS を API で利用する • 先程取得した東京 都の区別コードリ ストを用い, 各区ご との創業比率を取 得する • DataFrame 形式に 変換し, 保存する
52. 実習2. RESAS を API で利用する • 出力結果
53. 実習2. RESAS をAPI で利用する • 全都道府県の市区町村コードを取得し, DataFrame として保存する
54. 実習2. RESAS を API で利用する • データの取得結果
55. 実習2. RESAS をAPI で利用する • 市町村レベルの企業数のデー タを取得する • https://opendata.resas- portal.go.jp/docs/api/v1/muni cipality/company/perYear.htm l • 必要あらば, 産業分類のデータ も取得できる • 先程作成した city_list を利用し て, 全市区町村+特別区の企業 数データを取得する
56. 実習2. RESAS を API で利用する • 細かな解説(1) • 取得するAPIのURL を指定する • 後ほどデータを放り込む空の DataFrame を用意する • Zip 関数を使って, city_list.prefCode および city_list.cityCode ごとに 繰り返しの処理を行う • 今回の場合は, prefCode=1 の北海道から, 取得した cityCode ごとにデータを取 得する
57. 実習2. RESAS をAPI で利用する • 細かな解説(2) • データが存在しない市 区町村があるため, そ の場合 “not available” と表示させる • 企業数 (result), 市区町 村名/コード, 都道府県 名/コードを取得する • JSON からDataFrame 形式に変換して, それ をs に追記していく
58. Tips: zip と try 関数 • Zip 関数: • 複数の要素を同時に取得すること を可能にする • 例外処理 (try except): • 実行中にエラーが起きた場合, 例外 処理を指定することができる 引用; https://note.nkmk.me/python-try-except-else-fina
59. 実習2. RESAS をAPI で利用する • 出力結果 • データが取得できなかった市区 町村は not available と表示さ れる • それ以外のデータがリストとし て表示される
60. 実習2. RESAS をAPI で利用する • 都道府県ごとの累計企業数を 集計する • 出力結果 s.groupby('prefName')['value'].sum()
61. 実習2. RESAS をAPI で利用する • 都道府県ごとに平均値と総数を導出する import numpy as np s.groupby('prefName').agg({'value' : [np.sum, np.mean]}) graph_s=s.groupby('prefName').agg({'value' : [np.sum, np.mean]}) print(graph_s)
62. 実習2. RESAS を API で利用する • 出力結果
63. 実習2. RESAS を API で利用する • 棒グラフをプロットする import matplotlib import pandas as pd from matplotlib import pylab as plt # matplotlibのデフォルトフォントをKozuka Gothic Pro に設定 font = {'family' : 'Kozuka Gothic Pro'} matplotlib.rc('font', **font) graph_s graph_s.plot.bar(y=['value'], alpha=0.6, figsize=(15,4)) • デフォルトのplot は日本語に対応していないため, フォントを指定する作業を行う
64. 実習2. RESAS を API で利用する • 出力結果
65. やってみよう • RESAS のAPI を使って, 都道府県や市区町村, 産業分 類ごとにデータを取得し, 基礎統計の確認などを行う • たぶん(卒論や修論や博論に)使えそうなところ • Difference in Difference なモデルの設定 • Treated Group と Control Group を設定
66. やってみよう(2) • データリストはこちら; • https://opendata.resas-portal.go.jp/docs/api/v1/index.html • 別のAPIセット: • 法人インフォ: https://hojin-info.go.jp/hojin/TopPage • 科研費: https://support.nii.ac.jp/ja/kaken/api/api_outline • SPARQL Endpoint についてはモジュール 6.3 と6.4 で説明し ます。
67. 6.3 Lens.org で データを探す
68. Lens.org • 特許と論文をまとめて検索できるデータベース • APIも提供
69. Lens.org のデータカバレッジ • Patents • The European Patent Office’s DocDB bibliographic data from 1907 - present: 81+ Million documents from nearly 100 jurisdictions. • USPTO Applications from 2001 – present with full text and images. • USPTO Grants from 1976 – present with full text and images. • USPTO Assignments (14+ Million). • European Patent Office (EP) Grants from 1980 – present with full text and images. • WIPO PCT Applications from 1978 – present with full text and images. • Australian Patent Full Text from IP Australia • Paper • PubMed • Crossref • Microsoft Academic • CORE • PubMed Central https://about.lens.org/
70. Data Coverage Source: Martijn Visser, Nees Jan van Eck, Ludo Waltman (2020) Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic, https://arxiv.org/abs/2005.10732
71. COVID-19 Datasets https://about.lens.org/covid-19/ • Patents • Publications
72. 実習4-1. Lens.org で Ikujiro Nonaka の論 文を探す • 左上の欄に Ikujiro Nonaka と記入し, Enterする.
73. 実習4-1. Lens.org で Ikujiro Nonaka の論 文を探す • Ikujiro Nonaka に関するあらゆる特許や論文の情報が出てくる
74. 実習4-1. Lens.org で Ikujiro Nonaka の論 文を探す • Filters -> Author から Ikujiro Nonaka を選択する
75. 実習4-1. Lens.org で Ikujiro Nonaka の論 文を探す • 引用数の高い研究が確認できる (「私の履歴書」で書いてたやーつ)
77. 実習2. Lens.org で Toyotaの特許リストを 取得する • Patents に Toyota と入力し Enter
78. 実習2. Lens.org で Toyotaの特許リストを 取得する • Filters から Applicants を開き, Toyota Motor Co Ltd と Toyota Motor Corp を選択し Refine をクリック
79. 実習2. Lens.org でToyota の特許リストを 取得する • Toyota の特許一覧が表示される
80. 実習2. Lens.org でToyota の特許リストを 取得する • 年ごとの特許数の推移などが表示されている
81. 実習2. Lens.org でToyota の特許リストを 取得する • Analysis をクリックする
82. 実習2. Lens.org でToyota の特許リストを 取得する • 結果が表示される
83. 実習2. Lens.org でToyota の特許リストを 取得する • Export Results をクリックする
84. 実習2. Lens.org でToyota の特許リストを 取得する • JSON や CSV 形式を選び, Export をクリックする
85. Additional: Lens.org に登録してAPI で データを取得する
86. Additional: Lens.org に登録してAPI で データを取得する • Twitter API 同様, 利用理由について委細を記述し、申請を行う。 • 内容に問題がない場合、許可される • 審査に10時間くらいかかります
87. Additional: Lens.org に登録してAPI で データを取得する • Token を作成する
88. Additional: Lens.org に登録してAPI で データを取得する • API Token が発行される
89. Additional: Lens.org とAPI で話す • Pythonの場合 import requests url = 'https://api.lens.org/scholarly/search' data = '''{ "query": { "match_phrase":{ "author.affiliation.name": "Hitotsubashi University" } }, "size": 1, "sort": [ { "year_published": "desc" } ] }''' headers = {'Authorization': 'Bearer your-access-token', 'Content-Type': 'application/json'} response = requests.post(url, data=data, headers=headers) if response.status_code != requests.codes.ok: print(response.status_code) else: print(response.text) https://docs.api.lens.org/samples.html
90. Additional: Lens.org とAPI で話す • 出力結果
91. 現時点での論文データベース利用法 • Web of ScienceとScopus, どちらにもデメリットとメリットがある • Web of Science: データベース全体の構造が複雑, かつノイズデータも多いけ ど長い期間をカバーしている • Scopus: Web of Science に比べればデータベース全体の構造は比較的単純. Author ID や Affiliation ID などを備えているので一見 Name-Matching の手 間は省けそうだけど, やはりノイズデータが含まれている. 今後に期待. • （高いから比べられないし, だいたいの大学ではひとつしか使えないし） 論 文データベースは Web of Science, Scopus のいずれかを使う • 恐らく, 両データベースの接合を試みるだけでたくさんの Paper が 書ける（けれど大変） • 指標を使って, クエリを投げてデータを取り出した後, 整合性が取れ ているかチェックしていく (別の組織が入っていないか, 別の国が 入っていないか, ダブルカウントしていないか etc…) • Lens.org (Microsoft Academics) のニーズが増えそう 2020/6/17 91
92. まとめ • 論文データベースは大学にいる間に活用しよう • かと思ったらLens.org なども出てきているので, そんなに困らないかも • 論文データベースは完璧ではないことを知ろう • かと思ったら Lengs.org などもあるので, Scopus と Web of Science 含め 相互補完的に使うのが吉 • 論文データベースを使って分析するには、データの整理や名寄せ が必要不可欠である • NISTEP製テーブルをたくさん使いましょう • 論文データベースからデータを取得して多変量解析するには、 やっぱりデータベース処理の知識が必要になってくる • いまのうちにNoSQL とか覚えておくと、すごい論文が書けちゃうかも 2020/6/17 92
93. 次回; Open Linked Data の活用 (RDF, RISIS など の事例紹介および試用) [座学、 実習] • オープンサイエンスやオープンガバメントの進展によって、特 にヨーロッパでは Open Linked Data と呼ばれるデータセット を用いた解析プラットフォームや、解析手法が用いられはじめ ています。 • 本回では、RISIS (https://www.risis2.eu/)と呼ばれる、イノ ベ ーション分析のためのデータプラットフォームについて解説 を 行い、RDF を用いた解析について解説および簡単な実習を行 い ます。
94. Open Linked Data の具体例 • 科学者とPhD Advisor の関係性 アメリカの場合 ドイツの場合 日本の場合 DBpedia.org (Wikipedia の掲載情報をRDF にしたサイト)のSPARQL Endpointに、Linked Data Reactor (http://ld-r.org/) から接続し、Wikipedia に掲載されているScientist の全情報を取り込み
95. THANKS yasushi.hara@r.hit-u.ac.jp