#経済学のための実践的データ分析 4.7 企業データベース+RESAS

#経済学のための実践的データ分析
4.7 企業データベース+RESAS
28 番教室

一橋大学大学院経済学研究科
原泰史
yasushi.hara@r.hit-u.ac.jp

Transcript

1. 経済学のための 実践的データ分析 4.7. 企業データベース とRESASの使い方 28教室 一橋大学大学院経済学研究科 原泰史 yasushi.hara@r.hit-u.ac.jp
2. 確認事項 • 電源タップは足りているでしょうか？ • レポートの提出
3. 今年残りの予定 • 12/9; 企業データベース+RESAS • 12/12; Linked Open Data • 12/16; テキスト分析(その1) • 12/18; テキスト分析(その2) • 12/19; データの可視化 • ゲストあり〼 • 12/21; 一橋大学講座 • 12/22-29; イスラエル出張予定
4. 4.7.データベースを用いた分析(3) 企業デー タベ ース/データベース間の接合[座学、実習] • 帝国データバンク企業・経済高度実証研究センター (http://www7.econ.hit-u.ac.jp/tdb-caree/about-caree/) が提供 する企業のデータベースについて説明を行います。本データベース には、企業の取引、出資、銀行取引データや、決算書データなどが 含まれています。こうしたデータセットに基づき、前二回同様、問 いに基づきデータを解析することを目指します。 • 今回も、学生はレポートを提出する必要があります。 • また講義の後半では、NISTEP 企業名辞書 (http://www.nistep.go.jp/research/scisip/rd-and-innovation- on-industry) などを用い, ID ベースでデータセット間を接合する手 法について説明します。
5. TDBデータベース http://www7.econ.hit-u.ac.jp/tdb-caree/deta/
6. ただし… • 商用データベースなので, 学生の皆さんに “そのまま” 使って頂 くのは難しそうです • 一部データをモディファイした形で、企業データの解析を皆さ んに体験していただけるようにしたいと思います
7. 今日の内容 (105分) 1:いろいろな企業データベースの紹 介 2:RESAS からデータを取得してみよ う 3:レポート2回目の話 4:レポート3回目の話
8. 1. いろいろな 企業データベースの紹介
9. 企業データベースでわかること • (上場)企業の製品, 財務パフォーマンス • 株価, ROA, ROI, ROE などのパラメータ • 売上高, 従業員数 → 面接を受ける企業の財務, 経営パフォーマンスを同業他社と比 較して生産性を解析。面接で経営の改善案を提示する！(たぶん 面倒くさいやつ)
10. 引用: 日本経済新聞
11. (一橋大学で利用できる)企業データベース • 日経NEEDS • 日経テレコン21 • ビューロバンダイク (部局による) • 帝国データバンクデータベース • Entrepedia • DBJ データベース • Etc…
12. 1. 日経テレコン21 • https://t21.nikkei.co.jp/g3/CMNDF11.do • 1975年4月以降の日経各紙（日本経済新聞、日経産業新聞、日 経MJ（流通新聞）、日経金融新聞（※休止））の新聞記事や日 経会社プロフィル、財務情報、各種統計データを収録するデー タベース • 日経ヴェリタスも契約中
13. 1. 日経テレコン21
14. 1-1. 財務情報を検索する
15. 1-1. 財務情報を検索する メルカリ関連の採録情報が表示 される ・データベースで、「すべての 媒体を選択」をクリックする ・「再検索」をクリックする 件名数から「見出しを表示」を クリックする
16. 1-1. 財務情報を検索する • “一括チェック” をクリックする
17. 1-1. 財務情報を検索する • 本文表示をクリックする
18. 1-1. 財務情報を検索する
19. 1-2. 企業プロフィールを検索する • 企業のプロフィールから、 検索する企業名を入力す る
20. 1-2. 企業プロフィールを検索する • “見出しを表示” をクリックする
21. 1-2. 企業プロフィールを検索する • 詳細を出力する
22. 1-3. ニュースを検索する • メイン画面で, 検索したい企業名を入力する
23. 1-3. ニュースを検索する • “見出しを表示” をクリックする
24. 1-3. ニュースを検索する • ニュース記事の一覧が表示される
25. 1-3. ニュースを検索する • ニュース記事
26. 実習1. 日経テレコンを使ってみる • エントリーシートや内定先やちょっと気になる会社を、日経テ レコンで検索してみる • 企業に関して、どのような情報が検索できるか確認する
27. 2. 日経BP記事検索サービス • URL http://bizboard.nikkeibp.co.jp/academic/ を開く
28. 2. 日経BP 記事検索サービス • 検索した文字列に関連する日経の記事が一覧表示される
29. 3. Entrepedia • スタートアップのデータベース • https://biz.entrepedia.jp/
30. 3. entrepedia
31. 3. entrepedia 無償ユーザとして登録後, メルカリを検索
32. 3. entrepedia • メルカリ関連の情報が表示されるが, 有償版でないと細かな データは取得できない
33. 4.日経NEEDS • 日本経済新聞社の総合経済データバンク・システム • 日経NEEDS-FinancialQUESTでは、WEBから以下の内容を用 途に併せてエクセル形式でダウンロードできる。 • 国内マクロパッケージ • 新ミクロ総合パッケージ • 地域統計オプション • 企業ファイナンスデータ
34. 日経NEEDS の利用条件 • (一橋ネットワーク内からの)同時接続10台 • 範囲： • 一橋大キャンパス内 • サービス時間 • 月曜日 5：00 ～ 日曜日 15：00 • 対応ブラウザ • Internet Explorer, Microsoft Edge • Google Chrome ですとクレデンシャル情報が渡されませんでした
35. 日経NEEDS • データの概要; • http://www.lib.hit- u.ac.jp/retrieval/e_resource/documents/nikkeifq/needsfq_list.html • ミクロ系 • 決算短信 • 有価証券報告書 • 業績予想 • 企業属性 • 株価データ • 業績予想データ • マクロ系 • 生産統計 • 在庫統計 • 貿易統計
36. 実習. 日経NEEDS のデータを一橋大学図 書館から入手し解析する • 一橋大学付属図書館の電子リソースを参照する • https://www.lib.hit-u.ac.jp/retrieval/e_resource/dblist.html
37. 実習. 日経NEEDS のデータを一橋大学図 書 館から入手し解析する • 「ナ」をクリックする
38. 日経NEEDS-FinancialQUEST のメイン画面
39. 財務データを引っ張ってくる • 【概要】 • 全国証券取引所（ジャスダック 含む）上場会社及び非上場有価 証券報告書提出会社、全国信用 金庫について、有価証券報告 書・決算短信などの開示資料や 日経独自の調査にもとづき、決 算データ（上場会社は四半期 ベース）を収録します。最大で １９６４年以降（単独本決算の 場合）の時系列データとして収 録しています。
40. 財務データの取得 東証マザーズの全企業の データを取得する 全選択し, “採用” をクリッ クする “次のステップへ進む” をク リックする
41. 財務データの取得 • 利用するデータ を選択し, “採 用” をクリック する • 右下に項目数が 表示される
42. 財務データの取得
43. 財務データの取得 結果をダウンロードしますか？ と表示されるので「はい」 をクリックする
44. 財務データの取得 • データの出力画面が表示される
45. Excel で取り出す
46. グラフを作成する キャンディル ミクシィ インタースペース アマナ Ｆ ジ Ｒ ー Ｏ エ ア Ｎ ヌ ス Ｔ ア カ Ｅ イ ネ Ｏ グ ッ ル ト ー プ アドウェイズ ユナイテッド 海帆 ト Ａ ラ Ｓ ン Ｊ スジェジ ニ ェ ッ ネ ク レーションパ ス オイシックス・ラ・大地 バルニバービ ＳＨＩＦＴ ベガコーデ ポ ー レ タ ー ホ イ シ ラ グ ョ イ ニ ン ア ゾ ス ド ンバンスト・メディア ドカ リヤ コッ ムク ＧＡ ｔｅｃｈｎｏｌｏｇｉｅシ ｓ リコンスタジオ Ａｉｍｉｎｇ ラクスユーザベース モ ソ オ ブ フ ー リ キ ト ク ア ャ マ フ ル ス ッ ァ ワ ト ク ン ー ホ ス ル ード ルディンシ グャ スノン ト Ａ ラ Ｍ ス Ｂ ト Ｉ ホ Ｔ ー Ｉ ル Ｏ デ Ｎ ィングス ＵＵＵＭ エムケ ビ ア ー ネ メ 総 エ ッ デ 医 ス ト ィ 研 ネ ホ ッ ー ト ゼ ルネ デラ ィ ピル ン ク・ グ スオ ス タイ 農ス 業タ 総ー 合 ア 研 メ ク 究 モ デ セ 所 ル ィ ル ホ フ カ マ ッ Ｆ ォ ル ー ト Ｃ Ｆ ネ ク リ Ｒ ッ ン Ｉ ト ク ・ Ａミ Ｌド Ｂル Ｅ バ ウ グ Ｒ リ ェ ロ Ｔ ュ イ ア ー ー ノ バ ゴ ベ ウ ル ル ー ォ ウ フ シ ナ ン ェ ョ レ テ イ ン ッジドス リイ ーー ト ラクスル メルカリ アイ・ピー・エス システムサポート マネーフォワーイ ド ーソ ル 串 リ カ ネ ツ ネ ッ 田 ッ ト 中 ト ジ ホ イ ャ ー ヤ パ ル ー ン デ グ ィ ル ン ク ー グ ラ プ ス ウドワークス シェアリングテクノロジー東名 ＡＣＣＥＳＳ 手フ 間ル いッ らタ ず イ グ フ ン ラ ィ ル ト ン ジ ル ッ パ ラ Ｇ デ ェ ・ タ ル ロ ン － ィ イ カ マ ー ス Ｆ ー テ 霞 ン ド Ａ ズ ッ ヶ パ ス Ｃ ク 関 ニ タ Ｔ コ キ ー ー Ｏ ー ャ キ Ｒ ポ ピ ャ デ Ｙ レ タ ピ ィ ー ル タ ジ シ ル タ ョ ル ア ン デ メ プ ィ デ リ ー ィ ッ ・ ア ク デ プ フ ス ィ ロ ー ー フ バ シ ・ ェ ー ル エ ッ ユ ブ バ ス シ ー レ ーザ イ エー ン す ッＭ ロ ら グ ビ Ｈ マ ー ら ・ ー Ｚ Ｅ エ ー カ ネ テ プ Ｕ Ｒ ー ト ル ッ ク ラ Ｕ Ｏ ア ト ノ ッ Ｚ イ ロ ツジ ーＷ シト ｅ ョ ア ビ ｌ ン ナ ン カ ラ ｂ ノ Ｕ メ イ シ オ ｙ キ ェ Ｍ サ ド オ ス ン ャ ブ ス Ｎ ン レ ム ソ テ コ リ ラ フ バ ッ ・ レ ム リ ア イ ァ イ ク バ イ ズ ス ト サ ー オ ス イ ジ バ パ イ マ オ ア イ ス ジ サ ・ オ ・ ニ イ フ フ バ ア エ ァ ァ イ ン ー ー オ ン ス マ マ グス マー夢 サ ケ 展 ン ッ 望 ワ ト カ エ ン ン パ フ タ ニ リ ェ ー ー イ プ ガ ス ラ ル ネ イ 不 ッ ズ 動 ト産 ワーロ クＧ ッＭ クＯ オ メ リ ン デ サ ィ ー ア チ 工 は 房 てな ビーブレイクシバ ス ン テ ク ム Ｅ ・ ズ ｄ オ ｕ ブ Ｌ ・ ａ イ ｂ ノベーショＧ ン ＭＯ イ Ｔ ト Ｅ ク Ｃ ロ Ｈ メディＭ イ ア Ｒ ー シ Ｔ ア ド ー ク ク トコー ル ｇｏｏｄｄａｙｓホールディア ン ラ グ イドアーキテク ツ フリークアウト・ホールディング レアジョブ ＧＭＯメディア エクストリー 中村パ 超ー 硬トナ ム アクアラインーエージェン ト トライスジテフェーァイジングデルリーープテホィーールケスデユロータィピ ナ コ ピ ジ ン ー イ ン ー オ グ バ テ ド ア ス ン ッ タ ド ド オ ッ ＆ ト コ コ レ ム クティコブラボソスエーデシエィャルアルテワスイサ ヤ Ｊ イ ー ス ン ト ポ プ リ ス ロ ア ー ト パ ク ム Ｖ テ Ａ Ｋ リ Ａ ィ ｍ リ ｕ ー Ｌ サ デ ａ ッ ｄ ト Ｕ ー ｚ ク ａ Ｅ バ タ ｉ ソ ｎ Ｎ ー バ ａ フ キ Ｅ ワ ン ジ ト ャ Ｘ ー ク ー リ ン ク ボ バ 窪 ス テ Ｄ ミ ス 田 ク ｅ ッ 製 ノ ｌ ク 薬 サ ｔ ホ ａ ー エ － ル ン Ｆ デ シ ス ｌ ィ ン ｙ メンＰ ロ テ ｈ ゼ ホ ａ ッ ー ｒ タ ル ｍ ディングス エスユーエス ウェルビー ＨＡＮＡＴＯＵＲ ＪＡＰＡＮ ＳＥＲＩＯホールディングス 大泉製作所 テラプローブ テノ．ホールディングス ピ ポ ア ー ラ ト ク エ ッ ル ク ・ ビ テ ズ ィ マ ー ネ ・ ジ エ メ ス ン フ ト ロ ソ ン リ テ ュ ィ ー ア シ イ ョ ン ン タ ズ ーナショナ ル コプロ・ホールディングス メタッバ プ ー ス チ 旅 ャ 工 レ 房 クス・ホールディング日本ホスピスホールディング ス フレアス 日本イ ス ン キ パ ー ク 場 ト ブ 開 ホ ラ 発 ー ン ル ジ デ ス イ ィ タ ン ン タ グ ジ ー ス 神 ー ネ コ 戸 ニ ッ ン 天 ー ト ヴ 然 イ ァ 物 ン ノ 化 フ 学 ィニギ テ ー ィ ク ア ー ス イリグッドコ スー ピポ ーレ ドーシ ョン ＭＴＧ ヴィそ ッ ー ツ せいグル弁 ー ア 護 プ ド 日 士 ベ 本 ド ン 動 ッ チ 物 ト ャ 高 コ ー 度 ム医療ハ セ ホ キ イ ン エ ー リ ャ ア タ ヌ プ フ リ ス ー ・ ァ ア ・ ピ イ ア ー ン ・ バ ド シ ー ・ ー ス カンフ パ ア ロ ニ ル ン ー ー テ ジ プ ィ ャ レ ア パ シ ・ フ ジ ン マ ィ イ ョ ネ ン ジ テ ・ ベ メ ッ シ ス ン ク ス ト ト テ メグ ム ンロ ・ー サバ イル 識学サマ日 ン本 サアタバセサットジマ ャーパンケリティミテンッグ ヘリオＪス ＭＣ リント ク レ バ ン メ ル ン ダ ッ ド バ ー ト ピ イ ズ ホ ア オ ー ・ ル ホ Ｗ デ ー Ｆ Ａ ィ ル ｒ Ｓ ン デ ｉ Ｈ グ ィ ｎ ハ ス ン ヒ ｇ ウグ ュ ｅ スス ー ８マ １ン・テ ア クソ ノ シ ス エ あ デ Ａ イ ん ー ｍ ツ し タ ｉ ・ ん サ ｄ ホ 保 イ Ａ エ ー シ 証 エ ホ リ ル ン ー ア バ ス ル リ ー ・ デ ン ラ エ ィ ク イ ンフ グス ブ Ｃ リ Ｒ ッ Ｇ ジ ホ イ ー ン ル タ デ ー ィ ナ ン シ グ ョ ス Ｓ ナ Ｏ ル Ｕ 自律制御シ み ス ら テ ベ い ロ ム ス ワ グ ト 研 ト ー リ ラ 究 ワ ク ー ン 所 ン ス ザ ド ス ットハ コウ ムテレビジョンブティック ス ベルトラ一家ダイプ ニ ラ ン ッ グ ツ ギ プ フ ロ ト ジ ェ ク ト ＮＡＴＴＹ ファＳ イＷ バＡ ーＮ ゲＫ ーＹ ト フィッイ ト オレ 富士山マ タ ガ イ ジ フ セ ン ォ イ ア サ ー ズ ー ラ ー ビ イ ム ス ア フ ユ ビ セ ニ ソ リ ン フ 駅 ケ ン テ ォ 探 ッ グ ッ ー ツ シ ク ム ス ネ 日 テ ク 本 ム ス フ デ ト ァ ー ｓ ル Ｊ タ ア Ｍ コ Ｉ セ イ ｅ ム Ｇ ク リ ｄ バ － シ ッ ｉ リ Ｓ ョ ジ う ｏ ュ Ａ ン エ る ー Ｗ コ る Ｐ デ Ｓ モ Ｋ ザ Ｋ ッ Ｓ イ Ｉ ト Ｈ ン Ｙ Ａ Ａ ロ エ Ｋ ジ Ｔ チ ク Ｉ ザ ｅ ー ス ー ｃ シ ム モ ス ド ｈ ノ ス カ ミ マ ｎ プ ピ オ ン レ ｏ ス リ ナ カ ジ オ ｌ ッ ビ ブ ン ｏ ト ・ コ ｇ ジ セ・ ライ ピン ーフ ・ォ サ レ ノ イ ン イ エ 地 ト ド ン ア 盤 ラ ヒ エ ー ス ネ ッ キ ュ ク ー テ Ａ ス マ ク ｐ フ ン ツ ｐ ェ ・ ・ Ｂ ニ メ ス ａ ッ タ タ Ｇ ｎ ク ボ ジ ａ ｋ ス ロ オ ｍ バ ー ・ ｅ ア イ ム ジ Ｗ ジ オ ・ ラ ャ ｉ ャ テ イ パ ｔ イ プ ク ａ ト イ ｈ ル ロ ｎ ア ー メ レ ｄ ッ エ デ ド プ ム ィ ・ ｆ ネ ア パ ａ エ ッ ・ ー ｃ ー ト ネ ト 日 ｔ ド ジ ッ ナ 本 ｏ ッ ャ ト ー リ ｒ Ｃ ト パ ワ ズ ビ ｙ Ｙ ン ー ン Ｂ グ Ｅ 和 ア 保 Ｒ 心 ル 証 Ｄ フ Ｙ ァ Ｎ ポ Ｅ リス 0 200 400 600 800 1000 1200 1400 1600 1800 0 50 100 200 250 300 従業員数 150 企業利潤 企業利潤と従業員数
47. ５.帝国データバンクデータベース • 企業信用調査報告書 • 企業財務データベース • 企業概要 • 企業倒産 などの情報を網羅 ・未上場企業のデータもカバー
48. 5. 帝国データバンクデータベース • 企業情報データ • 所在地 • 企業コード • 売上高 • 代表者名 などをカバー 引用: https://www.tdb.co.jp/pdf/samp_c2p.pdf
49. 5. 帝国データバンクデータベース • 調査報告書 • 上場有無 • 資本金 • 取引銀行 • 仕入先 • 得意先 • 売上高 • 純利益 • 事業構成 • 信用スコア 引用: https://www.tdb.co.jp/lineup/pdf/samp_ccr.pdf
50. 5. 帝国データバンクデータベース
51. 5. 帝国データバンクデータベース • データ利用資格・手続き 1. センターで企業データを用いた研究に従事するのは、共同研究契約に予め記載さ れた一橋大学教員と帝国データバンク社員の他に、センターの連携協議会が認め る人とします（研究担当者、研究補助員、その他）。研究期間は、連携・協力協 定および共同研究契約の期間（2020年3月末までの2年間）を目処とします。 2. 本学の教員・学生のみならず、国内外の他大学等の教員・研究者・学生等も、所 定の手続きを経てセンターの研究担当者・研究補助員等になり、当センターの企 業データを利用することができます。ただし、他大学等の教員・研究者の場合は、 一橋大学客員研究員として承認される必要があります。具体的な手続き等につい ては、当センターにお問い合わせください。 3. 企業データは（株）帝国データバンク本社のワークステーションに設置され、セ ンター端末からの遠隔操作を通じてのみ利用できます。個別企業のデータの検 索・閲覧や持ち出しは一切できません。 4. センターの企業データを用いた研究に従事する人には必ず、所定の誓約書を提出 していただき、その規定に従っていただきます。 5. DPを含めて研究成果を公表する場合には、他大学の教員・学生等にも、所属機関 に加えて一橋大学の当センターのアフィリエーションを成果論文等に記載するこ とが義務づけられます。 http://www7.econ.hit-u.ac.jp/tdb-caree/qualification/
52. 5. 帝国データバンクデータベース • マーキュリタワーの4F に研究センターがあります • もし卒論や修論や博論に使いたい場合には、是非ともお問い合 わせください
53. 6+. NISTEP 企業名辞書 • http://www.nistep.go.jp/research/scisip/rd-and-innovation- on-industry • 複数のデータセットをID ベースで接合するためのテーブル http://www.nistep.go.jp/wp/wp-content/uploads/user- manual-of-comp_dic_2019_1.pdf
54. 6+. NISTEP 企業名辞書 • カバーしている企業群 • ① 特許出願数累積 100 件以上 • ② 株式上場企業 • ③ 特許出願数の伸び率大 • ④ NISTEP 大学・公的機関名辞書掲載企業 • ⑤意匠・商標登録数累積 100 件以上 • ⑥ 持株会社制移行に伴い設立された事業会社 • ⑦ 一部事業の譲渡に伴い設立された会社 • ⑧ 名称変更又は吸収合併した企業が登録事由に該当
55. 6+. NISTEP 企業名辞書
56. 2. RESAS からデータ をまとめて取得する
57. 今回利用するNotebook Jupyter Notebook 版 https://www.dropbox.com/s/ aeu6bk2img5wg1z/RESAS%20 API%20%E3%81%8B%E3%82% 89%E3%83%87%E3%83%BC% E3%82%BF%E3%82%92%E5%8 F%96%E5%BE%97%E3%81%99 %E3%82%8B%28ver%202019.1 0.05%29.ipynb?dl=0 Google Colaboratory 版 https://colab.research.google. com/drive/1Tqe2LmituEjA96V jFW0EyPqOTxpXa_k7
58. RESAS https://resas.go.jp 地域経済分析システム（2015年4月～） ～Regional Economy Society Analyzing System～ 地方創生のデータ利用の「入口」として、地域経済に関する官民の様々 なデータを、地図やグラフ等で 分かりやすく「見える化」しているシステム 各地域が、自らの強み・弱みや課題を分析し、その解決策を検討する ことを後押しするツール Evidence Based Policy Making を目指した活動 引用; http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h31-01-07-newinfo.pdf
59. RESAS の収録データ http://www.kantei.go.jp/jp/singi/sousei/resas/pdf/h31-02-28-data.pdf
60. 実習2; RESAS API からデータを取得する https://opendata.resas- portal.go.jp/ API経由でデータを取得する 右上の “RESAS-API 利用登録・ ログイン” からアカウント登録を行 い, API キーを取得する
61. 実習2; RESAS API からデータを取得する 取得したAPI キーを, などの形式で保存する(このとき, 文字コード utf-8 で保存すること) {“X-API-KEY”:“(API 登録画面に表示されたAPI キー)"}
62. 実習2; RESAS をAPI で利用する Notebook 上で必要なライブラリをインポートする
63. 実習2; RESAS をAPI で利用する API キーを取得できるか確認する.
64. 実習2; RESAS をAPI で利用する 都道府県のコード情報を取 り込む データを読み込む先のURL 情報を指定 URL とともに, APIキーを指定する データを取り込み, 中身を確認する
65. 実習2. RESAS をAPI で利用する データを取得できる
66. 実習2. RESAS をAPI で利用する Panda Dataframe に変換する
67. 実習2. RESAS をAPI で利用する 東京都の市町村コードを取得する
68. 実習2. RESAS をAPI で利用する 指定したURL にAPI キーを渡す 東京23区の地域コードが取得できる
69. 実習2. RESAS をAPI で利用する 出力結果
70. 実習2. RESAS を API で利用する Panda Dataframe 形式に変換する
71. 実習2. RESAS を API で利用する 出力結果
72. 実習2. RESAS をAPI で利用する 一人あたりの固定資産税を取得する 今回は東京都 (prefCode = 13) 国立市 (cityCode = 13215) の データをまとめて取り出す.
73. 実習2. RESAS をAPI で利用する 出力結果
74. 実習2. RESAS をAPI で利用する Panda DataFrame 形式に変換する
75. 実習2. RESAS をAPI で利用する 都道府県ごとの集計値を 取得する For 文で47都道府県分のデータを取 得する 創業比率のデータ https://opendata.resas- portal.go.jp/docs/api/v1/municipality /foundation/perYear.html
76. Tips: For 文 同じ作業を繰り返すときの構文 - Python の場合, Range 関数 を利用することで, その範囲内で 作業を繰り返すことができる - たとえば, for i in range (1, 48) は, 1 から48 まで i という数 字をひとつずつ増やしなながら作 業することを可能にする For 変数名 in (繰り返す範囲): 実行する内容
77. 実習2. RESAS を API で利用する データの取得結果
78. 実習2. RESAS を API で利用する 市町村コードを Dataframe で保存し, コードのみ取り出す
79. 実習2. RESAS をAPI で利用する 出力結果 東京都の市町村コードのみ取得できる
80. 実習2. RESAS を API で利用する 先程取得した東京都 の区別コードリストを用 い, 各区ごとの創業比 率を取得する DataFrame 形式に変 換し, 保存する
81. 実習2. RESAS を API で利用する 出力結果
82. 実習2. RESAS をAPI で利用する 全都道府県の市区町村コードを取得し, DataFrame として保存する
83. 実習2. RESAS を API で利用する データの取得結果
84. 実習2. RESAS をAPI で利用する 市町村レベルの企業数のデータを 取得する https://opendata.resas- portal.go.jp/docs/api/v1/municipality/company/p erYear.html 必要あらば, 産業分類のデータも取得できる 先程作成した city_list を利用して, 全市区町村+ 特別区の企業数データを取得する
85. 実習2. RESAS を API で利用する 細かな解説(1) 取得するAPIのURL を指定する 後ほどデータを放り込む空の DataFrame を用意する Zip 関数を使って, city_list.prefCode および city_list.cityCode ごとに繰り返しの処理を行う 今回の場合は, prefCode=1 の北海道から, 取得した cityCode ごとにデータを取得する
86. 実習2. RESAS をAPI で利用する 細かな解説(2) データが存在しない市区町村がある ため, その場合 “not available” と表示 させる 企業数 (result), 市区町村名/コード, 都道府県名/コードを取得する JSON からDataFrame 形式に変換して, それをs に追記していく
87. Tips: zip と try 関数 Zip 関数: 複数の要素を同時に取得すること を可能にする 例外処理 (try except): 実行中にエラーが起きた場合, 例 外処理を指定することができる 引用; https://note.nkmk.me/python-try-except-else-finally/
88. 実習2. RESAS をAPI で利用する 出力結果 データが取得できなかった市区町村は not available と表示される それ以外のデータがリストとして表示される
89. 実習2. RESAS をAPI で利用する 都道府県ごとの累計企業数を集 計する 出力結果 s.groupby('prefName')['value'].sum()
90. 実習2. RESAS をAPI で利用する 都道府県ごとに平均値と総数を導出する import numpy as np s.groupby('prefName').agg({'value' : [np.sum, np.mean]}) graph_s=s.groupby('prefName').agg({'value' : [np.sum, np.mean]}) print(graph_s)
91. 実習2. RESAS を API で利用する 出力結果
92. 実習2. RESAS を API で利用する 棒グラフをプロットする import matplotlib import pandas as pd from matplotlib import pylab as plt # matplotlibのデフォルトフォントをKozuka Gothic Pro に設定 font = {'family' : 'Kozuka Gothic Pro'} matplotlib.rc('font', **font) graph_s graph_s.plot.bar(y=['value'], alpha=0.6, figsize=(15,4)) • デフォルトのplot は日本語に対応していないため, フォントを指定する作業を行う
93. 実習2. RESAS を API で利用する 出力結果
94. やってみよう • RESAS のAPI を使って, 都道府県や市区町村, 産業分類 ごとにデータを取得し, 基礎統計の確認などを行う • たぶん(卒論や修論や博論に)使えそうなところ • Difference in Difference なモデルで, Treated Group と Control Group を設定する
95. やってみよう(2) データリストはこちら; https://opendata.resas-portal.go.jp/docs/api/v1/index.html 別のAPIセット: 法人インフォ: https://hojin-info.go.jp/hojin/TopPage 科研費: https://support.nii.ac.jp/ja/kaken/api/api_outline SPARQL Endpoint については次回説明します。
96. 3. レポート 2回目について
97. レポート(2回目) 概要 テーマ; とても細かくやってみる「企業研究」 講義で取り上げたデータセット (BigQuery Sandbox/RESAS/Lens.org) ないしは企業の財務データベー スからデータセットを入手し, 特定の産業, 企業グループについて比較分析を行い, レポートにまとめ る. レポートでは (1) とりあげた産業/企業グループの特徴の抽出, 基礎統計の分析 (2) 売上高, 資本金, ROE, ROA など主なパフォーマンスのデータおよびその比較 を行った上で, 「もしも自分が就職するのなら」どの企業を選択するか明記すること 提出期間: 2019/12/23 13:15:00 (JST) 提出方法:Slack DM
98. 「企業研究」 https://job.rikunabi.com/contents/company/2536/
99. 「企業研究」 https://syukatsu-pro.com/column/5754
100. レポート(2回目) の構成 (テンプレ) はじめに 対象企業について 利用するデータベースについて 分析結果と考察 まとめ
101. レポート(2回目)の進め方 1. まず, 対象とする企業とその競合企業を決める 2. 1. で決めた企業群について, データベースサイトから解析にあた り必要だと思われるデータを取得する 3. Excel and/or Jupyter Notebook で解析を行う 4. Word and/or Jupyter Notebook でレポートにまとめる
102. 1. (産業組織論的な)市場画定 どの財とどの財が同じ市場に属しているのか画定する必要がある 似通った多数の財が存在する場合、生産要素や生産方法が共通するなどの理由で同じ市場と設定して もよいのか 市場支配力を図るためには、「どこからどこまで」が同じ財なのか画定 させる 市場範囲の画定は、市場支配力の評価にあたって必要不可欠な分 析プロセス
103. 日本標準産業分類 供給される財の性質にもとづいて, 産業を分類する 財の性質にもとづいて便宜的に産業を分類する そのため、経済学における財の分類手法とは異なる 経済学での「市場」 密接な需要の代替関係や密接な供給の代替関係が存在する財のグループが1つの市場を形成する
104. 日本標準産業分類 A. 農業，林業 B. 漁業 C. 鉱業，採石業，砂利採取業 D. 建設業 E. 製造業 F. 電気・ガス・熱供給・水道業 G. 情報通信業 H. 運輸業，郵便業 I. 卸売業，小売業 J. 金融業，保険業 K. 不動産業，物品賃貸業 L. 学術研究，専門・技術サービス業 M. 宿泊業，飲食サービス業 N. 生活関連サービス業，娯楽業 O. 教育，学習支援業 P. 医療，福祉 Q. 複合サービス事業 R. サービス業（他に分類されないも の） S. 公務（他に分類されるものを除く） T. 分類不能の産業 http://www.soumu.go.jp/toukei_toukatsu/index/seido/ sangyo/02toukatsu01_03000022.html
105. 日本標準産業分類から, ローソンが属する 産業群を抽出する comp_name read comp_size_la w comp_size_ca p comp_size_emp jsic_code jsic_l jsic_m jsic_s アスモ あすも 大企業 10億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 アペックス あぺっくす 大企業 5000万円以 上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 清水製薬 しみずせいやく jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 えがお えがお 中小企業 1億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 柿安本店 かきやすほんてん 大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 サンクス さんくす jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 シー・ヴイ・エス・ベイエリア しーうﾞいえすべいえりあ 大企業 10億円以上 100～299人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ショクブン しょくぶん 大企業 10億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 スリーエフ すりーえふ 大企業 10億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ＴＡＡＮＥ たあね jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 日本レストランエンタプライズ にっぽんれすとらんえんたぷらいず 大企業 1億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ファンデリー ふぁんでりー 中小企業 1億円以上 30～99人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 プレナス ぷれなす 大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ポプラ ぽぷら 大企業 10億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 マッシュ・テック まっしゅてっく 小規模企業 者 1000万円以 上 5人未満 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ミニストップ みにすとっぷ 大企業 10億円以上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 メルカード東京農大 めるかーどとうきょうのうだい 中小企業 1000万円以 上 5～29人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ユニー・ファミリーマートホールディン グス ゆにーふぁみりーまーとほーるでぃん ぐす 大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ファミリーマート ふぁみりーまーと 大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 ローソン ろーそん 大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 わかさ生活 わかさせいかつ 中小企業 1000万円以 上 300～999人 jsic589 卸売業，小売業 飲食料品小売業 その他の飲食料品小売業 出典: NISTEP 企業名辞書
106. 1.(就活的な)「業界」画定 “就職活動における業界とは、企 業を産業や商業で分類したもので す。業界によって取り扱う商品や サービスはさまざまで、メーカーが 製造した商品を商社が仕入れ、小 売が販売するなど各業界は密接 な関わりを持っています。” たぶん、SCM とか商流における上流とか下流とか は意図的に？説明していないっぽい。 https://shinsotsu.mynavi- agent.jp/knowhow/article/industry-list.html
107. 1. (就活的な)「業界」画定 https://gyokai-search.com/2nd-genre.htm
108. 1. これらを踏まえ, 本レポートでの市場画定 特定の企業をひとつ取り上げてください 当該企業と同じ産業に属するであろう、複数の企業を抽出する。この とき、レポートでは抽出方法について明らかにすること。抽出方法に ついては (1) 日本標準産業分類に基づく抽出, (2) 業界情報 (例. https://gyokai-search.com/2nd-genre.htm) などに基づく抽出, (3) その他の方法に基づく抽出 など幾つかの手法が考えうるが, 選 択した手法について明記すること
109. 2. データベースの選択とデータの抽出 データベースの選択 企業データベース 日経NEEDS, Entrepedia, 法人インフォ, RESAS etc… 論文データベース Lens.org, Google Scholar, Web of Science etc… 特許データベース Lens.org, Google Big Query, 特許庁データベース, IIP パテントデータベース etc… 1. で指定した企業群について, 解析にあたり必要なデータを取得する こと. これら以外のデータベースを利用しても構わない
110. Big Queryおすすめのデータセット(1) Google Patents Research Data “Google Patents Research Data contains the output of much of the data analysis work used in Google Patents (patents.google.com), including machine translations of titles and abstracts from Google Translate, embedding vectors, extracted top terms, similar documents, and forward references.”
111. Big Queryおすすめのデータセット(2) World Development Indicators – World Bank “This dataset contains the most current and accurate global development data available including national, regional and global estimates. Data has been collected from the early 1960’s to present and is updated regularly depending on new data available on the indicators. This time series data offers indicators such as agriculture and food security, climate change, population growth, economic growth, education, energy, natural Resources and many more. This public dataset is hosted in Google BigQuery and is included in BigQuery's 1TB/mo of free tier processing. This means that each user receives 1TB of free BigQuery processing every month, which can be used to run queries on this public dataset.”
112. Big Queryおすすめのデータセット(3) Chicago Taxi Trips “This dataset includes taxi trips from 2013 to the present, reported to the City of Chicago in its role as a regulatory agency. To protect privacy but allow for aggregate analyses, the Taxi ID is consistent for any given taxi medallion number but does not show the number, Census Tracts are suppressed in some cases, and times are rounded to the nearest 15 minutes. Due to the data reporting process, not all trips are reported but the City believes that most are. For more information about this dataset and how it was created, see this post on the City of Chicago's blog.”
113. Big Queryおすすめのデータセット(3)
114. Lens.org 出来ること 特許関連 特定企業/産業の特許数の変化についてデータを取得する AI や機械学習に関する特許がどのくらい出ているか調査する 論文関連 日本の私立/国立大学の論文生産数について比較する ノーベル賞を受賞した科学者が書いた論文のうち, どれが重要が論文だったかを特定し, その前方 引用数を調査する
115. RESAS API 出来ること ふるさと納税制度導入前後による地方財政への影響 人口動態と地域経済の生産性 企業の海外取引額 農業産出額 産業構造の推移
116. 3. & 4. データの解析およびレポートの作成 2. で取得したデータに関して, 主に以下の分析を行い報告すること 産業 (あるいは業界) 構造の特性の抽出 主な企業の売上高, 資本金および収益率など, 財務パラメータの比較分析 特許や地域特性の分析 統計分析 (基本統計量の抽出, 散布図の作成, 回帰分析 etc…) レポートの最後に、「もしも自分が就職するのなら」どの企業を選択す るのか明記してください オチとして、「解析の結果こういう理由から、どうもいい企業がないので自分でスタートアップを作ります」 でもOKです。
117. レポートの評価方法 • Excellent • データおよび適切な分析手法に基づき、独自の視点で十分に考察がなされている • Good • データおよび適切な分析手法に基づき、独自の視点で考察がなされている • Fair • データに対して分析が行われているが、一般的な範囲での考察にとどまる • Bad • 考察がなされていない，あるいはデータの解析が十分に行われていない • Failed • 断りなく他者の見解を引用している，その他不正行為に相当する
118. レポートの評価基準 • 説明の順序は適切か．特に重要な項目の抜けや漏れはないか． • 原典からの引用内容に事実誤認はないか． • 誤字脱字（誤植）はないか．文法上の誤りはないか．文法ルー ルが統一されているか． • 文章は明快か．誤解を招くような内容・表現はないか． • 参照，引用のルールに準拠しているか．剽窃はないか． • 不正行為に相当する事項はないか． • 提出期限を厳守しているか．
119. 5. 成績評価の方法
120. 成績評価(1) • 平常レポート (40パーセント; 必須) • 講義計画に示したように、複数の回で学生にはレポートを課します。 レポートは Word/PowerPoint形式のメールあるいは, github 経由で の提出が求められます(どの方法を採用するかは、初回の講義で決定し ます)。 • レポートには、(A.) 利用したデータセットとその内容, (B.) 分析の問 い, (C.) 分析手法, (D.) 分析結果 を明記する必要があります。ページ 数や文字数は問いませんが, これらの内容が含まれており, 講義中にア ナウンスする評価手法を満たす場合, 高い得点を得ることが出来ます。 • 平常点 (10パーセント) • 本講義は実習が多く含まれており, また取り扱うデータセットや内容も 多彩です。そのため、受講者同士が協力する必要があります。こうし た受講者の態度を評価するために、平常点を設けます。
121. 成績評価(2) • 最終レポート (40パーセント; 必須) • 講義の最終回では最終レポートの報告会を行います。受講者は3名から4名か ら構成されるグループで、最終レポートの報告を行う必要があります(人数は 受講者の人数により変更される可能性があります)。最終レポートでは、プレ ゼンテーションの方法を学生は自由に選ぶことが出来ます。PowerPoint 以 外にも、Prezi などのアクティブプレゼンテーションツールや、他のプレゼ ンテーション手法を用いることが出来ます(プレゼンテーションツールについ ては、必要であれば講義内で説明する機会を設けます)。最終レポートでは、 以下の点について評価を行います。 (A.) グループ内の役割分担 (B.) データセットのユニークさおよび、それが適切に処理されているか (C.) 分析手法のユニークさおよび、それが適切に解析されているか (D.) プレゼンテーションのユニークさ (E.) 質疑応答にうまくリプライすることが出来ているか • 最終レポートの360°グループ評価 (10パーセント) • 3. の最終レポートについて、グループの自己評価および他のグループからの 評価を行います。3. で挙げた評価ポイントに基づき、グループメンバーおよ び他のグループは評価を行います。
122. 次回予告; Open Linked Data の活用 (RDF, RISIS などの事例紹介および試用) [座学、 実習] • オープンサイエンスやオープンガバメントの進展によって、特 にヨーロッパでは Open Linked Data と呼ばれるデータセット を用いた解析プラットフォームや、解析手法が用いられはじめ ています。 • 本回では、RISIS (https://www.risis2.eu/)と呼ばれる、イノ ベーション分析のためのデータプラットフォームについて解説 を行い、RDF を用いた解析について解説および簡単な実習を行 います。
123. Open Linked Data の具体例 • 科学者とPhD Advisor の関係性 アメリカの場合 ドイツの場合 日本の場合 DBpedia.org (Wikipedia の掲載情報をRDF にしたサイト)のSPARQL Endpointに、Linked Data Reactor (http://ld-r.org/) から接続し、Wikipedia に掲載されているScientist の全情報を取り込み
124. THANKS yasushi.hara@r.hit-u.ac.jp