#経済学のための実践的データ分析 10.1 #khcoder やwordcloud やMeCab やword2vecやtopic modelでテキスト分析しよう

経済学のための実践的データ分析 10.1. khcoder やwordcloud やMeCab や word2vecやtopic modelでテキスト分析しよう 28教室経済学研究科
原泰史 [email protected]

確認事項 • 電源タップは足りているでしょうか？ • レポートの提出

今日の内容: テキスト分析 • この回では、これまで用いてきたデータセットについて、異なるアプローチから解析することを目指します。 • 具体的にはすでに定量化されているデータではなく、特許における特許名、論文における論文名、企業データベースにおける企業の概要などのテキストデータを解析する手法について学びます。
• 講義ではPython, R および, KHCoder (http://khcoder.net/) を用い、解析を行います。学生は分析した結果についてレポートにまとめ、提出する必要があります。

SMAPの会見 https://natalie.mu/music/news/172919

SMAPの会見 • 共起ネットワーク

今日の内容 (105分) 1: khcoderで分析しよう 2:Mecab+word2vecで解析し, wordcloud を書いてみる 3:レポート(3回目)の話 4: 最終レポートと報告会の話

1. khCoder で解析しよう

やりたいこと • Dbpedia.org の東証一部/東証二部/マザーズの会社概要データを持ってきて, 1. どのようなことばがよく出てくるのかを知りたい 2. どのようなことばと、どのようなことばがつながっているのかを知りたい
2019/7/1 8

やること 1. KHCoder をインストールする 2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する
• 前回の内容 3. Manaba からデータセットをダウンロードする 4. KHCoder に定点調査の自由記述データを読み込む 5. データ分析前の処理をする 6. 頻出語の取り出しを行う 7. 共起ネットワークを書く 8. 属性情報ごとの特徴を抽出する 9. 対応分析を行う 2019/7/3 9

1. KHCoder をインストールする • KHCoder とは？ • テキスト型データの計量的な内容分析（計量テキスト分析）もしくはテキストマイニングのためのフリーソフトウェアである。各種の
検索を行えるほか、どんな言葉が多く出現していたのかを頻度表から見ることができる。さらに多変量解析によって、一緒に出現することが多い言葉のグループや、同じ言葉を含む文書のグループを見ることで、データ中に含まれるコンセプトを探索できる。 • また一部の文書群に注目した場合に、その文書群に特に多く出現する言葉をリストアップすることで、その文書群の特徴を探索できる。あるいは分析者が指定した基準によって、文書の分類を自動的に行うこともできる。 • 引用: https://ja.wikipedia.org/wiki/KH_Coder 2019/7/3 10

1. KHCoder をインストールする • https://khcoder.net/dl3. htmlにアクセスする • Download をクリックする
2019/7/3 11

1. KHCoder をインストールする • ダウンロードしたファイル (khcoder-3a16.exe) を選択し, クリックする •
Unzip を選択し, ファイルを展開する 2019/7/3 12

1. Khcoder をインストールする • スタートメニューなどに登録して, 起動する 2019/7/3 13

1. KHCoder をインストールする • アプリケーションが表示される 2019/7/3 14

1. Khcoder をインストールする • Tips: Mac な場合 • かなりめんどくさい •
Perl やR の個別パッケージの導入が必要 • 有償版のインストールパッケージが提供されている. • https://khcoder.stores.jp/#!/it ems/536a53268a56108414000 1dd 2019/7/3 15

2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する • 前回の講義で説明した Dbpedia.org
の SPARQL Endpoint から, 東証一部, 東証二部, およびマザーズの企業名とその企業概要を取得する • 日経NEEDS などに採録されたオフィシャルなデータではなくて、 Wikipedia で執筆された企業の「紹介文」 2019/7/3 16

2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する • Jupyter Notebook
で以下のように記述する (詳しくは前回配布した notebook を参照のこと)

2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する • 以下の通り, 企業名と概要がアウトプットされる

2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する • 同様の作業を, 東証一部と東証二部で繰り返す
#東証マザーズ上場企業の情報を取得する sparql2 = SPARQLWrapper(endpoint='http://ja.dbpedia.org/sparql', returnFormat='json') sparql2.setQuery(""" PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> select distinct ?name ?abstract where { ?company <http://dbpedia.org/ontology/wikiPageWikiLink> <http://ja.dbpedia.org/resource/Category:東証マザーズ上場企業> . ?company rdfs:label ?name . ?company <http://dbpedia.org/ontology/abstract> ?abstract . } """) results2 = sparql2.query().convert()

2. Dbpedia.org から SPARQL Endpoint 経由でデータセットを取得する • Excel or
panda で適宜整形する

3. KHCoder にデータを読み込む • データは Manaba の”データ” タブに置いてあります。 2019/7/3 21

3. KHCoder に定点調査の自由記述データを読み込む • KHCoder を開く • [プロジェクト] –[新規]
を選択する 2019/7/3 22

3. KHCoder にデータを読み込む • [参照]をクリックして, 分析対象ファイルを選ぶ • 分析対象とする列について[詳細]
をクリックする • OK をクリックする • ファイルが読み込まれる 2019/7/3 23

4. データ分析前の処理をする • [前処理] – [テキストのチェック]をクリックする • OKをクリックする 2019/7/3
24

4. データ分析前の処理をする • 修正が必要である旨メッセージが表示される • [画面に表示] をクリックして, 問題点をチェックする • “テキストの自動修正”
より[実行]をクリックする 2019/7/3 25

4. データ分析前の処理をする • 問題点が修正される. • [閉じる]をクリックする. 2019/7/3 26

4. データ分析前の処理をする • [前処理] – [前処理の実行] を選択する • OKをクリックする 2019/7/3
27

4. データ分析前の処理をする • 正常に処理が終了した場合, 以下のメッセージが表示される. • 集計値が表示される 2019/7/3 28

4. データ分析前の処理をする • 複合語の検出を行う • [前処理]-[複合語の検出]-[茶筌を利用]をクリックする

4. データ分析前の処理をする • 解析が終わると, 複合語のリストが抽出される

5. 頻出語の取り出しを行う • [ツール]-[抽出語]-[抽出語リスト(Excel)]を選択する 2019/7/3 31

5. 頻出語の取り出しを行う • “抽出語リストの形式” • 品詞別 • “記入する数値” • 出現回数(TF)
• “出力するファイルの形式” • Excel (*.xlsx) を選択し, OK をクリックする 2019/7/3 32

5. 頻出語の取り出しを行う • 品詞ごとにタームが抽出される 2019/7/3 33

5. 頻出語の取り出しを行う • 頻出語を選択した場合 2019/7/3 34

6. ストップワードの設定 • 品詞リストをみると, 企業データでは当たり前のものがたくさん含まれている • 解析に使わない言葉は、ストップワードとして指定する
必要がある • [前処理]から[語の取捨選択] をクリックする

6. ストップワードの設定 • Force ignore “使用しない語の指定” にストップワードを指定する • 株式会社
• 本社 • 会社 • 企業 • LTD. • CO., • CORPORATION • INC. • ょ • CO.,LTD. • HOLDINGS • THE • ELECTRIC • コーポレートなど….

6. ストップワードの指定 • --cell– は消さないようにして, 項目に指定しOK をクリックする

6. 共起ネットワークを書く • [ツール]-[抽出語]-[共起ネットワーク]を選択する 2019/7/3 38

6. 共起ネットワークを書く • パラメータを指定して, OK をクリックする. • “動詞” のチェックを外す 2019/7/3
39

6.共起ネットワークを書く • 共起では, ある特定のタームで共に出てくる語の確認ができる • 東証一部と東証二部とマザーズでは企業が取り組んでいることが違う
• マザーズはインターネット系, 東証二部は自動車や食品, 東証一部は持ち株などのタームが出ている 2019/7/3 40

7. 対応分析を行う • 抽出語を用いた対応分析を行い、その結果を二次元の散布図に示す • 出現パターンの似通った語にはどのようなものがあったのか探ることができる
• [ツール]-[抽出語]-[対応分析] を選択する 2019/7/3 41

7. 対応分析を行う • “対応分析のオプション” – “分析に仕様するデータ表の種類”から, [抽出語 x 外部変
数] から分類を選択し, OK をクリックする 2019/7/3 42

7. 対応分析を行う • マザーズ • 東証一部 • 東証二部ごとに特徴的な言葉が抽出される 2019/7/3
43

8. 多次元尺度構成法で解析する • 近接している語のパターンを解析できる • [ツール]-[抽出語]-[多次元尺度構成法]を選択する

8. 多次元尺度構成法で解析する • パラメータを適宜指定する • 最小出現数を調整すれば, マッピングできる語の数が調整できる • OK
をクリックする

8. 多次元尺度構成法で解析する • 近似した言葉がマッピングされる • 近いところにマッピングされている語は, 似たようなコンテクストで出現している
• バブルをクリックすると, 該当する語が利用されているテキストが確認できる

9. マッチングルールを作成する • 特定の語のグループを作成し, それらでグルーピングすることで特徴を抽出する • 今回の場合, 自動車産業, 電気
産業, 銀行, ICT など産業分類ごとにグルーピングする • 記述方法 *グループ名1 みかん or いちご or りんご *グループ名2 ごりら or らっこ or こんどる *グループ名3 るびー or びーどる

9. マッチングルールを作成する • Manaba に txt をアップしています

10. コーディングルールに基づき単純推計する • [ツール]-[コーディング]-[単純推計] をクリックする

10. コーディングルールに基づき単純推計する • コーディングルール・ファイルから, コーディングルールを記述したテキストファイルを指定する •
集計をクリックする

10. コーディングルールに基づき単純推計する • コーディングにマッチする文章がそれぞれ抽出される • IT や持株会社群が多そうなことが確認できる

11. コーディングルールに基づきクロス集計する • [ツール]-[コーディング]-[クロス集計] をクリックする

11. コーディングルールに基づきクロス集計する • クロス集計[分類]を選択した上で, [集計] をクリックする • マザーズはITの割合が高いことが確認できる

11. コーディングルールに基づきクロス集計する • ヒートマップを作成する • バブルマップを作成する

12. Jacaard 係数に基づき類似度行列を導出する • [ツール]-[コーディング]-[類似度行列]をクリックする

13. コーディングルールに基づき対応分析を行う • [ツール]-[コーディング]-[対応分析]をクリックする

13. コーディングルールに基づき対応分析を行う • コードx外部変数から”分類”を選択する • “原点を拡大” を選択する •
OK をクリックする

13. コーディングルールに基づき対応分析を行う • マザーズはIT と製薬系 (おそらくバイオスタートアップ) • 東証一部は自動車と銀行
• 東証二部は半導体が近いことが確認できる • 市場ごとの特性が見える

14. コーディングルールに基づき共起ネットワーク分析を行う • [ツール]-[コーディング]-[共起ネットワーク] をクリックする

14. コーディングルールに基づき共起ネットワーク分析を行う語 – 外部変数・見出しから分類または企業名を選択する

14. コーディングルールに基づき共起ネットワーク分析を行う • 分類と企業名でマッピングする • 分類とマッピングルールでプロットする

今日の実習; その1 (windows ユーザ向け) • Manaba にアップロードされている • (1)
東証一部/二部/マザーズの企業概要データ • (2)日本の経済/経営/社会/法学者の概要データ • (3)日本のロック/ヒップホップ /フォークグループの概要データを用いて, テキスト分析を行う • 語句の抽出 • 共起ネットワーク • 対応分析 • 多次元尺度構成法 • コーディングルールの設定などを行い解析すること

共起ネットワーク • KHCoder で共起ネットワークを作成(いくつかストップワードを指定済み)。 • 経済学者は政策と、経済学者と社会学者は社会と、経営学者は企業と共起する。法学者
は弁護士や民法や憲法と。これもいろんな意味で妥当。

対応分析 • 経済と経営が近い距離に • マルクスは経営の近くに

2. Mecab+word2vecで解析し, wordcloud を書いてみる

2. Mecab+word2vecで解析し, wordcloud を書いてみる • Jupyter Notebook/Google Colaboratory • Mecab
• Mecab-ipadic-neologd • Mecab-python-windows (Windows ユーザーの場合) 利用するもの • テキストデータ • 企業の概要データ • 日本の社会科学研究者リストデータセット

a. Mecab のインストール

MeCab とは • https://taku910.github.io/mec ab/ • 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研
究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジン • 言語, 辞書,コーパスに依存しない汎用的な設計 • パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSen が採用している隠れマルコフモデルに比べ性能が向上 MeCab ChaSen JUMAN KAKASI 解析モデル bi-gram マルコフモデル可変長マルコフモデル bi-gram マルコフモデル最長一致コスト推定コーパスから学習コーパスから学習人手コストという概念無し学習モデル CRF (識別モデル) HMM (生成モデル) 辞書引きアルゴリズム Double Array Double Array パトリシア木 Hash? 解探索アルゴリズム Viterbi Viterbi Viterbi 決定的? 連接表の実装 2次元 Table オートマトン 2次元 Table? 連接表無し? 品詞の階層無制限多階層品詞無制限多階層品詞 2段階固定品詞という概念無し? 未知語処理字種 (動作定義を変更可能) 字種 (変更不可能) 字種 (変更不可能) 制約つき解析可能 2.4.0で可能不可能不可能 N-best解可能不可能不可能不可能

Mecab をダウンロードする • Windows 10 環境の場合 • https://github.com/ikegami-yukino/mecab/releases • MeCab
0.996 64bit version を導入する • UTF-8 版で辞書を作成すること • MacOS 環境の場合 • HomeBrew 環境を利用する • https://www.karelie.net/install-mecab-mac/

Mecab のインストール (Windows ver.) • 言語を指定する • 文字コードを指定する

Mecab のインストール (Mac ver.) • Mecab とMecab 辞書のインストールをする brew install
mecab brew install mecab-ipadic

Mecab のテストをする (Windows 版) • 以下の通り, 分かち書きと品詞への分類が行われる

Mecab のテストをする (Mac版)

b. Mecab-ipadic-neologd のインストール

Mecab-ipadic-NEOlogd とは • https://github.com/neologd/ mecab-ipadic- neologd/blob/master/READ ME.ja.md • 多数のWeb上の言語資源から得た新語を追加することでカ
スタマイズした MeCab 用のシステム辞書 • Web上の文書の解析をする際に活用できる • 収録データ(一部) • 人名(姓/名)エントリデータ • ニュース記事から抽出した新語や未知語をエントリ化したデータ • ネット上で流行した単語や慣用句やハッシュタグをエントリ化したデータ • Web からクロールした大量の文書データ • 一般名詞/固有名詞の表記ゆれ文字列とその原型の組のリストをエントリ化したデータ

Mecab-ipadic-neologd を取得する git clone –depth 1 https://github.com/neologd/mecab-ipadic-neologd.git (git のインストールが必要)

7zip を使って辞書ファイルを解凍する (Windows の場合) 7zip のインストールが必要

辞書ファイルを作成する $ mecab-dict-index –d /Mecab/dic/ipadic –u Neologd.20190625-u.dic -f utf-8 –t
utf-8 mecab-user-dict-seed.20190624.csv

辞書をMeCab ディレクトリ内に配置

C:¥Program Files¥MeCab¥etc 以下にある mecabrc ファイルを差し替える NEologd の辞書を参照するようになる

固有名詞が取り出せるか確認するうさまると、田村麻美以外の固有名詞は抽出できる

c. mecab-python-windows のインストール

mecab-python-windows のインストール • Notebook 上で, !pip install mecab-python-windows を実行する

ここまでが下ごしらえ

テキスト解析をやってみる 1. Wordcloud を作る 2. Word2vec で特徴量を抽出する
3. Topic モデルを構築する

1. Wordcloud • 言葉の出現頻度をプロットする • マスク画像を使えば任意の画像上にプロットすることが可能 http://kennycason.com/posts/2014-07-03-kumo-wordcloud.html

1. Wordcloud • Manaba 上の “Mecabと WordCloud を使ってワードクラウドを作る” Notebook
を参照のこと

1. Wordcloud • 必要なパッケージをインポートする • 開くファイルを指定する • 今回は, DBpedia.org から取得した経済学者の概要を抽出し,
UTF-8 でエンコーディングしたテキストデータとして保存 • マスク画像も別途用意

1. wordcloud • Mecab パッケージを用いて, 分かち書きを行う • Text.replace() を用いて, 改行を取り外す
• Windows の場合には ¥r¥n

1. Wordcloud • 抽出した用語から, 助詞と助動詞を取り外す • ストップワード (解析対象に含めないターム) を指定する

1. Wordcloud • Wordcloud関数を用いて, ワードクラウドを出力する • Font_path で利用する日本語フォントを指定する(今回は同じパスに配置)
• Mask で, プロットするマスク画像を指定する • Stopwords に, プロットしないタームを指定したベクトル stop_wordsを指定する • wordc.to_file でファイルの保存名を指定する

1. Wordcloud • 出力結果 • Dbpediaから取得した経済学者の概要データが, 分かち書きされている

1. Wordcloud • 経済学者 • 経営学者

1. Wordcloud • 社会学者 • 法学者

これっぽい

2. Word2vec • テキストデータを解析し, 各単語の意味をベクトル表現化する • 単語間の近接性などを測定することが可能に
• Skip-Gram Model • 入力された単語を元に周辺語を出力する, 入力層, 隠れ層, 出力層から構成されたニューラルネットワークを規定する引用; https://www.randpy.tokyo/entry/word2vec_skip_gram_model

2. Word2Vec • 文を単語に分かち書きし, それぞれ入力層と出力層にインプットしニューラルネットに学習させていく • 入力層から隠れ層への重み行列;
W 隠れ層から出力層への重み行列; W’ をそれぞれ計算する • このとき、重み行列の各行のベクトルが, 単語の特徴を示すベクトルになる引用; https://www.randpy.tokyo/entry/word2vec_skip_gram_model

2. Word2vec • Manaba 上の “Mecabと word2vec で解析する” Notebook を参
照のこと

2. Word2vec • 必要なパッケージをインポートする • ファイルを読み込み, 分かち書きしたファイルを出力する

2. Word2vec • 出力結果

2. Word2vec • 分かち書きしたファイルに基づき, Word2vec モデルを生成する • このとき
• Min_count; 単語の出現回数 • Window; 入力単語からの最大距離 • Size; ベクトルの次元数 • Sg=1; skip-gram 形式でのモデリング • iter; 学習の反復回数 • 最後にファイルを保存する

わりと時間がかかるので, コーヒーでも飲んで待つ

2. Word2Vec • 学習したファイルを読み込む • 抽出したベクトルをリストアップする

2. Word2Vec • 経営学っぽいタームが抽出されている

2. Word2vec • 特定のタームと類似している単語リストを抽出する

Similarity Words の抽出(from 経営学者リスト) イノベーションマーケティング論技術経営コーポレート・ガバナンス医療 0.92人的資源
0.92MOT 0.98 神戸大学大学院経営学研究科 0.93 静岡 0.91評価 0.92開発 0.92第一人者 0.92 地域 0.91ほか 0.91システム 0.92人 0.91 経営情報学部 0.9勲 0.91知識 0.91組織論 0.91 県立大学 0.88技術 0.9マネジメント 0.9および 0.9 センター 0.88流通 0.9監事 0.88消費者 0.89 研究科 0.87分析 0.9課題 0.85にて 0.89 経営情報 0.87委員会 0.9Certified 0.85問題 0.88 研究所 0.84課題 0.9客員研究員 0.84受章 0.88 所長 0.83人 0.89技術 0.82期 0.87 長 0.82監事 0.89関係 0.82現代 0.87 准教授 0.81および 0.89プロジェクト 0.82勲 0.87 国際企業 0.8多摩大学 0.89 マーケティング論 0.81アドバイザー 0.87 経済 0.8地域経済 0.88領域 0.81及び 0.87 研究員 0.79サービス 0.88ホスピタリティ 0.8社会学 0.86

2. Word2vec • 特定タームのベクトル表現を確認する出力結果

2. word2vec • 語句ベクトル同士で近い言葉のリストを抽出する • 東大と一橋なので, 「組織学会」などそれっぽいタームが。

2. word2vec • 語句同士の類似度を抽出する • 一橋大学(の商学部)は九大よりは東大に近い • 一橋大学(の商学部)は経済学よりもイノベーションのほうが近い • 一橋大学(の商学部)は組織学会にとても近い

3. Topic モデル • 文章における単語の出現確率を推定するためのモデル • 出現する単語の種類と数が, トピック(カテゴリ) によって
異なると仮定する • 各文章は複数のトピックによって構成されており, 各トピックの単語分布を合算された形で単語が生成される https://qiita.com/icoxfog417/items/7c944cb29dd7cdf5e2b1

3. Topic モデル • Manaba 上の “トピックモデルで解析する” Notebook を参照のこと

3. Topic モデル • 必要なパッケージをインポートする • 元文章からタームを取り出し, キー
ワードを抽出する • 今回のデータの場合, 社会学者ひとりひとりのタームが抽出されたベクトルが形成される参考文献; https://paper.hatenadiary.jp/entry/2016/11/06/212149

3. Topic モデル • 出力結果

3. Topic モデル • 辞書とコーパスをそれぞれ作成する • no_below; 2回以下表示しない単語は無視する • no_abobe;
全体の文章の10％以上に出現するタームを無視する

3. Topic モデル • 出力結果 1602 ソーシャルワーク 2 1265 ソーシャル・キャピタル
2 1524 タレント 2 1403 テレコム 2 725 テレビ 6 793 テーマ 5 559 デザイン 3 1451 デュルケーム 2 395 ドイツ 8 811 ニュース 3 1153 ネット 3 414 ネットワーク 10 310 ノンフィクション 3 33 バークレー 2 1467 フィールドワーク 3 1204 フェミニスト 2 1154 フェミニズム 3 1311 フェリス女学院大学 2 34 フランス 8 458 プロジェクト 3 415 ヘイトスピーチ 2 649 ペンネーム 2 1608 ホームレス 2 1057 ポスト 2 1058 ポストコロニアル 2 101 ポピュラー 3 679 マス 8 620 マスコミ 2 54 マスコミュニケーション 9 55 マスメディア 4 1126 マックス・ウェーバー 2 571 マックス・ヴェーバー 4

3. Topic モデル • 辞書とコーパスを読み込む

3. Topic モデル • topic_N で表示するトピック数を指定し, 出力する

3. Topic モデル

まとめ; テキスト分析で出来そうなこと • 共起ネットワーク • 言葉同士の関係性を明示化し, 可視化する • WordCloud •
みんなのなんとなくのイメージの可視化 • Word2vec • 言葉のベクトル化により, モデルへの組み込みが可能 • 被説明変数？説明変数？ • Topic モデル • グルーピングの可視化 • 類似語の提案

今日の実習; その2 (Mac ユーザ向け) • Manaba にアップロードされている • (1)
東証一部/二部/マザーズの企業概要データ • (2)日本の経済/経営/社会/法学者の概要データ • (3)日本のロック/ヒップホップ /フォークグループの概要データを用いて, テキスト分析を行う • Wordcloud の作成 • Word2vec モデルの作成 • Topic モデルの作成などを試行して, 結果を出力すること

参考文献 • pythonでgensimを使ってトピックモデル(LDA)を行う • https://paper.hatenadiary.jp/entry/2016/11/06/212149 • 「OK word2vec ! "マジ卍"の意味を教えて」
Pythonで word2vec実践してみた • https://www.randpy.tokyo/entry/python_word2vec • models.word2vec – Word2vec embeddings • https://radimrehurek.com/gensim/models/word2vec.html • 15分でできる日本語Word2Vec • https://qiita.com/makaishi2/items/63b7986f6da93dc55edd

参考文献(2) • Pythonで文字列を分割（区切り文字、改行、正規表現、文字数） • https://note.nkmk.me/python-split-rsplit-splitlines-re/ • WindowsでNEologd辞書を比較的簡単に入れる方法 • https://qiita.com/zincjp/items/c61c441426b9482b5a48
• Windows 10 64bit で python + Mecab • https://qiita.com/kuro_hane/items/64e39d5deeb3f876b421 • Windows10(64bit)/Python3.6でmecab-python環境構築 • http://blog.livedoor.jp/oyajieng_memo/archives/1777479.html

参考文献(3) • MeCab: Yet Another Part-of-Speech and Morphological Analyzer •
https://taku910.github.io/mecab • mecab-ipadic-NEologd : Neologism dictionary for MeCab • https://github.com/neologd/mecab-ipadic-neologd • Word2Vecを用いた類義語の抽出が上手く行ったので、分析をまとめてみた • https://qiita.com/To_Murakami/items/cc225e7c9cd9c0ab641e • 自然言語処理による文書分類の基礎の基礎、トピックモデルを学ぶ • https://qiita.com/icoxfog417/items/7c944cb29dd7cdf5e2b1

3. レポート (3回目)について

レポート(3回目)の内容 • 概要 • テーマ; とっても細かくやってみる「企業研究」 • 日経NEEDS からデータセットを入手し, 特定の産業,
企業グループにおける財務パフォーマンスについて比較分析を行い, レポートにまとめる. • レポートでは • (1) とりあげた産業/企業グループの特徴の抽出 • (2) 売上高, 資本金, ROE, ROA など主な財務パフォーマンスのデータおよびその比較を行った上で, 「もしも自分が就職するのなら」どの企業を選択するか明記すること • 提出期間: 2019/7/1 15:00:00 - 2019/7/8 10:45:00 (JST) • 提出方法: Manaba のレポート提出ページに, ipynbまたはPDF 形式で提出すること • ※. Word または LaTeX で作成した場合, PDF でアウトプットすること

「企業研究」 https://job.rikunabi.com/contents/company/2536/

「企業研究」 https://syukatsu-pro.com/column/5754

レポート(3回目) の構成 (テンプレ) • はじめに • 対象企業について • 利用するデータベースについて •
分析結果と考察 • まとめ

レポート(3回目)の進め方 1. まず, 対象とする企業とその競合企業を決める 2. 1. で決めた企業群について, データベースサイトから解析にあたり必要だと思われるデータを取得する 3.
Excel and/or Jupyter Notebook で解析を行う 4. Word and/or Jupyter Notebook でレポートにまとめる

1. (産業組織論的な)市場画定 • どの財とどの財が同じ市場に属しているのか画定する必要がある • 似通った多数の財が存在する場合、生産要素や生産方法が共通するなどの理由で同じ市場と設定してもよいのか • 市場支配力を図るためには、「どこからどこまで」が同じ財な
のか画定させる • 市場範囲の画定は、市場支配力の評価にあたって必要不可欠な分析プロセス

日本標準産業分類 • 供給される財の性質にもとづいて, 産業を分類する • 財の性質にもとづいて便宜的に産業を分類する • そのため、経済学における財の分類手法とは異なる • 経済学での「市場」
• 密接な需要の代替関係や密接な供給の代替関係が存在する財のグループが1つの市場を形成する

日本標準産業分類 • A. 農業，林業 • B. 漁業 • C. 鉱業，採石業，砂利採取業
• D. 建設業 • E. 製造業 • F. 電気・ガス・熱供給・水道業 • G. 情報通信業 • H. 運輸業，郵便業 • I. 卸売業，小売業 • J. 金融業，保険業 • K. 不動産業，物品賃貸業 • L. 学術研究，専門・技術サービス業 • M. 宿泊業，飲食サービス業 • N. 生活関連サービス業，娯楽業 • O. 教育，学習支援業 • P. 医療，福祉 • Q. 複合サービス事業 • R. サービス業（他に分類されないもの） • S. 公務（他に分類されるものを除く） • T. 分類不能の産業 http://www.soumu.go.jp/toukei_toukatsu/index/seido/ sangyo/02toukatsu01_03000022.html

日本標準産業分類から, ローソンが属する産業群を抽出する comp_name read comp_size_l aw comp_size_ cap comp_size_emp
jsic_code jsic_l jsic_m jsic_s アスモあすも大企業 10億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業アペックスあぺっくす大企業 5000万円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業清水製薬しみずせいやく jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業えがおえがお中小企業 1億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業柿安本店かきやすほんてん大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業サンクスさんくす jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業シー・ヴイ・エス・ベイエリアしーうﾞいえすべいえりあ大企業 10億円以上 100～299人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ショクブンしょくぶん大企業 10億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業スリーエフすりーえふ大企業 10億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ＴＡＡＮＥたあね jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業日本レストランエンタプライズにっぽんれすとらんえんたぷらいず大企業 1億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ファンデリーふぁんでりー中小企業 1億円以上 30～99人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業プレナスぷれなす大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ポプラぽぷら大企業 10億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業マッシュ・テックまっしゅてっく小規模企業者 1000万円以上 5人未満 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ミニストップみにすとっぷ大企業 10億円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業メルカード東京農大めるかーどとうきょうのうだい中小企業 1000万円以上 5～29人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ユニー・ファミリーマートホールディングスゆにーふぁみりーまーとほーるでぃんぐす大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ファミリーマートふぁみりーまーと大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業ローソンろーそん大企業 10億円以上 1,000～4,999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業わかさ生活わかさせいかつ中小企業 1000万円以上 300～999人 jsic589 卸売業，小売業飲食料品小売業その他の飲食料品小売業出典: NISTEP 企業名辞書

1.(就活的な)「業界」画定 • “就職活動における業界とは、企業を産業や商業で分類したものです。業界によって取り扱う商品やサービスはさまざまで、メーカーが製造した商品を商社が仕入れ、小売が販売するなど各業界は密接な関わりを持っています。”
• たぶん、SCM とか商流における上流とか下流とかは意図的に？説明していないっぽい。 https://shinsotsu.mynavi- agent.jp/knowhow/article/industry-list.html

1. (就活的な)「業界」画定 https://gyokai-search.com/2nd-genre.htm

1. これらを踏まえ, 本レポートでの市場画定 • 特定の企業をひとつ取り上げてください • 当該企業と同じ産業に属するであろう、複数の企業を抽出する。このとき、レポートでは抽出方法について明らかにすること。抽出方法については
(1) 日本標準産業分類に基づく抽出, (2) 業界情報 (例. https://gyokai-search.com/2nd-genre.htm) などに基づく抽出, (3) その他の方法に基づく抽出など幾つかの手法が考えうるが, 選択した手法について明記すること

2. データベースの選択とデータの抽出 • データベースの選択 • 企業データベース • 日経NEEDS etc… •
論文データベース • Google Scholar, Web of Science etc… • 特許データベース • 特許庁データベース, IIP パテントデータベース etc… • 1. で指定した企業群について, 解析にあたり必要なデータを取得すること. これら以外のデータベースを利用しても構わない

3. & 4. データの解析およびレポートの作成 • 2. で取得したデータに関して, 主に以下の分析を行い報告すること •
産業 (あるいは業界) 構造の特性の抽出 • 主な企業の売上高, 資本金および収益率など, 財務パラメータの比較分析 • 統計分析 (基本統計量の抽出, 散布図の作成, 回帰分析 etc…) • レポートの最後に、「もしも自分が就職するのなら」どの企業を選択するのか明記してください • オチとして、「解析の結果こういう理由から、どうもいい企業がないので自分でスタートアップを作ります」でもOKです。

4. 成績評価の方法

成績評価(1) • 平常レポート (40パーセント; 必須) • 講義計画に示したように、複数の回で学生にはレポートを課します。レポートは Word/PowerPoint形式のメールあるいは, github
経由での提出が求められます(どの方法を採用するかは、初回の講義で決定します)。 • レポートには、(A.) 利用したデータセットとその内容, (B.) 分析の問い, (C.) 分析手法, (D.) 分析結果を明記する必要があります。ページ数や文字数は問いませんが, これらの内容が含まれており, 講義中にアナウンスする評価手法を満たす場合, 高い得点を得ることが出来ます。 • 平常点 (10パーセント) • 本講義は実習が多く含まれており, また取り扱うデータセットや内容も多彩です。そのため、受講者同士が協力する必要があります。こうした受講者の態度を評価するために、平常点を設けます。

成績評価(2) • 最終レポート (40パーセント; 必須) • 講義の最終回では最終レポートの報告会を行います。受講者は3名から4名から構成されるグループで、最終レポートの報告を行う必要があります(人数は受講者の人数により変更される可能性があります)。最終レポートでは、プレゼンテーションの方法を学生は自由に選ぶことが出来ます。PowerPoint
以外にも、Prezi などのアクティブプレゼンテーションツールや、他のプレゼンテーション手法を用いることが出来ます(プレゼンテーションツールについては、必要であれば講義内で説明する機会を設けます)。最終レポートでは、以下の点について評価を行います。 (A.) グループ内の役割分担 (B.) データセットのユニークさおよび、それが適切に処理されているか (C.) 分析手法のユニークさおよび、それが適切に解析されているか (D.) プレゼンテーションのユニークさ (E.) 質疑応答にうまくリプライすることが出来ているか • 最終レポートの360°グループ評価 (10パーセント) • 3. の最終レポートについて、グループの自己評価および他のグループからの評価を行います。3. で挙げた評価ポイントに基づき、グループメンバーおよび他のグループは評価を行います。

次回以降の予告

11. データのビジュアライゼーションとネットワーク分析 • これまでの回で取り上げてきたデータをわかりやすく研究で活用する手法を学ぶことを目指します。 • Python やR などを用いたデータの可視化手法の確認や、
Tableau (https://www.tableau.com/ja-jp) などのデータ可視化ソフトウェアの紹介および実習を行います。

11. Tableau のインストール • https://www.tableau.com/tft/activation からダウンロードしておいてください。 • メールアドレスを聞かれるので, 一橋の学生メールアドレス (hit-u.ac.jp
が入ったもの) を入力 • プロダクトキーには, TCA4-5FFD-6750-4FB1-591A を指定してください

12. 機械学習 • R を用いて、木構造を用いて分類および回帰を行う決定木の手法について、具体例の紹介および実習を行います。また、最終レポートについての説明を行います。 • これまでに学んだ手法を用いデータ解析を行うことで、グループでのレポートをまとめます。このグループの決定を行います。

13. まとめと最終報告レポート • ディスカッション • 1組5-6名のグループを作り, そのメンバーで最終レポートを作成していただきます。 • データ分析組,
データ調達組, プレゼンテーション作成組, プレゼンテーション担当など役割分担はお任せします。 • 講義の最終回で, 発表時間10分, 質疑応答5分でプレゼンテーションをします。

13. まとめと最終報告レポート • テーマ • 「◦◦のための実践的データ分析」 • 卒論や修論や博論の作成の入り口になるような、データの調達とそのデータの解析を, 講義で取り上げたデータセットおよび分析手法で実施
する • 分析単位はマクロ (国レベル) でもメソ (企業/産業レベル) でもミクロ (個人レベル) でも問いません • 利用できるデータセット • 特に制限なし • 利用できるツール • Tableau, Excel, SQL, Jupyternotebook (Python) など, 特に制限なし

13. まとめと最終報告レポート • 評価方法 • グループ内での自己評価 • グループ外からの評価アンケートシステムをManaba or
Google Docs で用意します。 • 評価基準 • (A.) グループ内の役割分担 (B.) データセットのユニークさおよび、それが適切に処理されているか (C.) 分析手法のユニークさおよび、それが適切に解析されているか (D.) プレゼンテーションのユニークさ (E.) 質疑応答にうまくリプライすることが出来ているか • 納品物 • プレゼンテーションに利用したファイル (Word か Powerpoint か Prezi か etc…) を, Manaba にアップロードすること

THANKS [email protected]

#経済学のための実践的データ分析 10.1 #khcoder やwordcloud やMeCa...

#経済学のための実践的データ分析 10.1 #khcoder やwordcloud やMeCab やword2vecやtopic modelでテキスト分析しよう

More Decks by yasushihara

Other Decks in Education

Featured

Transcript