#ビジネススクールのための実践的データ分析 δ.「ブスのマーケティング戦略」をテキスト解析してみよう

#ビジネススクールのための実践的データ分析
δ.「ブスのマーケティング戦略」をテキスト解析してみよう

早稲田大学ビジネススクール WBSデータ分析部 3-202教室
2019/7/20 20:00-21:30
一橋大学 経済学研究科 原泰史
yasushi.hara@r.hit-u.ac.jp

Transcript

1. ビジネススクール経済学のための 実践的データ分析 δ.ブスマをテキスト解析してみよう 早稲田大学ビジネススクール WBSデータ分析部 3-202教室 2019/7/20 20:00-21:30 一橋大学 経済学研究科 原泰史 yasushi.hara@r.hit-u.ac.jp
2. 自己紹介
3. 自己紹介 • Yasushi HARA • 1998-2004 • TOYOTA NATIONAL COLLEGE OF TECHNOLOGY • 2000 • Exchange Student in Malaysia • 2002-2009 • CLARAONLINE, INC. • ICT Hosting Company, nowadays called Cloud system supplier • 2009-2015 • Institute of Innovation Research, HITOTSUBASHI UNIVERSITY • 2015-2017 • Science for RE-Designing Science, Technology and Innovation Policy Center, National Graduate Institute for Policy Studies (GRIPS) / NISTEP / Hitotsubashi UNIVERSITY/MANAGEMENT INNOVATION CENTER • 2018-2019 • EHESS Paris – CEAFJP/Michelin Research Fellow • OECD Expert Advisory Group: Digital Science and Innovation Policy and Governance (DSIP) and STI Policy Monitoring and Analysis (REITER) project • 2019- • TDB Center for Advanced Empirical Research on Enterprise and Economy, Faculty of Economics, Hitotsubashi University
4. 自己紹介(2) • 主な研究テーマ • 大規模データを活用したイノベーションプロセスの解析が現在の主な 研究テーマです。大学あるいは研究機関で生み出された基礎研究が、 特許あるいは論文などの著作物を媒介して企業の研究開発へと活用さ れ、それがどのような経済的・社会的価値を生み出すイノベーション へと結実するか、 • 複数のデータソースを組み合わせることでその動態を解析しています。 特許、学術論文、財務データベースおよび、企業活動を包括的に記述 したデータベースを相互に結合することで、定量的な解析を行ってい ます。具体的なフィールドとしては、製薬・バイオ産業および再生医 療分野に関連した解析を行ってきました。また、無形資産が果たす役 割についても近年関心を持っています。
5. 今日の目標 転職時のエントリーシートに PYTHON と書けるようになる とりあえずこの頃はやりのテキスト分 析のイロハは抑えられるようになる
6. 今日の内容 そもそも「ブスのマーケティング戦略」 とは？ Notebook 環境を導入する ブスマのテキスト分析を行う (Wordcloud, Word2vec, Topic Model) Twitter の口コミ分析を行うためにデータ 取得を行い, ブスマの口コミ分析を行う
7. 0. そもそも「ブスのマーケ ティング戦略」とは
8. これ。
9. (朗読)
10. 「ブスのマーケティング戦略」 夢見ることをあきらめたブスと、 劣化が始まった美人へ 推薦! 早稲田大学ビジネススクール准教授・入山章栄氏。 税理士である著者の爆笑半生記と、まじめなマーケティング理論&行動提案が組み合わさった、画期的な1冊! この本はブスの自虐エッセイではないれっきとした実用書である。 税理士、大学院生、一児の母、そしてブスである著者が、これまでの人生で学んだ戦略を、具体的な行動提案として記し たものだ。 この戦略の目的はふたつ。 1.ブスの幸せな結婚 2.ブスの経済的な自立 である。 著者がこれまでやってきた戦略は、マーケティング理論にのっとったものであった。 結婚したい。 いい男とやりたい。 年収1000万円になりたい。 起業して成功したい。 そんな願いをかなえるためには、自分自身の本質を見極め(プロダクト解析)、自分のいまいる場所(市場)と、ライバルの 特性(競合)を精査しなければならない。 本書に書いてある「ブスの作業3３」項目を実際に行動に移しさえすれば、幸せな結婚と経済的自立がかなう。と思う。
11. どうやらめっちゃ売れている https://mnrate.com/item/aid/4866510951
12. 今日やりた いこと ブスマ、セックスセックス言い過ぎ説 を検証 [WordCloud] 『ブス』の使い方、ブスマの前半と後 半で微妙に違う説を検証 [Word2Vec] ブスマ、たぶん思ってたよりも炎上し ない説を検証 [口コミ分析]
13. 1. Jupyter Notebook または Google Colaboratory の導入
14. Jupyter notebook とは • プログラムを実行し、実行結果を記録できるツール • 数値計算・データ解析で広く用いられている • 実行結果は notebook 形式で保存可能 • 便利なので使ってみましょう。
15. Jupyter Notebook のインストール(1) • 1. https://anaconda.com にアクセスし, Python3.7 バージョン の [Download] をクリック Windows版 Mac版 ダウンロードが終わるまで待つ。
16. Jupyter Notebook のインストール(1) • 2. [Download] をクリックする
17. Jupyter Notebook のインストール (3) • “Next >” をクリックする • “I Agree” をクリックする
18. Jupyter Notebook のインストール(3) • “Next >” をクリックする • “Next >” をクリックする
19. Jupyter Notebook のインストール (4) • “Install” をクリックする
20. Jupyter Notebook の起動 (1) • スタートメニューから, Jupyter Notebook を選択する
21. Jupyter Notebook の起動 (2) • コンソールが表示される
22. Jupyter Notebook の起動 (3) • New から Python 3 を選択する
23. Google Colaboratory • SaaS な Notebook by Google. • https://youtu.be/inN8seMm7UI
24. 3-1. Google Colaboratory を開く • https://colab.research.google.com/notebooks/welcome.ipyn b?authuser=1#scrollTo=9J7p406abzgl を, google にログインした状態でオープンする.
25. 3-1. Google Colaboratory を開く • 以下のような画面が表示される
26. 3-2. 新しいnotebook を作成する • [ファイル]-[python3 の新しいノートブック] を選択する
27. 2. テキスト分析: Mecab+word2vecで解析し, wordcloud を書いてみる
28. 2. Mecab+word2vecで解析し, wordcloud を書いてみる • Jupyter Notebook/Google Colaboratory • Mecab • Mecab-ipadic-neologd • Mecab-python-windows (Windows ユーザーの場合) 利用するもの • テキストデータ • 「ブスのマーケティング戦略」 データセット
29. a. Mecab のインストール
30. MeCab とは • https://taku910.github.io/mec ab/ • 京都大学情報学研究科−日本 電信電話株式会社コミュニケー ション科学基礎研究所 共同研 究ユニットプロジェクトを通じ て開発されたオープンソース 形態素解析エンジン • 言語, 辞書,コーパスに依存しな い汎用的な設計 • パラメータの推定に Conditional Random Fields (CRF) を用 いており, ChaSen が採用している 隠れマルコフ モデルに比べ性能が向上 MeCab ChaSen JUMAN KAKASI 解析モデル bi-gram マルコ フモデル 可変長マルコ フモデル bi-gram マル コフモデル 最長一致 コスト推定 コーパスから学 習 コーパスから 学習 人手 コストという 概念無し 学習モデル CRF (識別モデ ル) HMM (生成モ デル) 辞書引きア ルゴリズム Double Array Double Array パトリシア木 Hash? 解探索アル ゴリズム Viterbi Viterbi Viterbi 決定的? 連接表の実 装 2次元 Table オートマトン 2次元 Table? 連接表無し? 品詞の階層 無制限多階層品 詞 無制限多階層 品詞 2段階固定 品詞という概 念無し? 未知語処理 字種 (動作定義 を変更可能) 字種 (変更不 可能) 字種 (変更不 可能) 制約つき解 析 可能 2.4.0で可能 不可能 不可能 N-best解 可能 不可能 不可能 不可能
31. Mecab をダウンロードする • Windows 10 環境の場合 • https://github.com/ikegami-yukino/mecab/releases • MeCab 0.996 64bit version を導入する • UTF-8 版で辞書を作成すること • MacOS 環境の場合 • HomeBrew 環境を利用する • https://www.karelie.net/install-mecab-mac/
32. Mecab のインストール (Windows ver.) • 言語を指定する • 文字コードを指定する
33. Mecab のインストール (Mac ver.) • Mecab とMecab 辞書のインストールをする brew install mecab brew install mecab-ipadic
34. Mecab のテストをする (Windows 版) • 以下の通り, 分かち書きと品詞への分類が行われる
35. Mecab のテストをする (Mac版)
36. b. Mecab-ipadic-neologd のイ ンストール
37. Mecab-ipadic-NEOlogd とは • https://github.com/neologd/ mecab-ipadic- neologd/blob/master/READ ME.ja.md • 多数のWeb上の言語資源から 得た新語を追加することでカ スタマイズした MeCab 用の システム辞書 • Web上の文書の解析をする際 に活用できる • 収録データ(一部) • 人名(姓/名)エントリデータ • ニュース記事から抽出した新語 や未知語をエントリ化したデー タ • ネット上で流行した単語や慣用 句やハッシュタグをエントリ化 したデータ • Web からクロールした大量の 文書データ • 一般名詞/固有名詞の表記ゆれ 文字列とその原型の組のリスト をエントリ化したデータ
38. Mecab-ipadic-neologd を取得する git clone –depth 1 https://github.com/neologd/mecab-ipadic-neologd.git (git のインストールが必要)
39. 7zip を使って辞書ファイルを解凍する (Windows の場合) 7zip のインストールが必要
40. 辞書ファイルを作成する $ mecab-dict-index –d /Mecab/dic/ipadic –u Neologd.20190625-u.dic -f utf-8 –t utf-8 mecab-user-dict-seed.20190624.csv
41. 辞書をMeCab ディレクトリ内に配置
42. C:¥Program Files¥MeCab¥etc 以下にある mecabrc ファイルを差し替える NEologd の辞書を参照するようになる
43. 固有名詞が取り出せるか確認する うさまると、田村麻美以外の固有名詞は抽出できる
44. c. mecab-python-windows の インストール
45. mecab-python-windows のインストール • Notebook 上で, !pip install mecab-python-windows を実行する
46. ここまでが下ごしらえ
47. テキスト解析 をやってみる 1. Wordcloud を作る 2. Word2vec で特徴量を抽出 する 3. Topic モデルを構築する
48. 1. Wordcloud • 言葉の出現頻度を プロットする • マスク画像を使えば 任意の画像上にプロット することが可能 http://kennycason.com/posts/2014-07-03-kumo-wordcloud.html
49. 1. Wordcloud • “Mecab を使って wordcloud を作る” Notebook • ブスマ抜粋2.txt をGoogle Drive よりダウンロードすること
50. 1. Wordcloud • 必要なパッケージをインポートする • 開くファイルを指定する • 「ブスのマーケティング戦略」のワンチャプターを抽出し, UTF-8 で エンコーディングしたテキストデータとして保存 • マスク画像も別途用意
51. ※. マスク画像の作り方 • この画像 背景を透過化し, 描画部分を塗りつぶす (Photoshop やアプリを適宜使う)
52. 1. wordcloud • Mecab パッケージを用いて, 分かち書きを行う • Text.replace() を用いて, 改行を取り外す • Windows の場合には ¥r¥n
53. 1. Wordcloud • 抽出した用語から, 助詞と助動詞を取り外す • ストップワード (解析対象に含めないターム) を指定する
54. 1. Wordcloud • 出力結果 • ブスマのタームが取り出されている
55. 1. Wordcloud • Wordcloud関数を用いて, ワードクラウドを出力する • Font_path で利用する日本 語フォントを指定する(今回 は同じパスに配置) • Mask で, プロットするマス ク画像を指定する • Stopwords に, プロットしな いタームを指定したベクト ル stop_wordsを指定する • wordc.to_file でファイルの 保存名を指定する
56. 1. Wordcloud • ブスマの場合
57. これっぽい
58. 参考; Dbpedia から出力したデータ • 経済学者 • 経営学者
59. 2. Word2vec • テキストデータを解析し, 各 単語の意味をベクトル表現 化する • 単語間の近接性などを測定 することが可能に • Skip-Gram Model • 入力された単語を元に周辺語 を出力する, 入力層, 隠れ層, 出力層から構成されたニュー ラルネットワークを規定する 引用; https://www.randpy.tokyo/entry/word2vec_skip_gram_model
60. 2. Word2Vec • 文を単語に分かち書きし, そ れぞれ入力層と出力層にイ ンプットしニューラルネッ トに学習させていく • 入力層から隠れ層への重み行列; W 隠れ層から出力層への重み行列; W’ をそれぞれ計算する • このとき、重み行列の各行のベクトルが, 単語の特徴を示すベクトルになる 引用; https://www.randpy.tokyo/entry/word2vec_skip_gram_model
61. 2. Word2vec • “ブスマをword2vec で解析する” Notebook • busuma_word2vec をGoogle Drive よりダウンロードすること
62. 2. Word2vec • 必要なパッケージをインポートする • ファイルを読み込み, 分かち書きしたファイルを出力する
63. 2. Word2vec • 出力結果
64. 2. Word2vec • 分かち書きしたファイルに 基づき, Word2vec モデル を生成する • このとき • Min_count; 単語の出現回数 • Window; 入力単語からの最 大距離 • Size; ベクトルの次元数 • Sg=1; skip-gram 形式での モデリング • iter; 学習の反復回数 • 最後にファイルを保存する
65. わりと時間がかかるので, （ドラえもん1時間スペシャ ルが見れる程度） コーヒーでも飲んで待つ
66. 時間がないので, 今回は作成し た word2vec モデルで解析し ましょう
67. 2. Word2Vec • 学習したファイルを読み込む • 抽出したベクトルをリストアップする
68. 2. Word2Vec • 不穏なタームが抽出される
69. 2. Word2vec • 特定のタームと類似している単語リストを抽出する
70. Similarity Words の抽出 セックス 童貞 処女 男 女 しま 0.36 ッチャ 0.43 喪失 0.68 好か 0.38 試み 0.35 手っ取り早く 0.33 ずばり 0.43 捨てる 0.51 出会える 0.36 できあがっ 0.34 気持ちよかっ 0.32 口調 0.38 広げる 0.38 本音 0.31 割合 0.34 満たせる 0.31 落とし 0.38 却歳 0.35 っす 0.30 はずれ 0.32 付き合う 0.30 早口 0.36 掲げ 0.35 逃げよ 0.30 加代 0.32 最中 0.29 はじまっ 0.35 驚く 0.34 僕 0.30 こうして 0.30 フリ 0.28 だめ 0.34 手順 0.34 やれれ 0.30 多量 0.29 チュー 0.27 勝負 0.34 域 0.33 天秤 0.29 好ましい 0.29 存在意義 0.27 悲しん 0.32 可動 0.32 異常 0.28 ひとえに 0.28 動物 0.27 見捨て 0.31 まくる 0.32 太る 0.28 問わ 0.28 楽しむ 0.26 単なる 0.30 行動力 0.32 釣り合う 0.28 ども 0.28 おとす 0.25 高学歴 0.30 房 0.31 物色 0.28 生まれる 0.28 別れ 0.25 しゃべり 0.29 秒で 0.31 踏む 0.28 希少価値 0.27 おいしかっ 0.24 エピソード 0.29 捨てろ 0.31 割合 0.27 6年間 0.27 お先 0.24 試す 0.29 とる 0.31 野球部 0.27 5人 0.26
71. Similarity Words の抽出(from 経営学者リスト) イノベーション マーケティング論 技術経営 コーポレート・ガバナンス 医療 0.92人的資源 0.92MOT 0.98 神戸大学大学院経 営学研究科 0.93 静岡 0.91評価 0.92開発 0.92第一人者 0.92 地域 0.91ほか 0.91システム 0.92人 0.91 経営情報学 部 0.9勲 0.91知識 0.91組織論 0.91 県立大学 0.88技術 0.9マネジメント 0.9および 0.9 センター 0.88流通 0.9監事 0.88消費者 0.89 研究科 0.87分析 0.9課題 0.85にて 0.89 経営情報 0.87委員会 0.9Certified 0.85問題 0.88 研究所 0.84課題 0.9客員研究員 0.84受章 0.88 所長 0.83人 0.89技術 0.82期 0.87 長 0.82監事 0.89関係 0.82現代 0.87 准教授 0.81および 0.89プロジェクト 0.82勲 0.87 国際企業 0.8多摩大学 0.89 マーケティング 論 0.81アドバイザー 0.87 経済 0.8地域経済 0.88領域 0.81及び 0.87 研究員 0.79サービス 0.88ホスピタリティ 0.8社会学 0.86
72. 2. Word2vec • 特定タームのベクト ル表現を確認する 出力結果
73. 2. word2vec • 語句ベクトル同士で近い言葉のリストを抽出する • イケメンと男性
74. 2. word2vec • 語句同士の類似度を抽出する • 男性と童貞は遠い • 男性はブサイクというよりイケメンのほうが近い • 男性とブスは遠い
75. 3. Topic モデル • 文章における単語の出現確率 を推定するためのモデル • 出現する単語の種類と数が, トピック(カテゴリ) によって 異なると仮定する • 各文章は複数のトピックによっ て構成されており, 各トピック の単語分布を合算された形で単 語が生成される https://qiita.com/icoxfog417/items/7c944cb29dd7cdf5e2b1
76. 3. Topic モデル • “トピックモデルで解析する” Notebook を参照のこと
77. 3. Topic モデル • 必要なパッケージ をインポートする • 元文章からターム を取り出し, キー ワードを抽出する • 今回のデータの場 合, ブスマの行ごと のタームが抽出さ れたベクトルが形 成される 参考文献; https://paper.hatenadiary.jp/entry/2016/11/06/212149
78. 3. Topic モデル • 出力結果
79. 3. Topic モデル • 辞書とコーパスをそれぞれ作成する • no_below; 2回以下表示しない単語は無視する • no_abobe; 全体の文章の10％以上に出現するタームを無視する
80. 3. Topic モデル • 辞書とコーパスを読み込む
81. 3. Topic モデル • topic_N で表示するトピック数を指定し, 出力する
82. 3. Topic モデル
83. まとめ; テキスト分析で出来そうなこと • 共起ネットワーク • 言葉同士の関係性を明示化し, 可視化する • WordCloud • みんなのなんとなくのイメージの可視化 • Word2vec • 言葉のベクトル化により, モデルへの組み込みが可能 • 被説明変数？説明変数？ • Topic モデル • グルーピングの可視化 • 類似語の提案
84. 今日の実習; その2 • ブスマのテキストデータを用 いて, 分析を行う • Wordcloud の作成 • Word2vec モデルの作成 • Topic モデルの作成 などを試行して, 結果を出力す ること 気づいたことをディスカッショ ンしてみましょう
85. 4. (Twitterを使った) 口コミ分析
86. 利用する Notebook • Twitter API からデータを取得して, WordCloud を作る notebook をダウン ロードする
87. Twitter のAPI を申請する • https://developer.twitter.com にアクセスする
88. Twitter の API を申請する • Apply for a developer account をクリックする
89. Twitter の API を申請する • 利用目的を選択する
90. Twitter の API を申請する 必要事項を入力し, Next をクリックする
91. Twitter の API を申請する • なぜ API を利用したいのか記入する
92. Twitter の API を申請する • 内容を確認し, Looks Good! をクリックする
93. Twitter の API を申請する • Submit Application をクリックする
94. Twitter の API を申請する • E-mail でメッセージが届くので Confirmation をする
95. Twitter の API を申請する • E-mail での Confirm を終えると, Developer ページに遷移する
96. b. Twitter の API キーを取得する • Create an App をクリックする
97. b. Twitter の API キーを取得する • “Create an App” をクリックする
98. b. Twitter の API キーを取得する • Application の詳細を記入する
99. b. Twitter の API キーを取得する • Create をクリックする
100. b. Twitter の API キーを取得する • Keys and Tokens をクリックする
101. b. Twitter の API キーを取得する • Access Token & access token secret の Create をクリックする
102. b. Twitter の API キーを取得する • Access Token が生成される
103. c. 自分のタイムライン情報を取得する • Twitter パッケージをインストールする
104. c. 自分のタイムライン情報を取得する • 先程取得したAPI キー情報を指定する • Twitter に Oauth 経由でアクセスする • 自分のタイムライン情報を取得する
105. c. 自分のタイムライン情報を取得する • 自分がフォローしているユーザーのツイートが取得される
106. d. ハッシュタグに基づきデータを取得す る • 利用するパッケージ (tweepyと datetime) をインポートする • b. の作業で取得した Consumer_key, Consumer_secret, Access_token, Access_secret を 指定する • 検索キーワードを変数として格 納する • ツイートを取得する 参考; https://qiita.com/kngsym2018/items/3719f8da1f129793257c
107. d. ハッシュタグに基づきデータを取得する • ファイル名を指定する • ファイルをテキストファイル として出力する
108. d. ハッシュタグに基づきデータを取得する キーワードと出力するファイル名を指定すると, Twitter から取得したツイートの一覧が出力される
109. ブスマのつぶやきのアウトプット
110. e. 取得したデータを解析する • ブスマ
111. e. 取得したデータを解析する (wordcloud) • 早稲田大学 • 慶應大学
112. 参考文献 • pythonでgensimを使ってトピックモデル(LDA)を行う • https://paper.hatenadiary.jp/entry/2016/11/06/212149 • 「OK word2vec ! "マジ卍"の意味を教えて」 Pythonで word2vec実践してみた • https://www.randpy.tokyo/entry/python_word2vec • models.word2vec – Word2vec embeddings • https://radimrehurek.com/gensim/models/word2vec.html • 15分でできる日本語Word2Vec • https://qiita.com/makaishi2/items/63b7986f6da93dc55edd
113. 参考文献(2) • Pythonで文字列を分割（区切り文字、改行、正規表現、文字 数） • https://note.nkmk.me/python-split-rsplit-splitlines-re/ • WindowsでNEologd辞書を比較的簡単に入れる方法 • https://qiita.com/zincjp/items/c61c441426b9482b5a48 • Windows 10 64bit で python + Mecab • https://qiita.com/kuro_hane/items/64e39d5deeb3f876b421 • Windows10(64bit)/Python3.6でmecab-python環境構築 • http://blog.livedoor.jp/oyajieng_memo/archives/1777479.html
114. 参考文献(3) • MeCab: Yet Another Part-of-Speech and Morphological Analyzer • https://taku910.github.io/mecab • mecab-ipadic-NEologd : Neologism dictionary for MeCab • https://github.com/neologd/mecab-ipadic-neologd • Word2Vecを用いた類義語の抽出が上手く行ったので、分析を まとめてみた • https://qiita.com/To_Murakami/items/cc225e7c9cd9c0ab641e • 自然言語処理による文書分類の基礎の基礎、トピックモデルを 学ぶ • https://qiita.com/icoxfog417/items/7c944cb29dd7cdf5e2b1
115. To whom it may concern… • 今日の内容は一橋大学講義「経済学のための実践的データ分 析」の一部を加筆修正したものです • 講義資料は以下にアップロードしているので, ご興味あれば御 覧ください • https://speakerdeck.com/yasushihara/ • https://www.slideshare.net/yasushihara
116. THANKS yasushi.hara@r.hit-u.ac.jp Twitter: @harayasushi