データサイエンス14_システム.pdf

 データサイエンス14_システム.pdf

Transcript

  1. None
  2. 今日のメニュー  推薦システム  評判分析  システム評価

  3. None
  4. 推薦システム  サイト利用者の(購入)判断の際に参考となる情報を紹介するシステム  具体例  売れ筋ランキング  類似商品・関連商品の提示 

    書評、クチコミ  「これをリンク/購入した人は…を購入しています」
  5. None
  6. None
  7. None
  8. None
  9. 推薦システム誕生の背景  情報量の増大  検索すればいいのでは?  検索ではヒット件数が多すぎて絞り切れない  どんなキーワードで検索していいのか分からない

  10. 推薦システムで利用される情報  明示的情報:利用者自身が入力した情報  星の数(1~5または7)  商品コメント  推測情報:利用者の行動から推測した情報 

    購入履歴:買ったということは興味がありそう  閲覧ページ、閲覧時間:ページを(長時間)見ているということは興味 がありそう
  11. 推薦システムで起こった発想の転換 1.店の視点(売りたいものを売る)から購入者の視点(買いたいものを買う)へ の発想の転換  書店では、店員が読んで面白い/誰かに依頼された/これを売ると利益率が 高い、など様々な(店側の)理由で売りたいものを並べていた  (例えば)アマゾンでは、購入者に意見・感想を書かせ、あるいは購入行動の 情報を新規利用者に提示することで購入意欲を高めている。つまり、店は予め 売りたい商品を決めていない。

    2.大衆から個別への発想の転換=個人適用  個人によって興味関心が違うことを前提とした売り方  インターネットやIT化に伴って省コストで実現可能
  12. 発想の転換(続き)  自然言語処理から見ると、もう一つ重要な発想の転換がある。  「内容を理解せずに推薦する」  すなわち、店の人(あるいはアマゾン)は本を読まず、音楽を聴かず、購入者 の行動履歴や購買履歴を情報源にして推薦している。  これはある意味、推薦システムの構築に自然言語処理は不要であることを

    意味している。  ただし、「良い推薦」のためにはテキスト解析が必要なことも事実。
  13. 推薦システムの分類  協調フィルタリング  クチコミ等の情報を利用して高評価なものを提示  内容ベースフィルタリング  内容を解析して類似したもの・高評価なものを提示

  14. 推薦システムの問題点  協調フィルタリングにおいて新規ユーザーや新商品に対応できない  コールドスタート問題  偽のクチコミ、サクラ、ゴミ、スパム  意図的に高い評価を与える 

    意図的に低い評価を与える  大規模化  規模拡大によって上記ゴミが増え、結果的に評価の信頼性が下がる
  15. None
  16. (クチコミ分析、ソーシャルリスニング)

  17. 評判分析  クチコミやレビュー、アンケートなど、主観的な文章を解析して、著者の意見 や感情、その他情報などを自動的に読み取る技術  多くの場合は対象テキストが大量であることが前提  解析結果を何らかの形で取りまとめて提示  2値分類(肯定的/否定的)

     特定情報のみ抽出(固有表現抽出)  高頻度語を提示
  18. 評判分析の対象  通販サイト  Amazon、楽天など  ソーシャルメディア  FacebookやLINEは閉鎖性が高いので主に Twitter

    が使われる  Q&Aサイト  Yahoo!知恵袋、OKWAVEなど  レビューサイト  価格.com、@cosmeなど  ブログサイト
  19. 何を分析するのか?  商品・サービスの注目度、話題度  言及数をカウント  Twitterの場合、言及者数も計数可能  どれだけ好評か? 

    肯定/否定の割合を計算  商品・サービスに関連するキーワード  「花火」「限定」「サッカー」  メディア別  Twitterで特に話題になる等
  20. None
  21. None
  22. None
  23. None
  24. None
  25. 評判分析の難しさ  高頻度=特徴語とは限らない  ストップワード  サクラ問題  各種表現 

    これでおいしくないとは言わせない  おいしすぎてつらい  ~店のほうが断然おいしい  客が誰もいなくて神秘的  もう来ない
  26. None
  27. オープンテストとクローズドテスト  オープンテスト(open test)  システム作成時に使ったデータ以外の入力(未知の入力)に対してシステムの性 能を評価するテスト方法。これがいわゆるシステム性能となる。  クローズドテスト(closed test)

     システム作成時に何らかの形で参照したデータに対してシステムの性能を評価 するテスト方法。  通常はオープンテストを行えばよいが、クローズドテストの性能もシステム開発時の 参照として意味がある。  例えば、一般にクローズドテストの結果>オープンテストの結果なので、クローズ ドテストで低い値しか得られない時はそもそもオープンテストの意味がないなど。
  28. 交差検定(cross validation)  できるだけ多くのオープンテストを行うための工 夫  データをn分割してオープンテストを繰り返す (これをn-fold cross validationと呼ぶ)

     この特別な場合として、データを1件のみ訓 練から除外して交差検定を行うことをジャック ナイフ法または leave-one-out法と呼ぶ  最大限の訓練データが確保できるが、そ の一方で実験負荷が最大になる。
  29. システム評価 出力(スイング) 非出力(見送り) 正解 (ストライク) True Positive(TP) (ホームラン) False Negative(FN)

    (見逃し三振) 不正解 (ボール) False Positive(FP) (空振り三振) True Negative(TN) (ボール見送り) 各事例に対して、システムは正解と判断したもののみを出力する。
  30. 適合率、再現率、正解率  適合率(precision)  再現率(recall)  正解率(accuracy)

  31. F-measure  F-measure (F-score, F尺度)は再 現率と適合率の調和平均である。  これを変形して、

  32. マイクロ平均とマクロ平均  マイクロ平均  マクロ平均  A社は900人面接で内定者90人  B社は100人面接で内定者50人 

    マイクロ平均の内定率(=内定者比率)は  (90+50)/(900+100)=14%  マクロ平均の内定率(=会社別平均)は  (10%+50%)/2=30%
  33. None
  34. テキスト分析は甘くない  まず何を知りたいのかを明確に  目的なく分析しても平凡な結果 しか得られない  分析には限界がある  データの規模は十分か?

     収集データに偏りはないか?  解析誤りがどの程度含まれる か?  レポートの提出をお待ちしています。
  35. 「データの 世紀」

  36. 履修・聴講いただきありがとうございました。