データサイエンス14_システム.pdf

Transcript

1. View Slide

2. 今日のメニュー
    推薦システム
    評判分析
    システム評価
   

   View Slide

3. View Slide

4. 推薦システム
    サイト利用者の（購入）判断の際に参考となる情報を紹介するシステム
    具体例
    売れ筋ランキング
    類似商品・関連商品の提示
    書評、クチコミ
    「これをリンク／購入した人は…を購入しています」
   

   View Slide

5. View Slide

6. View Slide

7. View Slide

8. View Slide

9. 推薦システム誕生の背景
    情報量の増大
    検索すればいいのでは？
    検索ではヒット件数が多すぎて絞り切れない
    どんなキーワードで検索していいのか分からない
   

   View Slide

10. 推薦システムで利用される情報
     明示的情報：利用者自身が入力した情報
     星の数（１～５または7）
     商品コメント
     推測情報：利用者の行動から推測した情報
     購入履歴：買ったということは興味がありそう
     閲覧ページ、閲覧時間：ページを（長時間）見ているということは興味
    がありそう
    

    View Slide

11. 推薦システムで起こった発想の転換
    １．店の視点（売りたいものを売る）から購入者の視点（買いたいものを買う）へ
    の発想の転換
     書店では、店員が読んで面白い／誰かに依頼された／これを売ると利益率が
    高い、など様々な（店側の）理由で売りたいものを並べていた
     （例えば）アマゾンでは、購入者に意見・感想を書かせ、あるいは購入行動の
    情報を新規利用者に提示することで購入意欲を高めている。つまり、店は予め
    売りたい商品を決めていない。
    ２．大衆から個別への発想の転換＝個人適用
     個人によって興味関心が違うことを前提とした売り方
     インターネットやIT化に伴って省コストで実現可能
    

    View Slide

12. 発想の転換(続き)
     自然言語処理から見ると、もう一つ重要な発想の転換がある。
     「内容を理解せずに推薦する」
     すなわち、店の人(あるいはアマゾン)は本を読まず、音楽を聴かず、購入者
    の行動履歴や購買履歴を情報源にして推薦している。
     これはある意味、推薦システムの構築に自然言語処理は不要であることを
    意味している。
     ただし、「良い推薦」のためにはテキスト解析が必要なことも事実。
    

    View Slide

13. 推薦システムの分類
     協調フィルタリング
     クチコミ等の情報を利用して高評価なものを提示
     内容ベースフィルタリング
     内容を解析して類似したもの・高評価なものを提示
    

    View Slide

14. 推薦システムの問題点
     協調フィルタリングにおいて新規ユーザーや新商品に対応できない
     コールドスタート問題
     偽のクチコミ、サクラ、ゴミ、スパム
     意図的に高い評価を与える
     意図的に低い評価を与える
     大規模化
     規模拡大によって上記ゴミが増え、結果的に評価の信頼性が下がる
    

    View Slide

15. View Slide

16. (クチコミ分析、ソーシャルリスニング)
    

    View Slide

17. 評判分析
     クチコミやレビュー、アンケートなど、主観的な文章を解析して、著者の意見
    や感情、その他情報などを自動的に読み取る技術
     多くの場合は対象テキストが大量であることが前提
     解析結果を何らかの形で取りまとめて提示
     ２値分類（肯定的／否定的）
     特定情報のみ抽出(固有表現抽出)
     高頻度語を提示
    

    View Slide

18. 評判分析の対象
     通販サイト
     Amazon、楽天など
     ソーシャルメディア
     FacebookやLINEは閉鎖性が高いので主に Twitter が使われる
     Q&Aサイト
     Yahoo!知恵袋、OKWAVEなど
     レビューサイト
     価格.com、@cosmeなど
     ブログサイト
    

    View Slide

19. 何を分析するのか？
     商品・サービスの注目度、話題度
     言及数をカウント
     Twitterの場合、言及者数も計数可能
     どれだけ好評か？
     肯定／否定の割合を計算
     商品・サービスに関連するキーワード
     「花火」「限定」「サッカー」
     メディア別
     Twitterで特に話題になる等
    

    View Slide

20. View Slide

21. View Slide

22. View Slide

23. View Slide

24. View Slide

25. 評判分析の難しさ
     高頻度＝特徴語とは限らない
     ストップワード
     サクラ問題
     各種表現
     これでおいしくないとは言わせない
     おいしすぎてつらい
     ～店のほうが断然おいしい
     客が誰もいなくて神秘的
     もう来ない
    

    View Slide

26. View Slide

27. オープンテストとクローズドテスト
     オープンテスト(open test)
     システム作成時に使ったデータ以外の入力(未知の入力)に対してシステムの性
    能を評価するテスト方法。これがいわゆるシステム性能となる。
     クローズドテスト(closed test)
     システム作成時に何らかの形で参照したデータに対してシステムの性能を評価
    するテスト方法。
     通常はオープンテストを行えばよいが、クローズドテストの性能もシステム開発時の
    参照として意味がある。
     例えば、一般にクローズドテストの結果＞オープンテストの結果なので、クローズ
    ドテストで低い値しか得られない時はそもそもオープンテストの意味がないなど。
    

    View Slide

28. 交差検定(cross validation)
     できるだけ多くのオープンテストを行うための工
    夫
     データをn分割してオープンテストを繰り返す
    (これをn-fold cross validationと呼ぶ)
     この特別な場合として、データを１件のみ訓
    練から除外して交差検定を行うことをジャック
    ナイフ法または leave-one-out法と呼ぶ
     最大限の訓練データが確保できるが、そ
    の一方で実験負荷が最大になる。
    

    View Slide

29. システム評価
    出力(スイング) 非出力(見送り)
    正解
    (ストライク)
    True
    Positive(TP)
    (ホームラン)
    False
    Negative(FN)
    (見逃し三振)
    不正解
    (ボール)
    False
    Positive(FP)
    (空振り三振)
    True
    Negative(TN)
    (ボール見送り)
    各事例に対して、システムは正解と判断したもののみを出力する。
    

    View Slide

30. 適合率、再現率、正解率
     適合率(precision)
     再現率(recall)
     正解率(accuracy)
    

    View Slide

31. F-measure
     F-measure (F-score, F尺度)は再
    現率と適合率の調和平均である。
     これを変形して、
    

    View Slide

32. マイクロ平均とマクロ平均
     マイクロ平均
     マクロ平均
     A社は900人面接で内定者90人
     B社は100人面接で内定者50人
     マイクロ平均の内定率(＝内定者比率)は
     (90+50)/(900+100)＝14%
     マクロ平均の内定率(＝会社別平均)は
     (10%+50%)/2=30%
    

    View Slide

33. View Slide

34. テキスト分析は甘くない
     まず何を知りたいのかを明確に
     目的なく分析しても平凡な結果
    しか得られない
     分析には限界がある
     データの規模は十分か？
     収集データに偏りはないか？
     解析誤りがどの程度含まれる
    か？
     レポートの提出をお待ちしています。
    

    View Slide

35. 「データの
    世紀」
    

    View Slide

36. 履修・聴講いただきありがとうございました。
    

    View Slide