予測モデル with ベイズの定理 #TechLunch

予測モデル with ベイズの定理

　 •スパムメールか？否か？　•携帯電話の買い替えが起こるか？　•クレジットカードがどれくらい不正利用されるだろうか？　•異性は次にどんな行動を取るか？未来を予測する予測モデルの構築・適用

　 •会話予測モデルの構築・適用例付き合いが長いと、相手の求めているものが分かってくる思った通りの行動をしなかった場合は、再学習蓄積されたデータ
参照登録相手の表情・態度・言葉発言予測モデル「最近◦◦さんのことがよく分かってきた」＝「最近◦◦さんについて予測モデルが出来上がってきた」

　 •Paul Grahamのスパム対策 → ベイジアンフィルタを考案予測モデルの構築・適用例学習量が増えるとフィルタの分類精度が上昇個々の判定を間違えた
場合には、ユーザが正しい内容に判定しなおし、再学習数学モデル数学モデル ( (ベイズ理論ベイズ理論) ) スパムメールスパムではないメールトレーニング用データ参照登録元メール再学習

未来を予測するための確率論客観的確率論主観的確率論対・古典的、頻度主義・「このサイコロを無限回ふったときに1の目が出る頻度」・(起こって欲しい事柄の数)/(全ての可能性の事柄の数) ＝
確率・誰が計算しても同じ確率になる・1980年代、コンピュータの分野で盛んに・ベイズ主義、ベイズの定理利用・「次にこのサイコロをふったときに、1の目が出る確率」・確信が持てる度合い＝確率・1990年代に広まり始める ex) モンティ・ホール問題 http://ishi.blog2.fc2.com/blog-entry-182.html 直感で正しいと思える解答実際の解答トーマス・ベイズ (1702年 - 1761年)

　 •もっとも簡単なベイズの技術　　　ベイズの定理をそのまま素直に適用したアルゴリズム　　　（ナイーブ←「純粋でありのまま」）　　ベイズの定理の基本　　　　　　　『ナイーブベイズ』データアルゴリズム
モデル出力 (有益な情報) 信頼度 •データの各属性を独立したものとして扱うデータ「顧客」の属性の例：年齢、性別、地域、年収

•膨大なデータを実際的な洞察に変える手段を提供ナイーブベイズの適用例ネット関連クリックストリーム分析、コンテンツの自動分類自然言語処理文字解析、文法解析コールセンター声の抑揚をマネージャへアラート資源石油・ガス・鉱物資源の発見、早期採掘
警察・消防犯罪・火災の原因分析、予測と阻止流通最適な棚割りの発見、需要予測医薬、医療新薬開発のコストダウン、疾病の早期発見宇宙工学金属材料特性の改良、化学燃料の品質管理

•教師付きモデル (Supervised Model) 既に結果の分かっているデータを「教師」として、構築されるモデル •目的指向型モデル予測することを目的に作られているモデルナイーブベイズのモデルモデル出力 (有益な情報)
信頼度知見の可視化知見の信頼度や価値の評価

•予備法 (精度劣るが高速) ・全データのうち一定の割合を、モデル構築に利用・残りのデータを、モデル精度のテストに利用　　→誤差率を算出 •相互検証法 (予備法よりも精度良い) ・モデル構築用データ、モデル精度テスト用データをすり替えて、　予備法をn回繰り返す　　→n個の誤差率が得られ、それらを平均した推定誤差を算出
•ブートストラップ (さらに精度良い) ・モデル構築までは、相互検証法と同じ・ただしモデルテスト時、誤った予測が行われたデータの重みを調整　　→予測精度の向上ナイーブベイズモデルの精度測定

•クリックストリーム　　Webサイトの訪問者がページを渡り歩いた「軌跡」 •以下の問題の調査・改善に役立つ　　使い勝手(ユーザビリティ)が悪いのはどの要素か？　　Webサイト全体の構成やナビゲーションに問題はないか？　　サイト運営者の意図通りに訪問者がサイトを使いこなしているか？　など •ソリューション　　Apache Mahout
(Hadoopを利用し並列演算) 　　HadoopディストリビューションのCDH3 (分析の高速化に貢献) 　　TeradataベースのSingularityプロジェクト (ex. eBay) 　　Coremetrics Analytics (トランスコスモス社販売のアクセス解析ツール) 　　SAS, SPSS Extra : クリックストリーム分析

→次回　ナイーブベイズ実践

予測モデル with ベイズの定理 #TechLunch

予測モデル with ベイズの定理 #TechLunch

Livesense Inc.

More Decks by Livesense Inc.

Other Decks in Technology

Featured

Transcript