Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ナイーブベイズ分類機、SVM
Search
Ayumu
January 31, 2019
Technology
0
150
ナイーブベイズ分類機、SVM
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
January 31, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
160
マルチモーダル学習
ayumum
0
150
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
97
ニューラルネット4
ayumum
0
110
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
160
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
Other Decks in Technology
See All in Technology
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
30
11k
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
240
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
11
4k
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
120
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
370
Welcome to the LLM Club
koic
0
190
本が全く読めなかった過去の自分へ
genshun9
0
590
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
140
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
3
1.7k
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
210
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
200
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
150
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
What's in a price? How to price your products and services
michaelherold
246
12k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
A Tale of Four Properties
chriscoyier
160
23k
Code Reviewing Like a Champion
maltzj
524
40k
KATA
mclloyd
30
14k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
How to Ace a Technical Interview
jacobian
277
23k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
ナイーブベイズ、SVM 長岡技術科学大学 自然言語処理研究室 守谷 歩
ナイーブベイズ分類器 ベイズの定理 目的:事例dに対してP(c|d)が最大となるクラス ∈ を出 力する。この確率P(c|d)を求める。 ベイズの定理 = () P(d)はクラスcに依存しない。⇒P(c),P(d|c)を考えればよい。
これらを最大にするクラスCmaxは = arg max () = arg max
ベイズの定理 言語処理では事象dは文書データなのでデータが膨大 ⇒すべてのdについてのP(c|d)を求めるのは効率的でない 文書にモデルを仮定してP(d|c)の値を求める。 モデル ⚫多変数ベルヌーイモデル ⚫多項モデル
多変数ベルヌーイモデル クラスcが与えられているとき単語wの生起確率 , , 1 − , 1−, 語彙Vでの文書dの生起確率 =
ς∈ , , 1 − , 1−, ナイーブベイズ分類器の多変数ベルヌーイモデル () = ς∈ , , 1 − , 1−,
例 強い肯定表現や強い否定表現の文書例で分類器を考える。 肯定T d1= “True True True False” d2= “Not
agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True”
多項モデル クラスcが与えられているとき、文書d内で単語が発生確率wで, 回 発生する確率 (σ ,)! ς∈ ,! ς∈ ,
, 語彙Vでの単語が発生確率wで, 回発生する確率 = ( = σ , ) (σ ,)! ς∈ ,! ς∈ , , ナイーブベイズ分類器の多項ベルヌーイモデル () = (σ , ) (σ ,)! ς∈ ,! ς∈ , ,
例 強い肯定表現や強い否定表現の文書例で分類 器を考える。 肯定T d1= “True True True False” d2=
“Not agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True” 先ほど求めた文書数 NT=3 NF=3 Ntrue,T=2 Ntrue,F=3 Nfalse,T=1 Nfalse,F=3 Nnot,T=2 Nnot,F=3 Nagree,T=2 Nagree,F=1
サポートベクターマシン(SVM) ⚫線形2値分類器であり、クラスが2である問題に使われる。 ⚫訓練データD={(x1,y1),(x2,y2),・・・,(xd,yd)}で和えられてるとき、 xは事例の素性ベクトル、yはクラスラベルである。正例、負例 をそれぞれ1,-1とする。 ⚫分離平面の方向ベクトルwと切片bをパラメータとして = ∗ − ≥
0:正クラス < 0:負クラス
マージン最大化(2次元空間)
多値分類器 1. One-versus-rest法 2. ペアワイズ法