Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ナイーブベイズ分類機、SVM
Search
Ayumu
January 31, 2019
Technology
0
150
ナイーブベイズ分類機、SVM
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
January 31, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
170
B3ゼミ 自然言語処理におけるCNN
ayumum
0
110
言語処理年次大会報告
ayumum
0
110
ニューラルネット4
ayumum
0
120
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
180
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
180
ニューラルネット実践
ayumum
0
130
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
200
Other Decks in Technology
See All in Technology
20251014_Pythonを実務で徹底的に使いこなした話
ippei0923
0
170
Simplifying Cloud Native app testing across environments with Dapr and Microcks
salaboy
0
140
セキュアな認可付きリモートMCPサーバーをAWSマネージドサービスでつくろう! / Let's build an OAuth protected remote MCP server based on AWS managed services
kaminashi
3
290
『バイトル』CTOが語る! AIネイティブ世代と切り拓くモノづくり組織
dip_tech
PRO
1
110
JAZUG 15周年記念 × JAT「AI Agent開発者必見:"今"のOracle技術で拡張するAzure × OCIの共存アーキテクチャ」
shisyu_gaku
1
160
やる気のない自分との向き合い方/How to Deal with Your Unmotivated Self
sanogemaru
0
470
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
6
1.2k
OpenAI gpt-oss ファインチューニング入門
kmotohas
2
1.2k
[Codex Meetup Japan #1] Codex-Powered Mobile Apps Development
korodroid
2
250
小学4年生夏休みの自由研究「ぼくと Copilot エージェント」
taichinakamura
0
630
Trust as Infrastructure
bcantrill
1
380
リセラー企業のテクサポ担当が考える、生成 AI 時代のトラブルシュート 2025
kazzpapa3
1
150
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
590
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Gamification - CAS2011
davidbonilla
81
5.5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.9k
Site-Speed That Sticks
csswizardry
11
900
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
The Cult of Friendly URLs
andyhume
79
6.6k
Visualization
eitanlees
149
16k
Code Review Best Practice
trishagee
72
19k
Documentation Writing (for coders)
carmenintech
75
5k
Docker and Python
trallard
46
3.6k
Transcript
ナイーブベイズ、SVM 長岡技術科学大学 自然言語処理研究室 守谷 歩
ナイーブベイズ分類器 ベイズの定理 目的:事例dに対してP(c|d)が最大となるクラス ∈ を出 力する。この確率P(c|d)を求める。 ベイズの定理 = () P(d)はクラスcに依存しない。⇒P(c),P(d|c)を考えればよい。
これらを最大にするクラスCmaxは = arg max () = arg max
ベイズの定理 言語処理では事象dは文書データなのでデータが膨大 ⇒すべてのdについてのP(c|d)を求めるのは効率的でない 文書にモデルを仮定してP(d|c)の値を求める。 モデル ⚫多変数ベルヌーイモデル ⚫多項モデル
多変数ベルヌーイモデル クラスcが与えられているとき単語wの生起確率 , , 1 − , 1−, 語彙Vでの文書dの生起確率 =
ς∈ , , 1 − , 1−, ナイーブベイズ分類器の多変数ベルヌーイモデル () = ς∈ , , 1 − , 1−,
例 強い肯定表現や強い否定表現の文書例で分類器を考える。 肯定T d1= “True True True False” d2= “Not
agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True”
多項モデル クラスcが与えられているとき、文書d内で単語が発生確率wで, 回 発生する確率 (σ ,)! ς∈ ,! ς∈ ,
, 語彙Vでの単語が発生確率wで, 回発生する確率 = ( = σ , ) (σ ,)! ς∈ ,! ς∈ , , ナイーブベイズ分類器の多項ベルヌーイモデル () = (σ , ) (σ ,)! ς∈ ,! ς∈ , ,
例 強い肯定表現や強い否定表現の文書例で分類 器を考える。 肯定T d1= “True True True False” d2=
“Not agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True” 先ほど求めた文書数 NT=3 NF=3 Ntrue,T=2 Ntrue,F=3 Nfalse,T=1 Nfalse,F=3 Nnot,T=2 Nnot,F=3 Nagree,T=2 Nagree,F=1
サポートベクターマシン(SVM) ⚫線形2値分類器であり、クラスが2である問題に使われる。 ⚫訓練データD={(x1,y1),(x2,y2),・・・,(xd,yd)}で和えられてるとき、 xは事例の素性ベクトル、yはクラスラベルである。正例、負例 をそれぞれ1,-1とする。 ⚫分離平面の方向ベクトルwと切片bをパラメータとして = ∗ − ≥
0:正クラス < 0:負クラス
マージン最大化(2次元空間)
多値分類器 1. One-versus-rest法 2. ペアワイズ法