Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ナイーブベイズ分類機、SVM
Search
Ayumu
January 31, 2019
Technology
0
150
ナイーブベイズ分類機、SVM
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
January 31, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
160
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
100
ニューラルネット4
ayumum
0
110
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
170
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
Other Decks in Technology
See All in Technology
機械学習を「社会実装」するということ 2025年夏版 / Social Implementation of Machine Learning July 2025 Version
moepy_stats
1
1.4k
データエンジニアがクラシルでやりたいことの現在地
gappy50
3
680
P2P ではじめる WebRTC のつまづきどころ
tnoho
1
270
【CEDEC2025】大規模言語モデルを活用したゲーム内会話パートのスクリプト作成支援への取り組み
cygames
PRO
1
330
MCPと認可まわりの話 / mcp_and_authorization
convto
2
290
KCD Lima: eBee in Peru!
lizrice
0
110
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
170
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
590
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
人と生成AIの協調意思決定/Co‑decision making by people and generative AI
moriyuya
0
170
Kiro Hookを Terraformで検証
ao_inoue
0
140
AIエージェントを支える設計
tkikuchi1002
11
2.3k
Featured
See All Featured
It's Worth the Effort
3n
185
28k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Faster Mobile Websites
deanohume
308
31k
Navigating Team Friction
lara
187
15k
The Language of Interfaces
destraynor
158
25k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
390
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Bash Introduction
62gerente
613
210k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Transcript
ナイーブベイズ、SVM 長岡技術科学大学 自然言語処理研究室 守谷 歩
ナイーブベイズ分類器 ベイズの定理 目的:事例dに対してP(c|d)が最大となるクラス ∈ を出 力する。この確率P(c|d)を求める。 ベイズの定理 = () P(d)はクラスcに依存しない。⇒P(c),P(d|c)を考えればよい。
これらを最大にするクラスCmaxは = arg max () = arg max
ベイズの定理 言語処理では事象dは文書データなのでデータが膨大 ⇒すべてのdについてのP(c|d)を求めるのは効率的でない 文書にモデルを仮定してP(d|c)の値を求める。 モデル ⚫多変数ベルヌーイモデル ⚫多項モデル
多変数ベルヌーイモデル クラスcが与えられているとき単語wの生起確率 , , 1 − , 1−, 語彙Vでの文書dの生起確率 =
ς∈ , , 1 − , 1−, ナイーブベイズ分類器の多変数ベルヌーイモデル () = ς∈ , , 1 − , 1−,
例 強い肯定表現や強い否定表現の文書例で分類器を考える。 肯定T d1= “True True True False” d2= “Not
agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True”
多項モデル クラスcが与えられているとき、文書d内で単語が発生確率wで, 回 発生する確率 (σ ,)! ς∈ ,! ς∈ ,
, 語彙Vでの単語が発生確率wで, 回発生する確率 = ( = σ , ) (σ ,)! ς∈ ,! ς∈ , , ナイーブベイズ分類器の多項ベルヌーイモデル () = (σ , ) (σ ,)! ς∈ ,! ς∈ , ,
例 強い肯定表現や強い否定表現の文書例で分類 器を考える。 肯定T d1= “True True True False” d2=
“Not agree ” d3= “True agree Not True” 否定F d1= “Not False Not True” d2= “Not True False” d3= “agree Not False True” 先ほど求めた文書数 NT=3 NF=3 Ntrue,T=2 Ntrue,F=3 Nfalse,T=1 Nfalse,F=3 Nnot,T=2 Nnot,F=3 Nagree,T=2 Nagree,F=1
サポートベクターマシン(SVM) ⚫線形2値分類器であり、クラスが2である問題に使われる。 ⚫訓練データD={(x1,y1),(x2,y2),・・・,(xd,yd)}で和えられてるとき、 xは事例の素性ベクトル、yはクラスラベルである。正例、負例 をそれぞれ1,-1とする。 ⚫分離平面の方向ベクトルwと切片bをパラメータとして = ∗ − ≥
0:正クラス < 0:負クラス
マージン最大化(2次元空間)
多値分類器 1. One-versus-rest法 2. ペアワイズ法