Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
B3勉強会(2015年2月16日)サポートベクターマシン(SVM)
Search
MIKAMI-YUKI
February 16, 2015
Education
1
140
B3勉強会(2015年2月16日)サポートベクターマシン(SVM)
MIKAMI-YUKI
February 16, 2015
Tweet
Share
More Decks by MIKAMI-YUKI
See All by MIKAMI-YUKI
2016年_年次大会_発表資料
mikamiy
0
130
文献紹介_10_意味的類似性と多義解消を用いた文書検索手法
mikamiy
0
330
文献紹介_9_コーパスに基づく動詞の多義解消
mikamiy
0
120
文献紹介_8_単語単位による日本語言語モデルの検討
mikamiy
0
92
文献紹介_7_自動獲得した未知語の読み・文脈情報による仮名漢字変換
mikamiy
0
99
文献紹介_6_複数の言語的特徴を用いた日本語述部の同義判定
mikamiy
0
110
文献紹介_5_マイクロブログにおける感情・コミュニケーション・動作タイプの推定に基づく顔文字の推薦
mikamiy
0
130
文献紹介_4_結合価パターンを用いた仮名漢字変換候補の選択
mikamiy
0
410
文献紹介_3_絵本のテキストを対象とした形態素解析
mikamiy
1
420
Other Decks in Education
See All in Education
技術勉強会 〜 OAuth & OIDC 入門編 / 20250528 OAuth and OIDC
oidfj
5
1.8k
Pythonパッケージ管理 [uv] 完全入門
mickey_kubo
23
24k
2025年度春学期 統計学 第12回 分布の平均を推測する ー 区間推定 (2025. 6. 26)
akiraasano
PRO
0
160
今までのやり方でやってみよう!?~今までのやり方でやってみよう!?~
kanamitsu
0
170
【品女100周年企画】Pitch Deck
shinagawajoshigakuin_100th
0
6k
小学校女性教員向け プログラミング教育研修プログラム「SteP」の実践と課題
codeforeveryone
0
110
OpenSourceSummitJapanを運営してみた話
kujiraitakahiro
0
790
中間活動報告会 人材育成WG・技術サブWG / 20250808-oidfj-eduWG-techSWG
oidfj
0
650
H5P-työkalut
matleenalaakso
4
40k
GitHubとAzureを使って開発者になろう
ymd65536
1
160
2025年度春学期 統計学 第15回 分布についての仮説を検証する ー 仮説検定(2) (2025. 7. 17)
akiraasano
PRO
0
110
Sponsor the Conference | VizChitra 2025
vizchitra
0
620
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Site-Speed That Sticks
csswizardry
10
830
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Gamification - CAS2011
davidbonilla
81
5.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Optimizing for Happiness
mojombo
379
70k
Transcript
長岡技術科学大学 B3 三上侑城 3年勉強会 2015年2月16日 サポートベクターマシン(SVM) 自然言語処理研究室 1
予備知識 x (xの太字): 入力ベクトル ω (ωの太字): 重みベクトル(求める物) 入力xと出力yの組の教師データ 例:(x 1
,y 1 ) , (x 2 ,y 2 ) y i =1の時は0より大きい値を指す。 y i =-1の時は0より小さい値を指す。 2
線形分離 空間を線形(まっすぐ)に分離する。 2次元の場合は平面を直線で分断。 3次元の場合は空間を平面で分断。 4次元以上は分断面が分離超平面と 呼ばれるものになる。 3
線形分離 2次元の時、分離した片方をy=1として、 もう片方をy=-1とする。 学習データを全て正しく識別できる場合、 そのデータのことを線形分離可能であると 言う。 線形分離不可能の時は、非線形分離 を行う。 4
線形分離 5 y = 1 y = -1 2次元空間
サポートベクターマシン(SVM) 線形識別器の1つ。 マージンの最大化と非線形分類を同時 に実現でき、高精度な分類を行うことが できる。 機械学習で分離平面を決める。 6
サポートベクターマシン 7 ←分離平面 テストデータがどちらに有るか判定
目的関数 目的関数という関数が与えられ、この関 数の値を最小化することが学習の目的と なる。 L1正規化SVM目的関数 max 1 − ・ ,
0 + || ※max(a,b):大きい方の値を返すもの 8
目的関数 max 1 − ・ , 0 + || 損失項
正則化項 9
目的関数 max 1 − ・ , 0 + || 損失項の働き
y i =1(0より大きな値)であるとき、 ω・x i の結果が10とすれば、 1-10=-9となり、0の方が大きくなるため、 損失項の値は0になる。 10
目的関数 max 1 − ・ , 0 + || 損失項の働き
y i =1(0より大きな値)であるとき、 ω・x i の結果が-10とすれば、 1-(-10)=11となり、11の方が大きくな るため、損失項の値は11になる。 11
目的関数 max 1 − ・ , 0 + || 損失項の働き
y i =-1(0より小さい値)であるとき、 ω・x i の結果が-10とすれば、 y i ω・x i は、 1-(10)=-9となり、0の方が大きくなるた め、損失項の値は0になる。 12
目的関数 損失項は ”多くの場合” 、正解した場合 は0で、間違えた場合は0以上の値を取 るようになっている。 つまり、損失項の値が小さいほど、判別 器として性能がいいことが言える。 13
目的関数 ”多くの場合”と言ったが、実は正解した 場合にも損失が0以上になる場合がある。 max 1 − ・ , 0 +
|| ω・x i の結果が1以下の時に0より大き くなる。 14
目的関数 そのため、正解だと判断されず、ωのパラ メータが変更され、結果が最低でも1 (もしくは-1)になる。 -1<y<1の間には何も入らなくなるので、 その間にマージンができる。 → 分離平面が安定する。 15
マージン最大化 16 ←分離平面 <1 <1
サポートベクター 17 ←分離平面 <1 <1 ・分離平面に最も近い事例のことを言う。 ・これだけで分離平面を表現できる。
正規化項 max 1 − ・ , 0 + || 複雑なモデル(過学習状態)になると、
未知データに対して弱くなることがよくある。 損失項が多少のマイナスでもOKにするこ とで、余裕をもたせることができる。 18
非線形分離 うまく分離出来ない時には非線形分離 を使用する。 19
非線形分離 より高度な空間で分離作業を行う。 →高次元空間への射影 新しい軸を作る。 Φ(1 , 2 ) = 1
2 1 2 20
非線形分離 21 2次元空間
非線形分離 22 3次元空間
非線形分離 23 3次元空間で線形分離の分離平面を決め、 2次元空間に戻すと、非線形分離になる
収束判定 計算をいつ終えるか?という問題。 完全にパラメータが変化しなくなるまでは 時間が非常にかかる。 実用的には ・十分だと思われる繰り返し(学習)回数 を最初に設定しておく。 ・目的関数の値がほとんど変わらなくなっ たら終了する。 24
ご視聴ありがとうございました 参考文献 ・日本語入力を支える技術 著:徳永拓之 技術評論社 2012年3月 ・機械学習に基づく自然言語処理I 京都大学情報学研究科 黒橋 禎夫
http://nlp.ist.i.kyoto-u.ac.jp/ member/kuro/lecture/LIP10/LIP09.pdf 25