Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
ニューラルネット
youichiro
February 09, 2017
Technology
0
130
ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第3回)
youichiro
February 09, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
700
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
43
Multi-Agent Dual Learning
youichiro
1
69
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
67
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
83
勉強勉強会
youichiro
0
44
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
110
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
70
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
120
Other Decks in Technology
See All in Technology
JAWS-UG 朝会 #33 登壇資料
takakuni
0
370
Devに力を授けたいSREのあゆみ / SRE that wants to empower developers
tocyuki
3
450
技術広報の役割を定義してみた 2022年春
afroscript
3
2.4k
Research Paper Introduction #98 "NSDI 2022 recap"
cafenero_777
0
200
【OCHaCafe#5】その Pod 突然落ちても大丈夫ですか?
k6s4i53rx
1
120
Power BIのモバイルと都 +1 / Tokyo
ishiayaya
0
140
Power BI Report Ops
hanaseleb
0
160
ニフティでSRE推進活動を始めて取り組んできたこと
niftycorp
2
210
jaws-ug-asa-datasync-20220510
hiashisan
0
470
mROS 2のススメ
takasehideki
0
290
モダンデータスタックとかの話(データエンジニアのお仕事とは)
foursue
0
280
5分で完全理解するGoのiota
uji
3
1.9k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
68
4.7k
We Have a Design System, Now What?
morganepeng
35
2.9k
Designing for humans not robots
tammielis
241
23k
Three Pipe Problems
jasonvnalue
89
8.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.2k
How STYLIGHT went responsive
nonsquared
85
3.9k
Intergalactic Javascript Robots from Outer Space
tanoku
261
25k
KATA
mclloyd
7
8.6k
A designer walks into a library…
pauljervisheath
196
16k
The World Runs on Bad Software
bkeepers
PRO
56
5.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
350
21k
Designing on Purpose - Digital PM Summit 2013
jponch
106
5.6k
Transcript
χϡʔϥϧωοτ 平成29年2⽉9⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
⽬次 • ਓχϡʔϩϯ • χϡʔϥϧωοτ • χϡʔϥϧωοτͷछྨ • ύʔηϓτϩϯ •
όοΫϓϩύήʔγϣϯ 1 / 14
⼈⼯ニューロンのモデル ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞 内で処理を施したうえで、信号出⼒を他の神経細胞に送る ਓχϡʔϩϯとは、このような働きを単純化して数学的に模擬し た計算素⼦のこと 2 ⼈⼯ニューロンの構成 複数の⼊⼒信号を受け取り、 適当な計算を施したうえで 出⼒信号を出⼒する
/ 14
⼈⼯ニューロンのモデル 3 " ~$ : ⼊⼒信号 " ~$ : 重み
: しきい値 : 出⼒信号 • ⼊⼒信号ごとにあらかじめ決められた定数$ を掛け合わせる この定数$ をॏΈと呼ぶ • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠ と呼ばれる定数で減算する • その結果をとすると、 をୡؔ()で処理し結果を、⼈⼯ ニューロンの出⼒とする = - . . − . = () / 14
⼈⼯ニューロンのモデル 伝達関数には様々な関数を⽤いることができる εςοϓؔやγάϞΠυؔなどがよく⽤いられる 4 ステップ関数 シグモイド関数 シグモイド関数: = " "1234
/ 14
⼈⼯ニューロンの挙動 5 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値
= 1.5 " 5 0 0 -1.5 0 0 1 -0.5 0 1 0 -0.5 0 1 1 0.5 1 ANDཧԋࢉࢠ / 14
⼈⼯ニューロンの挙動 6 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値
= . " 5 0 0 -0.5 0 0 1 0.5 1 1 0 0.5 1 1 1 1.5 1 ORཧԋࢉࢠ / 14
⼈⼯ニューロンの挙動 7 ⼈⼯ニューロンの例 ೖྗ͕1ͭ 重み w = − しきい値 =
−. 0 0.5 1 1 -0.5 0 NOTཧԋࢉࢠ / 14 ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能 ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化 → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし きい値を学習させれば良い
ニューラルネット • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ という • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が 伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ Ϋと呼ぶ 8 フィードフォワード型ネットワーク
/ 14
ニューラルネットの種類 フィードフォワード型ネットワークは様々な形式に拡張可能 9 2⼊⼒3階層フィードフォワード型ネットワーク このように、⼈⼯ニューロンを増やしたり、階層を増やした りすることでネットワークの規模を拡⼤することが可能 / 14
ニューラルネットの種類 他にも ⼤規模で多層からなる構造 層間が全結合ではなく、特定の部分のみ接続される構造 10 ਂֶश また ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造 ϦΧϨϯτωοτϫʔΫ /
14
パーセプトロン 11 ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦ 中間層の重みとしきい値は、ランダムに初期化した定数 出⼒層の重みとしきい値は学習によって変更が可能 / 14
パーセプトロンの学習 12 誤差 = 教師データ? − 出⼒ パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計 算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと しきい値を調節する
しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す る学習ができない場合がある / 14
バックプロパゲーション パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった 更に前段の重みをバックプロパゲーションを⽤いて学習する バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝 える 13 1. ネットワーク出⼒に誤差Eが⽣じる 2. 誤差Eを、中間層との結合の重みに
応じて分配する 3. それぞれの⼈⼯ニューロンにおいて、 分配された誤差の値を使って重みを 更新する 3層のネットワークのみでなく、ΑΓଟͷ ニューラルネットの学習が可能となる / 14
まとめ • ⼈⼯ニューロン • ニューラルネット • ニューラルネットの種類 • パーセプトロン •
バックプロパゲーション 14 / 14