Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ニューラルネット
Search
youichiro
February 09, 2017
Technology
0
190
ニューラルネット
長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第3回)
youichiro
February 09, 2017
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.5k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
91
Multi-Agent Dual Learning
youichiro
1
170
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
120
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
130
勉強勉強会
youichiro
0
86
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
190
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
160
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
200
Other Decks in Technology
See All in Technology
一体いつからSRE NEXTがSREだけのカンファレンスだと錯覚していた? / When did you ever get the idea that SRE NEXT was a conference just for SREs?
vtryo
1
140
PO初心者が考えた ”POらしさ”
nb_rady
0
190
品質と速度の両立:生成AI時代の品質保証アプローチ
odasho
1
190
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
120
Geminiとv0による高速プロトタイピング
shinya337
0
230
本が全く読めなかった過去の自分へ
genshun9
0
750
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
0
200
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
490
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
160
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
150
なぜ私はいま、ここにいるのか? #もがく中堅デザイナー #プロダクトデザイナー
bengo4com
0
1.3k
生成AI時代 文字コードを学ぶ意義を見出せるか?
hrsued
1
780
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
246
12k
Practical Orchestrator
shlominoach
188
11k
Designing for Performance
lara
610
69k
Unsuck your backbone
ammeep
671
58k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Faster Mobile Websites
deanohume
307
31k
It's Worth the Effort
3n
185
28k
Automating Front-end Workflow
addyosmani
1370
200k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Transcript
χϡʔϥϧωοτ 平成29年2⽉9⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
⽬次 • ਓχϡʔϩϯ • χϡʔϥϧωοτ • χϡʔϥϧωοτͷछྨ • ύʔηϓτϩϯ •
όοΫϓϩύήʔγϣϯ 1 / 14
⼈⼯ニューロンのモデル ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞 内で処理を施したうえで、信号出⼒を他の神経細胞に送る ਓχϡʔϩϯとは、このような働きを単純化して数学的に模擬し た計算素⼦のこと 2 ⼈⼯ニューロンの構成 複数の⼊⼒信号を受け取り、 適当な計算を施したうえで 出⼒信号を出⼒する
/ 14
⼈⼯ニューロンのモデル 3 " ~$ : ⼊⼒信号 " ~$ : 重み
: しきい値 : 出⼒信号 • ⼊⼒信号ごとにあらかじめ決められた定数$ を掛け合わせる この定数$ をॏΈと呼ぶ • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠ と呼ばれる定数で減算する • その結果をとすると、 をୡؔ()で処理し結果を、⼈⼯ ニューロンの出⼒とする = - . . − . = () / 14
⼈⼯ニューロンのモデル 伝達関数には様々な関数を⽤いることができる εςοϓؔやγάϞΠυؔなどがよく⽤いられる 4 ステップ関数 シグモイド関数 シグモイド関数: = " "1234
/ 14
⼈⼯ニューロンの挙動 5 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値
= 1.5 " 5 0 0 -1.5 0 0 1 -0.5 0 1 0 -0.5 0 1 1 0.5 1 ANDཧԋࢉࢠ / 14
⼈⼯ニューロンの挙動 6 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値
= . " 5 0 0 -0.5 0 0 1 0.5 1 1 0 0.5 1 1 1 1.5 1 ORཧԋࢉࢠ / 14
⼈⼯ニューロンの挙動 7 ⼈⼯ニューロンの例 ೖྗ͕1ͭ 重み w = − しきい値 =
−. 0 0.5 1 1 -0.5 0 NOTཧԋࢉࢠ / 14 ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能 ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化 → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし きい値を学習させれば良い
ニューラルネット • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ という • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が 伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ Ϋと呼ぶ 8 フィードフォワード型ネットワーク
/ 14
ニューラルネットの種類 フィードフォワード型ネットワークは様々な形式に拡張可能 9 2⼊⼒3階層フィードフォワード型ネットワーク このように、⼈⼯ニューロンを増やしたり、階層を増やした りすることでネットワークの規模を拡⼤することが可能 / 14
ニューラルネットの種類 他にも ⼤規模で多層からなる構造 層間が全結合ではなく、特定の部分のみ接続される構造 10 ਂֶश また ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造 ϦΧϨϯτωοτϫʔΫ /
14
パーセプトロン 11 ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦ 中間層の重みとしきい値は、ランダムに初期化した定数 出⼒層の重みとしきい値は学習によって変更が可能 / 14
パーセプトロンの学習 12 誤差 = 教師データ? − 出⼒ パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計 算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと しきい値を調節する
しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す る学習ができない場合がある / 14
バックプロパゲーション パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった 更に前段の重みをバックプロパゲーションを⽤いて学習する バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝 える 13 1. ネットワーク出⼒に誤差Eが⽣じる 2. 誤差Eを、中間層との結合の重みに
応じて分配する 3. それぞれの⼈⼯ニューロンにおいて、 分配された誤差の値を使って重みを 更新する 3層のネットワークのみでなく、ΑΓଟͷ ニューラルネットの学習が可能となる / 14
まとめ • ⼈⼯ニューロン • ニューラルネット • ニューラルネットの種類 • パーセプトロン •
バックプロパゲーション 14 / 14