Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
畳み込みニューラルネットワーク
Search
youichiro
March 29, 2017
Technology
600
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
畳み込みニューラルネットワーク
長岡技術科学大学
自然言語処理研究室
B3ゼミ発表(第9回)
youichiro
March 29, 2017
Transcript
25 slides
畳み込みニューラルネットワーク 平成29年3月30日 長岡技術科学大学 自然言語処理研究室 小川耀一朗
発表内容 l 畳み込みニューラルネットワーク (Convolutional Neural Networks : CNN) l 畳み込みとは
l ニューラルネットの構造 l プーリング層 l 自然言語処理への応用 2/24
畳み込みニューラルネットワーク ある図形が◦か×かを判定する問題 通常のニューラルネットでは… 画像の1ピクセルを1つの入力とする 10×10の画像 → 100ベクトル 3/24
畳み込みニューラルネットワーク これでは、少し位置がずれていたりすると判定に大 きな影響が出る ある程度の大きさの領域をまとめて入力 → 「右上から左下にかけて黒」という傾向を捉える 4/24
畳み込みニューラルネットワーク これでは、少し位置がずれていたりすると判定に大 きな影響が出る ある程度の大きさの領域をまとめて入力 5/24 フィルタ
畳み込みとは 画像の各要素は0が黒、1が白(一般的には0〜255) 6/24 画像 フィルタ
畳み込みとは 画像の値とフィルタの値を要素毎に掛け合わせ、そ れらの値を合計 7/24 画像 フィルタ 畳み込み(内積) 特徴量
畳み込みとは 画像の値とフィルタの値を要素毎に掛け合わせ、そ れらの値を合計 8/24 画像 フィルタ
畳み込みとは 画像の値とフィルタの値を要素毎に掛け合わせ、そ れらの値を合計 9/24 画像 フィルタ
畳み込みとは 画像の値とフィルタの値を要素毎に掛け合わせ、そ れらの値を合計 10/24 画像 フィルタ
畳み込みとは 画像の値とフィルタの値を要素毎に掛け合わせ、そ れらの値を合計 11/24 画像 フィルタ 畳み込み行列 ↑全体の畳み込み
畳み込みとは ニューラルネットのイメージ 12/24
畳み込みニューラルネットワーク フィルタによって1ピクセルだけ出力する処理 • 入力となる数値の並び(画像の一部分)がある • この数値の並びにそれぞれフィルタの値をかける • かけ算の各結果をすべて足し合わせる 13/24
畳み込みニューラルネットワーク フィルタによって1ピクセルだけ出力する処理 • 入力となる数値の並び(画像の一部分)がある • この数値の並びにそれぞれフィルタの値をかける • かけ算の各結果をすべて足し合わせる ニューラルネットの1ノードの働き •
入力となる数値の並びがある • この数値の並びにそれぞれ重みの値をかける • かけ算の各結果をすべて足し合わせる 14/24
畳み込みニューラルネットワーク フィルタによって1ピクセルだけ出力する処理 • 入力となる数値の並び(画像の一部分)がある • この数値の並びにそれぞれフィルタの値をかける • かけ算の各結果をすべて足し合わせる ニューラルネットの1ノードの働き •
入力となる数値の並びがある • この数値の並びにそれぞれ重みの値をかける • かけ算の各結果をすべて足し合わせる 15/24 フィルタの値を学習によって更新していく
構造 16/24
構造 畳み込み層 1層で複数のフィルタを持っている フィルタの数だけ畳み込み行列が生成 配列の各値には活性化関数をそれぞれ適用 17/24
構造 プーリング層 畳み込み行列の縮小を行い、有効な値だけ残す 18/24
プーリング層 最大プーリング(Max Pooling): 各領域内の最大値をとって圧縮を行う方法 19/24
プーリング層 特徴 l 出力される行列が固定サイズになる 1000個のフィルタがあってそれぞれ最大プー リングを適用 →入力画像のサイズやフィルタのサイズに関 わらず出力は1000次元 l 位置と回転に不変性を与える
ある領域について、微妙なピクセルの違いが あっても、その差異を吸収する 20/24
構造 全結合層 最後のプーリング層の出力をすべて入力 2次元配列(3次元でも可)が1次元配列になる 出力層で正解ラベルと対応させる 21/24
自然言語処理への応用 CNNの特徴 l 入力をベクトル表現(word2vecなど)された文書 にすればNLPに応用できる l 感情分析、スパム検出、カテゴリ分類などの分 類問題が得意 l 畳み込みとプーリングにより局所的な位置情報
が失われるため、品詞タグ付けや固有表現抽出な どでは難しい 22/24
自然言語処理への応用 文の分類 文を単語ベクトル列として表現し、CNNを用いて 特徴抽出・分類 Convolutional Neural Networks for Sentence Classification(2014/08)
23/24
自然言語処理への応用 言語モデル 言語モデルのタスクでLSTM同等以上の精度を 出した 計算効率がLSTMより20倍程度改善された Language Modeling with Gated Convolutional
Networks(2016/12) →自然言語処理の問題に対してもCNNが適用され 始め、高い精度を出している 24/24
発表した内容 l 畳み込みニューラルネットワーク l 畳み込みとは l ニューラルネットの構造 l プーリング層 l
自然言語処理への応用 参考文献 u自然言語処理における畳み込みニューラルネットワークを理解する (http://tkengo.github.io/blog/2016/03/11/understanding-convolutional- neural-networks-for-nlp/) uConvolutional Neural Networkとは何なのか (http://qiita.com/icoxfog417/items/5fd55fad152231d706c2) u高卒でもわかる機械学習 (7) 畳み込みニューラルネット その1 (http://hokuts.com/2016/12/13/cnn1/) u自然言語処理における畳み込みニューラルネットワークを用いたモデ ル (http://qiita.com/Hironsan/items/63d255fd038acbcdf95b) 25/24
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.7k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
170
Multi-Agent Dual Learning
youichiro
1
210
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
170
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
180
勉強勉強会
youichiro
0
120
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
230
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
220
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
250
Other Decks in Technology
See All in Technology
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
2
190
Shared Signals Framework 仕様解説
oidfj
0
460
仕様と現実の間で落とし所を探るリモートMCPの認証・認可 — Sansanの認証基盤における課題と実践
sansantech
PRO
2
340
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
15
26k
人の努力に頼らないセキュリティをエンジニアリングする在り方 / An approach to engineering security that does not rely on human effort
carta_engineering
0
170
2026-11-11 Tamachi.sre#7 PaCにインフラリソースの命を救われました。 / PaC saves the infra resource life
masasuzu
1
200
変更差分を読むために環境を整備しよう
pipepasta
1
430
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
2
220
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
140
会社説明資料_最新版
demaecan
0
32k
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
110
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
250
Featured
See All Featured
Ethics towards AI in product and experience design
skipperchong
2
460
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
900
Build your cross-platform service in a week with App Engine
jlugia
234
19k
From π to Pie charts
rasagy
1
450
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
320
Six Lessons from altMBA
skipperchong
29
4.6k
Context Engineering - Making Every Token Count
addyosmani
9
1.3k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
60k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.2k
The untapped power of vector embeddings
frankvandijk
2
2k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
Ten Tips & Tricks for a 🌱 transition
stuffmc
1
280