Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
B3ゼミ_03_28_マルチモーダル学習_.pdf
Search
Ayumu
March 28, 2019
Technology
0
150
B3ゼミ_03_28_マルチモーダル学習_.pdf
2019/03/28
長岡技術科学大学 自然言語処理研究室
学部4年 守谷 歩
Ayumu
March 28, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
マルチモーダル学習
ayumum
0
130
B3ゼミ 自然言語処理におけるCNN
ayumum
0
90
言語処理年次大会報告
ayumum
0
79
ニューラルネット4
ayumum
0
100
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
140
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
160
ニューラルネット実践
ayumum
0
110
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
170
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
Brakeman を欺く - Kashiwa.rb #4
kozy4324
1
100
RSGT Walk Through
kawaguti
PRO
2
400
地域DXにおけるGrafana活用事例
wacky
0
390
カメラ単体で物体の3次元 座標を扱う方法
kenmatsu4
0
170
外部カンファレンスで登壇しよう! 〜「強い」エンジニアへの一歩を踏み出す〜
logica0419
4
140
LeSS Yoake 2024 スポンサーセッション
riki_hiraoka
0
160
実は仲良し?Amplify Gen2と生成AI
mkdev10
0
150
プログラミング写経のすすめ
natsutan
0
170
最新のWasm事情
askua
5
2.5k
GPSデバイスを使った簡易位置案内システムの構築をしてみた話。/jawsfesta2024
kwada
0
230
多数のWebサービスをECS/Fargate構成で効率よく構築・運用するなら copilot-cli
interu
2
170
さくっと実践!Postmanを活用した高品質で持続可能なAPI管理
yokawasa
5
360
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
243
11k
Rails Girls Zürich Keynote
gr2m
93
13k
The Cost Of JavaScript in 2023
addyosmani
44
5.9k
Happy Clients
brianwarren
97
6.7k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Ruby is Unlike a Banana
tanoku
96
11k
Faster Mobile Websites
deanohume
304
30k
RailsConf 2023
tenderlove
28
860
Designing for humans not robots
tammielis
249
25k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Transcript
マルチモーダル学習 2019/03/28 長岡技術科学大学 自然言語処理研究室 学部4年 守谷 歩 概要、タスク、問題点
言語処理におけるマルチモーダル学習 ⚫複数のモダリティを含む処理を行いモデル構築 ⚫人工知能を使って言語処理をするなら今かなりの精度が出てる画 像の情報なども用いたい。 ⚫最近の研究では、対訳コーパスに画像情報を付加し機械翻訳の 精度を上げるといった面で使われている。
マルチモーダル学習のタスク ⚫唇の画像から何を話しているか推定する(Lip Reading) ⚫手話を言語情報に置き換える ⚫テキストの情報からどんな画像かを推定する ⚫人の画像情報と話している内容から感情推定する ⚫映像からリアルタイムで実況を生成する。
画像説明生成 ⚫CNNの画像のエンコーダをRNNのテキストのデコーダと接続し、 RNNの誤差を誤差伝搬法を用いてCNNまでフィードバックさせる
動画像キャプショニング ⚫CNNで動画のフレームごとに特徴量抽出し、取った特徴量を時系 列データとしてRNNへ入力
画像スタイル変換 ⚫CNNで動画のフレームごとに特徴量抽出し、取った特徴量を時系 列データとしてRNNへ入力
マルチモーダル学習の問題点 ⚫例えばリアルタイムで実況を生成するタスクの場合 ⚫モーダル間の関連性をどう定義するか ⚫変換結果をどう評価するか ⚫複数のモダリティの情報を組み合わせて予測できないか ⚫モダリティ間の知識の転移を行えないか
マルチモーダル学習の今後の展開 ⚫Vision-and-Language Navigationといった、ロボットを自然言語で目 的地に誘導するといったようなタスクなどで期待されている。 ⚫音声の特徴などを用いた生体認識などのタスクでも期待されてい る。
参考資料 ⚫東京大学、中山 英樹 「マルチモーダル深層学習の発展」 http://must.c.u-tokyo.ac.jp/sigam/sigam20/sigam20sp01.pdf ⚫DeNA、森紘一郎「マルチモーダル深層学習の研究動向」 https://www.slideshare.net/f2forest/ss-108087799 ⚫東京大学、鈴木雅大「深層生成モデルを用いたマルチモーダル学習」 https://www.slideshare.net/masa_s/ss- 62920389
⚫Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models https://arxiv.org/pdf/1411.2539.pdf ⚫Show and Tell: A Neural Image Caption Generato https://arxiv.org/pdf/1411.4555.pdf ⚫Deep Visual-Semantic Alignments for Generating Image Descriptions https://cs.stanford.edu/people/karpathy/deepimagesent/ ⚫Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks https://junyanz.github.io/CycleGAN/