Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeurIPS 2021 論文読み会: How Modular should Neural M...
Search
Atsushi Takayama
January 25, 2022
Technology
0
180
NeurIPS 2021 論文読み会: How Modular should Neural Module Networks Be for Systematic Generalization?
Atsushi Takayama
January 25, 2022
Tweet
Share
More Decks by Atsushi Takayama
See All by Atsushi Takayama
最高の開発者体験の追求が開発生産性を改善し続ける文化を生み出した話
edvakf
3
1.4k
8年物のJavaのシステムをKotlinに変えていく選択に至るまで
edvakf
2
1.1k
ピクシブ社内のImageFlux利用事例紹介
edvakf
2
2.9k
学びの文化を育む社内読書会のススメ
edvakf
0
290
フルCDNアーキテクチャでサービス設計した話
edvakf
5
4k
Goでバイナリを読む+α
edvakf
1
960
お前はこれまでに作ったAPIの数を覚えているのか?
edvakf
0
2.6k
「ふつうのRailsアプリケーション」についての考え方
edvakf
2
880
ggplot.galleryというお遊びウェブアプリケーションを作った話
edvakf
0
410
Other Decks in Technology
See All in Technology
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
710
AIエージェント入門 〜基礎からMCP・A2Aまで〜
shukob
0
130
「魔法少女まどか☆マギカ Magia Exedra」の多様なバトルの開発を柔軟かつ効率的に実現するためのPure C#とUnityの分離について
gree_tech
PRO
0
230
Railsの話をしよう
yahonda
0
170
OAuthからOIDCへ ― 認可の仕組みが認証に拡張されるまで
yamatai1212
0
150
今この時代に技術とどう向き合うべきか
gree_tech
PRO
2
2.1k
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
14k
物体検出モデルでシイタケの収穫時期を自動判定してみた。 #devio2025
lamaglama39
0
260
ハノーファーメッセ2025で見た生成AI活用ユースケース.pdf
hamadakoji
0
300
OpenTelemetry が拡げる Gemini CLI の可観測性
phaya72
2
1k
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
8.9k
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
300
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
RailsConf 2023
tenderlove
30
1.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Raft: Consensus for Rubyists
vanstee
140
7.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Context Engineering - Making Every Token Count
addyosmani
7
280
A designer walks into a library…
pauljervisheath
209
24k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
54k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Transcript
How Modular should Neural Module Networks Be for Systematic Generalization?
高山温 @ NewsPicks (Uzabase group) NeurIPS 2021 論文読み会 2022/01/25
自己紹介 • Atsushi Takayama / 高山温 • 2020年からNewsPicksでCTOをしていまし たが、今年からFellowしてます ◦
データ基盤、データ分析、レコメンドエンジン、検 索エンジンなどのチームを率いています • 大学中退 → 大学院中退 → 大学院生(イマココ) ◦ 元々物理をやっていましたが、今はコンピュータサ イエンスを勉強中 • 宣伝: ユーザベースはエンジニアの多様な キャリアと多様な成長を応援する会社です
Table of Contents • VQAとは • この研究の位置付け • 研究内容 •
結果 • 所感
VQA (Visual Question Answering) • since 2015 ◦ 画像を与えられて質問に答える問題 •
2021年に人間並みの精度になった ◦ Microsoft, Alibabaなど ▪ pre-trained attention-based models 人間 95.49 80.84 67.89 80.78
この研究の位置付け 1 • SOTAとは別方向で、「少ない例で学習して、 どれだけ類似の質問に答えられるか」という 問題設定がある • 右のような例で、人間なら少し学習しただけ で類似の質問にも答えられる ◦
Systematic Generalizationという
この研究の位置付け 2 NMN: Neural Modular Networks 質問文をパースしてネットワークを構築 →少し学習しただけでそこそこ強い FiLM: End-to-Endで微分可能なネットワーク
→大量に学習しないと強くない
この研究の位置付け 3 • NMNを詳しく研究したら何かおもしろいことがわかるのでは? ◦ 例えば、End-to-Endのモデルで「質問文の構造」を学習するような機構を取り入れられな いか、とか ◦ VQAだけでなく画像認識でも Systematic
Generalizationを上げるにはどうすればいい か、とか
• 下のような画像と質問1〜3があるとする ◦ 1と2は色に関する質問、 3は文字に関する質問 • 論文のタイトル “How Modular Should
Neural Networks Be” は次 のようなイメージ ◦ 左: 全部の質問に対応できるネットワークを学習する (最もModularityが低い) ◦ 中央: 色とカテゴリーというグループごとにネットワークを学習する ◦ 右: 各質問ごとに別々のネットワークを学習する (最もModularityが高い) 研究内容 1
研究内容 2 • 少し複雑な質問でも、同様にsub-taskに分解して、Modularityが高い ネットワークから低いネットワークまでのパターンを作る
結果 1 • グラフ(a)〜(d) ◦ 質問の種類 • 横軸 ◦ 全体の何割のデータで学
習したか • 縦軸 ◦ 学習に登場しなかった類 似の質問の正答率 • 4色のバー ◦ 右に行くにつれて Modularityが高い
結果 2 • 他にも色んなデータセットで検証 • やっぱりModularityは効く (結果は割愛)
所感 • ここまで書いていて、富士通さんのテックブ ログに解説が載ってるのに気づきました • 実はまったく知らない分野でしたが、締め切 り駆動で10本ぐらい読んでみると多くのこと が学べました。誘っていただき感謝 https://blog.fltech.dev/entry/2021/12/09/neurips2021-ja