Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Baseline Needs More Love: On Simple Word-Embedd...
Search
katsutan
April 08, 2019
Technology
0
230
Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms
文献紹介
長岡技術科学大学
勝田 哲弘
katsutan
April 08, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
220
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
200
Simple task-specific bilingual word embeddings
katsutan
0
210
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
250
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
200
Improving Word Embeddings Using Kernel PCA
katsutan
0
220
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
310
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
260
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
290
Other Decks in Technology
See All in Technology
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
200
Adminaで実現するISMS/SOC2運用の効率化 〜 アカウント管理編 〜
shonansurvivors
4
460
WEBサービスを成り立たせるAWSサービス
takano0131
1
180
20251014_Pythonを実務で徹底的に使いこなした話
ippei0923
0
210
Claude Code Subagents 再入門 ~cc-sddの実装で学んだこと~
gotalab555
10
16k
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
4.9k
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
930
Geospatialの世界最前線を探る [2025年版]
dayjournal
1
230
AgentCon Accra: Ctrl + Alt + Assist: AI Agents Edition
bethany
0
110
Codexとも仲良く。CodeRabbit CLIの紹介
moongift
PRO
1
240
プレーリーカードを活用しよう❗❗デジタル名刺交換からはじまるイベント会場交流のススメ
tsukaman
0
180
BI ツールはもういらない?Amazon RedShift & MCP Server で試みる新しいデータ分析アプローチ
cdataj
0
180
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Side Projects
sachag
455
43k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
The Language of Interfaces
destraynor
162
25k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Transcript
Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated
Pooling Mechanisms Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 440–450 Melbourne, Australia, July 15 - 20, 2018. 文献紹介: 長岡技術科学大学 勝田 哲弘
Abstract • Simple Word-Embedding-based Models (SWEMs)と word-embedding-based RNN/CNN modelsの比較 ◦
SWEMsが多くの場合で同等、優れた精度を示す • Parameter freeのpoolingを活用するモデル ◦ hierarchical pooling ◦ parameter数が少なく済む 2
Introduction • Word embeddingは各単語を固定長のベクトルとして表現し、可変長テキ ストのモデル化によく利用されている ◦ 加算などの簡易的なものからRNN、CNNなど • RNN、CNNはパラメータが多く、計算コストが高い •
SWEMは語順情報が明示的でない、計算コストは低い • 計算コストと表現力はトレードオフ 3
Introduction • 単語分散表現で実行される単純なpooling処理が自然言語処理にいつ、 なぜ有効なのかを調査する • 3つの異なるタスク(17のデータセット)で評価 4
Simple Word-Embedding Model (SWEM) パラメータを持たないモデル • Average-Pooling(一番単純なモデル) • Max Pooling(CNNでのmax-over-time
pooling に近い) • Hierarchical Pooling ◦ ウィンドウ幅nでavg-poolingを行い、その上にmax-pooling 5
Parameters & Computation Comparison 6
Experiments • タスク: ◦ 文書分類(トピック分類、感情分類、オントロジー分類 ) ◦ テキストマッチング ◦ 文分類
◦ 17データセット • モデル ◦ GloVe ◦ MLP ◦ Adam 7
Document Categorization 8
Interpreting model predictions 殆どの値が0付近に集中する タスクがテキスト中のあるキーワードに依 存していることを示唆 各次元ごとに選択された単語は関連性や 共通のトピックに対応する 9
Interpreting model predictions 10
Importance of word-order information 11
Text Sequence Matching 12
Short Sentence Processing 13
Extension to other languages • Sogou news corpus(a Chinese dataset
represented by Pinyin) ◦ SWEM-concat accuracy : 91.3% ◦ SWEM-hier (window size of 5) accuracy : 96.2% ◦ CNN (95.6%) and LSTM (95.2%) • より語順に敏感な中国語においても最高精度に匹敵する 14
Conclusions 17のデータセットでSWEM、CNN、LSTMのモデル間の比較を行った • 単純なプーリングは長い文書の表現に効果的、短い文にはCNN/LSTMが 最適 • 感情分類はトピック分類よりも語順に敏感である、hierarchical poolingは CNN/LSTMと同等の結果が得られる •
NLI、QAでは単純なpoolingが優れた精度を出す • SWEM Max Poolingでは、分散表現の各次元にトピックと対応付けられる ような意味的パターンが見られた 15