Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Phrase-level Self-Attention Networks for Univer...
Search
katsutan
January 28, 2019
Technology
0
220
Phrase-level Self-Attention Networks for Universal Sentence Encoding
文献紹介
長岡技術科学大学 勝田 哲弘
http://aclweb.org/anthology/D18-1408
katsutan
January 28, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
190
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
170
Simple task-specific bilingual word embeddings
katsutan
0
190
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
220
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
170
Improving Word Embeddings Using Kernel PCA
katsutan
0
200
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
270
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
240
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
260
Other Decks in Technology
See All in Technology
一歩ずつ成長しながら進める ZOZOの基幹システムリプレイス/Growing Stap by Stap ZOZO BackOffice System Replacement
cocet33000
2
360
Platform Engineeringで クラウドの「楽しくない」を解消しよう
jacopen
5
310
MLflowはどのようにLLMOpsの課題を解決するのか
taka_aki
0
180
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
270
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
190
失敗しないAIエージェント開発:階層的タスク分解の実践
kworkdev
PRO
0
600
How to benefit from the latest Keycloak features
ahus1
0
110
「頑張る」を「楽しむ」に変換する技術
tomoyakitaura
10
1.8k
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
8
2k
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
2.1k
Amazon Bedrock 2025 年の熱いアップデート (2025/3 時点)
icoxfog417
PRO
3
480
# Azure Cosmos DB パフォーマンス最適化入門 - 設計・開発・運用の実践テクニック
shibayan
0
120
Featured
See All Featured
Facilitating Awesome Meetings
lara
53
6.3k
YesSQL, Process and Tooling at Scale
rocio
172
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Site-Speed That Sticks
csswizardry
4
420
Raft: Consensus for Rubyists
vanstee
137
6.8k
Being A Developer After 40
akosma
89
590k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
Transcript
Phrase-level Self-Attention Networks for Universal Sentence Encoding Wei Wu, Houfeng
Wang, Tianyu Liu, Shuming Ma Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 3729–3738 Brussels, Belgium, 2018. 文献紹介 長岡技術科学大学 勝田 哲弘
Abstract • Phrase-level SelfAttention Networks (PSAN)を提案 • フレーズで自己注意を行うため、メモリ消費が少ない • gated
memory updating mechanismでツリー構造を組み込 むことで階層的に単語表現を学習できる • 少ないメモリで様々なタスクでSotAを達成
Introduction 文のエンコーダにはRNNやCNNが用いられる • RNN:並列化できず、時間効率が悪い • CNN:パフォーマンスがRNNより悪い RNN/CNNを用いない Phrase-level SelfAttention Networks
(PSAN)を提案
Proposed Model ツリー構造は、階層レベルTで異なる粒度で分割することができる
Proposed Model phrase represented: word embeddings: 最初にフレーズ内の単語アライメントを計算する
Proposed Model attention mechanismの出力はフレーズ内の各単語間の加重合計 Phrase-level Self-Attentionの最終的な出力は各入力単語ベクトルをattention mechanismの出力と比較することで得られる。
Gated Memory Updatin • 先程の手法(PSA)は1つの分割レベルに対する計算 ◦ ツリー構造は様々な粒度で分割できる ◦ 階層的に学習するためにgated memory
updating mechanismを提案 各レイヤ間でパラメータを共有
Sentence Summarization 最終的に固定長の文ベクトルに要約する
Experiments word embedding:GloVe (300次元) 階層レベルT:3(固定) 学習データ:SNLIデータセット 文分類、自然言語推論、テキスト類似性を含む様々なNLPタスク でPSANを評価 構文解析:Stanford PCFG
Parser 3.5.2
Training Setting Natural language inference(NLI)によってエンコーダを学習する 学習データ:Stanford Natural Language Inference (SNLI)
dataset • 549367/9842/9824 sentence pairs
Evaluation Setting 意味論に基づいて解くことができる広範囲のタスクでモデルを評価
Overall Performance
Overall Performance
Analysis of Sentence Length 長い文に対して一貫してPSANが高い 段階的な学習が文中の長期的な依存関係の 学習に役立つ
Visualization and Case Study
Conclusion • 構文情報を用いた文のエンコーダモデルを提案 ◦ 意味的、構文的に重要な単語間の相互作用に注目 • パラメータ数を減らし、メモリ消費を20%以上削減 • 様々なタスクで有効性が示された