Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
金研究室 勉強会 『Attention is all you need』
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
winnie279
August 12, 2021
Science
190
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
金研究室 勉強会 『Attention is all you need』
Attention is all you need, Ashish et al., 2017, arXiv:1706.03762
winnie279
August 12, 2021
Transcript
11 slides
Attention Is All You Need Ashish et al., 2017, arXiv:1706.03762
金研 機械学習勉強会 2021/08/12 中村勇士
Transformerとは? • RNNの問題点 ◦ 長い入力が苦手 ◦ 勾配消失問題が起こりやすい ◦ 並列化が困難 →
GPUによる学習の効率化・大量のデータによる学習が困難 • Transformerによる解決 ◦ 再帰や畳み込みを使用しない ◦ 大規模なモデル・データを使用可能 ◦ 精度の大幅な向上
EQTransformerとの関係 • Transformerをそのまま使用していない ◦ attentionをレイヤーと使用 • 疑問 ◦ Transformerの強み: 再帰や畳み込みをしないこと
◦ LSTM・Convを使って良いのか?
モデル • エンコーダ・デコーダ • Attention • フィード・フォワード・ネットワーク(FFW) • 埋め込み •
ポジショナル・エンコーディング
モデル:エンコーダ・デコーダ
• エンコーダ(左) ◦ input ◦ N = 6 • デコーダ(右)
◦ output ◦ N = 6 モデル:エンコーダ・デコーダ input からの 出力
モデル:埋め込み / ポジショナル・エンコーディング • 埋め込み:単語のベクトル化 ◦ • ポジショナル・エンコーディング ◦ 構造のベクトル化
◦ 再帰や畳み込みの必要がなくなる ◦ モデルの学習が容易になる pos: 単語の順番, i: 次元, d model : 全体の次元数
モデル:Attention • 単語間の相関を表す ◦ どの単語がどの単語に 着目してるか • Q:query • K:key
• V:value • d k :dimention
Transformerの活用 • 自然言語処理(NLP) ◦ BERT ◦ GPT-3 ◦ DALL・E(テキストから画像生成) •
その他 ◦ 地震学:EQTransformer(地震動検出・フェーズピック) ◦ 生物学:AlphaFold2(タンパク質の構造予測) ◦ 音楽:Music Transformer(作曲)
おまけ • Transformer解説:GPT-3、BERT、T5の背後にあるモデルを理解する ◦ AINOW ◦ https://ainow.ai/2021/06/25/256107 • The Illustrated
Transformer ◦ Jay Alammar ◦ http://jalammar.github.io/illustrated-transformer • Embedding Projector ◦ http://projector.tensorflow.org/
モデル:フィード・フォワード・ネットワーク(FFW) • FFW ◦ 2つの線形変換 ◦ ReLU • 学習 ◦
英独:450万の文, 37,000のトークン ◦ 英仏:
More Decks by winnie279
See All by winnie279
NowWay:訪⽇外国⼈旅⾏者向けの災害⽀援サービス
yjn279
0
48
「みえるーむ」(都知事杯Open Data Hackathon 2024 Final Stage)
yjn279
0
120
「みえるーむ」(都知事杯オープンデータ・ハッカソン 2024)
yjn279
0
100
5分で学ぶOpenAI APIハンズオン
yjn279
0
270
『確率思考の戦略論』
yjn279
0
170
Amazonまでのレコメンド入門
yjn279
1
210
もう一度理解するTransformer(後編)
yjn279
0
100
金研究室 勉強会 『もう一度理解する Transformer(前編)』
yjn279
0
160
金研究室 勉強会 『U-Netとそのバリエーションについて』
yjn279
0
1.2k
Other Decks in Science
See All in Science
医療 LLM ベンチマークの現在地:多面的評価 と日本ローカライズ
analokmaus
1
800
暗号解読における量子計算の展望
neutron63zf
0
500
データベース12: 正規化(2/2) - データ従属性に基づく正規化
trycycle
PRO
0
1.9k
チュートリアル:世界モデル
hf149
0
2.6k
CAD / B-rep の ML 解析と DreamCAD — ECCV 2026 読み会
daigo0927
0
380
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
tomoaki0705
0
180
ssmonline #51 ヤマサキ春のサメ祭り 2026 / ssmjp Yamasaki Spring JAWS Festival 2026
naospon
1
180
機械学習 - SVM
trycycle
PRO
2
1.3k
[Webinaire presse] Sécheresse 2026 : quelles conséquences techniques en élevage de ruminants et quels leviers d'action ?
institutdelelevage
PRO
0
390
データベース09: 実体関連モデル上の一貫性制約
trycycle
PRO
0
1.9k
データベース10: 拡張実体関連モデル
trycycle
PRO
0
1.6k
白金鉱業Meetup Vol.25 【初学者向け発表枠】「で、この施策って効いてるの」に答える効果検証の基礎 ~ATE / ATT / CATE / LATEを現場の問いに翻訳する~
brainpadpr
1
460
Featured
See All Featured
Become a Pro
speakerdeck
PRO
31
6.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
380
ラッコキーワード サービス紹介資料
rakko
5
5.9M
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
Prompt Engineering for Job Search
mfonobong
0
590
Highjacked: Video Game Concept Design
rkendrick25
PRO
2
580
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
1
570
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k
New Earth Scene 8
popppiees
5
2.8k
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
Scaling GitHub
holman
464
140k