Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Attention is not not Explanation
Search
Taichi Aida
August 28, 2019
Technology
0
220
文献紹介:Attention is not not Explanation
Taichi Aida
August 28, 2019
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
120
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
250
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
150
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
300
新入生向けチュートリアル:文献のサーベイv2
a1da4
13
9.4k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
150
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
210
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
76
新入生向けチュートリアル:文献のサーベイ
a1da4
0
430
Other Decks in Technology
See All in Technology
AI エージェント開発を支える MaaS としての Azure AI Foundry
ryohtaka
6
630
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
200
速くて安いWebサイトを作る
nishiharatsubasa
14
15k
白金鉱業Meetup Vol.17_あるデータサイエンティストのデータマネジメントとの向き合い方
brainpadpr
7
900
The Future of SEO: The Impact of AI on Search
badams
0
240
AIエージェント元年
shukob
0
120
ローカルLLMを活用したコード生成と、ローコード開発ツールへの応用
kazuhitoyokoi
0
130
一度 Expo の採用を断念したけど、 再度 Expo の導入を検討している話
ichiki1023
1
230
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
500
偏光画像処理ライブラリを作った話
elerac
1
120
CDKのコードを書く環境を作りました with Amazon Q
nobuhitomorioka
1
110
エンジニアの育成を支える爆速フィードバック文化
sansantech
PRO
3
1.1k
Featured
See All Featured
GraphQLとの向き合い方2022年版
quramy
44
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Practical Orchestrator
shlominoach
186
10k
Into the Great Unknown - MozCon
thekraken
35
1.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Transcript
จݙհʢʣ Attention is not not Explanation Sarah Wiegreffe, Yuval Pinter
EMNLP2019 Ԭٕज़Պֶେֶ ࣗવݴޠॲཧݚڀࣨɹ ૬ాɹଠҰ
"CTUSBDU w l"UUFOUJPOJTOPU&YQMBOBUJPOzͷओு&YQMBOBUJPOͷఆٛʹґଘ w ͋ΒΏΔཁૉΛߟྀͰ͖ΔΑ͏ʹɺͭͷ࣮ݧΛఏҊ͠ɺߦͳͬͨ w ΘΓͱͳΔ͕"UUFOUJPOΑΓ͏·͘ಈ࡞͠ͳ͔ͬͨͷͰɺ "UUFOUJPOͷ༗༻ੑΛ൱ఆ͢Δ͜ͱͰ͖ͳ͍͜ͱ͕Θ͔ͬͨ !2
"UUFOUJPOJTOPU&YQMBOBUJPO w"UUFOUJPOTDPSFͱॏཁͳࢦඪʢMFBWFPOFPVU HSBEJFOUʣͱͷؒʹ૬ؔ ͕ͳ͔ͬͨ w"UUFOUJPOͷΛϥϯμϜʹม͑ͨ࣌ʹ΄΅มΘΒͳ͍݁Ռ͕ग़ͨ wࢀߟɿIUUQTTQFBLFSEFDLDPNPLBZVXFOYJBOTIBPKJF BUUFOUJPOJTOPUFYQMBOBUJPO ˠ"UUFOUJPO&YQMBOBUJPOʢઆ໌Λఏڙ͢Δͷʣ ɹͰͳ͍ʁ !3
&YQFSJNFOU ɾ+8ɿઌߦݚڀ ɾjɿྨλεΫ ɾjɿࢄΛ֬ೝ ɾjɿͷஅ ɾjɿఢରతֶश !4
&YQFSJNFOUBM4FUVQ w @ ɾl"UUFOUJPOJTOPU&YQMBOBUJPOzͱ΄΅ಉ͡ ɾϞσϧɿํ-45. "UUFOUJPO !5
%FpOJUJPOT Ҿ༻ɿIUUQTTQFBLFSEFDLDPNPLBZVXFOYJBOTIBPKJFBUUFOUJPOJTOPUFYQMBOBUJPO TMJEF ɾl"UUFOUJPOJTOPU&YQMBOBUJPOzͱಉ͡ !6
&YQFSJNFOUjྨλεΫ w "UUFOUJPOͷඞཁੑΛௐͯɺྨ λεΫͱσʔληοτͷଥੑΛ֬ೝ w "UUFOUJPO͕ඞཁͰ͋Δ߹ɺ#BTF ͱ6OJGPSNʢ"UUFOUJPOͷॏΈ͕ɹ ۉҰʣͷؒͰ݁Ռ͕ѱԽ͢Δͣ w ͭͷྨλεΫͰɺ"UUFOUJPOΛ
༻͍ͯ΄ͱΜͲվળ͠ͳ͍ w Ҏ߱ɺ͜ͷͭͷதͰ445ͷΈѻ͏ !7
&YQFSJNFOUjࢄͷ֬ೝ !8 ɾઌߦݚڀͰಘΒΕͨࢄ͕ ɹਖ਼͘͠ಘΒΕ͍ͯΔ͔֬ೝ ɾॳظԽͷϥϯμϜγʔυΛ ɹ༻ͯͭ͠ͷϞσϧͰੳ ɹʢTFFEʣ ɾఢରతͳϞσϧ ɹʢBEWFSTBSZʣ
3FTVMUjࢄͷ֬ೝ !9 ɾϥϯμϜγʔυͷมߋʹରͯ͠ ɹϩόετͰ͋Δ
&YQFSJNFOUjͷஅ w 6OJGPSNɿ.-1ग़ྗΛۉʹߟྀ w 5SBJOFE.-1ɿ.-1ʹ "UUFOUJPOΛֶशͤ͞Δ w #BTF-45.ɿγϯϓϧͳ-45. ͷ"UUFOUJPOMBZFSͰී௨ʹֶश w
"EWFSTBSZɿఢରతֶशͰಘΒΕ ͨʹجͮ͘ ͭͷॏΈͷͰ j ͱಉ༷ʹྨ λεΫΛղ͖ɺൺֱ͢Δ !10
3FTVMUjͷஅ w 6OJGPSNɿ.-1ग़ྗΛۉʹߟྀ w 5SBJOFE.-1ɿ.-1ʹ "UUFOUJPOΛֶशͤ͞Δ w #BTF-45.ɿγϯϓϧͳ-45. ͷ"UUFOUJPOMBZFSͰී௨ʹֶश w
"EWFSTBSZɿఢରతֶशͰಘΒΕ ͨʹجͮ͘ w "UUFOUJPOΛ༻͍ͨ #BTF-45.͕࠷ྑ͍ ݁Ռʹͳͬͨ !11
.FUIPEjఢରతֶश w Ҏલͷͭʢj ʣ"UUFOUJPOͷ༗ҙੑΛςετ͢Δํ๏ w "UUFOUJPOʹΑΔҎ֎Ͱɺ"UUFOUJPOͱಉͷ༧ଌ͕Ͱ͖ΔΛ ಘΔͨΊʹɺఢରతֶशΛ༻͍Δ w ֬తޯ߱Լ๏Ͱߋ৽͠ɺϞσϧ.BΛಘΔ
!12
&YQMBOBUJPO w ʮઆ໌Մೳͳ"*ʯɿಁ໌ੑɺઆ໌ՄೳੑɺղऍՄೳੑ w -JQUPO ɿಁ໌ੑΛʮϞσϧͷಛఆͷ෦͕ਓ͕ؒཧղͰ͖ΔߏʹରԠ ͢Δํ๏ʯͱఆٛ w 3VEJO
ɿઆ໌ՄೳੑʻղऍՄೳੑͱఆٛ w ʮೖྗͷಛఆͷཁૉʹߴ͍"UUFOUJPOXFJHIU͕͋ΔͱɺϞσϧ͕ͦͷ༧ଌΛ ߦ͏͜ͱʹͭͳ͕Δʁʯ w ෳͷ͔Βಉ͡༧ଌ͕ಘΒΕͨ࣌ɺಁ໌ੑͷԼͷഉଞੑʹΑΓɺ "UUFOUJPO&YQMBOBUJPOͰͳ͍ͱ͞ΕΔ !13
$PODMVTJPO w &YQMBOBUJPO͔Ͳ͏͔ఆٛʹΑΔ w ༷ʑͳֶशํ๏ͰಘͨସͱͳΔɺैདྷͷ"UUFOUJPOʹൺͯ݁ Ռ͕ѱ͔ͬͨʢjʣɻ͜ΕʹΑΓɺ"UUFOUJPO͕τʔΫϯͱ༧ଌͷؔ ʹ͍ͭͯҙٛͷ͋Δ͜ͱΛֶश͍ͯ͠Δͱ͍͏͜ͱ͕ߟ͑ΒΕΔɻ !14