Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NLP2021 WS2 AI王 〜クイズAI日本一決定戦〜 報告スライド
Search
junya-takayama
March 19, 2021
Research
0
1k
NLP2021 WS2 AI王 〜クイズAI日本一決定戦〜 報告スライド
言語処理学会第27回年次大会ワークショップ2「AI王 〜クイズAI日本一決定戦〜」
での報告資料です
junya-takayama
March 19, 2021
Tweet
Share
More Decks by junya-takayama
See All by junya-takayama
[SNLP2021] Prefix-Tuning: Optimizing Continuous Prompts for Generation
tkym1220
0
610
Other Decks in Research
See All in Research
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
1
390
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
230
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
960
IMC の細かすぎる話 2025
smly
2
690
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
240
20250725-bet-ai-day
cipepser
2
480
単施設でできる臨床研究の考え方
shuntaros
0
3k
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
740
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
280
論文紹介: ReGenesis: LLMs can Grow into Reasoning Generalists via Self-Improvement
hisaokatsumi
0
110
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
250
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
860
Featured
See All Featured
Fireside Chat
paigeccino
40
3.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Automating Front-end Workflow
addyosmani
1371
200k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Designing for humans not robots
tammielis
254
26k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Transcript
NLP2021 WS2 AIԦ ʙΫΠζAIຊҰܾఆઓʙ େൃදձ γεςϜใࠂ ͓ؾ࣋ͪղઆ 2021/03/19 େࡕେֶେֶӃใՊֶݚڀՊ ߴࢁ
൏
ࣗݾհ Ø໊લ ߴࢁ ൏ Øॴଐ େࡕେֶَ௩ݚڀࣨ % Ø5XJUUFS!ULZN Ø63-IUUQTKVOZBUBLBZBNBHJUIVCJP
ØීஈͷݚڀτϐοΫ ରγεςϜɾࣗવݴޠੜ ØࢀՃͷ͖͔͚ͬ • ࠷ۙΫΠζʹϋϚ͍ͬͯΔ͔Β • ίϯϖͱ͍͏ͷʹग़ͯΈ͔͔ͨͬͨΒ ઈࢍब׆தͰ͢ʂʂ 1
େํ • ϦʔμʔϘʔυΛҙਂ͘؍ͨ݁͠ՌͳΜ͔օͦ͏ͯͨ͠ͷͰ #&35ͱγϯϓϧͳ *3ख๏ͷΞϯαϯϒϧΛ࠾༻ ʢ·͋ײతʹදϕʔεͰdׂղ͚ͦ͏ͳײ͕͢͡Δʣ • ܭࢉࢿݯతʹ #&35ຊདྷͷઃఆతʹೖྗΛ/τʔΫϯʹ͑Δඞཁ͋Γ •
ઌ಄/τʔΫϯͱ͔Ͱͬͯɼղʹඞཁͳ͕ࣝͪΌΜͱೖΔͷ͔ʁ ʢആ༏ͷهࣄͱ͔ɼग़ԋ࡞ΘΓͱޙΖͷํʹॻ͍ͯ͋ΔΑͶʣ • ඞཁͳؚ͕ࣝ·ΕΔΑ͏ʹͪΐͬͱݡ͍ΓํΛ͍ͨ͠ 2
ઌ಄/τʔΫϯͰ͑ΒΕͳͦ͞͏ͳྫ ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱ ͳͲͷөըͰ͓ͳ͡Έͷຊͷആ༏ͱ͍͑୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄɿลݠ ˠ ΫΤϦʹԠͯ͡͏·͘هࣄຊจΛཁ͍ͨ͠ʜʜ 3 ʮଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍʯʹؔ͢Δॳग़ ʮϥεταϜϥΠʯॳग़ ઌ಄τʔΫϯʢ͍͍ͩͨʣ
ˣ·ͩ·ͩଓ͘
#&35ϕʔεछͱ *3ϕʔεछͷΞϯαϯϒϧʢॏΈ͖ͭฏۉʣ ೖྗσʔλʢڞ௨ʣ γεςϜશମ૾ 4 BERT for ཁ BERT for
લ IR (TF-IDF) *3 $IBSOHSBN จ ީิهࣄू߹ ཁث ॏ Έ ͭ ͖ ฏ ۉ ༧ଌهࣄ BSHNBY
ཁث ϞνϕʔγϣϯจதͷϑϨʔζΛଟؚ͘ΉΑ͏ʹهࣄΛཁ͍ͨ͠ ˠީิهࣄ ! ͷຊจத͔Βɼจ " தͷ୯ޠΛଟ͘ඃ෴͢ΔΑ͏ʹ จΛෳநग़͠ɼ૯୯ޠ # ҎԼͷཁจॻ
̃ ! Λ࡞͢Δ తؔɿ% = '( ∩ ' ̃ * '( ʢͨͩ͠ '( จதͷ୯ޠू߹ɼ' ̃ * ཁจॻதͷ୯ޠू߹ʣ % ྼϞδϡϥੑΛ࣋ͭͨΊɼ্࣮ % ͕࠷େ͖͘ͳΔจΛஞ࣍తʹ ̃ ! ʹՃ͍͑ͯ͘ΞϓϩʔνΛͱΔʢᩦཉ๏ʣ 5
ཁثͷग़ྗྫ จ ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱͳͲ ͷөըͰ͓ͳ͡Έͷຊͷആ༏ͱ͍͑୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄʢลݠʣݪจลݠʢΘͨͳ͚Μɺ݄ʣɺຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝڕপ܊ਆଜʢݱɿڕপࢢʣग़ɻԋܶूஂԁΛܦ͔ͯΒέΠμογϡॴଐɻੈք֤ࠃʹ͓͍ͯөըΛத ৺ʹςϨϏυϥϚɺɺςϨϏίϚʔγϟϧͱ෯͘׆༂͍ͯ͠ΔຊΛද͢Δആ༏ͷҰਓɻDNɺମॏ LHɻͷล྄ҰըՈͱͯ͠׆ಈ͍ͯ͠Δɻ৽ׁݝڕপ܊ਆଜʹͯڞʹڭࢣΛ͍ͯͨ྆͠ͷݩʹੜ·ΕΔɻ ྆ͷసۈͰ༮গظΛೖଜɺकଜʢͱʹڕপࢢʣɺߴాࢢʢ্ӽࢢʣͰա͢͝ɻʜʜʢதུʣʜʜҰ༂શࠃతͳ ਓؾΛ֫ಘɺελʔμϜʹͷ্͕͠Δɻ·ͨɺͦͷࠒ͔ΒՎखͱͯ͠ࠒ·Ͱ׆ಈ͍ͯͨ͠ɻҎ߱ɺɾςϨ
ϏυϥϚͳͲͰ࣍ʑͱେΛԋ͡ɺલ్༸ʑʹݟ͑ͨɺөըॳओԋͱͳΔͣͰ͋ͬͨʰఱͱʢ୯ޠʣ ਖ਼ղهࣄʢลݠʣཁ ลݠʢΘͨͳ͚Μɺ݄ʣɺຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝڕপ܊ਆଜʢݱɿڕপࢢʣग़ɻຊࠃ֎өըॳग़ԋͱͳͬͨΞϝϦΧөըʰϥεταϜϥΠʱ ʢެ։ʣͰɺลಉͷୈճΞΧσϛʔॿԋஉ༏ͳΒͼʹୈճΰʔϧσϯάϩʔϒॿԋஉ༏ɺ ୈճαλʔϯॿԋஉ༏ʹϊϛωʔτ͞ΕΔߴ͍ධՁΛಘΔɻ·ͨɺөըެ։ͱಉ࣌͡ظʹൃදͨࣗ͠Βͷஶॻ ʰ୭ 8)0".* ʱͰɺ͔ͭͯന݂පͷ࣏ྍதසൟʹड͚ͨ༌݂ʢओʹ݂খ൘༌݂ʣ͕ݪҼͰ$ܕ؊ԌΠϧεʹײછ͠ɺ ʰ໌ͷهԱʱͷࡱӨͦͷ࣏ྍͷ෭࡞༻ʹ·͞Εͳ͕Βߦ͍ͯͨ͜͠ͱΛࠂനɻ࣌Λಉͯ͘͡͠ςϨϏ౦ژͷαε ϖϯευϥϚͷڞԋΛػʹΓ߹ͬͨঁ༏ͷೆՌาͱຊ֨తʹަࡍΛ։࢝͠ɺಉ݄ʹ࠶ࠗɻͳ͓ɺଉࢠͷେ ͱؒతʹͰ͋Δ͕ڞԋྺ͋Δ͕ɺ່ͷҍͱऀۀҎ֎Ͱڞԋͨ͜͠ͱͳ͍ɻ 6
#&35ϕʔεྨث ͋Δબࢶ͕ਖ਼ղ͔Ͳ͏͔ఆ͢Δࡍʹଞͷબࢶߟྀ͍ͤͨ͞ ˠ #&35 4FMG"UUFOUJPO-BZFSͷ֊ܕΞʔΩςΫνϟΛ࠾༻ 7 ࠷ऴ <$-4> ࠷ऴ .BY1PPMJOH
<$-4>จ<4&1>هࣄ<4&1> <$-4>จ<4&1>هࣄ<4&1> ʜ ʜ BERT BERT BERT Self Attention Layer Softmax Linear Linear Linear
*3Ϟσϧ <5'*%'ϕʔε> • จͷ 5'*%'ϕΫτϧͱީิهࣄͷ 5'*%'ϕΫτϧͷ DPTྨࣅ͕ߴ͍هࣄΛਖ਼ղީิͱ͢ΔγϯϓϧͳϞσϧ • ͨͩ͠ *%'ʢίʔύεશମͰͳ͘ʣ֤͝ͱʹ
ͦͷͷީิهࣄશମʢ݅ʣ͔Βܭࢉ <ཧ༝>ީิهࣄू߹ͦͦʢ8JLJQFEJB7FDతʹʣྨࣅ͓ͯ͠Γɼ ίʔύεશମ͔Βܭࢉͨ͠ *%'Λ༻͍Δͱ 5'*%'ϕΫτϧ͕௵Εͦ͏ ʢͳؾ͕͢Δʂʂʣʢະݕূʣ <$IBSBDUFS/HSBNϕʔε> • จͷ /HSBNू߹ͱީิهࣄͷ /HSBNू߹ͷ 4JNQTPO • ୯ޠΑΓจࣈ /HSBNͷํ͕ "DDVSBDZ͕͘Β͍ߴ͔ͬͨ 8
ͦͷଞࡉʑͱͨ͠ʢCVUΫϦςΟΧϧͳʣલॲཧ • <*3 $IBS >ίʔύεதͷස্Ґޠͷ͏ͪʮετοϓϫʔυͳʔʯͱ ࢥͬͨͷΛετοϓϫʔυϦετʹՃɽείΞܭࢉ࣌ʹআ֎ • <*3 ྆ํ >ΤϯςΟςΟ໊͕จதʹؚ·Ε͍ͯͨΒਖ਼ղީิ͔Βআ
ʢʮIPHF GVHB ͱ͋ͱԿͰ͠ΐ͏ʁʯͰ IPHF GVHB ͕બΕ͕ͪ ͩͬͨͨΊʣ • <ཁث>ετοϓϫʔυతؔ ! ͷܭࢉ࣌ʹߟྀ͠ͳ͍ • <ཁث>ɻͰจׂ͢Δ͕ɼ͗͢Δ߹ʢʣ૭෯Λ ୯ޠ ͱͯ͠ɼ૭Λٖࣅతͳจͱ͢Δ • <ཁث>લจ࠷ॳ͔ΒཁจʹՃ 9
%FWͰͷ࣮ݧ݁Ռ <ओཁͳ࣮ݧઃఆ> • #&35Ϟσϧͷ࠷େτʔΫϯɿʢϞσϧڞ௨ʣ • #&35ࣄલֶशࡁΈϞσϧɿcl-tohoku/bert-base-japanese-whole-word-masking • *3 $IBSBDUFS/HSBN ͷ
A/A • ܇࿅σʔλɿ5SBJOͷΈɽΞϯαϯϒϧͷॏΈ %FWͰௐ <࣮ݧ݁Ռ> 10 Ϟσϧ "DDVSBDZ<> %FW %FW *3 5'*%' 64.72 61.79 *3 $IBSCJHSBN 72.66 69.71 *3 $IBSUSJHSBN 74.77 73.82 #&35 લτʔΫϯ 84.62 83.55 #&35 ཁ 88.94 89.67 Ξϯαϯϒϧ 92.05 91.14
ϦʔμʔϘʔυ "DDॱҐҐλΠʢ࣌ʣ Ґ ʢ࣌ʣ ʢʮ·͋ҐҎʹΔΖʯͱ͔ࢥͬͯͨͷʹʜʜʣ 11
ॴײ <ল> • ʮͰ͕͢ʯͷʮͰ͕͢ʯલ෦ͱ͔ฒྻͷྻڍ෦ͱ͔ɼ هࣄݕࡧʹ͍Βͳͦ͏ͳ෦Λؤுͬͯআڈͯ͠ΈΔ͖͔ͩͬͨ • จͱީิهࣄͷؒʹ͏ ϗοϓ͘Β͍ඞཁͦ͏ͳ͕݁ߏ͕͋ͬͨɼ ݟͯݟ͵ৼΓΛͯ͠͠·ͬͨ <ײ>
• ࠷ۙ #&35 #"35ʹͱʹ͔͘ͳΜͰಥͬࠐΉ͜ͱ͕ଟ͔ͬͨͷͰɼ ٱʑʹࣗવݴޠॲཧಓͰటष͍લॲཧΛΕָ͔ͯͬͨ͠Ͱ͢ • ίϯϖָ͍͠Ͱ͢Ͷɽ,BHHMFͱ͔ͬͯΈΑ͏ͱࢥ͍·ͨ͠ ओ࠵ऀͷօ༷ɼָ͍͠ίϯϖΛاըͯͩ͘͠͞Γ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂʂ ઈࢍब׆தͰ͢ʂʂ 12