NLP2021 WS2 AI王 〜クイズAI日本一決定戦〜 報告スライド

言語処理学会第27回年次大会ワークショップ2「AI王 〜クイズAI日本一決定戦〜」での報告資料です

Transcript

1. NLP2021 WS2 AIԦ ʙΫΠζAI೔ຊҰܾఆઓʙ େൃදձ γεςϜใࠂ 
   ͓ؾ࣋ͪղઆ 2021/03/19 େࡕେֶେֶӃ৘ใՊֶݚڀՊ ߴࢁ ൏໼
2. ࣗݾ঺հ Ø໊લ 
   ߴࢁ ൏໼ Øॴଐ 
   ਎෼ 
   େࡕେֶَ௩ݚڀࣨ 
   % Ø5XJUUFS
   
   !ULZN Ø63-
   
   IUUQTKVOZBUBLBZBNBHJUIVCJP ØීஈͷݚڀτϐοΫ 
   ର࿩γεςϜɾࣗવݴޠੜ੒ ØࢀՃͷ͖͔͚ͬ 
   • ࠷ۙ΍΍ΫΠζʹϋϚ͍ͬͯΔ͔Β • ίϯϖͱ͍͏΋ͷʹग़ͯΈ͔͔ͨͬͨΒ ઈࢍब׆தͰ͢ʂʂ 1
3. େํ਑ • ϦʔμʔϘʔυΛ஫ҙਂ͘؍࡯ͨ݁͠ՌͳΜ͔օͦ͏ͯͨ͠ͷͰ #&35
   ͱγϯϓϧͳ *3
   ख๏ͷΞϯαϯϒϧΛ࠾༻ ʢ·͋௚ײతʹ΋ද૚ϕʔεͰdׂ͸ղ͚ͦ͏ͳײ͕͢͡Δʣ • ܭࢉࢿݯతʹ΋ #&35
   ຊདྷͷઃఆతʹ΋ೖྗΛ/τʔΫϯʹ཈͑Δඞཁ͋Γ • ઌ಄/τʔΫϯͱ͔Ͱ੾ͬͯɼղ౴ʹඞཁͳ஌͕ࣝͪΌΜͱೖΔͷ͔ʁ ʢആ༏ͷهࣄͱ͔ɼग़ԋ࡞඼͸ΘΓͱޙΖͷํʹॻ͍ͯ͋ΔΑͶʣ • ඞཁͳ஌ؚ͕ࣝ·ΕΔΑ͏ʹͪΐͬͱݡ͍੾ΓํΛ͍ͨ͠ 2
4. ઌ಄/τʔΫϯͰ͸౴͑ΒΕͳͦ͞͏ͳྫ ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱ ͳͲͷөըͰ͓ͳ͡Έͷ೔ຊͷആ༏ͱ͍͑͹୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄɿ౉ลݠ ˠ ΫΤϦʹԠͯ͡
   ͏·͘هࣄຊจΛཁ໿͍ͨ͠ʜʜ 3 ʮଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍʯʹؔ͢Δॳग़ ʮϥεταϜϥΠʯॳग़ ઌ಄τʔΫϯʢ͍͍ͩͨʣ ˣ·ͩ·ͩଓ͘
5. #&35
   ϕʔεछͱ *3
   ϕʔεछͷΞϯαϯϒϧʢॏΈ͖ͭฏۉʣ ೖྗσʔλʢڞ௨ʣ γεςϜશମ૾ 4 BERT for ཁ໿ BERT for લ൒ IR (TF-IDF) *3
   $IBS
   OHSBN ໰୊จ ީิهࣄू߹ ཁ໿ث ॏ Έ ͭ ͖ ฏ ۉ ༧ଌهࣄ BSHNBY
6. ཁ໿ث Ϟνϕʔγϣϯ
   ໰୊จதͷϑϨʔζΛଟؚ͘ΉΑ͏ʹهࣄΛཁ໿͍ͨ͠ ˠީิهࣄ ! ͷຊจத͔Βɼ໰୊จ " தͷ୯ޠΛଟ͘ඃ෴͢ΔΑ͏ʹ จΛෳ਺நग़͠ɼ૯୯ޠ਺ # ҎԼͷཁ໿จॻ ̃ ! Λ࡞੒͢Δ ໨తؔ਺ɿ% = '( ∩ ' ̃ * '( ʢͨͩ͠ '( ͸໰୊จதͷ୯ޠू߹ɼ' ̃ * ͸ཁ໿จॻதͷ୯ޠू߹ʣ % ͸ྼϞδϡϥੑΛ࣋ͭͨΊɼ࣮૷্͸ % ͕࠷΋େ͖͘ͳΔจΛஞ࣍తʹ ̃ ! ʹՃ͍͑ͯ͘ΞϓϩʔνΛͱΔʢᩦཉ๏ʣ 5
7. ཁ໿ثͷग़ྗྫ ໰୊จ 
   ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱͳͲ ͷөըͰ͓ͳ͡Έͷ೔ຊͷആ༏ͱ͍͑͹୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄʢ౉ลݠʣݪจ
   ౉ลݠʢΘͨͳ΂͚Μɺ೥݄೔ʣ͸ɺ೔ຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝ๺ڕপ܊޿ਆଜʢݱɿڕপࢢʣग़਎ɻԋܶूஂԁΛܦͯ೥͔ΒέΠμογϡॴଐɻੈք֤ࠃʹ͓͍ͯөըΛத ৺ʹςϨϏυϥϚɺ෣୆ɺςϨϏίϚʔγϟϧͱ෯޿͘׆༂͍ͯ͠Δ೔ຊΛ୅ද͢Δആ༏ͷҰਓɻ਎௕DNɺମॏ LHɻ෕ͷ౉ล྄Ұ͸ըՈͱͯ͠΋׆ಈ͍ͯ͠Δɻ৽ׁݝ๺ڕপ܊޿ਆଜʹͯڞʹڭࢣΛ͍ͯͨ྆͠਌ͷݩʹੜ·ΕΔɻ ྆਌ͷసۈͰ༮গظΛೖ޿੉ଜɺक໳ଜʢͱ΋ʹڕপࢢʣɺߴాࢢʢ্ӽࢢʣͰա͢͝ɻʜʜʢதུʣʜʜҰ༂શࠃతͳ ਓؾΛ֫ಘɺελʔμϜʹͷ্͕͠Δɻ·ͨɺͦͷࠒ͔ΒՎखͱͯ͠΋೥ࠒ·Ͱ׆ಈ͍ͯͨ͠ɻҎ߱ɺ෣୆ɾςϨ ϏυϥϚͳͲͰ࣍ʑͱେ໾Λԋ͡ɺલ్༸ʑʹݟ͑ͨ೥ɺөըॳओԋͱͳΔ͸ͣͰ͋ͬͨʰఱͱ஍ʢ୯ޠ໨ʣ ਖ਼ղهࣄʢ౉ลݠʣཁ໿ 
   ౉ลݠʢΘͨͳ΂͚Μɺ೥݄೔ʣ͸ɺ೔ຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝ๺ڕপ܊޿ਆଜʢݱɿڕপࢢʣग़਎ɻ೔ຊࠃ֎өըॳग़ԋͱͳͬͨΞϝϦΧөըʰϥεταϜϥΠʱ ʢ೥ެ։ʣͰɺ౉ล͸ಉ೥౓ͷୈճΞΧσϛʔ৆ॿԋஉ༏৆ͳΒͼʹୈճΰʔϧσϯάϩʔϒ৆ॿԋஉ༏৆ɺ ୈճαλʔϯ৆ॿԋஉ༏৆ʹϊϛωʔτ͞ΕΔ౳ߴ͍ධՁΛಘΔɻ·ͨɺөըެ։ͱಉ࣌͡ظʹൃදͨࣗ͠Βͷஶॻ ʰ୭ 8)0".* ʱͰɺ͔ͭͯന݂පͷ࣏ྍதසൟʹड͚ͨ༌݂ʢओʹ݂খ൘༌݂ʣ͕ݪҼͰ$ܕ؊Ԍ΢Πϧεʹײછ͠ɺ ʰ໌೔ͷهԱʱͷࡱӨ͸ͦͷ࣏ྍͷ෭࡞༻ʹ೰·͞Εͳ͕Β׶ߦ͍ͯͨ͜͠ͱΛࠂനɻ࣌Λಉͯ͘͡͠ςϨϏ౦ژͷαε ϖϯευϥϚͷڞԋΛػʹ஌Γ߹ͬͨঁ༏ͷೆՌาͱຊ֨తʹަࡍΛ։࢝͠ɺಉ೥݄೔ʹ࠶ࠗɻͳ͓ɺଉࢠͷେ ͱ͸ؒ઀తʹͰ͸͋Δ͕ڞԋྺ͸͋Δ͕ɺ່ͷҍͱ͸໾ऀۀҎ֎Ͱ΋ڞԋͨ͜͠ͱ͸ͳ͍ɻ 6
8. #&35ϕʔε෼ྨث ͋Δબ୒ࢶ͕ਖ਼ղ͔Ͳ͏͔൑ఆ͢Δࡍʹ͸ଞͷબ୒ࢶ΋ߟྀ͍ͤͨ͞ ˠ #&35
   
   4FMG
   "UUFOUJPO
   -BZFS
   ͷ֊૚ܕΞʔΩςΫνϟΛ࠾༻ 7 ࠷ऴ૚ <$-4>
   
   ࠷ऴ૚ .BY1PPMJOH <$-4>
   ໰୊จ
   <4&1>
   هࣄ
   <4&1> <$-4>
   ໰୊จ
   <4&1>
   هࣄ
   <4&1> ʜ ʜ BERT BERT BERT Self Attention Layer Softmax Linear Linear Linear
9. *3Ϟσϧ <5'*%'
   ϕʔε> • ໰୊จͷ 5'*%'
   ϕΫτϧͱީิهࣄͷ 5'*%'
   ϕΫτϧͷ DPT
   ྨࣅ౓͕ߴ͍هࣄΛਖ਼ղީิͱ͢ΔγϯϓϧͳϞσϧ • ͨͩ͠ *%'
   ஋͸ʢίʔύεશମͰ͸ͳ͘ʣ֤໰୊͝ͱʹ ͦͷ໰୊ͷީิهࣄશମʢ݅ʣ͔Βܭࢉ <ཧ༝>
   ީิهࣄू߹͸ͦ΋ͦ΋ʢ8JLJQFEJB7FD
   తʹʣྨࣅ͓ͯ͠Γɼ ίʔύεશମ͔Βܭࢉͨ͠ *%'
   Λ༻͍Δͱ 5'*%'
   ϕΫτϧ͕௵Εͦ͏ ʢͳؾ͕͢Δʂʂʣʢະݕূʣ <$IBSBDUFS
   /HSBN
   ϕʔε> • ໰୊จͷ /HSBN
   ू߹ͱީิهࣄͷ /HSBN
   ू߹ͷ 4JNQTPO
   ܎਺ • ୯ޠΑΓจࣈ /HSBN
   ͷํ͕ "DDVSBDZ
   ͕͘Β͍ߴ͔ͬͨ 8
10. ͦͷଞࡉʑͱͨ͠ʢCVU
    ΫϦςΟΧϧͳʣલॲཧ • <*3
    $IBS >
    ίʔύεதͷස౓্Ґޠͷ͏ͪʮετοϓϫʔυ΍ͳʔʯͱ ࢥͬͨ΋ͷΛετοϓϫʔυϦετʹ௥ՃɽείΞܭࢉ࣌ʹ͸আ֎ • <*3
    ྆ํ >
    ΤϯςΟςΟ໊͕໰୊จதʹؚ·Ε͍ͯͨΒਖ਼ղީิ͔Β࡟আ ʢʮIPHF
    GVHB ͱ͋ͱԿͰ͠ΐ͏ʁʯͰ IPHF ΍ GVHB ͕બ͹Ε͕ͪ ͩͬͨͨΊʣ • <ཁ໿ث>
    ετοϓϫʔυ͸໨తؔ਺ ! ͷܭࢉ࣌ʹߟྀ͠ͳ͍ • <ཁ໿ث>
    ɻ
    Ͱจ෼ׂ͢Δ͕ɼ௕͗͢Δ৔߹ʢ
    ʣ͸૭෯Λ 
    ୯ޠ ͱͯ͠ɼ૭෼Λٖࣅతͳจͱ͢Δ • <ཁ໿ث>
    લ൒จ͸࠷ॳ͔Βཁ໿จʹ௥Ճ 9
11. %FW
    Ͱͷ࣮ݧ݁Ռ <ओཁͳ࣮ݧઃఆ> • #&35
    Ϟσϧͷ࠷େτʔΫϯ਺ɿʢϞσϧڞ௨ʣ • #&35
    ࣄલֶशࡁΈϞσϧɿcl-tohoku/bert-base-japanese-whole-word-masking • *3
    $IBSBDUFS
    /HSBN
    ͷ A/A
    
     • ܇࿅σʔλɿ5SBJO
    ͷΈɽΞϯαϯϒϧͷॏΈ͸ %FW
    Ͱௐ੔ <࣮ݧ݁Ռ> 10 Ϟσϧ "DDVSBDZ
    <> %FW %FW *3
    5'*%' 64.72 61.79 *3
    $IBS
    CJHSBN 72.66 69.71 *3
    $IBS
    USJHSBN 74.77 73.82 #&35
    લ൒τʔΫϯ 84.62 83.55 #&35
    ཁ໿ 88.94 89.67 Ξϯαϯϒϧ 92.05 91.14
12. ϦʔμʔϘʔυ "DD
    
    ॱҐ
    ҐλΠʢ࣌఺ʣ Ґ ʢ
    ࣌఺ʣ ʢʮ·͋ҐҎ಺ʹ͸࢒Δ΍Ζʯͱ͔ࢥͬͯͨͷʹʜʜʣ 11
13. ॴײ <൓ল఺> • ʮͰ͕͢ʯ໰୊ͷʮͰ͕͢ʯ௚લ෦෼ͱ͔ฒྻ໰୊ͷྻڍ෦෼ͱ͔ɼ هࣄݕࡧʹ͍Βͳͦ͏ͳ෦෼Λؤுͬͯআڈͯ͠ΈΔ΂͖͔ͩͬͨ΋ • ໰୊จͱީิهࣄͷؒʹ΋͏
    ϗοϓ͘Β͍ඞཁͦ͏ͳ໰୊͕݁ߏ͕͋ͬͨɼ ݟͯݟ͵ৼΓΛͯ͠͠·ͬͨ <ײ૝> • ࠷ۙ #&35
    ΍ #"35
    ʹͱʹ͔͘ͳΜͰ΋ಥͬࠐΉ͜ͱ͕ଟ͔ͬͨͷͰɼ ٱʑʹࣗવݴޠॲཧ஍ಓͰటष͍લॲཧΛ΍Εָ͔ͯͬͨ͠Ͱ͢ • ίϯϖָ͍͠Ͱ͢Ͷɽ,BHHMF
    ͱ͔΍ͬͯΈΑ͏ͱࢥ͍·ͨ͠ ओ࠵ऀͷօ༷ɼָ͍͠ίϯϖΛاըͯͩ͘͠͞Γ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂʂ ઈࢍब׆தͰ͢ʂʂ 12