Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NLP2021 WS2 AI王 〜クイズAI日本一決定戦〜 報告スライド

NLP2021 WS2 AI王 〜クイズAI日本一決定戦〜 報告スライド

191b51e394766638990831da6691d089?s=128

junya-takayama

March 19, 2021
Tweet

Transcript

  1. NLP2021 WS2 AIԦ ʙΫΠζAI೔ຊҰܾఆઓʙ େൃදձ γεςϜใࠂ ͓ؾ࣋ͪղઆ 2021/03/19 େࡕେֶେֶӃ৘ใՊֶݚڀՊ ߴࢁ

    ൏໼
  2. ࣗݾ঺հ Ø໊લ ߴࢁ ൏໼ Øॴଐ ਎෼ େࡕେֶَ௩ݚڀࣨ % Ø5XJUUFS!ULZN Ø63-IUUQTKVOZBUBLBZBNBHJUIVCJP

    ØීஈͷݚڀτϐοΫ ର࿩γεςϜɾࣗવݴޠੜ੒ ØࢀՃͷ͖͔͚ͬ  • ࠷ۙ΍΍ΫΠζʹϋϚ͍ͬͯΔ͔Β • ίϯϖͱ͍͏΋ͷʹग़ͯΈ͔͔ͨͬͨΒ ઈࢍब׆தͰ͢ʂʂ 1
  3. େํ਑ • ϦʔμʔϘʔυΛ஫ҙਂ͘؍࡯ͨ݁͠ՌͳΜ͔օͦ͏ͯͨ͠ͷͰ #&35ͱγϯϓϧͳ *3ख๏ͷΞϯαϯϒϧΛ࠾༻ ʢ·͋௚ײతʹ΋ද૚ϕʔεͰdׂ͸ղ͚ͦ͏ͳײ͕͢͡Δʣ • ܭࢉࢿݯతʹ΋ #&35ຊདྷͷઃఆతʹ΋ೖྗΛ/τʔΫϯʹ཈͑Δඞཁ͋Γ •

    ઌ಄/τʔΫϯͱ͔Ͱ੾ͬͯɼղ౴ʹඞཁͳ஌͕ࣝͪΌΜͱೖΔͷ͔ʁ ʢആ༏ͷهࣄͱ͔ɼग़ԋ࡞඼͸ΘΓͱޙΖͷํʹॻ͍ͯ͋ΔΑͶʣ • ඞཁͳ஌ؚ͕ࣝ·ΕΔΑ͏ʹͪΐͬͱݡ͍੾ΓํΛ͍ͨ͠ 2
  4. ઌ಄/τʔΫϯͰ͸౴͑ΒΕͳͦ͞͏ͳྫ ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱ ͳͲͷөըͰ͓ͳ͡Έͷ೔ຊͷആ༏ͱ͍͑͹୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄɿ౉ลݠ ˠ ΫΤϦʹԠͯ͡͏·͘هࣄຊจΛཁ໿͍ͨ͠ʜʜ 3 ʮଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍʯʹؔ͢Δॳग़ ʮϥεταϜϥΠʯॳग़ ઌ಄τʔΫϯʢ͍͍ͩͨʣ

    ˣ·ͩ·ͩଓ͘
  5. #&35ϕʔεछͱ *3ϕʔεछͷΞϯαϯϒϧʢॏΈ͖ͭฏۉʣ ೖྗσʔλʢڞ௨ʣ γεςϜશମ૾ 4 BERT for ཁ໿ BERT for

    લ൒ IR (TF-IDF) *3 $IBSOHSBN ໰୊จ ީิهࣄू߹ ཁ໿ث ॏ Έ ͭ ͖ ฏ ۉ ༧ଌهࣄ BSHNBY
  6. ཁ໿ث Ϟνϕʔγϣϯ໰୊จதͷϑϨʔζΛଟؚ͘ΉΑ͏ʹهࣄΛཁ໿͍ͨ͠ ˠީิهࣄ ! ͷຊจத͔Βɼ໰୊จ " தͷ୯ޠΛଟ͘ඃ෴͢ΔΑ͏ʹ จΛෳ਺நग़͠ɼ૯୯ޠ਺ # ҎԼͷཁ໿จॻ

    ̃ ! Λ࡞੒͢Δ ໨తؔ਺ɿ% = '( ∩ ' ̃ * '( ʢͨͩ͠ '( ͸໰୊จதͷ୯ޠू߹ɼ' ̃ * ͸ཁ໿จॻதͷ୯ޠू߹ʣ % ͸ྼϞδϡϥੑΛ࣋ͭͨΊɼ࣮૷্͸ % ͕࠷΋େ͖͘ͳΔจΛஞ࣍తʹ ̃ ! ʹՃ͍͑ͯ͘ΞϓϩʔνΛͱΔʢᩦཉ๏ʣ 5
  7. ཁ໿ثͷग़ྗྫ ໰୊จ ଉࢠʹആ༏ͷେɺ່ʹঁ༏ͷҍΛ࣋ͭɺʰϥεταϜϥΠʱͳͲ ͷөըͰ͓ͳ͡Έͷ೔ຊͷആ༏ͱ͍͑͹୭Ͱ͠ΐ͏ʁ ਖ਼ղهࣄʢ౉ลݠʣݪจ౉ลݠʢΘͨͳ΂͚Μɺ೥݄೔ʣ͸ɺ೔ຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝ๺ڕপ܊޿ਆଜʢݱɿڕপࢢʣग़਎ɻԋܶूஂԁΛܦͯ೥͔ΒέΠμογϡॴଐɻੈք֤ࠃʹ͓͍ͯөըΛத ৺ʹςϨϏυϥϚɺ෣୆ɺςϨϏίϚʔγϟϧͱ෯޿͘׆༂͍ͯ͠Δ೔ຊΛ୅ද͢Δആ༏ͷҰਓɻ਎௕DNɺମॏ LHɻ෕ͷ౉ล྄Ұ͸ըՈͱͯ͠΋׆ಈ͍ͯ͠Δɻ৽ׁݝ๺ڕপ܊޿ਆଜʹͯڞʹڭࢣΛ͍ͯͨ྆͠਌ͷݩʹੜ·ΕΔɻ ྆਌ͷసۈͰ༮গظΛೖ޿੉ଜɺक໳ଜʢͱ΋ʹڕপࢢʣɺߴాࢢʢ্ӽࢢʣͰա͢͝ɻʜʜʢதུʣʜʜҰ༂શࠃతͳ ਓؾΛ֫ಘɺελʔμϜʹͷ্͕͠Δɻ·ͨɺͦͷࠒ͔ΒՎखͱͯ͠΋೥ࠒ·Ͱ׆ಈ͍ͯͨ͠ɻҎ߱ɺ෣୆ɾςϨ

    ϏυϥϚͳͲͰ࣍ʑͱେ໾Λԋ͡ɺલ్༸ʑʹݟ͑ͨ೥ɺөըॳओԋͱͳΔ͸ͣͰ͋ͬͨʰఱͱ஍ʢ୯ޠ໨ʣ ਖ਼ղهࣄʢ౉ลݠʣཁ໿ ౉ลݠʢΘͨͳ΂͚Μɺ೥݄೔ʣ͸ɺ೔ຊͷആ༏ɻຊ໊ಉ͡ɻ৽ ׁݝ๺ڕপ܊޿ਆଜʢݱɿڕপࢢʣग़਎ɻ೔ຊࠃ֎өըॳग़ԋͱͳͬͨΞϝϦΧөըʰϥεταϜϥΠʱ ʢ೥ެ։ʣͰɺ౉ล͸ಉ೥౓ͷୈճΞΧσϛʔ৆ॿԋஉ༏৆ͳΒͼʹୈճΰʔϧσϯάϩʔϒ৆ॿԋஉ༏৆ɺ ୈճαλʔϯ৆ॿԋஉ༏৆ʹϊϛωʔτ͞ΕΔ౳ߴ͍ධՁΛಘΔɻ·ͨɺөըެ։ͱಉ࣌͡ظʹൃදͨࣗ͠Βͷஶॻ ʰ୭ 8)0".* ʱͰɺ͔ͭͯന݂පͷ࣏ྍதසൟʹड͚ͨ༌݂ʢओʹ݂খ൘༌݂ʣ͕ݪҼͰ$ܕ؊Ԍ΢Πϧεʹײછ͠ɺ ʰ໌೔ͷهԱʱͷࡱӨ͸ͦͷ࣏ྍͷ෭࡞༻ʹ೰·͞Εͳ͕Β׶ߦ͍ͯͨ͜͠ͱΛࠂനɻ࣌Λಉͯ͘͡͠ςϨϏ౦ژͷαε ϖϯευϥϚͷڞԋΛػʹ஌Γ߹ͬͨঁ༏ͷೆՌาͱຊ֨తʹަࡍΛ։࢝͠ɺಉ೥݄೔ʹ࠶ࠗɻͳ͓ɺଉࢠͷେ ͱ͸ؒ઀తʹͰ͸͋Δ͕ڞԋྺ͸͋Δ͕ɺ່ͷҍͱ͸໾ऀۀҎ֎Ͱ΋ڞԋͨ͜͠ͱ͸ͳ͍ɻ 6
  8. #&35ϕʔε෼ྨث ͋Δબ୒ࢶ͕ਖ਼ղ͔Ͳ͏͔൑ఆ͢Δࡍʹ͸ଞͷબ୒ࢶ΋ߟྀ͍ͤͨ͞ ˠ #&35 4FMG"UUFOUJPO-BZFSͷ֊૚ܕΞʔΩςΫνϟΛ࠾༻ 7 ࠷ऴ૚ <$-4> ࠷ऴ૚ .BY1PPMJOH

    <$-4>໰୊จ<4&1>هࣄ<4&1> <$-4>໰୊จ<4&1>هࣄ<4&1> ʜ ʜ BERT BERT BERT Self Attention Layer Softmax Linear Linear Linear
  9. *3Ϟσϧ <5'*%'ϕʔε> • ໰୊จͷ 5'*%'ϕΫτϧͱީิهࣄͷ 5'*%'ϕΫτϧͷ DPTྨࣅ౓͕ߴ͍هࣄΛਖ਼ղީิͱ͢ΔγϯϓϧͳϞσϧ • ͨͩ͠ *%'஋͸ʢίʔύεશମͰ͸ͳ͘ʣ֤໰୊͝ͱʹ

    ͦͷ໰୊ͷީิهࣄશମʢ݅ʣ͔Βܭࢉ <ཧ༝>ީิهࣄू߹͸ͦ΋ͦ΋ʢ8JLJQFEJB7FDతʹʣྨࣅ͓ͯ͠Γɼ ίʔύεશମ͔Βܭࢉͨ͠ *%'Λ༻͍Δͱ 5'*%'ϕΫτϧ͕௵Εͦ͏ ʢͳؾ͕͢Δʂʂʣʢະݕূʣ <$IBSBDUFS/HSBNϕʔε> • ໰୊จͷ /HSBNू߹ͱީิهࣄͷ /HSBNू߹ͷ 4JNQTPO܎਺ • ୯ޠΑΓจࣈ /HSBNͷํ͕ "DDVSBDZ͕͘Β͍ߴ͔ͬͨ 8
  10. ͦͷଞࡉʑͱͨ͠ʢCVUΫϦςΟΧϧͳʣલॲཧ • <*3 $IBS >ίʔύεதͷස౓্Ґޠͷ͏ͪʮετοϓϫʔυ΍ͳʔʯͱ ࢥͬͨ΋ͷΛετοϓϫʔυϦετʹ௥ՃɽείΞܭࢉ࣌ʹ͸আ֎ • <*3 ྆ํ >ΤϯςΟςΟ໊͕໰୊จதʹؚ·Ε͍ͯͨΒਖ਼ղީิ͔Β࡟আ

    ʢʮIPHF GVHB ͱ͋ͱԿͰ͠ΐ͏ʁʯͰ IPHF ΍ GVHB ͕બ͹Ε͕ͪ ͩͬͨͨΊʣ • <ཁ໿ث>ετοϓϫʔυ͸໨తؔ਺ ! ͷܭࢉ࣌ʹߟྀ͠ͳ͍ • <ཁ໿ث>ɻͰจ෼ׂ͢Δ͕ɼ௕͗͢Δ৔߹ʢʣ͸૭෯Λ ୯ޠ ͱͯ͠ɼ૭෼Λٖࣅతͳจͱ͢Δ • <ཁ໿ث>લ൒จ͸࠷ॳ͔Βཁ໿จʹ௥Ճ 9
  11. %FWͰͷ࣮ݧ݁Ռ <ओཁͳ࣮ݧઃఆ> • #&35Ϟσϧͷ࠷େτʔΫϯ਺ɿʢϞσϧڞ௨ʣ • #&35ࣄલֶशࡁΈϞσϧɿcl-tohoku/bert-base-japanese-whole-word-masking • *3 $IBSBDUFS/HSBN ͷ

    A/A  • ܇࿅σʔλɿ5SBJOͷΈɽΞϯαϯϒϧͷॏΈ͸ %FWͰௐ੔ <࣮ݧ݁Ռ> 10 Ϟσϧ "DDVSBDZ<> %FW %FW *3 5'*%' 64.72 61.79 *3 $IBSCJHSBN 72.66 69.71 *3 $IBSUSJHSBN 74.77 73.82 #&35 લ൒τʔΫϯ 84.62 83.55 #&35 ཁ໿ 88.94 89.67 Ξϯαϯϒϧ 92.05 91.14
  12. ϦʔμʔϘʔυ "DDॱҐҐλΠʢ࣌఺ʣ Ґ ʢ࣌఺ʣ ʢʮ·͋ҐҎ಺ʹ͸࢒Δ΍Ζʯͱ͔ࢥͬͯͨͷʹʜʜʣ 11

  13. ॴײ <൓ল఺> • ʮͰ͕͢ʯ໰୊ͷʮͰ͕͢ʯ௚લ෦෼ͱ͔ฒྻ໰୊ͷྻڍ෦෼ͱ͔ɼ هࣄݕࡧʹ͍Βͳͦ͏ͳ෦෼Λؤுͬͯআڈͯ͠ΈΔ΂͖͔ͩͬͨ΋ • ໰୊จͱީิهࣄͷؒʹ΋͏ ϗοϓ͘Β͍ඞཁͦ͏ͳ໰୊͕݁ߏ͕͋ͬͨɼ ݟͯݟ͵ৼΓΛͯ͠͠·ͬͨ <ײ૝>

    • ࠷ۙ #&35΍ #"35ʹͱʹ͔͘ͳΜͰ΋ಥͬࠐΉ͜ͱ͕ଟ͔ͬͨͷͰɼ ٱʑʹࣗવݴޠॲཧ஍ಓͰటष͍લॲཧΛ΍Εָ͔ͯͬͨ͠Ͱ͢ • ίϯϖָ͍͠Ͱ͢Ͷɽ,BHHMFͱ͔΍ͬͯΈΑ͏ͱࢥ͍·ͨ͠ ओ࠵ऀͷօ༷ɼָ͍͠ίϯϖΛاըͯͩ͘͠͞Γ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂʂ ઈࢍब׆தͰ͢ʂʂ 12