word2vecを利用した埋め込み分析とSWEMを用いた比較実験

atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。

Transcript

1. word2vecΛར༻ͨ͠ຒΊࠐΈ෼ੳͱ
   SWEMΛ༻͍ͨൺֱ࣮ݧ
   Takanobu Nozawa
   2021.02.18
   atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
   

   View Slide

2. ࣗݾ঺հ
   XPSEWFDͱ͸
   XPSEWFDΛJUFNʹԠ༻
   48&.Λ༻͍ͯൺֱ࣮ݧ
   ·ͱΊ
   ΞδΣϯμ
   

   View Slide

3. ࣗݾ঺հ
   

   View Slide

4. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ
   ॴଐɿίωώτגࣜձࣾ
   ɹɹɿ!UBLBQZ
   w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
   w σʔλ෼ੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ
   ໺ٿͨ͠Γɺϥʔϝϯ৯΂ͨΓ͍ͯ͠·͢
   w ࠷ۙϙουΩϟετ🎙 ͸͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ
   ࣗݾ঺հ
   

   View Slide

5. ࠓճͷBUNB$VQ͸ҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ
   ࣗݾ঺հ
   

   View Slide

6. XPSEWFDͱ͸
   

   View Slide

7. ˞IUUQTBSYJWPSHBCT
   XPSEWFDͱ͸
   w ೥ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ
   w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ
   χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷ෼ࢄදݱΛऔಘͰ͖Δ
   w ʮ,JOH.BO8PNBO2VFFOʯ
   ࿦จ͔ΒҾ༻ʢ˞ʣ
   

   View Slide

8. XPSEWFDͱ͸
   $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ
   ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP
   ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
   

   View Slide

9. XPSEWFDͱ͸
   ࠓճ༻͍ͨͷ͸TLJQHSBN
   ʢଟ͘ͷ৔߹ɺ୯ޠͷ෼ࢄදݱͱ͍͏఺ʹ͓͍
   ͯ͸ɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜
   ͱ͕ଟ͍ʣ
   ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
   

   View Slide

10. XPSEWFDͱ͸
    HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮૷Մೳ
    ʢBUNB$VQͷ%JTDVTTJPOʹ࣮૷ίʔυ͋͛ͯ·͢☺ ʣ
    

    View Slide

11. XPSEWFDΛJUFNʹԠ༻
    

    View Slide

12. XPSEWFDΛJUFNʹԠ༻
    w εʔύʔ͸جຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ
    ੨Ռˠڕˠ೑ˠೕ੡඼ˠ͓՛ࢠˠ૜ࡊˠύϯˠҿྉʜ
    w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳ΋ͷΛങ͏܏޲ʹ
    ͋Δ
    w ճͷങ͍෺ϩάΛͭͷTFOUFODFͱΈͳͤ͹ɺͦΕͳΓͷ෼ࢄදݱ
    ͕ܭࢉͰ͖ΔͷͰ͸ʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε͹্ख͘
    ͍͘ͷͰ͸ʁͱ͍͏͜ͱͰ࣮ݧͨ͠
    

    View Slide

13. σʔλͷ࡞Γํ
    

    View Slide

14. σʔλͷ࡞Γํ
    w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ
    ʹͯ͠ܭࢉʹؚΊͨ
    

    View Slide

15. σʔλͷ࡞Γํ
    w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ੒
    DPSQVT
    

    View Slide

16. JUFNWFDͷֶश݁Ռ
    

    View Slide

17. JUFNWFDͷֶश݁Ռ
    w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠෼ࢄදݱΛఆੑత
    ʹ֬ೝ
    

    View Slide

18. JUFNWFDͷֶश݁Ռ
    w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
    

    View Slide

19. JUFNWFDͷֶश݁Ռ
    w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
    ྑͦ͞͏☺
    

    View Slide

20. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ
    

    View Slide

21. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ
    w ֤JUFNͷ෼ࢄදݱ͸ఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ஋͕ܭࢉ͞Ε͍ͯΔ
    ͜ͱ͕֬ೝͰ͖ͨ
    w ͜ΕΛֶशʹ࢖͑Δܗʹམͱ͠ࠐΈ͍ͨ
    ˠࠓճ͸48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
    

    View Slide

22. 48&.ͱ͸ʁ
    w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET
    w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ
    w ࿦จͰ͸Լهͭͷख๏͕ఏҊ͞Ε͍ͯΔ
    㾎 48&.BWFSɿ୯ޠͷ෼ࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத͸࣌ؒ΋ͳ͔
    ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
    㾎 48&.NBYɿ୯ޠͷ෼ࢄදݱʹରͯ͠NBYQPPMJOH͢Δ
    㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ
    㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆ௕ͷ΢Οϯυ΢ͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠
    NBYQPPMJOH͢Δ
    ˞ɿIUUQTBSYJWPSHBCTW
    

    View Slide

23. 48&.Ͱݕূ
    

    View Slide

24. 48&.Ͱݕূ
    w ࢖༻ͨ͠ಛ௃ྔ
    " Ϣʔβʔͷଐੑ৘ใʢ೥ྸɾੑผʣ
    # ങ͍෺ͷ࣌ؒ৘ใʢ೥݄೔ɾ࣌ɾ༵೔ͳͲʣ
    $ JUFNͷ෼ࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ
    ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔ͸೥ྸͷฏۉϕΫτϧͰิ׬
    w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛ௃ྔͰൺֱ࣮ݧΛ࣮ࢪ
    ‣ "#͚ͩͷಛ௃ྔʢϕʔεϥΠϯʣ
    ‣ "#$ͷಛ௃ྔʢ$͸લड़ͨ͠छྨ෼ʣ
    ‣ Ϟσϧ͸-JHIU(#.GPME
    48&.ͷ࣮૷ίʔυαϯϓϧ͸(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
    

    View Slide

25. ݕূ݁Ռ
    

    View Slide

26. ݕূ݁Ռ
    ࣮ݧ Local Public Private
    ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
    SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461
    SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633
    SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424
    SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
    

    View Slide

27. ·ͱΊ
    

    View Slide

28. ·ͱΊ
    w XPSEWFDΛ༻͍֤ͯJUFNͷ෼ࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ
    ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ
    w ൺֱݕূ͢ΔͱɺຊλεΫͰ͸48&.IJFS͕Ұ൪ྑ͍ਫ਼౓ͩͬͨ
    w ࠓճ͸Ϣʔβʔ৘ใΛͲ͏΍ͬͯಛ௃ྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ
    ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ͸
    ͦͦ͜͜༗༻ͳಛ௃ྔʹͳΔ͜ͱ͕෼͔ͬͨ
    w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
    

    View Slide

29. ࠷ޙʹ
    

    View Slide

30. .-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻
    ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝୊ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ
    ɾػցֶशͷࣾձ࣮૷ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ
    %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓଴͍ͪͯ͠·͢ʂ
    ΧδϡΞϧ໘ஊͰ͸౴͑ΒΕΔൣғͰͳΜͰ΋౴͑·͢ʂʢಛʹ४උ͸͍Γ·ͤΜʣ
    5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ
    8F`SF)JSJOH
    

    View Slide

31. ͓ΘΓ
    ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ
    

    View Slide