$30 off During Our Annual Pro Sale. View Details »

word2vecを利用した埋め込み分析とSWEMを用いた比較実験

 word2vecを利用した埋め込み分析とSWEMを用いた比較実験

atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。

Takanobu Nozawa

February 27, 2021
Tweet

More Decks by Takanobu Nozawa

Other Decks in Programming

Transcript

  1. word2vecΛར༻ͨ͠ຒΊࠐΈ෼ੳͱ
    SWEMΛ༻͍ͨൺֱ࣮ݧ
    Takanobu Nozawa
    2021.02.18
    atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ

    View Slide

  2. ࣗݾ঺հ
    XPSEWFDͱ͸
    XPSEWFDΛJUFNʹԠ༻
    48&.Λ༻͍ͯൺֱ࣮ݧ
    ·ͱΊ
    ΞδΣϯμ

    View Slide

  3. ࣗݾ঺հ

    View Slide

  4. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ
    ॴଐɿίωώτגࣜձࣾ
    ɹɹɿ!UBLBQZ
    w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
    w σʔλ෼ੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ
    ໺ٿͨ͠Γɺϥʔϝϯ৯΂ͨΓ͍ͯ͠·͢
    w ࠷ۙϙουΩϟετ🎙 ͸͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ
    ࣗݾ঺հ

    View Slide

  5. ࠓճͷBUNB$VQ͸ҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ
    ࣗݾ঺հ

    View Slide

  6. XPSEWFDͱ͸

    View Slide

  7. ˞IUUQTBSYJWPSHBCT
    XPSEWFDͱ͸
    w ೥ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ
    w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ
    χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷ෼ࢄදݱΛऔಘͰ͖Δ
    w ʮ,JOH.BO8PNBO2VFFOʯ
    ࿦จ͔ΒҾ༻ʢ˞ʣ

    View Slide

  8. XPSEWFDͱ͸
    $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ
    ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP
    ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ

    View Slide

  9. XPSEWFDͱ͸
    ࠓճ༻͍ͨͷ͸TLJQHSBN
    ʢଟ͘ͷ৔߹ɺ୯ޠͷ෼ࢄදݱͱ͍͏఺ʹ͓͍
    ͯ͸ɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜
    ͱ͕ଟ͍ʣ
    ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ

    View Slide

  10. XPSEWFDͱ͸
    HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮૷Մೳ
    ʢBUNB$VQͷ%JTDVTTJPOʹ࣮૷ίʔυ͋͛ͯ·͢☺ ʣ

    View Slide

  11. XPSEWFDΛJUFNʹԠ༻

    View Slide

  12. XPSEWFDΛJUFNʹԠ༻
    w εʔύʔ͸جຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ
    ੨Ռˠڕˠ೑ˠೕ੡඼ˠ͓՛ࢠˠ૜ࡊˠύϯˠҿྉʜ
    w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳ΋ͷΛങ͏܏޲ʹ
    ͋Δ
    w ճͷങ͍෺ϩάΛͭͷTFOUFODFͱΈͳͤ͹ɺͦΕͳΓͷ෼ࢄදݱ
    ͕ܭࢉͰ͖ΔͷͰ͸ʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε͹্ख͘
    ͍͘ͷͰ͸ʁͱ͍͏͜ͱͰ࣮ݧͨ͠

    View Slide

  13. σʔλͷ࡞Γํ

    View Slide

  14. σʔλͷ࡞Γํ
    w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ
    ʹͯ͠ܭࢉʹؚΊͨ

    View Slide

  15. σʔλͷ࡞Γํ
    w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ੒
    DPSQVT

    View Slide

  16. JUFNWFDͷֶश݁Ռ

    View Slide

  17. JUFNWFDͷֶश݁Ռ
    w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠෼ࢄදݱΛఆੑత
    ʹ֬ೝ

    View Slide

  18. JUFNWFDͷֶश݁Ռ
    w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ

    View Slide

  19. JUFNWFDͷֶश݁Ռ
    w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
    ྑͦ͞͏☺

    View Slide

  20. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ

    View Slide

  21. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ
    w ֤JUFNͷ෼ࢄදݱ͸ఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ஋͕ܭࢉ͞Ε͍ͯΔ
    ͜ͱ͕֬ೝͰ͖ͨ
    w ͜ΕΛֶशʹ࢖͑Δܗʹམͱ͠ࠐΈ͍ͨ
    ˠࠓճ͸48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ

    View Slide

  22. 48&.ͱ͸ʁ
    w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET
    w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ
    w ࿦จͰ͸Լهͭͷख๏͕ఏҊ͞Ε͍ͯΔ
    㾎 48&.BWFSɿ୯ޠͷ෼ࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத͸࣌ؒ΋ͳ͔
    ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
    㾎 48&.NBYɿ୯ޠͷ෼ࢄදݱʹରͯ͠NBYQPPMJOH͢Δ
    㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ
    㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆ௕ͷ΢Οϯυ΢ͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠
    NBYQPPMJOH͢Δ
    ˞ɿIUUQTBSYJWPSHBCTW

    View Slide

  23. 48&.Ͱݕূ

    View Slide

  24. 48&.Ͱݕূ
    w ࢖༻ͨ͠ಛ௃ྔ
    " Ϣʔβʔͷଐੑ৘ใʢ೥ྸɾੑผʣ
    # ങ͍෺ͷ࣌ؒ৘ใʢ೥݄೔ɾ࣌ɾ༵೔ͳͲʣ
    $ JUFNͷ෼ࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ
    ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔ͸೥ྸͷฏۉϕΫτϧͰิ׬
    w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛ௃ྔͰൺֱ࣮ݧΛ࣮ࢪ
    ‣ "#͚ͩͷಛ௃ྔʢϕʔεϥΠϯʣ
    ‣ "#$ͷಛ௃ྔʢ$͸લड़ͨ͠छྨ෼ʣ
    ‣ Ϟσϧ͸-JHIU(#.GPME
    48&.ͷ࣮૷ίʔυαϯϓϧ͸(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ

    View Slide

  25. ݕূ݁Ռ

    View Slide

  26. ݕূ݁Ռ
    ࣮ݧ Local Public Private
    ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
    SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461
    SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633
    SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424
    SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483

    View Slide

  27. ·ͱΊ

    View Slide

  28. ·ͱΊ
    w XPSEWFDΛ༻͍֤ͯJUFNͷ෼ࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ
    ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ
    w ൺֱݕূ͢ΔͱɺຊλεΫͰ͸48&.IJFS͕Ұ൪ྑ͍ਫ਼౓ͩͬͨ
    w ࠓճ͸Ϣʔβʔ৘ใΛͲ͏΍ͬͯಛ௃ྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ
    ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ͸
    ͦͦ͜͜༗༻ͳಛ௃ྔʹͳΔ͜ͱ͕෼͔ͬͨ
    w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉

    View Slide

  29. ࠷ޙʹ

    View Slide

  30. .-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻
    ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝୊ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ
    ɾػցֶशͷࣾձ࣮૷ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ
    %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓଴͍ͪͯ͠·͢ʂ
    ΧδϡΞϧ໘ஊͰ͸౴͑ΒΕΔൣғͰͳΜͰ΋౴͑·͢ʂʢಛʹ४උ͸͍Γ·ͤΜʣ
    5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ
    8F`SF)JSJOH

    View Slide

  31. ͓ΘΓ
    ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ

    View Slide