Upgrade to Pro — share decks privately, control downloads, hide ads and more …

word2vecを利用した埋め込み分析とSWEMを用いた比較実験

 word2vecを利用した埋め込み分析とSWEMを用いた比較実験

atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。

C5c09bfd9ee31f5aef8ce257643d50ea?s=128

Takanobu Nozawa

February 27, 2021
Tweet

Transcript

  1. word2vecΛར༻ͨ͠ຒΊࠐΈ෼ੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ

  2. ࣗݾ঺հ XPSEWFDͱ͸ XPSEWFDΛJUFNʹԠ༻ 48&.Λ༻͍ͯൺֱ࣮ݧ ·ͱΊ ΞδΣϯμ

  3. ࣗݾ঺հ

  4. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢ w σʔλ෼ੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ໺ٿͨ͠Γɺϥʔϝϯ৯΂ͨΓ͍ͯ͠·͢ w ࠷ۙϙουΩϟετ🎙

    ͸͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾ঺հ
  5. ࠓճͷBUNB$VQ͸ҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾ঺հ

  6. XPSEWFDͱ͸

  7. ˞IUUQTBSYJWPSHBCT XPSEWFDͱ͸ w ೥ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷ෼ࢄදݱΛऔಘͰ͖Δ w ʮ,JOH.BO 8PNBO2VFFOʯ

    ࿦จ͔ΒҾ༻ʢ˞ʣ
  8. XPSEWFDͱ͸ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ

  9. XPSEWFDͱ͸ ࠓճ༻͍ͨͷ͸TLJQHSBN ʢଟ͘ͷ৔߹ɺ୯ޠͷ෼ࢄදݱͱ͍͏఺ʹ͓͍ ͯ͸ɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ

  10. XPSEWFDͱ͸ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮૷Մೳ ʢBUNB$VQͷ%JTDVTTJPOʹ࣮૷ίʔυ͋͛ͯ·͢☺ ʣ

  11. XPSEWFDΛJUFNʹԠ༻

  12. XPSEWFDΛJUFNʹԠ༻ w εʔύʔ͸جຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ ੨Ռˠڕˠ೑ˠೕ੡඼ˠ͓՛ࢠˠ૜ࡊˠύϯˠҿྉʜ w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳ΋ͷΛങ͏܏޲ʹ ͋Δ w ճͷങ͍෺ϩάΛͭͷTFOUFODFͱΈͳͤ͹ɺͦΕͳΓͷ෼ࢄදݱ ͕ܭࢉͰ͖ΔͷͰ͸ʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε͹্ख͘

    ͍͘ͷͰ͸ʁͱ͍͏͜ͱͰ࣮ݧͨ͠
  13. σʔλͷ࡞Γํ

  14. σʔλͷ࡞Γํ w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ

  15. σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ੒ DPSQVT

  16. JUFNWFDͷֶश݁Ռ

  17. JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠෼ࢄදݱΛఆੑత ʹ֬ೝ

  18. JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ

  19. JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺

  20. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ

  21. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ w ֤JUFNͷ෼ࢄදݱ͸ఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ஋͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ w ͜ΕΛֶशʹ࢖͑Δܗʹམͱ͠ࠐΈ͍ͨ ˠࠓճ͸48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ

  22. 48&.ͱ͸ʁ w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ w ࿦จͰ͸Լهͭͷख๏͕ఏҊ͞Ε͍ͯΔ 㾎 48&.BWFSɿ୯ޠͷ෼ࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத͸࣌ؒ΋ͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ

    㾎 48&.NBYɿ୯ޠͷ෼ࢄදݱʹରͯ͠NBYQPPMJOH͢Δ 㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ 㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆ௕ͷ΢Οϯυ΢ͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBYQPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
  23. 48&.Ͱݕূ

  24. 48&.Ͱݕূ w ࢖༻ͨ͠ಛ௃ྔ " Ϣʔβʔͷଐੑ৘ใʢ೥ྸɾੑผʣ # ങ͍෺ͷ࣌ؒ৘ใʢ೥݄೔ɾ࣌ɾ༵೔ͳͲʣ $ JUFNͷ෼ࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔ͸೥ྸͷฏۉϕΫτϧͰิ׬

    w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛ௃ྔͰൺֱ࣮ݧΛ࣮ࢪ ‣ "#͚ͩͷಛ௃ྔʢϕʔεϥΠϯʣ ‣ "#$ͷಛ௃ྔʢ$͸લड़ͨ͠छྨ෼ʣ ‣ Ϟσϧ͸-JHIU(#.GPME 48&.ͷ࣮૷ίʔυαϯϓϧ͸(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
  25. ݕূ݁Ռ

  26. ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802

    SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
  27. ·ͱΊ

  28. ·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷ෼ࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ w ൺֱݕূ͢ΔͱɺຊλεΫͰ͸48&.IJFS͕Ұ൪ྑ͍ਫ਼౓ͩͬͨ w ࠓճ͸Ϣʔβʔ৘ใΛͲ͏΍ͬͯಛ௃ྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ͸ ͦͦ͜͜༗༻ͳಛ௃ྔʹͳΔ͜ͱ͕෼͔ͬͨ

    w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
  29. ࠷ޙʹ

  30. .-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻 ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝୊ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ ɾػցֶशͷࣾձ࣮૷ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓଴͍ͪͯ͠·͢ʂ ΧδϡΞϧ໘ஊͰ͸౴͑ΒΕΔൣғͰͳΜͰ΋౴͑·͢ʂʢಛʹ४උ͸͍Γ·ͤΜʣ 5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF)JSJOH

  31. ͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ