Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
Search
Takanobu Nozawa
February 27, 2021
Programming
0
2.3k
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。
Takanobu Nozawa
February 27, 2021
Tweet
Share
More Decks by Takanobu Nozawa
See All by Takanobu Nozawa
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
4
4.5k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
1.4k
NLPを活用したオンボーディング改善とコールドスタート問題への対策
takapy
4
5.4k
自然言語可視化ライブラリ 「nlplot」のご紹介
takapy
3
4.2k
コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて
takapy
2
7k
SageMaker StudioとStep Functionsを用いてMLOpsへの一歩を踏み出そう
takapy
0
8.3k
GoogleColabとVSCodeを用いた分析環境運用Tips
takapy
15
14k
トピックモデルを活用したレコメンデーションの実装
takapy
1
6.5k
Streamlitとnlplotを使って自然言語を分析してみた
takapy
4
15k
Other Decks in Programming
See All in Programming
あのころの iPod を どうにか再生させたい
orumin
2
2.5k
レガシープロジェクトで最大限AIの恩恵を受けられるようClaude Codeを利用する
tk1351
2
1.1k
STUNMESH-go: Wireguard NAT穿隧工具的源起與介紹
tjjh89017
0
380
kiroでゲームを作ってみた
iriikeita
0
180
KessokuでDIでもgoroutineを活用する / Go Connect #6
mazrean
0
110
ソフトウェアテスト徹底指南書の紹介
goyoki
1
110
Scale out your Claude Code ~自社専用Agentで10xする開発プロセス~
yukukotani
9
2.6k
Nuances on Kubernetes - RubyConf Taiwan 2025
envek
0
190
Microsoft Orleans, Daprのアクターモデルを使い効率的に開発、デプロイを行うためのSekibanの試行錯誤 / Sekiban: Exploring Efficient Development and Deployment with Microsoft Orleans and Dapr Actor Models
tomohisa
0
210
decksh - a little language for decks
ajstarks
4
21k
サーバーサイドのビルド時間87倍高速化
plaidtech
PRO
0
480
オープンセミナー2025@広島LT技術ブログを続けるには
satoshi256kbyte
0
120
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
YesSQL, Process and Tooling at Scale
rocio
173
14k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
For a Future-Friendly Web
brad_frost
179
9.9k
Facilitating Awesome Meetings
lara
55
6.5k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
The Cost Of JavaScript in 2023
addyosmani
53
8.8k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Why Our Code Smells
bkeepers
PRO
338
57k
Building an army of robots
kneath
306
46k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Transcript
word2vecΛར༻ͨ͠ຒΊࠐΈੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
ࣗݾհ XPSEWFDͱ XPSEWFDΛJUFNʹԠ༻ 48&.Λ༻͍ͯൺֱ࣮ݧ ·ͱΊ ΞδΣϯμ
ࣗݾհ
໊લɿᖒরʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹΓͭͭ"84ͱٔΕ͍ͯ·͢ w σʔλੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ٿͨ͠Γɺϥʔϝϯ৯ͨΓ͍ͯ͠·͢ w ࠷ۙϙουΩϟετ🎙
͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾհ
ࠓճͷBUNB$VQҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾհ
XPSEWFDͱ
˞IUUQTBSYJWPSHBCT XPSEWFDͱ w ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷࢄදݱΛऔಘͰ͖Δ w ʮ,JOH.BO 8PNBO2VFFOʯ
จ͔ΒҾ༻ʢ˞ʣ
XPSEWFDͱ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ ࠓճ༻͍ͨͷTLJQHSBN ʢଟ͘ͷ߹ɺ୯ޠͷࢄදݱͱ͍͏ʹ͓͍ ͯɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮Մೳ ʢBUNB$VQͷ%JTDVTTJPOʹ࣮ίʔυ͋͛ͯ·͢☺ ʣ
XPSEWFDΛJUFNʹԠ༻
XPSEWFDΛJUFNʹԠ༻ w εʔύʔجຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ ੨Ռˠڕˠˠೕˠ͓՛ࢠˠࡊˠύϯˠҿྉʜ w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳͷΛങ͏ʹ ͋Δ w ճͷങ͍ϩάΛͭͷTFOUFODFͱΈͳͤɺͦΕͳΓͷࢄදݱ ͕ܭࢉͰ͖ΔͷͰʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε্ख͘
͍͘ͷͰʁͱ͍͏͜ͱͰ࣮ݧͨ͠
σʔλͷ࡞Γํ
σʔλͷ࡞Γํ w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ
σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ DPSQVT
JUFNWFDͷֶश݁Ռ
JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠ࢄදݱΛఆੑత ʹ֬ೝ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺
JUFNͷࢄදݱΛಛྔԽ͢Δ
JUFNͷࢄදݱΛಛྔԽ͢Δ w ֤JUFNͷࢄදݱఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ w ͜ΕΛֶशʹ͑Δܗʹམͱ͠ࠐΈ͍ͨ ˠࠓճ48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
48&.ͱʁ w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ w จͰԼهͭͷख๏͕ఏҊ͞Ε͍ͯΔ 㾎 48&.BWFSɿ୯ޠͷࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத࣌ؒͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
㾎 48&.NBYɿ୯ޠͷࢄදݱʹରͯ͠NBYQPPMJOH͢Δ 㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ 㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆͷΟϯυͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBYQPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
48&.Ͱݕূ
48&.Ͱݕূ w ༻ͨ͠ಛྔ " Ϣʔβʔͷଐੑใʢྸɾੑผʣ # ങ͍ͷ࣌ؒใʢ݄ɾ࣌ɾ༵ͳͲʣ $ JUFNͷࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔྸͷฏۉϕΫτϧͰิ
w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛྔͰൺֱ࣮ݧΛ࣮ࢪ ‣ "#͚ͩͷಛྔʢϕʔεϥΠϯʣ ‣ "#$ͷಛྔʢ$લड़ͨ͠छྨʣ ‣ Ϟσϧ-JHIU(#.GPME 48&.ͷ࣮ίʔυαϯϓϧ(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
ݕূ݁Ռ
ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
·ͱΊ
·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ w ൺֱݕূ͢ΔͱɺຊλεΫͰ48&.IJFS͕Ұ൪ྑ͍ਫ਼ͩͬͨ w ࠓճϢʔβʔใΛͲ͏ͬͯಛྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ ͦͦ͜͜༗༻ͳಛྔʹͳΔ͜ͱ͕͔ͬͨ
w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
࠷ޙʹ
.-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻 ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ ɾػցֶशͷࣾձ࣮ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓͍ͪͯ͠·͢ʂ ΧδϡΞϧ໘ஊͰ͑ΒΕΔൣғͰͳΜͰ͑·͢ʂʢಛʹ४උ͍Γ·ͤΜʣ 5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF)JSJOH
͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ