Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
Search
Takanobu Nozawa
February 27, 2021
Programming
0
2.3k
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。
Takanobu Nozawa
February 27, 2021
Tweet
Share
More Decks by Takanobu Nozawa
See All by Takanobu Nozawa
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
4
4.4k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
1.4k
NLPを活用したオンボーディング改善とコールドスタート問題への対策
takapy
4
5.3k
自然言語可視化ライブラリ 「nlplot」のご紹介
takapy
3
4.2k
コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて
takapy
2
6.9k
SageMaker StudioとStep Functionsを用いてMLOpsへの一歩を踏み出そう
takapy
0
8.2k
GoogleColabとVSCodeを用いた分析環境運用Tips
takapy
15
14k
トピックモデルを活用したレコメンデーションの実装
takapy
1
6.5k
Streamlitとnlplotを使って自然言語を分析してみた
takapy
4
15k
Other Decks in Programming
See All in Programming
リバースエンジニアリング新時代へ! GhidraとClaude DesktopをMCPで繋ぐ/findy202507
tkmru
7
1.7k
PHPカンファレンス関西2025 基調講演
sugimotokei
6
1.1k
Amazon Q CLI開発で学んだAIコーディングツールの使い方
licux
3
170
Advanced Micro Frontends: Multi Version/ Framework Scenarios
manfredsteyer
PRO
0
150
AIに安心して任せるためにTypeScriptで一意な型を作ろう
arfes0e2b3c
0
330
AWS Summit Japan 2024と2025の比較/はじめてのKiro、今あなたは岐路に立つ
satoshi256kbyte
1
260
新しいモバイルアプリ勉強会(仮)について
uetyo
1
250
NEWT Backend Evolution
xpromx
1
170
SQLアンチパターン第2版 データベースプログラミングで陥りがちな失敗とその対策 / Intro to SQL Antipatterns 2nd
twada
PRO
36
11k
Strands Agents で実現する名刺解析アーキテクチャ
omiya0555
1
110
可変性を制する設計: 構造と振る舞いから考える概念モデリングとその実装
a_suenami
10
1.5k
Comparing decimals in Swift Testing
417_72ki
0
160
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
A designer walks into a library…
pauljervisheath
207
24k
4 Signs Your Business is Dying
shpigford
184
22k
Code Review Best Practice
trishagee
69
19k
A better future with KSS
kneath
238
17k
Building an army of robots
kneath
306
45k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Designing Experiences People Love
moore
142
24k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Transcript
word2vecΛར༻ͨ͠ຒΊࠐΈੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
ࣗݾհ XPSEWFDͱ XPSEWFDΛJUFNʹԠ༻ 48&.Λ༻͍ͯൺֱ࣮ݧ ·ͱΊ ΞδΣϯμ
ࣗݾհ
໊લɿᖒরʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹΓͭͭ"84ͱٔΕ͍ͯ·͢ w σʔλੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ٿͨ͠Γɺϥʔϝϯ৯ͨΓ͍ͯ͠·͢ w ࠷ۙϙουΩϟετ🎙
͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾհ
ࠓճͷBUNB$VQҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾհ
XPSEWFDͱ
˞IUUQTBSYJWPSHBCT XPSEWFDͱ w ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷࢄදݱΛऔಘͰ͖Δ w ʮ,JOH.BO 8PNBO2VFFOʯ
จ͔ΒҾ༻ʢ˞ʣ
XPSEWFDͱ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ ࠓճ༻͍ͨͷTLJQHSBN ʢଟ͘ͷ߹ɺ୯ޠͷࢄදݱͱ͍͏ʹ͓͍ ͯɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮Մೳ ʢBUNB$VQͷ%JTDVTTJPOʹ࣮ίʔυ͋͛ͯ·͢☺ ʣ
XPSEWFDΛJUFNʹԠ༻
XPSEWFDΛJUFNʹԠ༻ w εʔύʔجຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ ੨Ռˠڕˠˠೕˠ͓՛ࢠˠࡊˠύϯˠҿྉʜ w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳͷΛങ͏ʹ ͋Δ w ճͷങ͍ϩάΛͭͷTFOUFODFͱΈͳͤɺͦΕͳΓͷࢄදݱ ͕ܭࢉͰ͖ΔͷͰʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε্ख͘
͍͘ͷͰʁͱ͍͏͜ͱͰ࣮ݧͨ͠
σʔλͷ࡞Γํ
σʔλͷ࡞Γํ w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ
σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ DPSQVT
JUFNWFDͷֶश݁Ռ
JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠ࢄදݱΛఆੑత ʹ֬ೝ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺
JUFNͷࢄදݱΛಛྔԽ͢Δ
JUFNͷࢄදݱΛಛྔԽ͢Δ w ֤JUFNͷࢄදݱఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ w ͜ΕΛֶशʹ͑Δܗʹམͱ͠ࠐΈ͍ͨ ˠࠓճ48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
48&.ͱʁ w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ w จͰԼهͭͷख๏͕ఏҊ͞Ε͍ͯΔ 㾎 48&.BWFSɿ୯ޠͷࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத࣌ؒͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
㾎 48&.NBYɿ୯ޠͷࢄදݱʹରͯ͠NBYQPPMJOH͢Δ 㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ 㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆͷΟϯυͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBYQPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
48&.Ͱݕূ
48&.Ͱݕূ w ༻ͨ͠ಛྔ " Ϣʔβʔͷଐੑใʢྸɾੑผʣ # ങ͍ͷ࣌ؒใʢ݄ɾ࣌ɾ༵ͳͲʣ $ JUFNͷࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔྸͷฏۉϕΫτϧͰิ
w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛྔͰൺֱ࣮ݧΛ࣮ࢪ ‣ "#͚ͩͷಛྔʢϕʔεϥΠϯʣ ‣ "#$ͷಛྔʢ$લड़ͨ͠छྨʣ ‣ Ϟσϧ-JHIU(#.GPME 48&.ͷ࣮ίʔυαϯϓϧ(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
ݕূ݁Ռ
ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
·ͱΊ
·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ w ൺֱݕূ͢ΔͱɺຊλεΫͰ48&.IJFS͕Ұ൪ྑ͍ਫ਼ͩͬͨ w ࠓճϢʔβʔใΛͲ͏ͬͯಛྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ ͦͦ͜͜༗༻ͳಛྔʹͳΔ͜ͱ͕͔ͬͨ
w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
࠷ޙʹ
.-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻 ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ ɾػցֶशͷࣾձ࣮ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓͍ͪͯ͠·͢ʂ ΧδϡΞϧ໘ஊͰ͑ΒΕΔൣғͰͳΜͰ͑·͢ʂʢಛʹ४උ͍Γ·ͤΜʣ 5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF)JSJOH
͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ