tf-idfとWord2Vecの併用による文章間類似度判定の実装

サークル自己紹介の際に持っていった成果物です。全部1日くらいで作ったので雑です。すみません……
ライブラリを叩いただけなので十分な理解ができておりません。何かまずい記述、気になる点等ありましたら、ご連絡いただけると助かります。

リンク集
TF-IDF で文書内の単語の重み付け（https://takuti.me/note/tf-idf/）
絵で理解するWord2vecの仕組み（https://qiita.com/Hironsan/items/11b388575a058dc8a46a）
ソースコード（https://gist.github.com/cordx56/09ea955374ce7cffd50aa30efd714406）

Transcript

1. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ tf-idfͱWord2Vecͷซ༻ʹΑΔจষؒ ྨࣅ౓൑ఆͷ࣮૷ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ Digicre pre-pro 2019 @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 1 / 18
2. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ໨࣍ 1 ֓ཁ 2 จষؒͷྨࣅ౓൑ఆ 3 Word2Vec ͷར༻ 4 ࣭ٙԠ౴ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 2 / 18
3. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ࣗݾ঺հ Slack: @cordx56 ࣳӜ޻ۀେֶ ޻ֶ෦ ৘ใ޻ֶՊ 3 ೥ σδΫϦ 14th PG/DTM https://cordx.net/ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 3 / 18
4. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ֓ཁ ຊεϥΠυ͸ tf-idf ͷཧ࿦΍ Word2Vec ͷ࢓૊Έʹͭ ͍ͯղઆ͢Δ΋ͷͰ͸ͳ͘ɺͦΕΛར༻͍͔ͯ͠ʹ͏ ·͘ྨࣅ౓൑ఆΛߦ͏͔ɺͱ͍͏झࢫͷ΋ͷ ૝ఆಡऀ • ػցֶशͱ͔Α͘Θ͔Βͳ͍͚ͲखΛग़ͯ͠Έ͍ͨਓ ▶ Θ͔Δɻຊ౰ʹͳΜ΋Θ͔ΒΜ • ৄ͍͠தͷ࢓૊Έͱ͔Ͱ͸ͳ͘ɺͲ͏͍͏͜ͱ͕Ͱ͖ Δͷ͔ݟͯΈ͍ͨਓ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 4 / 18
5. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ จষؒͷྨࣅ౓൑ఆͱ͸ ίϯϐϡʔλͰจষؒͷྨࣅ౓Λද͍ͨ͠ͱ͢Δ ׆༻๏͸༷ʑ͋Δ͕ɺڈ೥࣮૷ͨ͠ྫͰ͸ɺೖྗ͞Ε ͨจষʹ࠷΋ྨࣅ͢ΔจষΛ୳͠ग़ͯ͠ɺͦΕʹରԠ ͨ͠ฦ౴Λฦ͢͜ͱͰࣗવݴޠԠ౴γεςϜͱͨ͠ ͦͷͨΊʹ͸จষΛѻ͏ͨΊͷܭࢉख๏Λߟ͑ͳͯ͘͸ͳ Βͳ͍ ίϯϐϡʔλ಺෦Ͱ͸શ͕ͯ਺஋Ͱද͞ΕΔ • จষ΋ྫ֎Ͱ͸ͳ͍ ౷ܭͷྗΛ࢖ͬͯɺೖྗ͞Εͨจষ͕σʔλϕʔε಺ͷͲ ͷจষͱͲΕ͚ͩྨࣅ͍ͯ͠Δ͔Λ਺஋Ͱද͍ͨ͠ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 5 / 18
6. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ աڈͷ࣮૷ ڈ೥ͷେٶࡇͰൃදͨ͠จষྨࣅ౓൑ఆ࣮૷͸ɺจষΛ୯ ޠʹ۠੾Γɺ୯ޠʹ tf-idf ͰॏΈ෇͚Λͯ͠ɺจষϕΫτϧ ؒͷίαΠϯྨࣅ౓Λ༻͍ͯྨࣅ౓Λ൑ఆ ୯ޠ͕Ұகͷ৔߹ͷΈԋࢉΛߦ͍ͬͯͨ • ௕ॴ ▶ ۪௚ʹܭࢉͰ͖Δ • ୹ॴ ▶ ҙຯ͕͍ۙ୯ޠͰ΋׬શҰகͰͳ͚Ε͹ྨࣅ౓ 0 @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 6 / 18
7. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ աڈͷ࣮૷ ϕΫτϧԽͷΠϝʔδ − − − − − − − − − → ౦ژʹߦ͘ ౦ژ ۋࢳொ ʹ ߦ͘ 2.3 0 0.7 1.6 − − − − − − − − − − − → ۋࢳொʹߦ͘ ౦ژ ۋࢳொ ʹ ߦ͘ 0 4.2 0.7 1.6 @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 7 / 18
8. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ աڈͷ࣮૷ ίαΠϯྨࣅ౓ͷܭࢉ − − − − − − − − − → ౦ژʹߦ͘ · − − − − − − − − − − − → ۋࢳொʹߦ͘ ∥ − − − − − − − − − → ౦ژʹߦ͘∥∥ − − − − − − − − − − − → ۋࢳொʹߦ͘∥ 0.2322 ͜ͷ݁Ռ͕ 1 ʹۙͮ͘΄Ͳྨࣅ౓͕ߴ͍ ʢϕΫτϧͷ੒֯͢౓ͷίαΠϯ͕ 1 ʹ͍ۙ ˠ ɹ֯౓͕খ͍͞ ˠ ɹಉ͡ํ޲Λ޲͍͍ͯΔʣ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 8 / 18
9. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ tf-idfʹ͍ͭͯ จষதͷ୯ޠʹॏΈ෇͚Λ͢ΔͨΊͷධՁख๏ tf ஋ͱ idf ஋ͷੵ tf ஋ Term Frequency จষ಺Ͱͷ୯ޠͷग़ݱස౓ • จষ಺Ͱසൟʹ܁Γฦ͞ΕΔ୯ޠ͸ॏཁ౓͕ߴ͍ͱ͢Δ idf ஋ Inverse Document Frequency จॻશମͰͷ୯ޠͷग़ݱස౓ • จॻશମͰ܁Γฦ͞ΕΔ୯ޠ͸ॏཁ౓͕௿͍ͱ͢Δ ࢀߟจݙ TF-IDF Ͱจॻ಺ͷ୯ޠͷॏΈ෇͚ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 9 / 18
10. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ tf-idfͷܭࢉख๏ tf ஋ tf(t, d) nt,d ∑ s∈d ns,d nt,d : ͋Δ୯ޠ t ͷจষ d ಺Ͱͷग़ݱճ਺ ∑ s∈d ns,d : จষ d ಺ͷ͢΂ͯͷ୯ޠͷग़ݱճ਺ idf ஋ idf(t) log N df(t) + 1 N: શจষ਺ df(t): ୯ޠ t ͕ग़ݱ͢Δจষͷ਺ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 10 / 18
11. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ จষϕΫτϧಋग़ͷվྑҊ աڈͷ࣮૷Ͱ͸ɺ୯ޠ͝ͱʹ tf-idf ஋ΛٻΊͯɺจষΛ୯ޠ ͝ͱͷ tf-idf ஋ʹΑΔϕΫτϧͰදݱ ಺ੵԋࢉ͸ಉҰͷ୯ޠཁૉؒͰͷΈߦ͏ ୯ޠ͕׬શʹҰக͍ͯ͠ͳ͚Ε͹಺ੵΛͱͬͯ΋஋͸ 0 ྨٛޠΛڐ͞ͳ͍γϏΞͳ࡞Γ ྨٛޠͰ͋ͬͯ΋จষͷྨࣅ౓ʹ൓ө͍ͤͨ͞ ୯ޠͷੑ࣭Λ্ख͘਺஋ʹͯ͠ܭࢉͰ͖ͳ͍ͩΖ ͏͔ʜʜ Word2Vec ͰΑ͠ͳʹཔΉʜʜʂ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 11 / 18
12. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ Word2Vecͱ͸ ࠓྲྀߦΓͷػցֶशͰ୯ޠͷੑ࣭Λ਺஋ԽͰ͖ͳ͍ʁͱ͍ ͏΍ͭ ͬ͘͟Γݴ͏ͱɺ୯ޠͷपลʹͲ͏͍ͬͨผͷ୯ޠ͕Ұॹ ʹ͋Δͷ͔ɺͱ͍͏֬཰Λ༻͍ͯɺ୯ޠͷੑ࣭Λ਺஋Խɺϕ ΫτϧͰදݱ͢Δ ΋͏গͪ͠ΌΜͱ஌Γ͍ͨํ͸ҎԼͷهࣄ͕͓͢͢Ί ֆͰཧղ͢Δ Word2vec ͷ࢓૊Έ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 12 / 18
13. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ౷ܭ͔ɺ਺ֶͰ͖ͳ͍͠͠ΜͲ͍ͳ͊ 2019 ೥ʢ·͊΋ͬͱલ͔Β͚ͩͲʣʹ͸ɺͳΜͱ Python Ͱ਺ߦॻ͚ͩ͘Ͱ Word2Vec ͷֶशϞσϧΛੜ੒ͯ͘͠Ε ΔϥΠϒϥϦ͕͋Δʂ ྫ: gensimɺTensorFlow ౷ܭͳͲͷ਺ֶతഎܠΛཧղ͍ͯ͠ͳ͍খதֶੜͰ΋ χϡʔϥϧωοτͰػցֶशͰ͖Δ࣌୅ ·͊εϖοΫ͕ଟগෆ҆Ͱ΋࣌ؒΛ͔͚Ε͹Ͱ͖Δ ؆୯ʹͰ͖ΔͳΒ΍ͬͯΈΔ͔ʜʜ • ͱݴֶͬͯश༻σʔλͷμ΢ϯϩʔυ͕ऴΘͬͯϓϩ άϥϜͱൃදࢿྉॻ͖࢝Ίͨͷɺൃද౰೔ͷޕલ 1 ࣌ ͳΜͰ͚͢Ͳʜʜ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 13 / 18
14. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ࢖ͬͯΈͨ Listing 1: savemodel.py 1 # !/usr/bin/env python3 2 from gensim.models import word2vec 3 import logging 4 import sys 5 6 logging.basicConfig(format = ’%(asctime)s : %(levelname)s : %( message)s’, level = logging.INFO) 7 8 data = word2vec.LineSentence(sys.argv[1]) 9 model = word2vec.Word2Vec(data, size = 200, window = 5, min_count = 20, workers = 14) 10 model.save(sys.argv[2]) ͜Ε͚ͩͰֶशࡁΈϞσϧ͕อଘͰ͖Δ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 14 / 18
15. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ܭࢉͷΠϝʔδ ͜͜Ͱ͸୯ޠͷϕΫτϧ͸ 200 ࣍ݩͱͨ͠ − − − → ౦ژ −1.2 0.32 . . . 1.8 − − − − − → ۋࢳொ −0.26 0.26 . . . 0.60 − → ʹ −0.40 1.4 . . . 1.4 − − − → ߦ͘ 0.88 0.012 . . . −1.15 − − − − − − − − − → ౦ژʹߦ͘ 2.3 − − − → ౦ژ + 0.7 − → ʹ + 1.6 − − − → ߦ͘ − − − − − − − − − − − → ۋࢳொʹߦ͘ 4.2 − − − − − → ۋࢳொ + 0.7 − → ʹ + 1.6 − − − → ߦ͘ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 15 / 18
16. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ࣮ߦ݁Ռ tf-idf ஋ͰॏΈ෇͚ͨ͠ Word2Vec ୯ޠϕΫτϧͷ࿨Λจষ ϕΫτϧͱ͠ɺจষϕΫτϧؒͷίαΠϯྨࣅ౓Λܭࢉ͢Δ Listing 2: Output 1 $ pipenv run ./calctest.py ./wiki.model ./docs2.txt "ࢲ͸Ұࡢ೔ळ౛ ڕΛ৯΂·ͨ͠ɻ " 2 0.880905025097306 ࢲ͸ࡢ೔͓ण࢘Λ৯΂·ͨ͠ɻ 3 0.8667261280139222 ࢲ͸ࡢ೔ϐβΛ৯΂·ͨ͠ɻ 4 0.8608194237924932 ࢲ͸ࡢ೔ΧϨʔΛ৯΂·ͨ͠ɻ 5 0.8487571599068777 ࢲ͸ࡢ೔ϥʔϝϯΛ৯΂·ͨ͠ɻ 6 0.6088451116024653 ࢲ͸ࡢ೔͕ͬ͜͏͙Β͠ʂΛಡΈ·ͨ͠ɻ ʢιʔείʔυ͸ Gist ʹ͕͍͋ͬͯ·͢ʣ ळ౛ڕʹ൓Ԡͯ͠ʢएׯͳ͕Βʣ͓ण্͕࢘Ґʹ͖͍ͯΔ ੒ޭʂʢ΄Μͱ͏͔ʁʣ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 16 / 18
17. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ࠓޙͷ՝୊ ࣮ࡍͷͱ͜Ζσʔλॾʑ݁ߏ͠ΜͲ͍ ॏΈ෇͚ʹ΋ͬͱ޻෉͕ඞཁʁ • ͪΐͬͱͷ୯ޠͷมԽͰେ͖͘ϕΫτϧ͕มΘͬͯ͠ ·ͬͨΓ͢Δ ෆՄղʹࢥ͑Δ݁ՌΛఏࣔ͢Δέʔε΋ଟ͍ • ͭΒ͍ • ػցֶशͱ͸ͦ͏͍͏΋ͷ ֶशσʔλ΋ؚΊݕ౼͕ඞཁ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 17 / 18
18. ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ֓ཁ จষؒͷྨࣅ౓൑ఆ Word2Vec ͷར༻ ࣭ٙԠ౴ ࣭ٙԠ౴ ৄ͍͜͠ͱ͸Θ͔ͬͯͳ͍ͷͰฉ͔ͳ͍Ͱʜʜ • ཧ࿦͕Θ͔͍ͬͯͳͯ͘΋Ͱ͖·͢ • ϥΠϒϥϦୟ͚Ε͹୭Ͱ΋Ͱ͖·͢ • ཁ๬͕͋Ε͹ֶशࡁΈϞσϧͷϑΝΠϧ͋͛·͢ ▶ ·͊ࣗ෼Ͱ΍Δͱ໘ന͍ ▶ ͦΕ͸ͦ͏ͱͯ͠ॲཧ৯͏ͷΑͶ • ཧ࿦ͷ͓ษڧ΋͕Μ͹Γ·͢ʜʜ ▶ ં֯େֶͰ৘ใՊֶΛ΍͍ͬͯΔͷͰ @cordx56 ࣳӜ޻ۀେֶ σδΫϦ ϓϩάϥϛϯά൝ tf-idf ͱ Word2Vec ͷซ༻ʹΑΔจষؒྨࣅ౓൑ఆͷ࣮૷ 18 / 18