Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ストックマークでの自然言語処理の取り組み

 ストックマークでの自然言語処理の取り組み

Takahiro Omi

May 10, 2022
Tweet

More Decks by Takahiro Omi

Other Decks in Technology

Transcript

  1. ετοΫϚʔΫגࣜձࣾ ۙߐਸ޺ ʮχϡʔεهࣄ͔ΒϏδωε׆ಈͷ৘ใΛߏ଄Խ͢Δʯ ετοΫϚʔΫͰͷࣗવݴޠॲཧͷऔΓ૊Έ 'PSLXFMM .-4UVEZ 

  2. ࢠڙ͕ཚೖͯ͘͠Δ͔΋͠Ε·ͤΜ͕ɺ͝༰͍ࣻͩ͘͞ɻ

  3. ࣗݾ঺հ 3 • ۙߐਸ޺ʢ͓͓Έ͔ͨͻΖʣ • ೥݄ʹετοΫϚʔΫʹೖࣾ͠ɺࣗવݴޠॲ ཧͷݚڀ։ൃʹैࣄ • લ৬͸౦ژେֶʢಛ೚।ڭतʣͰɺ࣌ܥྻղੳΛத ৺ͱͨ͠౷ܭֶ΍ػցֶशͷجૅɾԠ༻ݚڀʹैࣄ

    ɻ
  4. ΞΧσϛΞͰͷݚڀ׆ಈ 4 • ਎ۙͳݱ৅ʹର͢Δ਺ཧతͳΞϓϩʔνʹڵຯ͕͋Γɺ ࣌ܥྻղੳͷݚڀΛ͖ͯͨ͠ɻ • ౷ܭϞσϦϯάɺϕΠζϞσϦϯά • χϡʔϥϧωοτϫʔΫ •

    ࣌ܥྻղੳͰ΋ਂ૚ֶश͕੝Γ্͕Γɺ࣮Ԡ༻ʹ͓͚Δ ϙςϯγϟϧΛײ͍ͯͨ͡ɻ
  5. ΞΧσϛΞ͔ΒελʔτΞοϓ΁ͷస৬ 5 ೥݄ࠒ͔ΒݚڀػؔͷϙδγϣϯΛ୳͔͢ɺຽؒاۀͰಇ͔͘Λߟ͑࢝ ΊΔɻ ü جૅతͳݚڀΑΓ͸࣮ࣾձͷ໰୊ղܾΛߦ͍͍ͨɻ ü ͜ͷྖҬ͸ΞΧσϛΞͱ࢈ۀքͷڑ཭͕͍ۙɻ ü ࣗવݴޠॲཧ΋͋Δछͷ࣌ܥྻղੳɻ

    ೥݄ʹετοΫϚʔΫʹೖࣾ
  6. ࠓ೔ͷ಺༰ɿ 6 ü ձࣾ঺հ ü ࣗવݴޠॲཧͷݚڀ։ൃ ü ࠓޙͷల๬

  7. ࠓ೔ͷ಺༰ɿ 7 ü ձࣾ঺հ ü ࣗવݴޠॲཧͷݚڀ։ൃ ü ࠓޙͷల๬

  8. ˜4UPDLNBSL *OD ձ໊ࣾ ετοΫϚʔΫגࣜձࣾ 4UPDLNBSL *OD ΦϑΟε ౦ژ౎ߓ۠ೆ੨ࢁஸ໨ -*'03,.*/".*"0:"."4 ઃ

    ཱ ೥݄೔ ૑ۀऀ ୅දऔక໾$&0 ྛ ୡ औక໾$50 ༗അ ޾հ ࣄۀ಺༰ ࣗવݴޠॲཧٕज़Λ׆༻ͨ͠ "*4BB4ϓϩμΫτͷఏڙ ैۀһ਺ ໊ ೥݄ ݱࡏ 63- IUUQTTUPDLNBSLDPKQ ձࣾ঺հ
  9. ࢲͨͪετοΫϚʔΫ͸ɺ ੈքதͷςΩετσʔλΛूΊɺ ਓ͕ؒ׆༻Ͱ͖ΔΑ͏ʹ੔ཧ͠ɺ ਓؒʹ͸ൃݟͰ͖ͳ͍ؔ܎ੑ΍৘ใΛ͓ಧ͚͠·͢ɻ

  10. ࢲͨͪετοΫϚʔΫ͸ɺ ੈքதͷςΩετσʔλΛूΊɺ ਓ͕ؒ׆༻Ͱ͖ΔΑ͏ʹ੔ཧ͠ɺ ਓؒʹ͸ൃݟͰ͖ͳ͍ؔ܎ੑ΍৘ใΛ͓ಧ͚͠·͢ɻ χϡʔεهࣄ /-1

  11. ˜4UPDLNBSL *OD /-1Λ׆༻ͨ͠اۀ޲͚ͷ৘ใऩूɾ෼ੳͷ"*4BB4Λల։ cࣗવݴޠॲཧ"*ͰมΘΔΦʔϓϯσʔλ׆༻ͱࣄۀߏ૝ྗ  "*͕ϏδωεʹඞཁͳχϡʔεΛਪન "*͕๲େͳ৘ใ͔Βͷࢢ৔ௐࠪΛαϙʔτ

  12. ˜ 4UPDLNBSL*OD  cಋೖ࣮੷ ੡଄ۀݚڀ։ൃ෦໳Λத৺ʹྦྷܭ ࣾҎ্͕͝ར༻

  13. ˜4UPDLNBSL *OD cςΫϊϩδʔ 4UPDLNBSL͕ڧΈͱ͢Δࣗવݴޠॲཧٕज़  ΦʔϜ͔ࣾΒٕज़ॻग़൛ ೔ܦΛ࢝Ίͱͨ͠ϝσΟΞܝࡌ ౦๺େֶ סݚڀࣨͱͷڞಉݚڀ

  14. ࠓ೔ͷ಺༰ɿ 14 ü ձࣾ঺հ ü ࣗવݴޠॲཧͷݚڀ։ൃ ü ࠓޙͷల๬

  15. 3FTFBSDIνʔϜͷϛογϣϯ 15 ʮੈքதͷςΩετσʔλ͔ΒϏδωε׆ಈͷ৘ใΛߏ଄Խ͢Δʯ ü ߏ଄ԽͬͯԿʁ ü Ͳ͏΍ͬͯ΍Δͷʁ ü Կͷ໾ʹཱͭͷʁ

  16. ςΩετσʔλͷߏ଄Խ 16 ü ੜͷςΩετσʔλ͸ͦͷ··Ͱ͸ίϯϐϡʔλͰॲཧ͠ʹ͍͘ɻ ü ʮߏ଄Խʯͱ͸ɺςΩετσʔλ͔Βݻ༗໊ࢺ΍ΩʔϫʔυΛநग़ͨ͠ Γɺهࣄͷ෼ྨΛߦ͍ɺίϯϐϡʔλͰѻ͍΍͍͢Α͏ʹ৘ใΛ੔ཧ͢ Δ͜ͱɻ χϡʔεهࣄ ετοΫϚʔΫגࣜձࣾͷۙ

    ߐਸ޺ࢯ͕ʹ౦ژͰߦΘ ΕΔ'PSLXFMM.-4UVEZʹొ ஃ͠ɺࣗવݴޠॲཧʹ͍ͭͯ ߨԋ͢Δɻ ΧςΰϦʔ ୯ޠ اۀ໊ ετοΫϚʔΫגࣜձࣾ ਓ໊ ۙߐਸ޺ Ωʔϫʔυ ࣗવݴޠॲཧ நग़ ෼ྨ ΧςΰϦʔ Ϋϥε هࣄ෼ྨ ࣾձɺܦࡁɺ੓࣏ɺࠃࡍɺ *5ɺՊֶɺͦͷଞ
  17. Ͳ͏΍ͬͯߏ଄ԽΛߦ͏͔ʁ #&35ͷಛ௃ Ø ෼ྨɾநग़ͳͲͷࣗવݴޠॲཧͷ׆༻ࣄྫͰΑ͘ݱΕΔλεΫ͕ಘҙɻ Ø ೔ຊޠʹಛԽͨ͠ࣄલֶशϞσϧ͕ެ։͞Ε͓ͯΓɺ୭Ͱ΋࢖͑Δɻ Ø ൺֱతগ਺ͷσʔλ͔Βֶश͢Δ͜ͱ͕Ͱ͖Δʢ਺ඦͷσʔλ͔ΒͰ΋ύϑΥʔϚϯ ε͕ग़Δ͜ͱ΋͋Δʣɻ Ø

    &OEUP&OEͰ༻͍Δ͜ͱ͕Ͱ͖ࣗવݴޠॲཧͷඇઐ໳ՈͰ΋ѻ͍΍͍͢ɻ #&35ʢ%FWMJOFUBM ʣͷొ৔ʹΑΓςΩετσʔλͷߏ଄Խ͕&OEUP &OEͰਓͱ͍ۙϨϕϧͰߦ͑ΔΑ͏ʹͳͬͨɻ
  18. ˜4UPDLNBSL *OD #&35ʹΑΔࣗવݴޠॲཧೖ໳5SBOTGPSNFSTΛ ࢖࣮ͬͨફϓϩάϥϛϯάʢΦʔϜࣾʣ ฤɿετοΫϚʔΫגࣜձࣾ ஶɿۙߐ ਸ޺ ۚా ݈ଠ࿠ ৿௕

    ੣ ߐؒݟ ѥར ൃച೔ɿ ݱࡏɺୈ࡮ʂʂ ͝޷ධ͍͍͓ͨͩͯΓ·͢ʂ
  19. ςΩετΛτʔΫϯʹ෼ׂͨ͠΋ͷΛೖྗ͢ΔͱɺͦΕͧΕͷτʔΫϯΛҙຯΛ ൓өͨ͠ϕΫτϧʹͯ͘͠ΕΔɻ <$-4> ετοΫ ϚʔΫ Ͱ ͸ ·͢ #&35 #&35

    ೖྗ τʔΫϯ ग़ྗ ʢϕΫτϧʣ ɻ <4&1> ɾɾɾ ɾɾɾ 𝒗𝟎 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒗𝟒 𝒗𝟕 𝒗𝟖 𝒗𝟗 ετοΫϚʔΫͰ͸ɾɾɾ·͢ɻ
  20. ετοΫϚʔΫͰ͸ɾɾɾ·͢ɻ <$-4> ετοΫ ϚʔΫ Ͱ ͸ ·͢ #&35 #&35ʹΑΔςΩετ෼ྨ ೖྗ

    τʔΫϯ ग़ྗ ʢϕΫτϧʣ ɻ <4&1> ɾɾɾ ɾɾɾ 𝒗𝟎 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒗𝟒 𝒗𝟕 𝒗𝟖 𝒗𝟗 *5 ෼ྨϥϕϧ ෼ྨث
  21. ετοΫϚʔΫͰ͸ɾɾɾ·͢ɻ <$-4> ετοΫ ϚʔΫ Ͱ ͸ ·͢ #&35 #&35ʹΑΔݻ༗දݱநग़ɿاۀ໊நग़ ೖྗ

    τʔΫϯ ग़ྗ ʢϕΫτϧʣ ɻ <4&1> ɾɾɾ ɾɾɾ 𝒗𝟎 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒗𝟒 𝒗𝟕 𝒗𝟖 𝒗𝟗 0 ϥϕϧ اۀ໊ 0 0 0 0 0 اۀ໊ اۀ໊ͱͯ͠நग़ ෼ྨث
  22. 22 ü اۀ໊͸ࢢ৔ௐࠪʹ͓͚ΔॏཁͳཁૉͰ͋ΓɺϓϩμΫτͷ༷ʑͳػೳͰا ۀ໊நग़ͷ݁ՌΛ༻͍͍ͯΔɻ ü χϡʔεهࣄΛ΋ͱʹಠࣗͷֶशσʔλʢ໿هࣄʣΛ࡞੒͢Δ͜ͱͰɺ χϡʔεهࣄʹಛԽͨ͠ߴਫ਼౓ͳاۀ໊நग़ϞσϧΛ#&35Λ༻͍ͯ։ൃ 正しく抽出できた企業 企業以外を誤検出 Stockmark

    BERT 93% 9% Ύତଟ  ቇΥଟ #&35ʹΑΔاۀ໊நग़ <5FDI#MPH>#&35ʹΑΔχϡʔεهࣄͷߏ଄Խ ʢIUUQTUFDITUPDLNBSLDPKQCMPH@DPNQBOZ@FOUJUJFT@SFDPHOJUJPOʣ
  23. اۀ໊நग़ͷϢʔεέʔεɿاۀͷҰཡԽ هࣄΛҰͭҰͭಡ·ͳͯ͘΋ɺࣗ વݴޠॲཧʹؔ͢Δχϡʔεهࣄ ʹݱΕͨاۀ͕Θ͔Δɻ

  24. اۀ໊நग़ͷϢʔεέʔεɿاۀ໊ʹΑΔهࣄݕࡧ Google 検索 Astrategy (PPHMFݕࡧͰ͸ɺɺɺ༷ʑͳҙຯͷʮϥΠΦϯ ʯʹؔ͢Δهࣄ͕ग़ྗ͞ΕΔɻ "TUSBUFHZͰ͸ɺɺɺاۀͷʮϥΠΦϯʯʹؔ͢Δ هࣄͷΈ͕ग़ྗ͞ΕΔ ʮϥΠΦϯʯͱݕࡧ͢Δͱɾɾɾ

  25. ໨తʹԠͨ͡ॏཁͳจͷநग़ ü ߏ଄ԽͷҰ؀ͱͯ͠ɺχϡʔεهࣄ͔ΒಛఆͷҙຯΛ࣋ͭจͷநग़΋ߦ ͍ͬͯΔɻ 25 χϡʔεهࣄ ਓࡐෆ଍ʹରԠ͢ΔͨΊ ʹۀ຿ޮ཰Խ͕ਐΜͰ͍ Δɻ"ࣾ͸ࠓ೥͔Βࣗવ ݴޠॲཧ"*Λ༻͍ͨۀ

    ຿ޮ཰Խͷ࣮ূ࣮ݧΛߦ ͍ͬͯΔɻ೥ʹ঎ ༻ԽΛ໨ࢦ͍ͯ͠Δɻ ΧςΰϦʔ จ ࣄྫจ ʢاۀͷऔΓ૊ΈΛද͢จʣ "ࣾ͸ࣗવݴޠॲཧ"*Λ༻͍ͨۀ຿ ޮ཰Խͷ࣮ূ࣮ݧΛߦ͍ͬͯΔɻ എܠจ ʢऔΓ૊ΈͷഎܠΛද͢จʣ ਓࡐෆ଍ʹରԠ͢ΔͨΊʹۀ຿ޮ཰ Խ͕ਐΜͰ͍Δɻ কདྷจ ʢকདྷಈ޲Λද͢จʣ ೥ʹ঎༻ԽΛ໨ࢦ͍ͯ͠Δɻ ⋮ நग़
  26. χϡʔεهࣄ͔ΒاۀͷऔΓ૊Έࣄྫͷநग़ʢࣄྫूʣ ü ࢢ৔ௐࠪʹ͓͍ͯॏཁͳཁૉͰ͋Δɺ֤اۀͷऔΓ૊ΈࣄྫʢࣄྫจʣΛࣗಈ ͰҰཡԽ ü هࣄͷ֤จʹରͯ͠ʮࣄྫจʯͰ͋Δ͔ʮࣄྫจͰ͸ͳ͍ʯͰ͸ͳ͍͔ͷೋ஋ ෼ྨΛ#&35Ͱߦ͍ɺࣄྫจΛهࣄ͔Βநग़͢Δɻ

  27. 3FTFBSDIνʔϜͷϛογϣϯ 27 ʮੈքதͷςΩετσʔλ͔ΒϏδωε׆ಈͷ৘ใΛߏ଄Խ͢Δʯ ü ߏ଄ԽͬͯԿʁ ςΩετσʔλ͔Β৘ใΛநग़ɾ੔ཧ͢Δ͜ͱɻ ü Ͳ͏΍ͬͯ΍Δͷʁ ฐࣾͰ͸#&35ΛΑ͘࢖͍ͬͯ·͢ʂ ü

    Կͷ໾ʹཱͭͷʁ ໨తʹԠͯ͡ॏཁͳ৘ใΛߏ଄Խ͓͚ͯ͠͹ɺେྔͷهࣄΛ ಡ·ͣʹɺඞཁͳ৘ใΛޮ཰Α͘खʹೖΕΔ͜ͱ͕Ͱ͖·͢ʂ
  28. ݚڀػؔͱͷڞಉݚڀ 28 ü ೥݄͔Β౦๺େֶͷס ݚڀࣨͱͷɺ೔ຊޠςΩετσ ʔλ͔Βͷ஌ࣝάϥϑߏஙʹؔ ͢ΔڞಉݚڀΛ։࢝ͨ͠ɻ ü ݴޠʹؔ͢Δຊ࣭తͳٞ࿦΍ɺ ࠷ۙͷख๏ʹ͍ͭͯͷٞ࿦΋͋

    Γɺ୯७ʹָ͍͠ɻ ü ڞಉݚڀͷ੒Ռͷࣄۀߩݙ΋ݟ ͖͑ͯͨ ü ͜ͷ݄͔Βסݚͷֶੜ͕ਖ਼ࣾһ ͱͯ͠ೖࣾͨ͠ʂ ૝૾Ҏ্ʹɺػցֶशྖҬʹ͓͚ΔΞΧσ ϛΞͱ࢈ۀքͷڑ཭ͷۙ͞Λײ͍ͯ͡Δɻ
  29. ػցֶशγεςϜͳΒͰ͸ͷۤ࿑ɿֶशσʔλ࡞੒ 29 ü ػցֶशϞσϧΛ࠾༻͢Δͱɺ৽͍͠ػೳΛ։ൃ͍ͨ͠ͱ͖ʹ͸ɺ৽͠ ֶ͍शσʔλΛҰ͔Β࡞Δඞཁ͕͋Δʢ͜ͱ͕ଟ͍ʣɻ ü యܕతʹ͸਺ඦʙهࣄ΄ͲʹΞϊςʔγϣϯΛߦ͑͹ɺ#&35Ͱͦ ͦ͜͜ಈ͘Ϟσϧ͸࡞ΕΔ͜ͱ͕ଟ͍ͷͰɺ୲౰ऀ͕Ξϊςʔγϣϯ͠ ͯ͠·͏৔߹΋͋ΔɻඞཁʹԠͯ͡Ξϊςʔγϣϯͷ֎஫΋ߦ͍ͬͯΔɻ ü

    λεΫʹΑͬͯ͸ɺΞϊςʔγϣϯͷΨΠυϥΠϯΛ࡞Δͷʹ͕͔͔࣌ؒΔ৔߹΋͋Γɺ ՝୊ʹର͢Δղ૾౓ͷߴ͍୲౰ऀ͕খن໛ͳֶशσʔληοτΛ࡞Δํ͕ޮ཰తͳ͜ͱ΋ ͋Δɻ ü σʔλͱ޲͖߹͏͜ͱͰɺࣗ෼ͨͪͷऔΓ૊ΜͰ͍Δ՝୊ʹର͢Δղ૾౓্͕͕Δɻ
  30. ϓϩμΫτଆͱͷίϛϡχέʔγϣϯ 30 ü ࠷ۙͰ͸ɺϓϩμΫτͷൃలʹΑΓɺϓϩμΫτଆ͔ΒʮاۀͷऔΓ૊ ΈࣄྫΛநग़͍ͨ͠ʯͱ͍͏Α͏ͳந৅తͳཁ๬͕૿͍͑ͯΔɻ ü ϓϩμΫτଆͱίϛϡχέʔγϣϯΛߦ͍ɺந৅తͳཁ๬Λ/-1ͷ໰୊ ʹམͱ͠ࠐΉ͜ͱ΋3FTFBSDIνʔϜͷ໾ׂʹͳ͍ͬͯΔɻ ü ݚڀ։ൃʹ͓͍ͯɺࣄۀʹର͢Δղ૾౓ͷߴ͕͞ॏཁʹͳ͖͍ͬͯͯΔɻ

  31. ࠓ೔ͷ಺༰ɿ 31 ü ձࣾ঺հ ü ࣗવݴޠॲཧͷݚڀ։ൃ ü ࠓޙͷల๬

  32. Ϣʔβʔʹͱͬͯཧղ͠΍͍͢ϓϩμΫτΛ໨ࢦͯ͠ 32 ü ͜Ε·Ͱ͸ɺ"TUSBUFHZͰ͸هࣄ͔ΒओʹΩʔϫʔυͷநग़Λߦ͍ɺͦΕΛ༻ ͍ͯࢢ৔ௐࠪΛࢧԉ͢ΔͨΊͷػೳΛఏڙ͖ͯͨ͠ɻ ü զʑͷϓϩμΫτʹՁ஋Λײͯ͘͡ΕΔਓ΋Ұఆ਺͍ͨҰํͰɺϢʔβʔͷଟ ͘͸࢖͍ํ͕೉͍͠ͱײ͍ͯͨ͡ɻ ü എܠ஌͕ࣝͳ͍ਓʹͱͬͯ͸ɺநग़͞ΕͨΩʔϫʔυͷҙຯΛཧղ͢Δͷ

    ͕೉͍͠ɻ ü ௐࠪܦݧ͕ͳ͍ਓʹͱͬͯ͸ɺ๲େͳهࣄ͔Βநग़͞Εͨଟ਺ͷΩʔϫʔ υ͔ΒΠϯαΠτΛಘΔͷ͸೉͍͠ɻ
  33. Ωʔϫʔυ͔Βจ΁ ü "TUSBUFHZͰ͸೥݄ʹΩʔϫʔυ͚ͩͰͳ͘จͷग़ྗ΋ߦ͏ࣄྫूʢ اۀͷऔΓ૊ΈΛද͢ʮࣄྫจʯΛҰཡԽ͢ΔػೳʣΛϦϦʔεɻ"TUSBUFHZ ͷத৺తͳػೳʹͳΓͭͭ͋Δɻ ü ਓؒʹͱͬͯ͸จষ͕࠷΋ཧղ͠΍͍͢ϑΥʔϚοτͷҰͭͰ͋Δɻ

  34. %BUBUP5FYU ࠓޙ͸ߏ଄Խͱݴޠੜ੒Λத৺ͱͯ͠ɺσʔλʹؚ·ΕΔΠϯαΠτ΍ػցֶश γεςϜͷग़ྗΛઆ໌͢ΔจষΛੜ੒͢Δٕज़Λ։ൃ͠ɺϓϩμΫτΛΑΓϢʔ βʔϑϨϯυϦʔʹ͍ͨ͠ɻ ü ୯Ұɾෳ਺هࣄ͔Βͷཁ໿ੜ੒ ü ࢢ৔ௐࠪϨϙʔτͷࣗಈੜ੒ ü χϡʔεهࣄਪનʹ͓͚Δਪનཧ༝จͷੜ੒

    ü ର࿩ܕͷ࣭໰Ԡ౴
  35. ऴΘΓʹ 35 ࣗવݴޠॲཧͷݚڀ։ൃ͸໘ന͍ʂ ü ਂ૚ֶशͷൃలʹΑΓɺ࣮ݱՄೳͳࣗવݴޠॲཧͷαʔϏεͷ෯͕޿͕ͬͨ ü ͜ͷྖҬ͸ΞΧσϛΞͱ࢈ۀքͷڑ཭͕ۙ͘ɺ࠷৽ͷٕज़ΛϓϩμΫτʹ༻ ͍Δ͜ͱ͕Ͱ͖Δɻ ü ݴޠ͸Ԟਂ͍

  36. ετοΫϚʔΫʹڵຯΛ͍͍࣋ͬͯͨͩͨํ΁ ü ετοΫϚʔΫ Ͱͷϙδγϣϯʹڵຯͷ͋Δํɿ IUUQTIFSQDBSFFSTWTUPDLNBSL ü ؾܰʹ࿩Λฉ͍ͯΈ͍ͨํɿ .FFUZ IUUQTNFFUZOFU ͰʮετοΫϚʔΫʯͰݕࡧʂ

    ü ΠϕϯτʹࢀՃͯ͠Έ͍ͨํɿ 4UPDLNBSL 5FDI.FFUVQ IUUQTTUPDLNBSLDPOOQBTTDPNFWFOU ü ٕज़తͳ࿩୊ʹڵຯͷ͋Δํɿ 4UPDLNBSL 5FDICMPH IUUQTUFDITUPDLNBSLDPKQ
  37. ˜4UPDLNBSL *OD