Upgrade to Pro — share decks privately, control downloads, hide ads and more …

感性を考慮した日本語俗語の標準語変換

0027afdecf3ac9d5a586f60abcec41d8?s=47 kakubari
February 13, 2017

 感性を考慮した日本語俗語の標準語変換

長岡技術科学大学 自然言語処理研究室
学部3年 角張竜晴

文献紹介:人工知能学会論文誌Vol.32(2017) No.1

0027afdecf3ac9d5a586f60abcec41d8?s=128

kakubari

February 13, 2017
Tweet

Transcript

  1.          

     ௕ Ԭ ٕ ज़ Պ ֶ େ ֶ  ࣗ વ ݴ ޠ ॲ ཧ ݚ ڀ ࣨ  ֶ ෦  ೥  ֯ ு ཽ ੖  感性を考慮した日本語俗語の標準語変換 Conversion of Japanese Slang into Standard Japanese Considering Sensibility 松本 和幸, 土屋 誠司, 芋野 美紗子, 吉田 稔, 北 研二 人工知能学会論文誌 7PM  /P Q8MM"@ ࿦จಛूʮ΢ΣϒΠϯςϦδΣϯεͱΠϯλϥΫγϣϯʯ  ਤ΍ද͸࿦จΑΓҾ༻
  2. 概要 ˔एऀݴ༿Λҙຯతʹ΋ײੑతʹ΋ྨࣅͨ͠ඪ४ޠʹ ม׵͢Δ —  ଟ࣍ݩͷҹ৅࣠ —  ҙຯϕΫτϧ  ˔෼͔ͬͨ͜ͱ — 

    ϕʔεϥΠϯख๏ΑΓ΋ߴ͍.33ͷ஋͕ߴ͍ —  ඪ४ޠΒ͠͞ͷείΞٴͼײੑྨࣅ౓ʹجͮ͘ϑΟ ϧλϦϯάʹΑΓɺਖ਼ղީิͷม׵ॱҐΛߴ͘อͯ Δ
  3. はじめに ˔एऀݴ༿ͷதʹ͸ɺඪ४ޠΛݴ͍׵͑ͨදݱ͕ଟ͘ ଘࡏ͢Δɻ —  एऀݴ༿Λඪ४ޠʹม׵͢Δͱʜ ɹҙݟɾධ൑෼ੳ΍ײ৘ೝࣝͷਫ਼౓Λվળ  ˔एऀݴ༿͸࢖ΘΕΔظؒ΍৔໘ɺίϛϡχςΟʹ͹ Β͖͕ͭ͋Γɺҙຯ΍༻๏΋࣌୅ͱͱ΋ʹมԽ͢Δɻ — 

    8FC্ͷ4/4͔Βऩूͨ͠ςΩετͷίʔύε —  ײੑධՁ࣠ͱҙຯϕΫτϧΛ༻͍ͯʜ ɹҙຯతʹ΋ײੑతʹ΋ྨࣅͨ͠ඪ४ޠʹ͢Δ  
  4. 実験手法 ˔एऀݴ༿ͷײੑ෼ੳ —  एऀݴ༿ͷײੑධՁΞϯέʔτ —  एऀݴ༿ͱඪ४ޠͷײੑൺֱ ˔ίʔύεͷߏங —  एऀ5XFFUίʔύε ˔एऀݴ༿͔Βඪ४ޠ΁ͷม׵ख๏

    —  จ຺ྨࣅੑʹجͮ͘ྨޠͷऔಘ —  ଏޠΒ͠͞ͷܭࢉ —  ײੑྨࣅ౓ʹجͮ͘ީิநग़
  5. 若者言葉の感性評価アンケート ˔एऀײ৘ίʔύε χίχίେඦՊ ɹ὎ޠΛબఆ ˔ධՁํ๏ —  ඃݧऀʹ໿ޠ —  ֤ޠʹରͯ͠ɺ໊̎Ҏ্͕ճ౴ — 

    छྨͷײੑධՁର —  ֤ஈ֊ͰධՁ —  ࣍ݩͷײੑධՁϕΫτϧʹม׵ɾਖ਼ نԽ͠ɺࣗݾ૊৫ԽϚοϓΛ༻͍ͯ෼ੳ ˔ධՁ݁Ռ —  Α͘ࣅͨҹ৅ͷݴ༿͕͍ۙҐஔʹදࣔ  感性評価ベクトルに基づき自己組織化マップに より若者言葉を配置した例 アンケートに用いた感性評価軸
  6. 若者言葉と標準語の感性比較 ˔ޠͷதͰɺҎԼͷ৚݅ʹ౰ͯ͸·ΔޠΛநग़ —  ಉҰදهޠ͕طଘ͢Δඪ४ޠʹ͸ొ࿥͞Ε͍ͯͳ͍ —  ҙຯ͕ಉҰ·ͨ͸ྨࣅ͢Δදݱ͕ࣙॻʹొ࿥͞Ε͍ͯΔ ˔एऀݴ༿ͱରԠ͢Δඪ४ޠͷ QPTJUJWFOFHBUJWFOFVUSBMͷ಺༁ —  Ұக͢Δ৔߹ɺ

    —  Ұக͠ͳ͍৔߹΋͋Δ ὎एऀݴ༿͔Βඪ४ޠ΁ม׵͢Δͱ ɹײੑ͕มԽ͢Δ  एऀݴ༿QPTJUJWFඪ४ޠOFHBUJWF͕૊ 若者言葉と対応する標準語の感性比較
  7. 俗語らしさの計算 ˔ޠͷಛ௃ʢ/Pd/P·Ͱͷಛ௃ྔʣΛϕΫτϧͰදݱ ὎ଏޠͱඪ४ޠͷ૒ํͰද૚ಛ௃ྔΛநग़ɺྨࣅ౓ΛٻΊΔ  ˔ଏޠΒ͠͞ͷείΞ4D XJ  ɹ͕ᮢ஋Ҏ্ͳΒग़ྗީิ͔Βআ֎ 文字列から抽出する表層特徴量

  8. 感性類似度に基づく候補抽出 —  ײੑධՁରͷछྨΛײੑධՁϕΫτϧͱ͢Δɻ —  ΞϯέʔτऔಘࡁΈͷएऀݴ༿ͷ֓೦ϕΫτϧʹ͓͚Δ֤࣍ݩͷ ؔ࿈౓ΛٻΊɺײੑධՁॏΈߦྻΛٻΊΔɻ —  ͦͯ͠ɺײੑධՁϕΫτϧͷಋग़Λߦ͏ɻ —  ೖྗ͞Εͨएऀݴ༿͔Βਪఆ͞ΕͨײੑධՁϕΫτϧͱɺม׵

    ީิͱͯ͠ಘΒΕͨ୯ޠͷײੑධՁϕΫτϧͷײੑྨࣅ౓Λܭࢉ ͢Δɻ —  ͜ͷ݁Ռͱඪ४ޠΒ͠͞ͷείΞʢ4D XJ º  ʣΛֻ͚߹Θͤ ͨ஋Ͱɺม׵ީิΛॱҐ෇͚͢Δɻ
  9. 若者言葉の標準語への変換候補 —  Ұͭͷएऀݴ༿ʹ໿̏ޠͷඪ४ޠީิ͕ਖ਼ղީิͱͯ͠෇༩ ͞ΕΔɻ  若者言葉と対応する標準語の例

  10. 実験結果 ˔ϕʔεϥΠϯख๏ —  ඪ४ޠΒ͠͞ͷείΞܭࢉٴͼײੑྨࣅ౓ͷܭࢉ͸͠ͳ͍ —  ֓೦ϕΫτϧͷྨࣅ౓ͷΈͰͷ൑அ ˔ධՁํ๏ —  .33 .FBO3FDJQSPDBM3BOL

    ͷฏۉ஋ ὎ݕࡧ݁Ռͷ͏ͪɺਖ਼ղͱͳΔ୯ޠ͕/ݸग़ྗ͞Εͨ৔߹ɺ ͦͷ୯ޠͷग़ྗॱҐ3J ͷٯ਺ͷ૯࿨Λਖ਼ղ୯ޠ਺Ͱׂͬͨ஋ 
  11. 実験結果 .33  ඪ४ޠͷਖ਼ղީิΛ࣋ͭଏޠʹରͯ͠ܭࢉ ʢඪ४ޠΒ͠͞ͷείΞٴͼײੑྨࣅ౓ʹجͮ͘ϑΟϧλϦϯάख๏ʣ .33  ΞϯέʔτʹΑΓਖ਼ղީิΛܾఆͨ͠ଏޠʹରͯ͠ܭࢉ ʢϕʔεϥΠϯख๏ʣ 

    ˔.33  ͕.33  ΑΓ΋௿͍ ὎ෆཁͳޠΛϑΟϧλϦϯάͰআڈ ɹ͢Δ͜ͱ͕Ͱ͖͍ͯΔɻ   MRR平均の比較
  12. 実験結果 ఏҊख๏Ͱ͸ɺਖ਼ղҎ֎ͷྨࣅޠީิΛϑΟϧλϦϯά͢Δ ͜ͱͰɺਖ਼ղީิͷॱҐΛߴ͘อ͍ͯͯΔɻ 変換候補の例

  13. 実験結果 —  ײੑྨࣅ౓͸ɺ֓೦ϕΫτϧͷ࣍ݩ͕গͳ͍࣌ʹɺͦΕΛΧόʔ͢Δ ޮՌ͕େ͖͍ɻ —  ඪ४ޠΒ͠͞ͷείΞʹΑΔϑΟϧλϦϯάͰ͸ɺਖ਼ղΛ࢒͢͜ͱ͕ Ͱ͖ͳ͍৔߹͕͋Δɻ 感性類似度のみを適用した場合の比較 標準語らしさのスコアによるフィルタリングのみを適 用した場合の比較

  14. まとめ ˔ඪ४ޠΒ͠͞ͷείΞٴͼײੑྨࣅ౓ʹجͮ͘ϑΟϧλϦ ϯάʹΑΓɺਖ਼ղީิͷม׵ॱҐΛߴ͘Ͱ͖Δɻ  ˔ඪ४ޠΒ͠͞ͷείΞͷܭࢉํ๏ͷվળʹΑΓɺϑΟϧλ Ϧϯάͷਫ਼౓Λ޲্ͤ͞Δඞཁ͕͋Δɻ