B3_Seminar_07

 B3_Seminar_07

長岡技術科学大学
自然言語処理研究室
角張竜晴

0027afdecf3ac9d5a586f60abcec41d8?s=128

kakubari

March 30, 2017
Tweet

Transcript

  1. ௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ৘ใΞΫηεධՁํ๏ᶄ 1

  2. 今日の内容 ˔جຊతͳ৘ใݕࡧධՁࢦඪ ɹɾٯ਺ॱҐ  ˔ςΩετΛର৅ͱͨ͠৘ใΞΫηεධՁ ɹɾ#-&6  2

  3. Web検索の検索意図 ˔#SPEFS͕೥ʹࣔͨ͠ݕࡧҙਤͷ̏ͭͷλΠϓ ɾ༠ಋܕ ὎ಛఆͷαΠτΛ๚Ε͍ͨͱ͍͏ҙਤ ɾ৘ใऩूܕ ὎ҰͭҎ্ͷ΢Σϒϖʔδʹॻ͔Ε͍ͯΔͱࢥΘΕΔ ৘ใΛऔಘ͍ͨ͠ͱ͍͏ҙਤ ɾऔҾܕ ὎΢ΣϒΛ஥հͱͨ͠ΞΫγϣϯΛ࣮ߦ͍ͨ͠ͱ͍͏ ҙਤʢྫ͑͹ɺҿ৯ళͷ༧໿ʣ

    3
  4. 逆数順位 ˔༠ಋܕݕࡧҙਤʹదͨ͠ධՁࢦඪ ɹɾಛఆͷαΠτΛ๚Ε͍ͨ ɹɾཉ͍͠จॻΛҰͭݟ͚͍ͭͨ  ˔ٯ਺ॱҐͷఆٛ ɹݕࡧ݁Ռதɺ࠷্Ґͷద߹จॻͷϥϯΫΛS  ͱ͠ɺ ద߹จॻΛؚ·ͳ͍৔߹ʹ͸ɺಛʹS

     ʹ㱣ͱ͢Δɻ  ͜ͷ࣌ͷٯ਺ॱҐ SFDJQSPDBMSBOL ͸ɺ  ಛʹɺݕࡧ݁Ռ͕ద߹จॻΛؚ·ͳ͍৔߹͸33 RR= 1 r 1 4
  5. テキストを対象とした情報アクセス評価指標 ˔ػց຋༁ͷࣗಈධՁࢦඪɹ#-&6  ɹػց຋༁ͷࣗಈධՁͰ͸ɺਓखʹΑΔෳ਺ͷਖ਼ղ σʔλʢଈͪࢀর༁ʣΛ༩͑Δඞཁ͕͋Δɻ  ɹ὎຋༁ͷ࢓ํ͸Ұ௨ΓͰ͸ͳ͍ͨΊ   

     5
  6. BLEU ࢀর༁T  ɿ5IFDBUJTPOUIFNBU ʢୈҰͷࢀর༁ʣ ɹɹɹT  ɿ5IFSFJTBDBUPOUIFNBUʢୈೋͷࢀর༁ʣ  ධՁͷର৅ͱͳΔػց຋༁ͷ݁ՌɿT

    ὎5IFNBUJTPOUIFDBU  ͜ͷจTʹؚ·ΕΔશϢχάϥϜ͸ HSBN  T \lUIFz lNBUz lJTz lPOz lDBUz^  ྫ͑͹ɺzUIFzͷස౓͸Ͱ͋Γɺ ͜ΕΛ$ lUIFz  ͷΑ͏ʹද͢ɻ  6
  7. BLEU ಉ༷ʹɺTʹରԠ͢ΔୈҰͷࢀর༁T  Ͱ͸ $ lUIFz T   

    ୈೋͷࢀর༁T  ʹ͍ͭͯ͸ $ lUIFz T    ػց຋༁ͷ݁Ռͷ֤จTΛධՁ͢Δʹ͸ɺ ࢀর༁தͰ͜ΕʹରԠ͢Δਖ਼ղ༁ͱͷۙ͞Λߟ͑Δɻ 7
  8. BLEU Ұͭͷख͕͔Γͱͯ͠ɺ ਖ਼ղ༁ͱػց຋༁݁Ռͷ྆ํʹؚ·ΕΔzUIFzͷΑ͏ ͳϢχάϥϜͷස౓ʹ͍ͭͯൺֱ͢Δɻ  ྫ͑͹ʜ ػց຋༁݁ՌʹzUIFz͕ճग़ݱ͍ͯͯ͠΋ɺ ୈҰͷࢀর༁ʹ͸̎ճɺୈೋͷࢀর༁ʹ͸̍ճ͔͠ग़ ݱ͠ͳ͍ɻ ὎ػց຋༁݁Ռʹճ෼ͷใुΛ༩͑ͳ͍ɻ

    8
  9. BLEU ैͬͯɺHSBN  T  HSBN  T ͕ͱ΋ʹؚΉ֤Ϣχά ϥϜFʹ͍ͭͯɺස౓ΛמΓࠐΉ

    $MJQ ɻ  $MJQ F T NJO NBY $ F T  $ F T   ྫ͑ɺ$ lUIFz T Ͱ͋ͬͯ΋ɺ ɹɹɹ$ lUIFz T  Ͱ͋Ε͹ɺ  $MJQ lUIFz T ̎   9
  10. BLEU ɹಉ༷ʹόΠάϥϜʹ͍ͭͯ΋ߟ͍͑ͯ͘ɻ ػց຋༁Tʹ͍ͭͯ HSBN  T \lUIFNBUz lNBUJTz lJTPOz lPOUIFz

     lUIFDBUz^ ͱͳΔɻ ɹҎ্ΑΓɺਖ਼ղ༁ʹؚ·Εͳ͍zNBUJTz͕ଘࡏ͢Δ ͜ͱ͕Θ͔ΓɺϢχάϥϜΑΓ΋ࡉ͔͍ධՁͰ͖Δɻ  ὎/άϥϜͰ͸ɺΑΓࡉ͔͍ධՁ͕Ͱ͖Δ 10
  11. BLEU ػց຋༁݁ՌશମʢจTͷू߹ʣͷධՁΛߦ͏ࡍɺ /άϥϜͷמΓࠐΈස౓ʹجͮ͘ࢦඪΛߟ͑Δɻ     1SFD / ͸ɺਫ਼౓ʹ֤/άϥϜͷස౓Λಋೖͨ͠΋ͷʹ

    ૬౰͢Δɻ    Prec N = Clip(e,s) e∈gramN (s) ∑ s ∑ C(e,s) e∈gramN (s) ∑ s ∑ 11
  12. BLEU #-&6Ͱ͸ɺ͞Βʹ/   ʹ͍ͭͯ1SFD/ ΛҎԼ ͷΑ͏ʹ݁߹͢Δɻ   

    ͜Ε͸ਫ਼౓ʹࣅͨࢦඪͷͨΊɺػց຋༁݁Ռʹؚ·Ε ΔϊΠζʹରͯ͠ϖφϧςΟΛ༩͑Δ͜ͱ͕Ͱ͖Δɻ  PREC = exp( 1 4 lnPrec N N∈{1,2,3,4} ∑ ) 12
  13. BLEU ˔ϖφϧςΟΛ༩͑Δج४ ػց຋༁݁Ռ͕ୈҰͷਖ਼ղ༁ͱશͯҰகͨ͠৔߹ɺ ୈೋͷਖ਼ղ༁ͷzUIFSFzΛؚ·ͳ͍͔ΒϖφϧςΟΛ ༩͑Δ͜ͱ͸ෆద੾ɻ  ὎/άϥϜͷ࠶ݱ཰Λߟ͑Δ୅ΘΓʹɺ ɹػց຋༁݁Ռͷ௕͞ʹண໨  13

  14. BLEU ػց຋༁݁Ռͷ௕͕͞ਖ਼ղ༁ͷ௕͞ͱൺֱͯ͠ʜ  ᶃ୹͗͢Δͱ൑அͨ͠৔߹ ɹ὎ϖφϧςΟΛ༩͑Δ  ᶄ௕͗͢Δͱ൑அͨ͠৔߹ ɹ὎13&$ʹΑΓϖφϧςΟ͕༩͑ΒΕΔ 14

  15. BLEU ػց຋༁݁Ռதͷ֤จTʹ͍ͭͯɺରԠ͢Δਖ਼ղจT ͷ͏ͪ௕͕͞࠷΋Tʹ͍ۙ΋ͷΛબ୒ɻ  ͦͷਖ਼ղจͷ௕͞Λ ࠷దϚον௕ɿ#.- T Ͱද͢ɻ  ͦͯ͠ɺػց຋༁݁Ռશମʹ͍ͭͯͦͷ࿨ΛٻΊΔͱ

      4#.-͸ػց຋༁݁Ռͷཧ૝తͳ௕͞ʹ૬౰͢Δ  SBML = BML(s) = arg len(s* ) min len(s)− len(s* ) s ∑ s ∑ 15
  16. BLEU Ұํɺػց຋༁݁Ռͷશ௕ͷ࣮ଌ஋͸   ͜ΕΒΑΓɺ#-&6ͷ؆қϖφϧςΟ͸    4:4-4.#-ͷ࣌͸ɺ#1ͱͳΓ ϖφϧςΟ͕՝͞ΕΔɻ

      SYSL = len(s) s ∑ BP=exp(min(0,1- SBML SYSL )) 16
  17. BLEU Ҏ্ͷఆٛʹج͖ͮɺ#-&6͸    ˔#-&6ͷ·ͱΊ ɾجຊతʹස౓Λߟྀͨ͠/άϥϜʹجͮ͘ਫ਼౓ ɾػց຋༁݁Ռશମͱͯ͠୹͗͢Δͱ൑அͨ͠৔߹ɺ ɹϖφϧςΟΛ՝͢ࢦඪ 

    BLEU=BP PREC 17
  18. 参考文献 ˔৘ใΞΫηεධՁํ๏࿦ʢ̏ɺ̐ষʣɺञҪ఩໵ɺ ɹίϩφࣾɺ೥݄೔  18