B3_Seminar_07

௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ৘ใΞΫηεධՁํ๏ᶄ 1

今日の内容 ˔جຊతͳ৘ใݕࡧධՁࢦඪ ɹɾٯ਺ॱҐ ˔ςΩετΛର৅ͱͨ͠৘ใΞΫηεධՁ ɹɾ#-&6 2

Web検索の検索意図 ˔#SPEFS͕೥ʹࣔͨ͠ݕࡧҙਤͷ̏ͭͷλΠϓ ɾ༠ಋܕ ὎ಛఆͷαΠτΛ๚Ε͍ͨͱ͍͏ҙਤ ɾ৘ใऩूܕ ὎ҰͭҎ্ͷ΢Σϒϖʔδʹॻ͔Ε͍ͯΔͱࢥΘΕΔ ৘ใΛऔಘ͍ͨ͠ͱ͍͏ҙਤ ɾऔҾܕ ὎΢ΣϒΛ஥հͱͨ͠ΞΫγϣϯΛ࣮ߦ͍ͨ͠ͱ͍͏ ҙਤʢྫ͑͹ɺҿ৯ళͷ༧໿ʣ
3

逆数順位 ˔༠ಋܕݕࡧҙਤʹదͨ͠ධՁࢦඪ ɹɾಛఆͷαΠτΛ๚Ε͍ͨ ɹɾཉ͍͠จॻΛҰͭݟ͚͍ͭͨ ˔ٯ਺ॱҐͷఆٛ ɹݕࡧ݁Ռதɺ࠷্Ґͷద߹จॻͷϥϯΫΛS ͱ͠ɺ ద߹จॻΛؚ·ͳ͍৔߹ʹ͸ɺಛʹS
ʹ㱣ͱ͢Δɻ ͜ͷ࣌ͷٯ਺ॱҐ SFDJQSPDBMSBOL ͸ɺ ಛʹɺݕࡧ݁Ռ͕ద߹จॻΛؚ·ͳ͍৔߹͸33 RR= 1 r 1 4

テキストを対象とした情報アクセス評価指標 ˔ػց຋༁ͷࣗಈධՁࢦඪɹ#-&6 ɹػց຋༁ͷࣗಈධՁͰ͸ɺਓखʹΑΔෳ਺ͷਖ਼ղ σʔλʢଈͪࢀর༁ʣΛ༩͑Δඞཁ͕͋Δɻ ɹ὎຋༁ͷ࢓ํ͸Ұ௨ΓͰ͸ͳ͍ͨΊ
5

BLEU ࢀর༁T ɿ5IFDBUJTPOUIFNBU ʢୈҰͷࢀর༁ʣ ɹɹɹT ɿ5IFSFJTBDBUPOUIFNBUʢୈೋͷࢀর༁ʣ ධՁͷର৅ͱͳΔػց຋༁ͷ݁ՌɿT
὎5IFNBUJTPOUIFDBU ͜ͷจTʹؚ·ΕΔશϢχάϥϜ͸ HSBN T \lUIFz lNBUz lJTz lPOz lDBUz^ ྫ͑͹ɺzUIFzͷස౓͸Ͱ͋Γɺ ͜ΕΛ$ lUIFz ͷΑ͏ʹද͢ɻ 6

BLEU ಉ༷ʹɺTʹରԠ͢ΔୈҰͷࢀর༁T Ͱ͸ $ lUIFz T
ୈೋͷࢀর༁T ʹ͍ͭͯ͸ $ lUIFz T ػց຋༁ͷ݁Ռͷ֤จTΛධՁ͢Δʹ͸ɺ ࢀর༁தͰ͜ΕʹରԠ͢Δਖ਼ղ༁ͱͷۙ͞Λߟ͑Δɻ 7

BLEU Ұͭͷख͕͔Γͱͯ͠ɺ ਖ਼ղ༁ͱػց຋༁݁Ռͷ྆ํʹؚ·ΕΔzUIFzͷΑ͏ ͳϢχάϥϜͷස౓ʹ͍ͭͯൺֱ͢Δɻ ྫ͑͹ʜ ػց຋༁݁ՌʹzUIFz͕ճग़ݱ͍ͯͯ͠΋ɺ ୈҰͷࢀর༁ʹ͸̎ճɺୈೋͷࢀর༁ʹ͸̍ճ͔͠ग़ ݱ͠ͳ͍ɻ ὎ػց຋༁݁Ռʹճ෼ͷใुΛ༩͑ͳ͍ɻ
8

BLEU ैͬͯɺHSBN T HSBN T ͕ͱ΋ʹؚΉ֤Ϣχά ϥϜFʹ͍ͭͯɺස౓ΛמΓࠐΉ
$MJQ ɻ $MJQ F T NJO NBY $ F T $ F T ྫ͑ɺ$ lUIFz T Ͱ͋ͬͯ΋ɺ ɹɹɹ$ lUIFz T Ͱ͋Ε͹ɺ $MJQ lUIFz T ̎ 9

BLEU ɹಉ༷ʹόΠάϥϜʹ͍ͭͯ΋ߟ͍͑ͯ͘ɻ ػց຋༁Tʹ͍ͭͯ HSBN T \lUIFNBUz lNBUJTz lJTPOz lPOUIFz
lUIFDBUz^ ͱͳΔɻ ɹҎ্ΑΓɺਖ਼ղ༁ʹؚ·Εͳ͍zNBUJTz͕ଘࡏ͢Δ ͜ͱ͕Θ͔ΓɺϢχάϥϜΑΓ΋ࡉ͔͍ධՁͰ͖Δɻ ὎/άϥϜͰ͸ɺΑΓࡉ͔͍ධՁ͕Ͱ͖Δ 10

BLEU ػց຋༁݁ՌશମʢจTͷू߹ʣͷධՁΛߦ͏ࡍɺ /άϥϜͷמΓࠐΈස౓ʹجͮ͘ࢦඪΛߟ͑Δɻ 1SFD / ͸ɺਫ਼౓ʹ֤/άϥϜͷස౓Λಋೖͨ͠΋ͷʹ
૬౰͢Δɻ Prec N = Clip(e,s) e∈gramN (s) ∑ s ∑ C(e,s) e∈gramN (s) ∑ s ∑ 11

BLEU #-&6Ͱ͸ɺ͞Βʹ/ ʹ͍ͭͯ1SFD/ ΛҎԼ ͷΑ͏ʹ݁߹͢Δɻ
͜Ε͸ਫ਼౓ʹࣅͨࢦඪͷͨΊɺػց຋༁݁Ռʹؚ·Ε ΔϊΠζʹରͯ͠ϖφϧςΟΛ༩͑Δ͜ͱ͕Ͱ͖Δɻ PREC = exp( 1 4 lnPrec N N∈{1,2,3,4} ∑ ) 12

BLEU ˔ϖφϧςΟΛ༩͑Δج४ ػց຋༁݁Ռ͕ୈҰͷਖ਼ղ༁ͱશͯҰகͨ͠৔߹ɺ ୈೋͷਖ਼ղ༁ͷzUIFSFzΛؚ·ͳ͍͔ΒϖφϧςΟΛ ༩͑Δ͜ͱ͸ෆద੾ɻ ὎/άϥϜͷ࠶ݱ཰Λߟ͑Δ୅ΘΓʹɺ ɹػց຋༁݁Ռͷ௕͞ʹண໨ 13

BLEU ػց຋༁݁Ռͷ௕͕͞ਖ਼ղ༁ͷ௕͞ͱൺֱͯ͠ʜ ᶃ୹͗͢Δͱ൑அͨ͠৔߹ ɹ὎ϖφϧςΟΛ༩͑Δ ᶄ௕͗͢Δͱ൑அͨ͠৔߹ ɹ὎13&$ʹΑΓϖφϧςΟ͕༩͑ΒΕΔ 14

BLEU ػց຋༁݁Ռதͷ֤จTʹ͍ͭͯɺରԠ͢Δਖ਼ղจT ͷ͏ͪ௕͕͞࠷΋Tʹ͍ۙ΋ͷΛબ୒ɻ ͦͷਖ਼ղจͷ௕͞Λ ࠷దϚον௕ɿ#.- T Ͱද͢ɻ ͦͯ͠ɺػց຋༁݁Ռશମʹ͍ͭͯͦͷ࿨ΛٻΊΔͱ
4#.-͸ػց຋༁݁Ռͷཧ૝తͳ௕͞ʹ૬౰͢Δ SBML = BML(s) = arg len(s* ) min len(s)− len(s* ) s ∑ s ∑ 15

BLEU Ұํɺػց຋༁݁Ռͷશ௕ͷ࣮ଌ஋͸ ͜ΕΒΑΓɺ#-&6ͷ؆қϖφϧςΟ͸ 4:4-4.#-ͷ࣌͸ɺ#1ͱͳΓ ϖφϧςΟ͕՝͞ΕΔɻ
SYSL = len(s) s ∑ BP=exp(min(0,1- SBML SYSL )) 16

BLEU Ҏ্ͷఆٛʹج͖ͮɺ#-&6͸ ˔#-&6ͷ·ͱΊ ɾجຊతʹස౓Λߟྀͨ͠/άϥϜʹجͮ͘ਫ਼౓ ɾػց຋༁݁Ռશମͱͯ͠୹͗͢Δͱ൑அͨ͠৔߹ɺ ɹϖφϧςΟΛ՝͢ࢦඪ
BLEU=BP PREC 17

参考文献 ˔৘ใΞΫηεධՁํ๏࿦ʢ̏ɺ̐ষʣɺञҪ఩໵ɺ ɹίϩφࣾɺ೥݄೔ 18

B3_Seminar_07

B3_Seminar_07

kakubari

More Decks by kakubari

Other Decks in Technology

Featured

Transcript

௕Ԭٕज़Պֶେֶ ిؾిࢠ৘ใ޻ֶ՝ఔ ֶ෦೥ɹ֯ுཽ੖ ࣗવݴޠݚڀࣨ ೥౓ɹ#̏θϛ ʙୈճʙ ৘ใΞΫηεධՁํ๏ᶄ 1

今日の内容 ˔جຊతͳ৘ใݕࡧධՁࢦඪ ɹɾٯ਺ॱҐ ˔ςΩετΛର৅ͱͨ͠৘ใΞΫηεධՁ ɹɾ#-&6 2

逆数順位 ˔༠ಋܕݕࡧҙਤʹదͨ͠ධՁࢦඪ ɹɾಛఆͷαΠτΛ๚Ε͍ͨ ɹɾཉ͍͠จॻΛҰͭݟ͚͍ͭͨ ˔ٯ਺ॱҐͷఆٛ ɹݕࡧ݁Ռதɺ࠷্Ґͷద߹จॻͷϥϯΫΛS ͱ͠ɺ ద߹จॻΛؚ·ͳ͍৔߹ʹ͸ɺಛʹS

テキストを対象とした情報アクセス評価指標 ˔ػց຋༁ͷࣗಈධՁࢦඪɹ#-&6 ɹػց຋༁ͷࣗಈධՁͰ͸ɺਓखʹΑΔෳ਺ͷਖ਼ղ σʔλʢଈͪࢀর༁ʣΛ༩͑Δඞཁ͕͋Δɻ ɹ὎຋༁ͷ࢓ํ͸Ұ௨ΓͰ͸ͳ͍ͨΊ

BLEU ࢀর༁T ɿ5IFDBUJTPOUIFNBU ʢୈҰͷࢀর༁ʣ ɹɹɹT ɿ5IFSFJTBDBUPOUIFNBUʢୈೋͷࢀর༁ʣ ධՁͷର৅ͱͳΔػց຋༁ͷ݁ՌɿT

BLEU ಉ༷ʹɺTʹରԠ͢ΔୈҰͷࢀর༁T Ͱ͸ $ lUIFz T

BLEU Ұͭͷख͕͔Γͱͯ͠ɺ ਖ਼ղ༁ͱػց຋༁݁Ռͷ྆ํʹؚ·ΕΔzUIFzͷΑ͏ ͳϢχάϥϜͷස౓ʹ͍ͭͯൺֱ͢Δɻ ྫ͑͹ʜ ػց຋༁݁ՌʹzUIFz͕ճग़ݱ͍ͯͯ͠΋ɺ ୈҰͷࢀর༁ʹ͸̎ճɺୈೋͷࢀর༁ʹ͸̍ճ͔͠ग़ ݱ͠ͳ͍ɻ ὎ػց຋༁݁Ռʹճ෼ͷใुΛ༩͑ͳ͍ɻ

BLEU ैͬͯɺHSBN T HSBN T ͕ͱ΋ʹؚΉ֤Ϣχά ϥϜFʹ͍ͭͯɺස౓ΛמΓࠐΉ

BLEU ɹಉ༷ʹόΠάϥϜʹ͍ͭͯ΋ߟ͍͑ͯ͘ɻ ػց຋༁Tʹ͍ͭͯ HSBN T \lUIFNBUz lNBUJTz lJTPOz lPOUIFz

BLEU ػց຋༁݁ՌશମʢจTͷू߹ʣͷධՁΛߦ͏ࡍɺ /άϥϜͷמΓࠐΈස౓ʹجͮ͘ࢦඪΛߟ͑Δɻ 1SFD / ͸ɺਫ਼౓ʹ֤/άϥϜͷස౓Λಋೖͨ͠΋ͷʹ

BLEU #-&6Ͱ͸ɺ͞Βʹ/ ʹ͍ͭͯ1SFD/ ΛҎԼ ͷΑ͏ʹ݁߹͢Δɻ

BLEU ˔ϖφϧςΟΛ༩͑Δج४ ػց຋༁݁Ռ͕ୈҰͷਖ਼ղ༁ͱશͯҰகͨ͠৔߹ɺ ୈೋͷਖ਼ղ༁ͷzUIFSFzΛؚ·ͳ͍͔ΒϖφϧςΟΛ ༩͑Δ͜ͱ͸ෆద੾ɻ ὎/άϥϜͷ࠶ݱ཰Λߟ͑Δ୅ΘΓʹɺ ɹػց຋༁݁Ռͷ௕͞ʹண໨ 13

BLEU ػց຋༁݁Ռͷ௕͕͞ਖ਼ղ༁ͷ௕͞ͱൺֱͯ͠ʜ ᶃ୹͗͢Δͱ൑அͨ͠৔߹ ɹ὎ϖφϧςΟΛ༩͑Δ ᶄ௕͗͢Δͱ൑அͨ͠৔߹ ɹ὎13&$ʹΑΓϖφϧςΟ͕༩͑ΒΕΔ 14

BLEU ػց຋༁݁Ռதͷ֤จTʹ͍ͭͯɺରԠ͢Δਖ਼ղจT ͷ͏ͪ௕͕͞࠷΋Tʹ͍ۙ΋ͷΛબ୒ɻ ͦͷਖ਼ղจͷ௕͞Λ ࠷దϚον௕ɿ#.- T Ͱද͢ɻ ͦͯ͠ɺػց຋༁݁Ռશମʹ͍ͭͯͦͷ࿨ΛٻΊΔͱ

BLEU Ұํɺػց຋༁݁Ռͷશ௕ͷ࣮ଌ஋͸ ͜ΕΒΑΓɺ#-&6ͷ؆қϖφϧςΟ͸ 4:4-4.#-ͷ࣌͸ɺ#1ͱͳΓ ϖφϧςΟ͕՝͞ΕΔɻ

BLEU Ҏ্ͷఆٛʹج͖ͮɺ#-&6͸ ˔#-&6ͷ·ͱΊ ɾجຊతʹස౓Λߟྀͨ͠/άϥϜʹجͮ͘ਫ਼౓ ɾػց຋༁݁Ռશମͱͯ͠୹͗͢Δͱ൑அͨ͠৔߹ɺ ɹϖφϧςΟΛ՝͢ࢦඪ

参考文献 ˔৘ใΞΫηεධՁํ๏࿦ʢ̏ɺ̐ষʣɺञҪ఩໵ɺ ɹίϩφࣾɺ೥݄೔ 18