Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
B3_Seminar_07
Search
kakubari
March 30, 2017
Technology
0
65
B3_Seminar_07
長岡技術科学大学
自然言語処理研究室
角張竜晴
kakubari
March 30, 2017
Tweet
Share
More Decks by kakubari
See All by kakubari
動詞クエリの語間の関係性に基づくクエリマイニング
kakubari
0
110
Neural Modeling of Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis
kakubari
1
150
Leveraging Crowdsourcing for Paraphrase Recognition
kakubari
0
75
Automatically Acquired Lexical Knowledge Improves Japanese Joint Morphological and Dependency Analysis
kakubari
0
99
Labeling the Semantic Roles of Commas
kakubari
0
68
Integrating Case Frame into Japanese to Chinese Hierarchical Phrase-based Translation Model
kakubari
0
110
Improving Chinese Semantic Role Labelingusing High-quality Surface and Deep Case Frames
kakubari
0
87
Exploring Verb Frames for Sentence Simplification in Hindi
kakubari
0
120
述語項構造と照応関係のアノテーション
kakubari
0
220
Other Decks in Technology
See All in Technology
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
2
220
衛星運用をソフトウェアエンジニアに依頼したときにできあがるもの
sankichi92
1
230
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
150
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
plaidtech
PRO
0
290
スタックチャン家庭用アシスタントへの道
kanekoh
0
110
助けて! XからWaylandに移行しないと新しいGNOMEが使えなくなっちゃう 2025-07-12
nobutomurata
2
140
ソフトウェアQAがハードウェアの人になったの
mineo_matsuya
3
110
【LT会登壇資料】TROCCO新コネクタ「スマレジ」を活用した直営店データの分析
kazari0425
1
170
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
280
話題の MCP と巡る OCI RAG ソリューションの旅 - Select AI with RAG と Generative AI Agents ディープダイブ
oracle4engineer
PRO
5
110
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
6
4.1k
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Statistics for Hackers
jakevdp
799
220k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Side Projects
sachag
455
42k
The Cult of Friendly URLs
andyhume
79
6.5k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
4 Signs Your Business is Dying
shpigford
184
22k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
970
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Transcript
Ԭٕज़Պֶେֶ ిؾిࢠใֶ՝ఔ ֶ෦ɹ֯ுཽ ࣗવݴޠݚڀࣨ ɹ#̏θϛ ʙୈճʙ ใΞΫηεධՁํ๏ᶄ 1
今日の内容 ˔جຊతͳใݕࡧධՁࢦඪ ɹɾٯॱҐ ˔ςΩετΛରͱͨ͠ใΞΫηεධՁ ɹɾ#-&6 2
Web検索の検索意図 ˔#SPEFS͕ʹࣔͨ͠ݕࡧҙਤͷ̏ͭͷλΠϓ ɾ༠ಋܕ ಛఆͷαΠτΛ๚Ε͍ͨͱ͍͏ҙਤ ɾใऩूܕ ҰͭҎ্ͷΣϒϖʔδʹॻ͔Ε͍ͯΔͱࢥΘΕΔ ใΛऔಘ͍ͨ͠ͱ͍͏ҙਤ ɾऔҾܕ ΣϒΛհͱͨ͠ΞΫγϣϯΛ࣮ߦ͍ͨ͠ͱ͍͏ ҙਤʢྫ͑ɺҿ৯ళͷ༧ʣ
3
逆数順位 ˔༠ಋܕݕࡧҙਤʹదͨ͠ධՁࢦඪ ɹɾಛఆͷαΠτΛ๚Ε͍ͨ ɹɾཉ͍͠จॻΛҰͭݟ͚͍ͭͨ ˔ٯॱҐͷఆٛ ɹݕࡧ݁Ռதɺ࠷্Ґͷద߹จॻͷϥϯΫΛS ͱ͠ɺ ద߹จॻΛؚ·ͳ͍߹ʹɺಛʹS
ʹ㱣ͱ͢Δɻ ͜ͷ࣌ͷٯॱҐ SFDJQSPDBMSBOL ɺ ಛʹɺݕࡧ݁Ռ͕ద߹จॻΛؚ·ͳ͍߹33 RR= 1 r 1 4
テキストを対象とした情報アクセス評価指標 ˔ػց༁ͷࣗಈධՁࢦඪɹ#-&6 ɹػց༁ͷࣗಈධՁͰɺਓखʹΑΔෳͷਖ਼ղ σʔλʢଈͪࢀর༁ʣΛ༩͑Δඞཁ͕͋Δɻ ɹ༁ͷํҰ௨ΓͰͳ͍ͨΊ
5
BLEU ࢀর༁T ɿ5IFDBUJTPOUIFNBU ʢୈҰͷࢀর༁ʣ ɹɹɹT ɿ5IFSFJTBDBUPOUIFNBUʢୈೋͷࢀর༁ʣ ධՁͷରͱͳΔػց༁ͷ݁ՌɿT
5IFNBUJTPOUIFDBU ͜ͷจTʹؚ·ΕΔશϢχάϥϜ HSBN T \lUIFz lNBUz lJTz lPOz lDBUz^ ྫ͑ɺzUIFzͷසͰ͋Γɺ ͜ΕΛ$ lUIFz ͷΑ͏ʹද͢ɻ 6
BLEU ಉ༷ʹɺTʹରԠ͢ΔୈҰͷࢀর༁T Ͱ $ lUIFz T
ୈೋͷࢀর༁T ʹ͍ͭͯ $ lUIFz T ػց༁ͷ݁Ռͷ֤จTΛධՁ͢Δʹɺ ࢀর༁தͰ͜ΕʹରԠ͢Δਖ਼ղ༁ͱͷۙ͞Λߟ͑Δɻ 7
BLEU Ұͭͷख͕͔Γͱͯ͠ɺ ਖ਼ղ༁ͱػց༁݁Ռͷ྆ํʹؚ·ΕΔzUIFzͷΑ͏ ͳϢχάϥϜͷසʹ͍ͭͯൺֱ͢Δɻ ྫ͑ʜ ػց༁݁ՌʹzUIFz͕ճग़ݱ͍ͯͯ͠ɺ ୈҰͷࢀর༁ʹ̎ճɺୈೋͷࢀর༁ʹ̍ճ͔͠ग़ ݱ͠ͳ͍ɻ ػց༁݁ՌʹճͷใुΛ༩͑ͳ͍ɻ
8
BLEU ैͬͯɺHSBN T HSBN T ͕ͱʹؚΉ֤Ϣχά ϥϜFʹ͍ͭͯɺසΛמΓࠐΉ
$MJQ ɻ $MJQ F T NJO NBY $ F T $ F T ྫ͑ɺ$ lUIFz T Ͱ͋ͬͯɺ ɹɹɹ$ lUIFz T Ͱ͋Εɺ $MJQ lUIFz T ̎ 9
BLEU ɹಉ༷ʹόΠάϥϜʹ͍ͭͯߟ͍͑ͯ͘ɻ ػց༁Tʹ͍ͭͯ HSBN T \lUIFNBUz lNBUJTz lJTPOz lPOUIFz
lUIFDBUz^ ͱͳΔɻ ɹҎ্ΑΓɺਖ਼ղ༁ʹؚ·Εͳ͍zNBUJTz͕ଘࡏ͢Δ ͜ͱ͕Θ͔ΓɺϢχάϥϜΑΓࡉ͔͍ධՁͰ͖Δɻ /άϥϜͰɺΑΓࡉ͔͍ධՁ͕Ͱ͖Δ 10
BLEU ػց༁݁ՌશମʢจTͷू߹ʣͷධՁΛߦ͏ࡍɺ /άϥϜͷמΓࠐΈසʹجͮ͘ࢦඪΛߟ͑Δɻ 1SFD / ɺਫ਼ʹ֤/άϥϜͷසΛಋೖͨ͠ͷʹ
૬͢Δɻ Prec N = Clip(e,s) e∈gramN (s) ∑ s ∑ C(e,s) e∈gramN (s) ∑ s ∑ 11
BLEU #-&6Ͱɺ͞Βʹ/ ʹ͍ͭͯ1SFD/ ΛҎԼ ͷΑ͏ʹ݁߹͢Δɻ
͜Εਫ਼ʹࣅͨࢦඪͷͨΊɺػց༁݁Ռʹؚ·Ε ΔϊΠζʹରͯ͠ϖφϧςΟΛ༩͑Δ͜ͱ͕Ͱ͖Δɻ PREC = exp( 1 4 lnPrec N N∈{1,2,3,4} ∑ ) 12
BLEU ˔ϖφϧςΟΛ༩͑Δج४ ػց༁݁Ռ͕ୈҰͷਖ਼ղ༁ͱશͯҰகͨ͠߹ɺ ୈೋͷਖ਼ղ༁ͷzUIFSFzΛؚ·ͳ͍͔ΒϖφϧςΟΛ ༩͑Δ͜ͱෆదɻ /άϥϜͷ࠶ݱΛߟ͑ΔΘΓʹɺ ɹػց༁݁Ռͷ͞ʹண 13
BLEU ػց༁݁Ռͷ͕͞ਖ਼ղ༁ͷ͞ͱൺֱͯ͠ʜ ᶃ͗͢Δͱஅͨ͠߹ ɹϖφϧςΟΛ༩͑Δ ᶄ͗͢Δͱஅͨ͠߹ ɹ13&$ʹΑΓϖφϧςΟ͕༩͑ΒΕΔ 14
BLEU ػց༁݁Ռதͷ֤จTʹ͍ͭͯɺରԠ͢Δਖ਼ղจT ͷ͏͕ͪ͞࠷Tʹ͍ۙͷΛબɻ ͦͷਖ਼ղจͷ͞Λ ࠷దϚονɿ#.- T Ͱද͢ɻ ͦͯ͠ɺػց༁݁Ռશମʹ͍ͭͯͦͷΛٻΊΔͱ
4#.-ػց༁݁Ռͷཧతͳ͞ʹ૬͢Δ SBML = BML(s) = arg len(s* ) min len(s)− len(s* ) s ∑ s ∑ 15
BLEU Ұํɺػց༁݁Ռͷશͷ࣮ଌ ͜ΕΒΑΓɺ#-&6ͷ؆қϖφϧςΟ 4:4-4.#-ͷ࣌ɺ#1ͱͳΓ ϖφϧςΟ͕՝͞ΕΔɻ
SYSL = len(s) s ∑ BP=exp(min(0,1- SBML SYSL )) 16
BLEU Ҏ্ͷఆٛʹج͖ͮɺ#-&6 ˔#-&6ͷ·ͱΊ ɾجຊతʹසΛߟྀͨ͠/άϥϜʹجͮ͘ਫ਼ ɾػց༁݁Ռશମͱͯ͗͢͠Δͱஅͨ͠߹ɺ ɹϖφϧςΟΛ՝͢ࢦඪ
BLEU=BP PREC 17
参考文献 ˔ใΞΫηεධՁํ๏ʢ̏ɺ̐ষʣɺञҪɺ ɹίϩφࣾɺ݄ 18