Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
文献紹介: Natural Language Generation enhances human decision-making with uncertain information
Yumeto Inaoka
September 21, 2017
Research
0
100
文献紹介: Natural Language Generation enhances human decision-making with uncertain information
2017/09/21の文献紹介で発表
Yumeto Inaoka
September 21, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
69
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
94
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
73
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
76
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
49
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
150
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
180
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
120
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
130
Other Decks in Research
See All in Research
プロシージャ型処理を用いたステートレスな5Gコアネットワークの実現
hirokiwatanabe
0
190
第20回チャンピオンズミーティング・サジタリウス杯ラウンド1集計 / Umamusume Sagittarius 2022 Round1
kitachan_black
0
610
Federated Learning Tutorial (IBIS 2022)
osx
2
2.2k
第18回チャンピオンズミーティング・ライブラ杯ラウンド1集計 / Umamusume Libra 2022 Round1
kitachan_black
0
1.1k
[IR Reading 2022秋 論文紹介] Price DOES Matter!: Modeling Price and Interest Preferences in Session-based Recommendation (SIGIR 2022) /IR-Reading-2022-fall
koheishinden
2
100
テーブル・画像・テキストの反実仮想説明
masatoto
0
190
【論文紹介】Evaluating the Evaluation of Diversity in Natural Language Generation
ichiroex
2
190
クラスターとメタバース
clustervr
PRO
0
460
第50回構造活性相関シンポジウムランチョンセミナー_SMILES言語モデルSmilesFormerの開発とその応用例
elix
0
150
[輪講資料] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space
hpprc
0
870
データ分析の進め方とニュースメディアでのデータ活用事例 / data-analysis-in-kaggle-and-news-media
upura
0
470
【西多摩電波調査】調査報告書
5g_digitalservicetmg
0
120
Featured
See All Featured
How GitHub (no longer) Works
holman
298
140k
Teambox: Starting and Learning
jrom
124
7.9k
Rebuilding a faster, lazier Slack
samanthasiow
69
7.5k
How to train your dragon (web standard)
notwaldorf
66
4.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
182
15k
Designing for humans not robots
tammielis
245
24k
Thoughts on Productivity
jonyablonski
49
2.7k
The Language of Interfaces
destraynor
149
21k
Fantastic passwords and where to find them - at NoRuKo
philnash
31
1.8k
A Modern Web Designer's Workflow
chriscoyier
690
180k
A designer walks into a library…
pauljervisheath
198
16k
Web development in the modern age
philhawksworth
197
9.6k
Transcript
Natural Language Generation enhances human decision-making with uncertain information Dimitra
Gkatzia, Oliver Lemon, Verena Rieser. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 264–268, 2016. 1 文献紹介(2017/09/21) 自然言語処理研究室 稲岡 夢人
概要 • 人間の意思決定は不確実なデータに依存 することが多い • 不確実なデータの提示方法の違いによる 意思決定への影響を測定 • 不確実なデータにおいて自然言語生成(NLG) はグラフによる提示を改善
2
導入 • NLGはグラフィカルなデータ可視化技術と同等 の結果を達成できるとされている • 現在のdata-to-textシステムは元データが正 確な事実であることが前提 →医学や天気予報において適用できない • 実際にはリスクや不確実性を単に数値で
提示するのは不十分とされている 3
天気予報の生成 • 本論文では天気予報の生成が対象 • 不確実な情報の提示手段、気象現象の 発生確率への言及に焦点を当てる • 従来のNLGシステムの評価に用いられる 文法, 正確性,
流暢性, 一貫性, 後編集評価 ではなく、不確実性の理解や意思決定に 及ぼす影響を測定する 4
データ収集環境 • Met OfficeのWeather Gameを拡張した ゲームベースによるデータ収集 • プレーヤーは天気予報に基づいて 売上を最大化するアイスクリーム売りの 送り先を決定
5
天気予報の提示 • 天気予報はグラフィカルな提示とテキストの提 示、マルチモーダルな提示を使用 6
天気予報文の生成 • SimpleNLGを使用 • WMO-based, NATURALのシステムを開発 • WMO-based : 世界気象機関(WMO)のガイドラインに従う
• NATURAL : 気象予報士が天気を報告する自然な方法を 模倣するシステム 7
実験設定 • 女性197人, 男性241人, その他4人の 合計442人をプレーヤーとして募集 • 450のそれぞれ異なるゲーム事例を使用 • ゲームのスコアはプレーヤーの決定と
自信の度合いで計算 • 自信の度合いは10点満点でプレーヤーによっ て宣言される 8
実験結果(スコア) • マルチモーダルな提示はグラフのみに 比べて有意に高いスコア • マルチモーダルな提示とNLGに大差はない • グラフのみよりNLGの方が高い • WMO-basedとNATURALに大差はない
9
実験結果(自信の度合い) • 自信の度合いはグラフの方が有意に効果的 • NLGとグラフの提示を比較すると、 スコアと自信の度合いの大小関係が逆転 10
実験結果(性差) • 女性のみの結果ではNLGの出力がスコアをよ り高くしている • 男性はあらゆる提示方法で似たような スコアとなっている →NLGの効果は主に女性によって現れて いることを示唆 11
結論 • 不確実なデータのテキストの提示に関して ゲームベースの調査結果を示した • NLG, グラフ, マルチモーダルなタスクの間には かなりの性差がある →これまでの研究は性別間で区別されて
いなかったため重要な知見 12