Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Natural Language Generation enhances human decision-making with uncertain information
Search
Yumeto Inaoka
September 21, 2017
Research
0
190
文献紹介: Natural Language Generation enhances human decision-making with uncertain information
2017/09/21の文献紹介で発表
Yumeto Inaoka
September 21, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
120
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
160
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
120
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
120
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
87
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
210
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
260
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
180
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
160
Other Decks in Research
See All in Research
一人称視点映像解析の基礎と応用(CVIMチュートリアル)
takumayagi
0
800
LayerXにおけるAI・機械学習技術の活用と展望 / layerx-ai-jsai2024
shimacos
2
2.5k
僕たちがグラフニューラルネットワークを学ぶ理由
joisino
25
11k
自然言語とVision&Language
kuehara
19
4.4k
機械学習と最適化の融合動的ロットサイズ決定問題を例として
mickey_kubo
2
360
#SRE論文紹介 Detection is Better Than Cure: A Cloud Incidents Perspective V. Ganatra et. al., ESEC/FSE’23
yuukit
3
950
マルチモーダル学習ライブラリ Heronと⾃動運転への応⽤
yuyamaguchi
1
980
出生抑制策と少子化
morimasao16
0
280
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
100
CARA MEMBUKA VIDEO DEWASA DI INDONESIA
bloglangit
0
320
医療分野におけるLLMの現状と応用可能性について
kento1109
5
550
機械学習と数理最適化の融合-文脈付き確率的最短路を例として-
mickey_kubo
2
670
Featured
See All Featured
Writing Fast Ruby
sferik
623
60k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
13
430
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
Git: the NoSQL Database
bkeepers
PRO
423
64k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Designing for Performance
lara
604
67k
Code Review Best Practice
trishagee
58
16k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Docker and Python
trallard
37
2.9k
Code Reviewing Like a Champion
maltzj
517
39k
Designing with Data
zakiwarfel
96
5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Transcript
Natural Language Generation enhances human decision-making with uncertain information Dimitra
Gkatzia, Oliver Lemon, Verena Rieser. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 264–268, 2016. 1 文献紹介(2017/09/21) 自然言語処理研究室 稲岡 夢人
概要 • 人間の意思決定は不確実なデータに依存 することが多い • 不確実なデータの提示方法の違いによる 意思決定への影響を測定 • 不確実なデータにおいて自然言語生成(NLG) はグラフによる提示を改善
2
導入 • NLGはグラフィカルなデータ可視化技術と同等 の結果を達成できるとされている • 現在のdata-to-textシステムは元データが正 確な事実であることが前提 →医学や天気予報において適用できない • 実際にはリスクや不確実性を単に数値で
提示するのは不十分とされている 3
天気予報の生成 • 本論文では天気予報の生成が対象 • 不確実な情報の提示手段、気象現象の 発生確率への言及に焦点を当てる • 従来のNLGシステムの評価に用いられる 文法, 正確性,
流暢性, 一貫性, 後編集評価 ではなく、不確実性の理解や意思決定に 及ぼす影響を測定する 4
データ収集環境 • Met OfficeのWeather Gameを拡張した ゲームベースによるデータ収集 • プレーヤーは天気予報に基づいて 売上を最大化するアイスクリーム売りの 送り先を決定
5
天気予報の提示 • 天気予報はグラフィカルな提示とテキストの提 示、マルチモーダルな提示を使用 6
天気予報文の生成 • SimpleNLGを使用 • WMO-based, NATURALのシステムを開発 • WMO-based : 世界気象機関(WMO)のガイドラインに従う
• NATURAL : 気象予報士が天気を報告する自然な方法を 模倣するシステム 7
実験設定 • 女性197人, 男性241人, その他4人の 合計442人をプレーヤーとして募集 • 450のそれぞれ異なるゲーム事例を使用 • ゲームのスコアはプレーヤーの決定と
自信の度合いで計算 • 自信の度合いは10点満点でプレーヤーによっ て宣言される 8
実験結果(スコア) • マルチモーダルな提示はグラフのみに 比べて有意に高いスコア • マルチモーダルな提示とNLGに大差はない • グラフのみよりNLGの方が高い • WMO-basedとNATURALに大差はない
9
実験結果(自信の度合い) • 自信の度合いはグラフの方が有意に効果的 • NLGとグラフの提示を比較すると、 スコアと自信の度合いの大小関係が逆転 10
実験結果(性差) • 女性のみの結果ではNLGの出力がスコアをよ り高くしている • 男性はあらゆる提示方法で似たような スコアとなっている →NLGの効果は主に女性によって現れて いることを示唆 11
結論 • 不確実なデータのテキストの提示に関して ゲームベースの調査結果を示した • NLG, グラフ, マルチモーダルなタスクの間には かなりの性差がある →これまでの研究は性別間で区別されて
いなかったため重要な知見 12