Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Natural Language Generation enhances huma...
Search
Yumeto Inaoka
September 21, 2017
Research
0
210
文献紹介: Natural Language Generation enhances human decision-making with uncertain information
2017/09/21の文献紹介で発表
Yumeto Inaoka
September 21, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
150
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
200
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
130
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
140
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
120
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
240
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
300
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
200
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
200
Other Decks in Research
See All in Research
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
140
第79回 産総研人工知能セミナー 発表資料
agiats
3
210
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
140
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
820
Intrinsic Self-Supervision for Data Quality Audits
fabiangroeger
0
340
書き手はどこを訪れたか? - 言語モデルで訪問行動を読み取る -
hiroki13
0
150
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
270
The Economics of Platforms 輪読会 第1章
tomonatu8
0
150
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
120
CoRL2024サーベイ
rpc
1
1.6k
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
340
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
350
Featured
See All Featured
Measuring & Analyzing Core Web Vitals
bluesmoon
6
250
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Typedesign – Prime Four
hannesfritz
40
2.5k
Scaling GitHub
holman
459
140k
Rails Girls Zürich Keynote
gr2m
94
13k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
How GitHub (no longer) Works
holman
314
140k
Why Our Code Smells
bkeepers
PRO
336
57k
Making Projects Easy
brettharned
116
6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Adopting Sorbet at Scale
ufuk
74
9.2k
Transcript
Natural Language Generation enhances human decision-making with uncertain information Dimitra
Gkatzia, Oliver Lemon, Verena Rieser. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 264–268, 2016. 1 文献紹介(2017/09/21) 自然言語処理研究室 稲岡 夢人
概要 • 人間の意思決定は不確実なデータに依存 することが多い • 不確実なデータの提示方法の違いによる 意思決定への影響を測定 • 不確実なデータにおいて自然言語生成(NLG) はグラフによる提示を改善
2
導入 • NLGはグラフィカルなデータ可視化技術と同等 の結果を達成できるとされている • 現在のdata-to-textシステムは元データが正 確な事実であることが前提 →医学や天気予報において適用できない • 実際にはリスクや不確実性を単に数値で
提示するのは不十分とされている 3
天気予報の生成 • 本論文では天気予報の生成が対象 • 不確実な情報の提示手段、気象現象の 発生確率への言及に焦点を当てる • 従来のNLGシステムの評価に用いられる 文法, 正確性,
流暢性, 一貫性, 後編集評価 ではなく、不確実性の理解や意思決定に 及ぼす影響を測定する 4
データ収集環境 • Met OfficeのWeather Gameを拡張した ゲームベースによるデータ収集 • プレーヤーは天気予報に基づいて 売上を最大化するアイスクリーム売りの 送り先を決定
5
天気予報の提示 • 天気予報はグラフィカルな提示とテキストの提 示、マルチモーダルな提示を使用 6
天気予報文の生成 • SimpleNLGを使用 • WMO-based, NATURALのシステムを開発 • WMO-based : 世界気象機関(WMO)のガイドラインに従う
• NATURAL : 気象予報士が天気を報告する自然な方法を 模倣するシステム 7
実験設定 • 女性197人, 男性241人, その他4人の 合計442人をプレーヤーとして募集 • 450のそれぞれ異なるゲーム事例を使用 • ゲームのスコアはプレーヤーの決定と
自信の度合いで計算 • 自信の度合いは10点満点でプレーヤーによっ て宣言される 8
実験結果(スコア) • マルチモーダルな提示はグラフのみに 比べて有意に高いスコア • マルチモーダルな提示とNLGに大差はない • グラフのみよりNLGの方が高い • WMO-basedとNATURALに大差はない
9
実験結果(自信の度合い) • 自信の度合いはグラフの方が有意に効果的 • NLGとグラフの提示を比較すると、 スコアと自信の度合いの大小関係が逆転 10
実験結果(性差) • 女性のみの結果ではNLGの出力がスコアをよ り高くしている • 男性はあらゆる提示方法で似たような スコアとなっている →NLGの効果は主に女性によって現れて いることを示唆 11
結論 • 不確実なデータのテキストの提示に関して ゲームベースの調査結果を示した • NLG, グラフ, マルチモーダルなタスクの間には かなりの性差がある →これまでの研究は性別間で区別されて
いなかったため重要な知見 12