文献紹介: Natural Language Generation enhances human decision-making with uncertain information

Transcript

1. Natural Language Generation enhances human decision-making with uncertain information Dimitra

   Gkatzia, Oliver Lemon, Verena Rieser. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 264–268, 2016. 1 文献紹介(2017/09/21) 自然言語処理研究室 稲岡 夢人

2. 概要 • 人間の意思決定は不確実なデータに依存 することが多い • 不確実なデータの提示方法の違いによる 意思決定への影響を測定 • 不確実なデータにおいて自然言語生成(NLG) はグラフによる提示を改善

   2

3. 導入 • NLGはグラフィカルなデータ可視化技術と同等 の結果を達成できるとされている • 現在のdata-to-textシステムは元データが正 確な事実であることが前提 →医学や天気予報において適用できない • 実際にはリスクや不確実性を単に数値で

   提示するのは不十分とされている 3

4. 天気予報の生成 • 本論文では天気予報の生成が対象 • 不確実な情報の提示手段、気象現象の 発生確率への言及に焦点を当てる • 従来のNLGシステムの評価に用いられる 文法, 正確性,

   流暢性, 一貫性, 後編集評価 ではなく、不確実性の理解や意思決定に 及ぼす影響を測定する 4

5. データ収集環境 • Met OfficeのWeather Gameを拡張した ゲームベースによるデータ収集 • プレーヤーは天気予報に基づいて 売上を最大化するアイスクリーム売りの 送り先を決定

   5

6. 天気予報の提示 • 天気予報はグラフィカルな提示とテキストの提 示、マルチモーダルな提示を使用 6

7. 天気予報文の生成 • SimpleNLGを使用 • WMO-based, NATURALのシステムを開発 • WMO-based : 世界気象機関(WMO)のガイドラインに従う

   • NATURAL : 気象予報士が天気を報告する自然な方法を 模倣するシステム 7

8. 実験設定 • 女性197人, 男性241人, その他4人の 合計442人をプレーヤーとして募集 • 450のそれぞれ異なるゲーム事例を使用 • ゲームのスコアはプレーヤーの決定と

   自信の度合いで計算 • 自信の度合いは10点満点でプレーヤーによっ て宣言される 8

9. 実験結果(スコア) • マルチモーダルな提示はグラフのみに 比べて有意に高いスコア • マルチモーダルな提示とNLGに大差はない • グラフのみよりNLGの方が高い • WMO-basedとNATURALに大差はない

   9

10. 実験結果(自信の度合い) • 自信の度合いはグラフの方が有意に効果的 • NLGとグラフの提示を比較すると、 スコアと自信の度合いの大小関係が逆転 10

11. 実験結果(性差) • 女性のみの結果ではNLGの出力がスコアをよ り高くしている • 男性はあらゆる提示方法で似たような スコアとなっている →NLGの効果は主に女性によって現れて 　いることを示唆 11

12. 結論 • 不確実なデータのテキストの提示に関して ゲームベースの調査結果を示した • NLG, グラフ, マルチモーダルなタスクの間には かなりの性差がある →これまでの研究は性別間で区別されて

    　いなかったため重要な知見 12