Natural Language Generation enhances human decision-making with uncertain information Dimitra Gkatzia, Oliver Lemon, Verena Rieser. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 264–268, 2016. 1 文献紹介(2017/09/21) 自然言語処理研究室 稲岡 夢人

概要 ● 人間の意思決定は不確実なデータに依存 することが多い ● 不確実なデータの提示方法の違いによる 意思決定への影響を測定 ● 不確実なデータにおいて自然言語生成(NLG) はグラフによる提示を改善 2

導入 ● NLGはグラフィカルなデータ可視化技術と同等 の結果を達成できるとされている ● 現在のdata-to-textシステムは元データが正 確な事実であることが前提 →医学や天気予報において適用できない ● 実際にはリスクや不確実性を単に数値で 提示するのは不十分とされている 3

天気予報の生成 ● 本論文では天気予報の生成が対象 ● 不確実な情報の提示手段、気象現象の 発生確率への言及に焦点を当てる ● 従来のNLGシステムの評価に用いられる 文法, 正確性, 流暢性, 一貫性, 後編集評価 ではなく、不確実性の理解や意思決定に 及ぼす影響を測定する 4

データ収集環境 ● Met OfficeのWeather Gameを拡張した ゲームベースによるデータ収集 ● プレーヤーは天気予報に基づいて 売上を最大化するアイスクリーム売りの 送り先を決定 5

天気予報の提示 ● 天気予報はグラフィカルな提示とテキストの提 示、マルチモーダルな提示を使用 6

天気予報文の生成 ● SimpleNLGを使用 ● WMO-based, NATURALのシステムを開発 ● WMO-based : 世界気象機関(WMO)のガイドラインに従う ● NATURAL : 気象予報士が天気を報告する自然な方法を 模倣するシステム 7

実験設定 ● 女性197人, 男性241人, その他4人の 合計442人をプレーヤーとして募集 ● 450のそれぞれ異なるゲーム事例を使用 ● ゲームのスコアはプレーヤーの決定と 自信の度合いで計算 ● 自信の度合いは10点満点でプレーヤーによっ て宣言される 8

実験結果(スコア) ● マルチモーダルな提示はグラフのみに 比べて有意に高いスコア ● マルチモーダルな提示とNLGに大差はない ● グラフのみよりNLGの方が高い ● WMO-basedとNATURALに大差はない 9

実験結果(自信の度合い) ● 自信の度合いはグラフの方が有意に効果的 ● NLGとグラフの提示を比較すると、 スコアと自信の度合いの大小関係が逆転 10

実験結果(性差) ● 女性のみの結果ではNLGの出力がスコアをよ り高くしている ● 男性はあらゆる提示方法で似たような スコアとなっている →NLGの効果は主に女性によって現れて 　いることを示唆 11

結論 ● 不確実なデータのテキストの提示に関して ゲームベースの調査結果を示した ● NLG, グラフ, マルチモーダルなタスクの間には かなりの性差がある →これまでの研究は性別間で区別されて 　いなかったため重要な知見 12