文献紹介: Natural Language Generation enhances human decision-making with uncertain information

2017/09/21の文献紹介で発表

Transcript

1. Natural Language Generation enhances
   human decision-making with uncertain
   information
   Dimitra Gkatzia, Oliver Lemon, Verena Rieser.
   Proceedings of the 54th Annual Meeting of the Association for
   Computational Linguistics,
   pages 264–268, 2016.
   1
   文献紹介(2017/09/21)
   自然言語処理研究室 稲岡 夢人
   

   View Slide

2. 概要
   ● 人間の意思決定は不確実なデータに依存
   することが多い
   ● 不確実なデータの提示方法の違いによる
   意思決定への影響を測定
   ● 不確実なデータにおいて自然言語生成(NLG)
   はグラフによる提示を改善
   2
   

   View Slide

3. 導入
   ● NLGはグラフィカルなデータ可視化技術と同等
   の結果を達成できるとされている
   ● 現在のdata-to-textシステムは元データが正
   確な事実であることが前提
   →医学や天気予報において適用できない
   ● 実際にはリスクや不確実性を単に数値で
   提示するのは不十分とされている
   3
   

   View Slide

4. 天気予報の生成
   ● 本論文では天気予報の生成が対象
   ● 不確実な情報の提示手段、気象現象の
   発生確率への言及に焦点を当てる
   ● 従来のNLGシステムの評価に用いられる
   文法, 正確性, 流暢性, 一貫性, 後編集評価
   ではなく、不確実性の理解や意思決定に
   及ぼす影響を測定する
   4
   

   View Slide

5. データ収集環境
   ● Met OfficeのWeather Gameを拡張した
   ゲームベースによるデータ収集
   ● プレーヤーは天気予報に基づいて
   売上を最大化するアイスクリーム売りの
   送り先を決定
   5
   

   View Slide

6. 天気予報の提示
   ● 天気予報はグラフィカルな提示とテキストの提
   示、マルチモーダルな提示を使用
   6
   

   View Slide

7. 天気予報文の生成
   ● SimpleNLGを使用
   ● WMO-based, NATURALのシステムを開発
   ● WMO-based :
   世界気象機関(WMO)のガイドラインに従う
   ● NATURAL :
   気象予報士が天気を報告する自然な方法を
   模倣するシステム
   7
   

   View Slide

8. 実験設定
   ● 女性197人, 男性241人, その他4人の
   合計442人をプレーヤーとして募集
   ● 450のそれぞれ異なるゲーム事例を使用
   ● ゲームのスコアはプレーヤーの決定と
   自信の度合いで計算
   ● 自信の度合いは10点満点でプレーヤーによっ
   て宣言される
   8
   

   View Slide

9. 実験結果(スコア)
   ● マルチモーダルな提示はグラフのみに
   比べて有意に高いスコア
   ● マルチモーダルな提示とNLGに大差はない
   ● グラフのみよりNLGの方が高い
   ● WMO-basedとNATURALに大差はない
   9
   

   View Slide

10. 実験結果(自信の度合い)
    ● 自信の度合いはグラフの方が有意に効果的
    ● NLGとグラフの提示を比較すると、
    スコアと自信の度合いの大小関係が逆転
    10
    

    View Slide

11. 実験結果(性差)
    ● 女性のみの結果ではNLGの出力がスコアをよ
    り高くしている
    ● 男性はあらゆる提示方法で似たような
    スコアとなっている
    →NLGの効果は主に女性によって現れて
    　いることを示唆
    11
    

    View Slide

12. 結論
    ● 不確実なデータのテキストの提示に関して
    ゲームベースの調査結果を示した
    ● NLG, グラフ, マルチモーダルなタスクの間には
    かなりの性差がある
    →これまでの研究は性別間で区別されて
    　いなかったため重要な知見
    12
    

    View Slide