Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Natural Language Generation enhances human decision-making with uncertain information

Yumeto Inaoka
September 21, 2017

文献紹介: Natural Language Generation enhances human decision-making with uncertain information

2017/09/21の文献紹介で発表

Yumeto Inaoka

September 21, 2017
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Natural Language Generation enhances
    human decision-making with uncertain
    information
    Dimitra Gkatzia, Oliver Lemon, Verena Rieser.
    Proceedings of the 54th Annual Meeting of the Association for
    Computational Linguistics,
    pages 264–268, 2016.
    1
    文献紹介(2017/09/21)
    自然言語処理研究室 稲岡 夢人

    View Slide

  2. 概要
    ● 人間の意思決定は不確実なデータに依存
    することが多い
    ● 不確実なデータの提示方法の違いによる
    意思決定への影響を測定
    ● 不確実なデータにおいて自然言語生成(NLG)
    はグラフによる提示を改善
    2

    View Slide

  3. 導入
    ● NLGはグラフィカルなデータ可視化技術と同等
    の結果を達成できるとされている
    ● 現在のdata-to-textシステムは元データが正
    確な事実であることが前提
    →医学や天気予報において適用できない
    ● 実際にはリスクや不確実性を単に数値で
    提示するのは不十分とされている
    3

    View Slide

  4. 天気予報の生成
    ● 本論文では天気予報の生成が対象
    ● 不確実な情報の提示手段、気象現象の
    発生確率への言及に焦点を当てる
    ● 従来のNLGシステムの評価に用いられる
    文法, 正確性, 流暢性, 一貫性, 後編集評価
    ではなく、不確実性の理解や意思決定に
    及ぼす影響を測定する
    4

    View Slide

  5. データ収集環境
    ● Met OfficeのWeather Gameを拡張した
    ゲームベースによるデータ収集
    ● プレーヤーは天気予報に基づいて
    売上を最大化するアイスクリーム売りの
    送り先を決定
    5

    View Slide

  6. 天気予報の提示
    ● 天気予報はグラフィカルな提示とテキストの提
    示、マルチモーダルな提示を使用
    6

    View Slide

  7. 天気予報文の生成
    ● SimpleNLGを使用
    ● WMO-based, NATURALのシステムを開発
    ● WMO-based :
    世界気象機関(WMO)のガイドラインに従う
    ● NATURAL :
    気象予報士が天気を報告する自然な方法を
    模倣するシステム
    7

    View Slide

  8. 実験設定
    ● 女性197人, 男性241人, その他4人の
    合計442人をプレーヤーとして募集
    ● 450のそれぞれ異なるゲーム事例を使用
    ● ゲームのスコアはプレーヤーの決定と
    自信の度合いで計算
    ● 自信の度合いは10点満点でプレーヤーによっ
    て宣言される
    8

    View Slide

  9. 実験結果(スコア)
    ● マルチモーダルな提示はグラフのみに
    比べて有意に高いスコア
    ● マルチモーダルな提示とNLGに大差はない
    ● グラフのみよりNLGの方が高い
    ● WMO-basedとNATURALに大差はない
    9

    View Slide

  10. 実験結果(自信の度合い)
    ● 自信の度合いはグラフの方が有意に効果的
    ● NLGとグラフの提示を比較すると、
    スコアと自信の度合いの大小関係が逆転
    10

    View Slide

  11. 実験結果(性差)
    ● 女性のみの結果ではNLGの出力がスコアをよ
    り高くしている
    ● 男性はあらゆる提示方法で似たような
    スコアとなっている
    →NLGの効果は主に女性によって現れて
     いることを示唆
    11

    View Slide

  12. 結論
    ● 不確実なデータのテキストの提示に関して
    ゲームベースの調査結果を示した
    ● NLG, グラフ, マルチモーダルなタスクの間には
    かなりの性差がある
    →これまでの研究は性別間で区別されて
     いなかったため重要な知見
    12

    View Slide