Share
Embed
Transcript
9 slides
-
03 データベース構築 対象とする感情 Anger・ Anxiety ・ Depression ・ Frustration ・
Jealousy・ Guilt ・ Fear ・ Embarrassment 怒り 不安 憂鬱 イライラ 嫉妬 罪悪感 恐怖 恥ずかしさ ユーザに不快な体験をさせないよう、ネガティブな感情をターゲットとする 心理学の論文から、ターゲットとしている感情を引き出せる状況を428パータン収集し、データセットとした 例: Anger=> お兄ちゃんがお母さんの財布からお金を取ったとき、あなたが一番若いからと責められる Guilt=> あなたは子供との約束を守れない -
EmotionBench 04 1.Default Emotion Measure: LLMと被験者(人間)の感情状態のベースラインを測定する 2.Situation Imagination:LLMと被験者に状況を説明するテキストを提示し、状況に置かれた自分を想像する ように指示する 3.Evoked
Emotion Measure: LLMと被験者の感情状態を再評価し、状況を想像したことによる変化を測定す る -
06 実験・結果 RQ1.特定の状況に対して、LLMはどのように反応するのか? RQ2.LLMはどのような状況に対しても人と同じような反応を示すのか? ポジティブな状況に対しても適切な反応を示すことを検証 あなたは子どもとの約束を守れない →あなたは子どもとの約束を常に守る RQ3.現在のLLMは単に特定の感情の強さを問うだけでなく、多様な記述や項目を含む尺度を 理解することができるのか? PANASのような単純なものではなく他人を殴りたくなる衝動を抑えられないことがある
などのような感情特性を与えられたときに、状況に応じた感情反応の考慮ができるか? GPT3.5-turboで検証 被験者1266人と5つのLLM(text-davince-003・gpt-3.5-turbo・gpt-4・LLaMA-2(7B)・LLaMA-2(13B) に対してEmotionBenchで実験を行った -
07 実験・結果 RQ1.特定の状況に対して、LLMはどのように反応するのか? 「LLMは特定の状況に応じて特定の感情を呼び起こすことができるが、感情表現の程度はモ デルによって異なる。また、既存のLLMは人間の感情反応に完全には合致していないことが 明らかである」 RQ2.LLMはどのような状況に対しても同じような反応を示すのか? 「LLMはポジティブな状況から引き起こされる人間のポジティブな感情を理解する能力を持 っていることが推察される」 RQ3.現在のLLMは単に特定の感情の強さを問うだけでなく、多様な記述や項目を含む尺度を
理解することができるのか? 「現在のgpt-3.5-turboにとって、2つの状況間の関連性を理解することは困難である」