対話型検索における応答長がナゲットレベルの賛否分布に与える影響の分析

対話型検索における応答長がナゲットレベルの賛否分布に与える影響の分析

Transcript

1. 第18回データ工学と情報マネジメントに関するフォーラム（DEIM2026） 4F-03 対話型検索における応答長が ナゲットレベルの賛否分布に与える影響の分析 熊野 桃 飛岡 憲 山本 岳洋（兵庫県立大学）
2. 背景 2 大規模言語モデル（LLM）を利用した対話型検索が一般的に SNSの利点は何？ 迅速に情報共有ができる点などです。 しかし、SNSの利用には気を付けるべき点もあります。 どういうところに 気を付けるべき？ 偽情報などに気を付けるべきです。 SNSは便利だけど 気を付けるべき 部分もあるんだな ！
3. 背景 3 賛否両論あるトピックにおいて検索結果の偏りはユーザの意思決定に影響する[1] AIは有用か、それとも危険か AIは有用 AIは有用 AIは有用 ！ AIは有用 … AIは危険 AIは危険 [1] Robert Epstein and Ji Li. Can biased search results change people’s opinions about anything at all? A close replication of the Search Engine Manipulation Effect (SEME). PLoS ONE Vol.19, No.3, e0300727, 2024.
4. 背景 4 同様の問題は対話型検索においても考えられる SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 SNSは、情報の共有、コミュニケーションの 促進、教育や意識向上、コミュニティ形成を 助け、知識や意見の交換を容易にします。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 SNSに反対 SNSに賛成 「SNSが私たちの社会に良い影響を与える理由は何ですか？」というクエリに対する GPT-4oの実際の応答
5. 背景 5 同様の問題は対話型検索においても考えられる SNSには 気を付けるべき 部分もあるんだな ！ SNSは良いところが いっぱい ！
6. 仮説 6 LLMの応答長は検索結果に含まれる情報の賛否分布に影響するのでは？ 長応答 短応答 SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 SNSは、情報の共有、コミュニケーションの 促進、教育や意識向上、コミュニティ形成を 助け、知識や意見の交換を容易にします。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 SNSに反対 SNSに賛成
7. 仮説 7 LLMの応答長は検索結果に含まれる情報の賛否分布に影響するのでは？ 応答長を短くする状況はいろいろある ユーザによる調整 音声対話システム インストラクション チューニング シナモンって健康にいいの？ 短く答えて 分かりました。 はい！シナモンは適量 であれば健康に良い効 果が期待できるスパイ スです。特に、血糖値 の上昇をゆるやかにす る可能性があることか ら、食後血糖値の管理 や糖尿病予防の補助と して注目されています。 また、ポリフェノール を多く含んでおり、体 内の酸化ストレスを抑 える抗酸化作用がある とされています。 さらに… 短く回答させた方が 便利なサービスに なるかも… 長すぎる… 対話サービス 提供者
8. 仮説 8 LLMの応答長は検索結果に含まれる情報の賛否分布に影響するのでは？ 長応答 短応答 SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 SNSは、情報の共有、コミュニケーションの 促進、教育や意識向上、コミュニティ形成を 助け、知識や意見の交換を容易にします。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 SNSに反対 SNSに賛成
9. 研究内容 応答長が検索結果に含まれる情報の賛否分布に影響するか 9
10. 実験概要 10 賛否両論あるトピックについての長応答と短応答を収集し、 応答に含まれる情報の賛否分布を算出して比較する 長応答 SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 LLMの応答をナゲット単位に分割 賛成 中立 反対 80.5% 15.1% 4.4% 40.4% 13.5% 46.1% 4.9% 24.9% 70.2% 90.8% 4.6% 4.6% 40.9% 2.1% 57.0% 0.0% 8.7% 91.3% SNSは、情報の共有、コミュニケーションの促進、 教育や意識向上、コミュニティ形成を助け、 知識や意見の交換を容易にします。 短応答 SNSに関する応答に含まれる情報の賛否分布 長応答 短応答
11. ナゲットについて 11 ナゲット…それ自体で有用な情報を持ち，かつそれ以上細かい複数の 有用な情報には分解できない情報の単位[2] Q. SNSが私たちの社会に良い影響を 与える理由は何ですか？ ナゲット SNSは知識の交換を容易にする 分割 A. SNSは知識や意見の交換を容易に SNSは意見の交換を容易にする しますが、利用には偽情報に気を付ける べきです。 SNSの利用には偽情報に気を付ける べきである どれか1つだけでも質問への答えとして成立する [2]酒井哲也,情報アクセス評価方法論-検索エンジンの進歩のために-,コロナ社, 2015
12. 実験概要 12 賛否両論あるトピックについての長応答と短応答を収集し、 応答に含まれる情報の賛否分布を算出して比較する 長応答 SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 SNSは、情報の共有、コミュニケーションの促進、 教育や意識向上、コミュニティ形成を助け、 知識や意見の交換を容易にします。 短応答 SNSに関する応答に含まれる情報の賛否分布 ナゲットのスタンス 賛成 中立 反対 賛成クエリ 80.5% 15.1% 4.4% 長応答 中立クエリ 40.4% 13.5% 46.1% 反対クエリ 4.9% 24.9% 70.2% 賛成クエリ 90.8% 4.6% 4.6% 短応答 中立クエリ 40.9% 2.1% 57.0% 反対クエリ 0.0% 8.7% 91.3%
13. 実験 クエリ生成 13 応答の収集 ナゲット分割 賛否分布の算出 • 賛成，中立，反対の クエリを生成 • 長応答と短応答を 収集 • 応答をナゲットに 分割 • 賛成，中立，反対の ラベルをナゲットに 付与 賛成クエリ 応答 応答 応答 応答 応答 ナゲット ナゲット 賛成 ナゲット ナゲット 賛成 ナゲット ナゲット 中立 ナゲット ナゲット 反対 中立クエリ 応答 応答 応答 応答 応答 反対クエリ 応答 応答 応答 応答 応答
14. クエリ生成 14 賛否両論あるトピックを5つ設定 （[3]で扱われたトピックを日本語訳したもの） ・SNSは社会にとって良いものか ・携帯電話の電波は安全か ・肥満は病気か ・ボトル入り飲料水は禁止されるべきか ・動物園は存続するべきか [3] Tim Draws, Nava Tintarev, Ujwal Gadiraju, Alessandro Bozzon, and BenjaminTimmermans. This is not what we ordered: Exploring why biased search result rankings affect user attitudes on debated topics. p. 295–305. Association for Computing Machinery, 2021. クエリ生成 応答の収集 ナゲット 分割 賛否分布
15. クエリ生成 15 各トピックに対し賛成，中立，反対のクエリをそれぞれ10件ずつ生成 生成されたクエリの例 賛成クエリ SNSが私たちの社会に良い影響を 与える理由は何ですか？ 中立クエリ トピック： SNSは私たちの社会にとって良いものか ・あなたは対話システムで検索しようと している一般の日本人 ・トピックに対して賛成，中立，反対の 立場からのクエリをそれぞれ10件ずつ 生成 SNS はどのように社会に貢献し、 また社会に害を及ぼしていますか？ 反対クエリ GPT-4o SNSを使うことの社会的な デメリットは何ですか？ クエリ生成 応答の収集 ナゲット 分割 賛否分布
16. 応答の収集 16 各クエリに対するLLMの長応答と短応答を収集 長応答 クエリ 丁寧に回答して GPT-4o SNSが私たちの社会に良い 影響を与える理由は何ですか？ 短く回答して 短応答 GPT-4o クエリ生成 応答の収集 ナゲット 分割 賛否分布
17. ナゲット分割 17 LLMで応答をナゲット単位に分割 ・ナゲットの定義の説明 ・ナゲット単位に分割する文章 ・文章の分割ルール ・明確な意味を持つ情報を抽出対象とする ・ユーザの情報要求に関連する内容を含める ・「いいですね！」のような儀礼的表現は除外する ・例示，背景，文脈情報も意味を持つ限り抽出対象とする ・単独で読んで理解できる形で記述する ・トピックごとのナゲット抽出例（few-shot） SNSは知識の交換を容易にする 応答 SNSは知識や意見の交換を容易に しますが、利用には偽情報に気を 付けるべきです。 ナゲット GPT-4o SNSは意見の交換を容易にする SNSの利用には偽情報に気を付ける べきである クエリ生成 応答の収集 ナゲット 分割 賛否分布
18. 賛否分布 18 各ナゲットにトピックに対するスタンスのラベルを付与 トピック： SNSは私たちの社会にとって良いものか SNSは知識の交換を容易にする SNSは知識の交換を容易にする 賛成 SNSは意見の交換を容易にする SNSは意見の交換を容易にする 賛成 SNSの利用には偽情報に気を 付けるべきである SNSの利用には偽情報に気を 付けるべきである 反対 GPT-4o ・賛否ラベルを付与したいナゲット ・対応するトピック ・ナゲットの定義の説明 ・提示したナゲットがトピックに対して賛成，中立， 反対のどの立場をとるかを判定するよう指示 クエリ生成 応答の収集 ナゲット 分割 賛否分布
19. 賛否分布 19 LLMによる賛否ラベル付与の妥当性を確認 正解データ：各トピック，スタンスから1つずつクエリを無作為に抽出し，それらに 対するLLMの応答ナゲットの賛否を著者を含まない3名がアノテーションしたもの Fleissのカッパ係数は0.612，かなりの一致（substantial agreement） ナゲットの スタンス 賛成 中立 反対 マクロ平均 正解率 適合率 再現率 F1値 0.867 0.819 0.743 0.877 0.916 0.743 0.820 0.804 0.946 0.877 0.842 0.820 0.839 0.832 0.840 0.822 クエリ生成 応答の収集 ナゲット 分割 賛否分布
20. リサーチクエスチョン 20 RQ1： 長応答と短応答で LLM 応答に含まれる情報の賛否分布は変化するか RQ2： LLM のモデルによって応答に含まれる情報の賛否分布は変化するか
21. リサーチクエスチョン 21 RQ1： 長応答と短応答で LLM 応答に含まれる情報の賛否分布は変化するか RQ2： LLM のモデルによって応答に含まれる情報の賛否分布は変化するか
22. 結果(GPT-4oの応答の賛否分布) 22 トピック「SNSは私たちの社会にとって良いものか？」に対する結果 ナゲットのスタンス 長応答 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 80.5% 40.4% 15.1% 13.5% 4.4% 46.1% 4.9% 90.8% 24.9% 4.6% 70.2% 4.6% 40.9% 0.0% 2.1% 8.7% 57.0% 91.3% 中立クエリ 反対クエリ 賛成クエリ 短応答 中立クエリ 反対クエリ
23. 結果(GPT-4oの応答の賛否分布) 23 トピック「SNSは私たちの社会にとって良いものか？」に対する結果 ナゲットのスタンス 長応答 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 80.5% 15.1% 4.4%
24. 結果(GPT-4o) 24 トピック「SNSは私たちの社会にとって良いものか？」に対する結果 短応答では中立ナゲットの割合が低下する ナゲットのスタンス クエリのスタンス 賛成クエリ 長応答 中立クエリ 反対クエリ 賛成クエリ 短応答 中立クエリ 反対クエリ 賛成ナゲット 中立ナゲット 反対ナゲット 15.1% 13.5% 24.9% 4.6% 2.1% 8.7% 低下
25. 結果(GPT-4o) 25 トピック「SNSは私たちの社会にとって良いものか？」に対する結果 短応答ではクエリのスタンスと一致するスタンスのナゲットの割合が増加する ナゲットのスタンス 長応答 クエリのスタンス 賛成ナゲット 賛成クエリ 80.5% 中立クエリ 短応答 反対ナゲット +10.3 反対クエリ 賛成クエリ 中立ナゲット 70.2% +21.1 90.8% 中立クエリ 反対クエリ 91.3%
26. 結果(GPT-4o) 26 トピック「SNSは私たちの社会にとって良いものか？」に対する結果 特に反対クエリに対する反対ナゲットの割合の増加が大きい ナゲットのスタンス 長応答 クエリのスタンス 賛成ナゲット 賛成クエリ 80.5% 中立クエリ 短応答 反対ナゲット +10.3 反対クエリ 賛成クエリ 中立ナゲット 70.2% +21.1 90.8% 中立クエリ 反対クエリ 91.3%
27. 結果(GPT-4o) 27 他のトピックでのGPT-4oの結果 動物園は存続するべきか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス 長応答 短応答 ナゲットのスタンス クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 55.6% 42.7% 1.7% 賛成クエリ 83.1% 16.0% 0.9% 中立クエリ 34.8% 48.8% 16.4% 中立クエリ 45.3% 34.0% 20.7% 反対クエリ 28.2% 55.9% 15.9% 反対クエリ 25.1% 39.8% 35.1% 賛成クエリ 73.3% 26.7% 0.0% 賛成クエリ 98.3% 1.7% 0.0% 中立クエリ 47.1% 35.3% 17.6% 中立クエリ 56.6% 13.3% 30.1% 反対クエリ 34.1% 26.8% 39.0% 反対クエリ 22.6% 22.6% 54.8% 長応答 短応答 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 長応答 短応答 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 20.8% 77.6% 1.5% 賛成クエリ 40.2% 59.8% 0.0% 中立クエリ 8.2% 83.5% 8.4% 中立クエリ 27.3% 68.7% 4.1% 反対クエリ 6.2% 86.9% 6.9% 反対クエリ 19.9% 68.9% 11.3% 賛成クエリ 39.6% 56.6% 3.8% 賛成クエリ 59.5% 39.2% 1.4% 中立クエリ 13.2% 70.6% 16.2% 中立クエリ 23.2% 72.0% 4.9% 反対クエリ 7.7% 80.8% 11.5% 反対クエリ 25.9% 53.4% 20.7% 長応答 短応答
28. 結果(GPT-4o) 28 他のトピックでのGPT-4oの結果 動物園は存続するべきか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス 長応答 短応答 ナゲットのスタンス クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 55.6% 42.7% 1.7% 賛成クエリ 83.1% 16.0% 0.9% 中立クエリ 34.8% 48.8% 16.4% 中立クエリ 45.3% 34.0% 20.7% 反対クエリ 28.2% 55.9% 15.9% 反対クエリ 25.1% 39.8% 35.1% 賛成クエリ 73.3% 26.7% 0.0% 賛成クエリ 98.3% 1.7% 0.0% 中立クエリ 47.1% 35.3% 17.6% 中立クエリ 56.6% 13.3% 30.1% 反対クエリ 34.1% 26.8% 39.0% 反対クエリ 22.6% 22.6% 54.8% 長応答 低下 短応答 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 長応答 短応答 低下 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 20.8% 77.6% 1.5% 賛成クエリ 40.2% 59.8% 0.0% 中立クエリ 8.2% 83.5% 8.4% 中立クエリ 27.3% 68.7% 4.1% 反対クエリ 6.2% 86.9% 6.9% 反対クエリ 19.9% 68.9% 11.3% 賛成クエリ 39.6% 56.6% 低下 3.8% 賛成クエリ 59.5% 39.2% 1.4% 中立クエリ 13.2% 70.6% 16.2% 中立クエリ 23.2% 72.0% 4.9% 反対クエリ 7.7% 80.8% 11.5% 反対クエリ 25.9% 53.4% 20.7% 長応答 短応答 低下
29. 結果(GPT-4o) 29 他のトピックでのGPT-4oの結果 動物園は存続するべきか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス クエリのスタンス 賛成ナゲット 中立ナゲット ナゲットのスタンス 反対ナゲット クエリのスタンス 賛成クエリ 長応答 中立クエリ 長応答 15.9% 賛成クエリ 反対クエリ 短応答 反対クエリ 35.1% 39.0% +19.7 中立クエリ 反対クエリ 54.8% 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 賛成ナゲット 中立ナゲット クエリのスタンス 反対ナゲット 長応答 中立クエリ 反対クエリ 賛成クエリ 短応答 中立クエリ 反対クエリ 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 賛成クエリ 長応答 反対ナゲット 中立クエリ 賛成クエリ +24.9 中立クエリ クエリのスタンス 中立ナゲット 賛成クエリ 反対クエリ 短応答 賛成ナゲット 中立クエリ 反対クエリ 6.9% 賛成クエリ +4.6 短応答 11.5% 中立クエリ 反対クエリ 11.3% +9.4 20.7%
30. 結果(GPT-4o) 30 他のトピックでのGPT-4oの結果 トピック「携帯電話の発する電波は安全か」に対する 応答では中立ナゲットの割合が大きくなりやすい 携帯電話の発する電波は安全か ナゲットのスタンス 長応答 短応答 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 20.8% 77.6% 1.5% 中立クエリ 8.2% 83.5% 8.4% 反対クエリ 6.2% 86.9% 6.9% 賛成クエリ 39.6% 56.6% 3.8% 中立クエリ 13.2% 70.6% 16.2% 反対クエリ 7.7% 80.8% 11.5%
31. 結果(GPT-4o) 31 他のトピックでのGPT-4oの結果 賛成ナゲットの割合が高くなりやすい 肥満は病気か ナゲットのスタンス 長応答 短応答 クエリのスタンス 賛成ナゲット 中立ナゲット 反対ナゲット 賛成クエリ 40.2% 0.0% 中立クエリ 27.3% 4.1% 反対クエリ 19.9% 11.3% 賛成クエリ 59.5% 1.4% 中立クエリ 23.2% 4.9% 反対クエリ 25.9% 20.7%
32. リサーチクエスチョン 32 RQ1： 長応答と短応答で LLM 応答に含まれる情報の賛否分布は変化するか RQ2： LLM のモデルによって応答に含まれる情報の賛否分布は変化するか
33. 結果(Gemini 2.5 flashの応答の賛否分布) SNSは私たちの社会にとって 良いものか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス 長応答 短応答 33 動物園は存続するべきか ナゲットのスタンス ナゲットのスタンス クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 88.8% 7.3% 3.9% 賛成クエリ 81.2% 18.8% 0.0% 賛成クエリ 81.2% 18.8% 0.0% 中立クエリ 44.7% 15.6% 39.7% 中立クエリ 32.3% 52.6% 15.0% 中立クエリ 50.6% 35.7% 13.6% 反対クエリ 4.9% 22.8% 72.3% 反対クエリ 23.9% 60.9% 15.3% 反対クエリ 37.3% 38.5% 24.2% 賛成クエリ 98.2% 1.8% 0.0% 賛成クエリ 63.6% 36.4% 0.0% 賛成クエリ 79.5% 20.5% 0.0% 中立クエリ 48.6% 9.9% 41.4% 中立クエリ 53.9% 27.0% 19.1% 中立クエリ 53.8% 20.8% 25.5% 反対クエリ 1.1% 11.5% 87.4% 反対クエリ 16.2% 29.7% 54.1% 反対クエリ 15.3% 20.3% 64.4% 長応答 短応答 長応答 短応答 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 長応答 短応答 クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 19.0% 79.1% 1.9% 賛成クエリ 36.9% 62.8% 0.3% 中立クエリ 6.5% 87.4% 6.2% 中立クエリ 37.0% 58.3% 4.6% 反対クエリ 5.8% 88.0% 6.2% 反対クエリ 28.2% 57.9% 14.0% 賛成クエリ 46.2% 53.7% 0.0% 賛成クエリ 31.7% 68.3% 0.0% 中立クエリ 6.0% 71.4% 22.6% 中立クエリ 49.4% 40.5% 10.1% 反対クエリ 0.0% 83.8% 16.2% 反対クエリ 9.1% 63.6% 27.3% 長応答 短応答
34. 結果(Gemini 2.5 flash) SNSは私たちの社会にとって 良いものか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス 長応答 短応答 34 動物園は存続するべきか ナゲットのスタンス ナゲットのスタンス クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 88.8% 7.3% 3.9% 賛成クエリ 81.2% 18.8% 0.0% 賛成クエリ 81.2% 18.8% 0.0% 中立クエリ 44.7% 15.6% 39.7% 中立クエリ 32.3% 52.6% 15.0% 中立クエリ 50.6% 35.7% 13.6% 反対クエリ 4.9% 22.8% 72.3% 反対クエリ 23.9% 60.9% 15.3% 反対クエリ 37.3% 38.5% 24.2% 賛成クエリ 98.2% 1.8% 0.0% 賛成クエリ 63.6% 36.4% 0.0% 賛成クエリ 79.5% 20.5% 0.0% 中立クエリ 48.6% 9.9% 41.4% 中立クエリ 53.9% 27.0% 19.1% 中立クエリ 53.8% 20.8% 25.5% 反対クエリ 1.1% 11.5% 87.4% 反対クエリ 16.2% 29.7% 54.1% 反対クエリ 15.3% 20.3% 64.4% 長応答 低下 短応答 長応答 低下 短応答 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 長応答 短応答 クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 19.0% 79.1% 1.9% 賛成クエリ 36.9% 62.8% 0.3% 中立クエリ 6.5% 87.4% 6.2% 中立クエリ 37.0% 58.3% 4.6% 反対クエリ 5.8% 88.0% 6.2% 反対クエリ 28.2% 57.9% 14.0% 賛成クエリ 46.2% 53.7% 0.0% 賛成クエリ 31.7% 68.3% 0.0% 中立クエリ 6.0% 71.4% 22.6% 中立クエリ 49.4% 40.5% 10.1% 反対クエリ 0.0% 83.8% 16.2% 反対クエリ 9.1% 63.6% 27.3% 長応答 低下 短応答 低下 低下
35. 結果(Gemini 2.5 flash) SNSは私たちの社会にとって 良いものか ボトル入り飲料水は禁止されるべきか ナゲットのスタンス クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 長応答 反対クエリ 短応答 中立クエリ 賛成 ナゲット 中立 ナゲット ナゲットのスタンス 反対 ナゲット クエリの スタンス 賛成クエリ 中立クエリ 賛成クエリ 動物園は存続するべきか ナゲットのスタンス 賛成クエリ 長応答 35 72.3% 反対クエリ 長応答 反対クエリ +15.1 短応答 87.4% 中立クエリ 15.3% 反対クエリ 賛成クエリ 短応答 54.1% 中立 ナゲット クエリの スタンス 反対 ナゲット 長応答 反対クエリ 短応答 中立クエリ 反対クエリ 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 中立クエリ 賛成クエリ 反対クエリ ナゲットのスタンス 賛成クエリ 長応答 中立クエリ 肥満は病気か ナゲットのスタンス 賛成 ナゲット 中立クエリ 反対クエリ 6.2% 賛成クエリ +10.0 短応答 16.2% 反対 ナゲット 中立クエリ 反対クエリ +38.8 携帯電話の発する電波は安全か クエリの スタンス 中立 ナゲット 賛成クエリ 中立クエリ 賛成クエリ 賛成 ナゲット 中立クエリ 反対クエリ 14.0% +13.3 27.3% 24.2% +40.2 64.4%
36. 結果(Gemini 2.5 flash) 36 肥満は病気か 携帯電話の発する電波は安全か ナゲットのスタンス ナゲットのスタンス 長応答 短応答 クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット クエリの スタンス 賛成 ナゲット 中立 ナゲット 反対 ナゲット 賛成クエリ 19.0% 79.1% 1.9% 賛成クエリ 36.9% 62.8% 0.3% 中立クエリ 6.5% 87.4% 6.2% 中立クエリ 37.0% 58.3% 4.6% 反対クエリ 5.8% 88.0% 6.2% 反対クエリ 28.2% 57.9% 14.0% 賛成クエリ 46.2% 53.7% 0.0% 賛成クエリ 31.7% 68.3% 0.0% 中立クエリ 6.0% 71.4% 22.6% 中立クエリ 49.4% 40.5% 10.1% 反対クエリ 0.0% 83.8% 16.2% 反対クエリ 9.1% 63.6% 27.3% 長応答 短応答
37. 考察 37 RQ1： 長応答と短応答で LLM 応答に含まれる情報の賛否分布は変化するか • 短応答では中立的な情報の割合が低下する • 短応答ではクエリと一致するスタンスの情報の割合が増加する • 特に，反対クエリに対する応答ではトピックに反対する情報の割合が増加する RQ2： LLM のモデルによって応答に含まれる情報の賛否分布は変化するか • LLMのモデルによらず，応答長はLLMの応答に含まれる情報の賛否分布に影響 を及ぼす
38. 考察 使用するLLMのモデルに関わらず，対話サービス 設計者やそれらのユーザは応答長が短い場合の 情報の偏りに注意すべきである 38
39. 結果 39 対話型検索システムにおいて，LLMのモデルに関わらず 短い応答では検索結果に含まれる情報の賛否分布が偏りやすい 長応答 短応答 SNSが私たちの社会に良い影響を与える理由は、 さまざまな面でポジティブな役割を果たして いるからです。以下にその主な理由を挙げます。 1. ～ 2. ～ … 8. ～ 結論 SNS は、私たちの日常生活や社会全体において、 情報流通、コミュニケーション、多様性の尊重、 迅速な支援など、さまざまな面で良い影響を もたらしています。 SNSは、情報の共有、コミュニケーションの 促進、教育や意識向上、コミュニティ形成を 助け、知識や意見の交換を容易にします。 ただし、使い方次第では逆の影響も及ぼす可能 性があるため、慎重で責任ある利用が重要です。 SNSに反対 SNSに賛成
40. 限界点 40 クエリをLLMで生成した点 • 人的コスト削減のためLLMでクエリを生成 • 実際にユーザが入力するクエリとは異なる →ユーザ実験でクエリを収集する
41. 限界点 41 ナゲットへの賛否ラベル付与 • 中立ラベルが実際にはトピックに無関係なナゲットにも 付与されており、分布に影響した 例：クエリ「教育においてSNSがどのように役立つか教えてください。」に対する GPT-4oの長応答 学習成果物には詩が含まれる 中立 「SNSは私たちの社会にとって良いものか」というトピックには関連しない →ラベル付与のプロンプトを見直し、トピックに無関係な ナゲットを賛否分布に含めない
42. 今後の課題 42 ユーザ実験を行い、応答長によって影響を受けたLLM応答がユーザに影響を及ぼすか調べる SNSが社会に良い影響を与える点を教えて 長応答 SNSが私たちの社会に良い影響を 与える理由は、さまざまな面でポ ジティブな役割を果たして いるからです。以下にその主な理 由を挙げます。 1. ～ 2. ～ SNSには … 気を付けるべき 8. ～ 部分もあるんだな 結論 SNS は、私たちの日常生活や社会 全体において、情報流通、コミュ ニケーション、多様性の尊重、迅 速な支援など、さまざまな面で良 い影響をもたらしています。 ただし、使い方次第では逆の影響 も及ぼす可能性があるため、慎重 で責任ある利用が重要です。 ？ 短応答 SNSは、情報の共有、コミュニケーションの 促進、教育や意識向上、コミュニティ形成を 助け、知識や意見の交換を容易にします。 SNSは良いところが いっぱい ！ ！
43. まとめ 43 研究内容 対話型検索において応答長が応答に含まれる情報の賛否分布に 影響を与えるかの分析 結果 短応答では中立的な情報の割合が低下し、クエリに一致するスタンスの 情報の割合が増加する ・特に反対クエリに対する応答の反対する情報の割合が大きく増加 今後の課題 ユーザ実験による、応答長のユーザの意見形成への影響調査