クエリ形式とランキング手法が検索結果のスタンス分布に与える影響の分析

Transcript

1. 第18回データ工学と情報マネジメントに関するフォーラム（DEIM2026） 7F-05 クエリ形式とランキング手法が 検索結果のスタンス分布に与える影響の分析 池元太陽、山本岳洋（兵庫県立大学）
2. 背景 2 賛否両論あるトピックにおいて、検索結果の偏りはユーザの意見形成 に影響を与える[1] 学校に制服って 必要なのかな？ 学校に制服は必要 でないという考え 方が主流なのか [1] Robert Epstein and Ronald E. Robertson. "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections." PNAS, 112(33), E4512-E4521, 2015.
3. 背景 3 検索結果の偏りは、対話型検索システムの応答にも影響を及ぼす可能性がある RAG（検索拡張生成） 検索結果の偏りが生成する回答に影響 データベース 検索 ユーザ 質問 回答 アプリ … 検索結果 質問＋検索結果 LLM 回答
4. スタンス分布 4 検索結果の偏りをスタンス分布で定量的に評価する 検索結果にスタンスを付与 上位5件のスタンス分布 必要ない 中立的 必要ない 必要ない 必要 賛成 中立 反対 (20% 20% 60%)
5. 関連研究１ 5 ランキング手法の違いが検索精度に影響を及ぼす[2] 検索エンジンA 語彙ベース スタンス分布 検索エンジンB 意味ベース AI検索システム LLMベース 賛成 中立 反対 (？% ？% ？%) → ランキング手法の違いが検索結果の偏りに与える影響は？ [2] Weiwei Sun, Lingyong Yan, Xinyu Ma, Shuaiqiang Wang, Pengjie Ren, Zhumin Chen, Dawei Yin, and Zhaochun Ren. "Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents." EMNLP 2023, pp. 14918-14937, 2023.
6. 関連研究２ 6 同じ情報要求を持つユーザでも、クエリの表現方法は異なる[3] クエリ形式の違いが検索精度に影響を及ぼす[4] 情報要求 学校制服の必 要性について 知りたい！ ユーザ A 質問クエリ ユーザ B キーワードクエリ スタンス分布 賛成 中立 反対 (？% ？% ？%) → クエリ形式の違いが検索結果の偏りに与える影響は？ [3] Guido Zuccon, Joao Palotti, and Allan Hanbury. "Query Variations and their Effect on Comparing Information Retrieval Systems." CIKM 2016, pp. 691-700, 2016. [4] 松田明梨, 加藤誠. "多言語検索における質問クエリとキーワードクエリの性能評価." DEIM 2025, 6L-04, 2025.
7. リサーチ・クエスチョン RQ1：同じクエリでも、ランキング手法が違えば スタンス分布は異なるのか？ RQ2：同じ情報要求でも、クエリ形式が違えば スタンス分布は異なるのか？ 7
8. 実験で得られた知見 知見１：クエリと文書の意味的類似性を考慮できるという 検索有効性の高さがスタンス分布の偏りに影響を及ぼす 知見２：同じ情報要求でも、クエリ形式の違いによって スタンス分布は異なる 知見３：検索有効性が高いランキング手法（e5, PRP）では、 クエリ形式の違いによる影響を受けにくい 8
9. 実験方法 データセット 賛成 9 LLMを用いて クエリを生成 3つの手法で 文書をランキング トピック 語彙ベース （BM25） 文書集合 意味ベース （e5） 中立 LLMベース （PRP） 反対 上位k件の スタンス分布 賛成 中立 反対 (？% ？% ？%)
10. データセット データセット 賛成 10 LLMを用いて クエリを生成 3つの手法で 文書をランキング トピック 語彙ベース （BM25） 文書集合 意味ベース （e5） 中立 LLMベース （PRP） 反対 上位k件の スタンス分布 賛成 中立 反対 (？% ？% ？%)
11. データセット 11 賛否両論あるトピックを扱った既存のデータセット[5] • 各トピックに56件の文書 • 各文書にトピックに対する賛成・中立・反対のスタンスが付与 トピック Is obesity a disease? （肥満は病気であるか？） Is cell phone radiation safe? （携帯電話の電磁波は安全であるか？） Should bottled water be banned? （ペットボトル飲料水は禁止されるべきか？） Should zoos exist? （動物園は存在すべきか？） Are social networking sites good for our society? （SNSは社会にとって良いものか？） [5] Tim Draws, Alisa Rieger, Oana Inel, Ujwal Gadiraju, and Nava Tintarev. "This is not what we ordered: Exploring why biased search result rankings affect user attitudes on debated topics." SIGIR 2021, pp. 295-305, 2021.
12. データセット 12 各トピックの文書集合 トピック Is obesity a disease? Is cell phone radiation safe? Should bottled water be banned? Should zoos exist? Are social networking sites good for our society? 賛成文書 中立文書 反対文書 24 12 26 22 20 13 11 9 6 14 19 33 21 28 22
13. LLMを用いたクエリの生成 データセット 賛成 LLMを用いて クエリを生成 13 3つの手法で 文書をランキング トピック 語彙ベース （BM25） 文書集合 意味ベース （e5） 中立 LLMベース （PRP） 反対 上位k件の スタンス分布 賛成 中立 反対 (？% ？% ？%)
14. LLMを用いたクエリの生成 14 LLMを用いて、スタンス別に質問クエリとキーワードクエリのクエリペア を30件ずつ生成 トピック 賛成 同じ情報要求 中立 同じ情報要求 反対 同じ情報要求 GPT-4o Is obesity a disease? (肥満は病気であるか？) ◦◦派のユーザが作りそうな クエリを30ペア生成して. 各ペアは質問とキーワードで 構成され，同じ情報要求を満 たすようにして．
15. 生成したクエリペアの例 13 15 トピック：Are social networking sites good for our society? （SNSは社会にとって良いものか？） 賛成 クエリペア 中立 クエリペア 質問 キーワード 質問 キーワード 反対 クエリペア 質問 キーワード How do social networking sites benefit society? (SNSは社会にどのような利益をもたらしますか？) Benefits of social networking sites （SNS 利点） What are the positive and negative effects of social networking sites on mental health? (SNSはメンタルヘルスにどのような良い影響と悪い影響を与えますか？) Social networking sites mental health effects (SNS メンタルヘルス 影響) Why do social networking sites lead to addiction? (なぜSNSは依存を引き起こすのですか？) Social networking site addiction problems (SNS 依存 問題)
16. 生成したクエリペアの評価 16 生成したクエリペアが、ペアとなる質問クエリとキーワードクエリで 同じ情報要求を満たすかを既存研究[6]を参考に評価 英語テキストの高性能な埋め込みモデルbge-large-en-v1.5を使って、 クエリペア（質問クエリとキーワードクエリ）のコサイン類似度を算出した クエリ＼類似度 平均値 最大値 最小値 賛成クエリペア 0.880 0.972 0.743 中立クエリペア 0.914 0.978 0.775 反対クエリペア 0.887 0.967 0.782 [6] Andrea Iovine, Anjie Fang, Besnik Fetahu, Jie Zhao, Oleg Rokhlenko, and Shervin Malmasi. "CycleKQR: Unsupervised bidirectional keyword-question rewriting." EMNLP 2022, pp. 11875-11886, 2022.
17. 生成したクエリペアの評価 17 既存研究[6]におけるコサイン類似度の目安 • ペアとなる質問クエリとキーワードクエリが類似したドメインを共有している ことを満たす基準＝0.6 • 同じ情報要求を満たし、意味的にほとんど等しい事を示す基準＝0.8 クエリ＼類似度 平均値 最大値 最小値 賛成クエリペア 0.880 0.972 0.743 中立クエリペア 0.914 0.978 0.775 反対クエリペア 0.887 0.967 0.782 生成したクエリペアは、概ね同じ情報要求を満たしている
18. ランキング手法 データセット 賛成 LLMを用いて クエリを生成 18 3つの手法で 文書をランキング トピック 語彙ベース （BM25） 文書集合 意味ベース （e5） 中立 LLMベース （PRP） 反対 上位k件の スタンス分布 賛成 中立 反対 (？% ？% ？%)
19. ランキング手法 19 語彙ベース（BM25） クエリと文書の単語の一致に基づくランキング手法 適合 関連文書A：SNSは利便性が高いです。 SNS 利便性 不適合 関連文書B：ソーシャルメディアは便利 なツールです。 単語の不一致により関連文書が検索されない
20. ランキング手法 20 意味ベース（e5-base-v2） クエリと文書を意味的な特徴を捉えたベクトルに変換し、2つのベクトルの 類似度を基にランキングする手法 クエリベクトル SNS 利便性 埋め込みモデル e5-base-v2 類似度 文書ベクトル 埋め込みモデル 0.9 適合度が高い！ ソーシャルメディアは便利なツールです。 単語の一致に依存せず、クエリと文書の意味的な類似性を考慮できる
21. ランキング手法 21 LLMベース（ペアワイズランキングプロンプティング[PRP]）[7] 2つの文書のうち、どちらがクエリに対してより適合性が高いかを LLM に判断 させる手法。適合性が高いと判断した文書に良いスコアをつけ、高い順にソート SNS 利便性 LLM 1点 文書A 文書A 文書B 文書Aと文書Bのうち クエリとより適合性 が高いのはどっち？ 文書A 0.5点 文書B 文脈理解能力が高いLLMを直接適合性の判定に用いるため、検索有効性が高い [7] Zhenhui Qin, Rolf Jagerman, Kai Hui, Honglei Zhuang, Xuanhui Wang, Michael Bendersky, and Marc Najork. "Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting." NAACL 2024 (Findings), pp. 1504-1518, 2024.
22. スタンス分布 データセット 賛成 22 LLMを用いて クエリを生成 3つの手法で 文書をランキング トピック 語彙ベース （BM25） 文書集合 意味ベース （e5） 中立 LLMベース （PRP） 反対 上位k件の スタンス分布 賛成 中立 反対 (？% ？% ？%)
23. スタンス分布 23 検索結果上位3件・上位5件・上位10件を求め、スタンス分布で評価 上位３件 上位5件 上位10件 賛成 中立 反対 賛成 中立 反対 賛成 中立 反対 (？% ？% ？%) (？% ？% ？%) (？% ？% ？%)
24. 実験結果 RQ1：同じクエリでも、ランキング手法が違えば スタンス分布は異なるのか？ RQ2：同じ情報要求でも、クエリ形式が違えば スタンス分布は異なるのか？ 24
25. 実験結果（RQ1） RQ1：同じクエリでも、ランキング手法が違えば スタンス分布は異なるのか？ RQ2：同じ情報要求でも、クエリ形式が違えば スタンス分布は異なるのか？ 25
26. 実験結果（RQ1） 26 RQ1：同じクエリでも、ランキング手法が違えば スタンス分布は異なるのか？ 分析：クエリ形式の違いは考慮せず、３つのランキング手法それぞれ で得られたスタンス分布を比較
27. 実験結果（RQ1） 27 ランキング上位5件のスタンス分布 e5 BM25 賛成クエリ 38.5% 19.5% 42.0% 中立クエリ 36.5% 20.2% 43.3% 反対クエリ 36.2% 17.2% 46.6% 41.0% 32.7% 25.0% 22.5% 23.7% 20.3% PRP 63.6% 34.0% 44.9% 56.1% 44.8% 16.2% 16.1% 20.3% 18.7% 36.5% 70.3% 13.5% 反対文書 賛成文書 中立文書 BM25からe5、PRPへと進むにつれて、賛成クエリでは賛成文書の割合が大きく、 反対クエリでは反対文書の割合が大きいというスタンス分布の偏りが強まる傾向
28. スタンス分布の例 賛成 28 Benefits of zoos BM25 e5 PRP 賛成 中立 反対 賛成 中立 反対 賛成 中立 反対 (60% 20% 20%) (80% 20% 0%) (100% 0% 0%)
29. スタンス分布の例 賛成 BM25 29 Benefits of zoos e5 PRP クエリと文書の意味的類似性を考慮できる 検索有効性の高さがスタンス分布の偏りに影響 賛成 中立 反対 (60% 20% 20%) 賛成 中立 反対 (80% 20% 0%) 賛成 中立 反対 (100% 0% 0%)
30. 実験結果（RQ2） RQ1：同じクエリでも、ランキング手法が違えば スタンス分布は異なるのか？ RQ2：同じ情報要求でも、クエリ形式が違えば スタンス分布は異なるのか？ 30
31. 実験結果（RQ2） 31 RQ2：同じ情報要求でも、クエリ形式が違えば スタンス分布は異なるのか？ 分析１：ランキング手法ごとに、質問クエリから得られたスタンス分布と キーワードクエリから得られたスタンス分布を比較 分析２：質問クエリによるスタンス分布とキーワードクエリによる スタンス分布の差異をRNODを用いて定量的に評価
32. 実験結果（RQ2） 32 RQ2：同じ情報要求でも、クエリの形式が違えば スタンス分布は異なるのか？ 分析１：ランキング手法ごとに、質問クエリから得られたスタンス分布と キーワードクエリから得られたスタンス分布を比較 分析２：質問クエリによるスタンス分布とキーワードクエリによる スタンス分布の差異をRNODを用いて定量的に評価
33. 実験結果（RQ2） 33 BM25ランキング上位5件のスタンス分布（クエリ形式別） 賛成クエリ 中立クエリ 反対クエリ 賛成文書 中立文書 反対文書 質問 37.9% 18.3% 43.9% キーワード 39.2% 20.7% 40.1% 質問 38.7% 16.1% キーワード 34.4% 24.3% 質問 36.9% 13.5% キーワード 35.5% 20.9% キーワードクエリに 45.2% おいて中立文書の割 41.3% 合が高い！ 49.6% 43.6%
34. BM25におけるスタンス分布の例 質問クエリ What are the social consequences of addiction to social networking sites? 賛成 中立 反対 ( 0% 20% 80%) キーワードクエリ Social networking sites addiction social consequences 賛成 中立 反対 (40% 40% 20%) 34
35. BM25におけるスタンス分布の例 質問クエリ キーワードクエリ キーワードクエリでは、話 What are the social consequences of 質問クエリには、機能語や Social networking sites addiction addiction to social networking sites? social consequences 題や対象を表す語が中心と 文の構造を含む表現（疑問 なるため、事実や背景を説 詞やbe動詞）が含まれるた 明する文書とも一致しやす め、賛成文書や反対文書が く、中立的な文書が相対的 そのような表現を多く含ん に多く検索された可能性が 賛成 中立 反対 ある でいた可能性がある 賛成 中立 反対 ( 0% 20% 80%) (40% 40% 20%) 35
36. 実験結果（RQ2） 36 e5ランキング上位5件のスタンス分布（クエリ形式別） 賛成クエリ 中立クエリ 反対クエリ 質問 39.2% キーワード 42.8% 質問 31.9% キーワード 33.5% 25.6% 35.2% キーワードクエリで 質問クエリにおい 24.4% 32.8% クエリのスタンスを て中立文書の割合 23.6% 44.5% 反映しやすい 21.3% 45.2% が高い 質問 22.8% 23.2% 54.0% キーワード 24.5% 17.3% 58.1%
37. e5におけるスタンス分布の例 賛成 質問クエリ How do social networking sites benefit society? 賛成 中立 反対 (60% 20% 20%) 賛成 37 キーワードクエリ Benefits of Social networking sites 賛成 中立 反対 (80% 20% 0%)
38. e5におけるスタンス分布の例 質問クエリ キーワードクエリ How do social networking sites 38 キーワードクエリ 質問クエリ Benefits of Social networking sites benefit society? クエリが明確な情報要求や意 ベクトル変換に使用する埋 味を持つ単語ばかりで構成さ め込みモデルが質問形式の れているため、情報要求に忠 クエリ（質問文）と中立文 実な文書との結びつきが強く、 書（中立的な表現）が似た クエリのスタンスが強調され 賛成 中立 反対 る可能性がある ベクトルになるように学習 (60% 20% 20%) 賛成 中立 反対 されている可能性がある (80% 20% 0%)
39. 実験結果（RQ2） 39 PRPランキング上位5件のスタンス分布（クエリ形式別） 賛成クエリ 中立クエリ 反対クエリ 質問 63.9% 16.0% 20.1% キーワード 63.3% 16.1% 20.5% クエリ形式の違いに 質問 45.7% 18.3% キーワード 43.9% 19.2% 36.0% よる分布の変化は見 36.9% られなかった 質問 15.7% 13.1% 71.2% キーワード 16.7% 13.9% 69.5%
40. RQ2の考察 40 分析１：質問クエリのスタンス分布とキーワードクエリのスタンス分布を比較 • BM25では、キーワードクエリで中立文書の割合が高い • e5では、質問クエリで中立文書の割合が高く、キーワードクエリでクエリのスタン スを反映しやすい ユーザの些細なクエリ表現の違いによって、情報要求 が同じでも、検索結果のスタンス分布は異なる どのぐらいスタンス分布が違うかを定量的に評価したい
41. 実験結果 41 RQ2：同じ情報要求でも、クエリの形式が違えば スタンス分布は異なるのか？ 分析１：ランキング手法ごとに、質問クエリから得られたスタンス分布と キーワードクエリから得られたスタンス分布を比較 分析２：質問クエリによるスタンス分布とキーワードクエリによる スタンス分布の差異をRNODを用いて定量的に評価
42. 分析方法 42 同じ情報要求を満たすクエリペア間でどのぐらいスタンス分布が違うか をRNODを用いて定量的に評価 質問クエリ キーワードクエリ SNSの利点は何ですか？ SNS 利点 同じ情報要求でも どのぐらいスタンス 分布は違うの？ 賛成 中立 反対 (60% 20% 20%) 賛成 中立 反対 (80% 20% 0%)
43. RNOD 43 RNOD(Root Normalised Order-aware Divergence)[7] 同じ情報要求を持つクエリペア間のスタンス分布の差異を定量的に評価する キーワードクエリ 質問クエリ スタンス分布の差異 RNOD 0.141 賛成 中立 反対 (60% 20% 20%) 賛成 中立 反対 (80% 20% 0%) [7] Tetsuya Sakai. On Variants of Root Normalised Order-aware Divergence and a Divergence based on Kendall’s Tau. ArXiv preprint arXiv:2204.07304, 2022.
44. RNODの特性 44 1. スタンス分布の差異が大きいほど、RNODの値も大きくなる 2. 賛成と中立の違いより、賛成と反対の違いを大きな差異とみなす 3. 異なるスタンスの文書が多いほど、大きな差異とみなす 賛成と中立の違い RNOD 0.141 賛成と反対の違い RNOD 0.200
45. RNODの特性 45 1. スタンス分布の差異が大きいほど、RNODの値も大きくなる 2. 賛成と中立の違いより、賛成と反対の違いを大きな差異とみなす 3. 異なるスタンスの文書が多いほど、大きな差異とみなす 1件のみ異なる 2件異なる RNOD RNOD 0.141 0.282
46. 実験結果（RQ2） 46 分析２：質問クエリによるスタンス分布とキーワードクエリによるスタンス分布 の差異をRNODを用いて定量的に評価 各ランキング手法における質問クエリとキーワードクエリのRNODの平均 BM25 e5 PRP 賛成クエリ 0.236 0.213 0.096 中立クエリ 0.214 0.159 0.109 反対クエリ 0.242 0.174 0.124 平均 0.231 0.182 0.110
47. 実験結果（RQ2） 47 分析２：質問クエリによるスタンス分布とキーワードクエリによるスタンス分布 の差異をRNODを用いて定量的に評価 各ランキング手法における質問クエリとキーワードクエリのRNODの平均 BM25 e5 PRP 検索有効性の高いランキング手法では、クエリの情報要求 賛成クエリ 0.236 0.213 0.096 反対クエリ 0.242 0.174 0.124 平均 0.231 0.182 0.110 を正確に捉え、クエリ形式の違いによる影響を受けにくい 中立クエリ 0.214 0.159 0.109 BM25が最も大きい PRPが最も小さい
48. 知見のまとめと示唆 知見１：クエリと文書の意味的類似性を考慮できるという検索有効性の高さが スタンス分布に影響を及ぼす → 検索有効性の高いランキング手法でユーザが受け取る 情報の多様性を損なう危険性 知見２：同じ情報要求でも、クエリ形式の違いによってスタンス分布は異なる → ユーザの些細なクエリ表現の違いが、意図しない 検索結果の変化を生む可能性 知見３：検索有効性が高いランキング手法（e5, PRP）では、 クエリ形式の違いによる影響を受けにくい 48
49. 今後の課題 49 • LLMでクエリを生成しているため、実際に人が作成するクエリとは 異なる可能性がある → クラウドサービスを利用して、クエリを収集する → 生成したクエリを人間が評価する • トピックが少ない、適合性を考慮していない → 文書のスタンスと適合性が付与された大規模なデータセットが必要
50. まとめ 50 賛否両論あるトピックにおける検索に関して、クエリ形式の違いと ランキング手法の選択が検索結果のスタンス分布に与える影響を分析 RQ1：同じクエリでも、ランキング手法が違えばスタンス分布は異なるのか？ • ランキング手法の検索有効性の高さがスタンス分布の偏りに影響を及ぼす RQ2：同じ情報要求でも、クエリの形式が違えばスタンス分布は異なるのか？ • 同じ情報要求でも、クエリ形式の違いによってスタンス分布は異なる • 検索有効性の高い手法で、クエリ形式の違いによる影響を受けにくい