CHIIR 2025 Do Images Clarify? A Study on the Effect of Images on Clarifying Questions in Conversational Search Clemencia Siro* and Zahra Abbasiantaeb* and Yifei Yuan** and Mohammad Aliannejadi* and Maarten de Rijke* 株式会社電通総研 技術統括本部 クロスイノベーション本部 AIトランスフォーメンションセンター 村本 直樹 IR Reading 2025 春 * University of Amsterdam **University of Copenhagen ※本資料に含まれる引用表記をしていない図表は、論文から引用しています 

2 背景：会話型検索が普及している 基本的な検索 ▍会話型の検索 https://www.google.com/ https://gemini.google.com/ 

3 会話型検索において画像を使えば効果的なクエリ明確化が可能？ ▍テキストだけの場合と画像だけの場合で違いがあるのか クエリを明確化する際に 画像付きで質問したほうが ユーザにとってうれしい？ 

4 この論文のRQ RQ1：画像は、明確化質問へのユーザーの回答にどのような影響を与えるか RQ2：画像は、クエリの再構築にどのような影響を与えるか RQ3：画像は、どのような状況で有効か？ 

5 データセット ▍ClariQをもとに作った ⚫ 情報検索におけるClarifying Questions（明確化質問）の研究のために 構築された対話的検索タスクのデータセット ⚫ GitHub - aliannejadi/ClariQ: ClariQ: SCAI Workshop data challenge on conversational search clarification. ▍本研究用に ⚫ ClariQから100トピックをサンプリング ⚫ 画像が有効そうなトピックを選定 ⚫ 関連する画像をGoogle画像検索で手動収集 

6 RQ1：画像は、明確化質問へのユーザーの回答にどのような影響を与えるか ▍評価方法 ⚫ ユーザは20個のクエリについて、画像あり/なしの明確化質問に回答 ⚫ ユーザは情報ニーズと初期クエリを確認し、明確化質問に答える 情報ニーズは自分がそう考えていると捉える ユーザ （被験者） 情報ニーズ 「私は自宅の屋根のリフォームを考えています。 特に、風通しが良く、見た目も良い構造を探しています。」 明確化質問 以下の屋根スタイルのうち、どのような形 状に興味がありますか？ ※画像有無にかかわらず 質問は共通 ユーザの回答 左の一般的な屋根で システム 初期クエリ 「屋根」 

7 RQ1：画像は、明確化質問へのユーザーの回答にどのような影響を与えるか ▍結論：ユーザは画像付きのほうを好むが、回答が画像に依存していく ポジティブな面 ネガティブな面 どんな種類や歴史に 興味がありますか？ 回答がより具体的・詳細に近づく ユーザの関心も高まりやすい システムからの質問の意図が組みやすい まさに左の茶色い 大きい恐竜に興味あり 画像依存の回答になっていく。 言語情報が落ちるため、 そのまま検索に使える表現とはならない 画像の左のやつ 検索システム これで検索 しても… 「恐竜について調べる」 どんな種類や歴史に 興味がありますか？ 

8 RQ1の結果詳細 ▍評価項目と画像あり/なしの違い 評価項目 画像あり 画像なし 補足 平均語数 11.30語 10.53語 回答時間 79.00秒 76.05秒 認知負荷を確かめる 回答の内容 より具体的な語が出る 「この画像のやつ」みたいな あいまいな表現が多用される テキスト依存になるので、 表現が網羅的になる 2名の分析者による分析 回答のしやすさ 61% 25% ユーザの回答 最終的なnDCG 0.079 0.185 回答をそのまま検索に （ユーザはあくまで 質問に答えている） 

9 RQ2：画像は、クエリの再構築にどのような影響を与えるか ▍評価方法 ⚫ RQ1で得られた「情報ニーズ」、「初期クエリ」、「明確化質問」、「ユーザ回答」をもとに、 ルールに基づいてクエリを再構築して検索、nDCGスコアで評価 ⚫ 再構築時、初期クエリの情報ニーズに従うが、回答に含まれている単語を完全に削ってはいけない （初期クエリが「恐竜」で、仮に回答に「カエル」が入っていた場合、含める必要がある） ⚫ 検索時の関連性ラベルは情報ニーズを基に作られている 再構築クエリ 屋根 標準 一軒家 構造 

10 RQ2：画像は、クエリの再構築にどのような影響を与えるか ▍結論：画像が提示されることにより、より明確で具体的なクエリを構築できた ポジティブな面 ネガティブな面 野菜をグリルするための 技術やコツでどんなの 知りたい？ アスパラ料理の コツを知りたい！ 「野菜 グリル」 グリル アスパラ コツ 画像がより具体的な語彙を引き出し、 検索精度が向上 野菜をグリルするための 技術やコツでどんなの 知りたい？ めちゃくちゃステーキ おいしそう！ 「野菜 グリル」 グリル ステーキ 野菜 画像が本来の意図から脱線させる リスクがある 

11 RQ2の結果詳細 ▍評価方法 ⚫ 「Ori.」は元のクエリのまま ➢ Query Only：初期クエリ ➢ Query + QA：明確化質問と回答を追加 ⚫ Reforは再構築したクエリを利用 画像あり/画像なし クエリを再構築する場合は画像があったほうが良い 再構築しない場合、画像付きの方が悪くなる傾向がある 

12 RQ3：画像は、どのような状況で有効か？ ▍評価方法：アンケート ➢ Task1：明確化質問 ➢ Task2：クエリ再構築 明確化質問に対する回答をしたユーザは画像付きを好む クエリの再構築時にはそこまで差がない 画像が役に立つのは物体に関連するトピック 数値を扱うトピックや抽象的・概念的な 内容では有効ではない 

ポジティブな面 13 RQ3：画像は、どのような状況で有効か？ ▍結論：画像の有用性はクエリのタイプ（視覚的か or 抽象度合い）や ユーザーの知識レベルに依存する ネガティブな面 給料に関するルールなど 数値データを含むものは 画像が役に立たない どんな種類や歴史に 興味がありますか？ 詳しい人 画像とか いらないな… トピックについて詳しい人にとっては 画像が少し冗長に感じる（情報過多） どんな種類や歴史に 興味がありますか？ 恐竜わからん！ トピックに対する知識が浅い人には クエリ明確化の助けになる 助かる！ 

14 まとめと個人的な感想 ▍まとめ ⚫ 検索タスクによって画像の影響は異なり、質問回答タスクでは画像付きの質問が好まれる一方、 クエリ再構成タスクでは好みが分かれた ⚫ 専門知識の違いにかかわらず、画像付きの質問はユーザーの関与を維持するのに役立つ傾向はみられる ⚫ 興味深いことに、画像付きの質問が好まれる一方で、ユーザーのパフォーマンス（検索精度）自体は テキストのみの方が良い場合もあった ▍会話型検索が増えつつある中で、明確化質問に画像を使えばよりよい検索ができるのか？ という点を検証して示したところがGood ⚫ 画像を使えば絶対に役立つか？といえばそう単純ではなく、使いどころが大事 ⚫ ユーザの知識レベルに応じて、画像を出すかどうか使い分けるみたいな工夫をすると システムとしては良くなるかもしれない