Slide 1

Slide 1 text

第18回データ工学と情報マネジメントに関するフォーラム (DEIM2026) [6B-02] 大規模言語モデルによるレビューの 対照型集約にもとづく商品比較表の作成 中井香那子、山本岳洋、大島裕明 (兵庫県立大学) 1

Slide 2

Slide 2 text

背景 2 商品の比較を行う際、レビューは重要な情報源 問題点:量が多い・順番がバラバラ→比較しづらい ノイズキャンセル が優秀! 低音も高音もバランス 良く聞こえて良い!! ノイズキャンセリング が期待以上 バッテリーの残量 表示が便利! 充電が長持ち ノイキャンは 微妙 低音がしっかり 聴こえる

Slide 3

Slide 3 text

目的 3 2つの商品の対応関係がわかる レビュー集約による比較表の作成

Slide 4

Slide 4 text

2商品の比較(レビュー) ノイズキャンセル が優秀! 低音も高音もバランス 良く聞こえて良い!! ノイズキャンセリング が期待以上 4 バッテリーの残量 表示が便利! 充電が長持ち ノイキャンは 微妙 低音がしっかり 聴こえる

Slide 5

Slide 5 text

2商品の比較(各商品の要約) www.amazon.co.jp/dp/B0DRVB48LJ www.amazon.co.jp/dp/B0DBQNCZDG 5

Slide 6

Slide 6 text

2商品の比較(比較表) 共通要約 固有要約 固 6

Slide 7

Slide 7 text

既存研究 7 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 AB共通の要約 AACSum[2] 観点 Aの要約 Bの要約 [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025

Slide 8

Slide 8 text

既存研究 8 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 課題: • LLMを用いて対照要約を行っている研究は複数あるが、 AB共通の要約 実タスク(ユーザ実験)における検証が行われていない AACSum[2] →比較表は必要なのか?どんな比較表が商品比較に 適しているのか?はわからない 観点 Aの要約 Bの要約 • 共通・固有の要約生成精度が低い [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025

Slide 9

Slide 9 text

比較表の作成 価格の割に音質が 良く、低音もはっき りしています。 商品A レビュー 9 長時間使うと少 し耳が痛くなり ます 低音が強めで 迫力があります この価格帯として は十分な性能だ と思います A 音質 バッテリー バッテリーの持ち はもう少し長いと 良かったです 高級モデルと比べ ると音の広がりは 控えめです 商品B レビュー B 低音に迫力 音質が良い 音の広がりは控えめ 持ちが良くない

Slide 10

Slide 10 text

提案手法の概要 10 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 11

Slide 11 text

提案手法の概要 11 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 12

Slide 12 text

提案手法の概要 12 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。 レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 13

Slide 13 text

提案手法の概要 13 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 14

Slide 14 text

① 観点抽出 14 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 15

Slide 15 text

① 観点抽出 価格の割に音質が良く、 低音もはっきりしています。 ただ、長時間使うと少し耳 が痛くなります。 15 商品A レビュー この価格帯としては十分 な性能だと思います。 高級モデルと比べると音 の広がりは控えめですが、 普段使いには問題ありま せん。 音はクリアでボーカルが 聞き取りやすいです。 ケースもコンパクトで持ち 運びやすいですが、 バッテリーの持ちはもう 少し長いと良かったです。 商品B レビュー 低音が強めで迫力があり ますが、高音はややこ もって聞こえます。 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン

Slide 16

Slide 16 text

① 観点抽出 16  入力:レビュー(各100件×2商品)  出力:観点  プロンプト これらのレビューがあるとき、この2つのイヤホンを比較する際 どのような観点から比較を行いますか? A+B レビュー(各100件) • 左側のイヤホンだ け接続が切れます。 • ランニング目的で 初めてコードレスイ ヤホンを購入した が最高。 • さすがBOSEです。 観点 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン

Slide 17

Slide 17 text

②評価文抽出 17 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。 レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 18

Slide 18 text

【観点】 音質 【評価文】 ② 評価文抽出 音は悪くない 音は悪くないのです が、接続が不安定 で時々途切れます。 デザインはコンパク トで持ち運びしやす いです。 • • • • • 18 価格 音質 接続の安定性 バッテリーの持ち デザイン 【ネガポジ】 ポジティブ LLM 【観点】 接続の安定性 【評価文】 接続が不安定で時々途切れます 【ネガポジ】 ネガティブ 【観点】 デザイン 【評価文】 コンパクトで持ち運びしやすい 【ネガポジ】 ポジティブ

Slide 19

Slide 19 text

② 評価文抽出 19  入力:レビュー(1件ずつ)+観点リスト  出力:観点に対応する評価文+ネガポジ  プロンプト ユーザーから与えられたレビューから、観点リスト内の観点に具体的に言及し ている評価を抜き出してください。 Aレビュー 左側のイヤホンだけ が接続が切れます。 改善品と交換してほ しい。 観点 価格、音質、使いや すさ、接続の安定性 LLM 評価文 【観点】 接続の安定性 【評価文】 左側のイヤホンだけ が接続が切れます。 【ネガポジ】 ネガティブ

Slide 20

Slide 20 text

③共通・固有要約文の生成 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 20 観点 音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア (音質) • 低音が力強い ⁞ B評価文 • 音質がよい (音質) • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 21

Slide 21 text

既存研究 : AACSum[2] 21 (Abstractive Aspect-Based Comparative Summarization) A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 2つの商品のレビューから2 つの商品の共通点とそれぞ れの商品の固有の内容をま とめてください。 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い 課題 1. 共通・固有の生成 精度が良くない 2. 要約文とレビューが 結びついていない [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025

Slide 22

Slide 22 text

AACSumと提案手法の違い 22 AACSum : 観点ごとに評価文を対照要約 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約文 B要約文 音がクリアで低音 が力強く満足 音質が全体的に よく、特に低音が よく響く A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 23

Slide 23 text

AACSumと提案手法の違い 23 提案手法 : ナゲット単位で共通・固有を抽出 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 ③-1 評価文要約 A要約文 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 24

Slide 24 text

③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 24 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 25

Slide 25 text

③-1 評価文要約 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 25 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 26

Slide 26 text

③-1 評価文要約 26 A評価文 (音質ポジティブ) • 音がとてもクリアで聞こえ • • • • • やすい 低音にしっかり迫力がある 全体的にバランスが取れ ている 低音が強めで臨場感があ る 全体的に音がクリアで綺麗 音のバランスが良くて、 ジャンル問わず楽しめる ⁞ A要約文 (音質ポジティブ) LLM 低音に迫力があり、全体 的にクリアでバランスの 取れた音質である。 メリット 重複する内容、不要な内容を削除し、重要な 内容だけを抽出できる

Slide 27

Slide 27 text

③-1 評価文要約 27  入力:各観点の評価文(ネガポジ別)  出力:要約結果  プロンプト イヤホンのポジティブなレビューを複数与えます。これらの複数レビューの うち音質に言及しているポジティブな内容を1つに要約してください。 A評価文(音質) A要約文(音質) • 低音に深みが 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 あり力強いです • 低音が力強く 大満足 • 音がクリア ⋮ LLM

Slide 28

Slide 28 text

③-2 ナゲット分割 A評価文 B評価文 それ以上分割することの • 音がクリア • 音質がよい できない情報の意味的な • 低音が力強い • 低音がよく響く 最小単位[3] • 音が綺麗 • 低音に満足 ⁞ ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 28 B固有要約 音質が良い [3] 酒井哲也. 情報アクセス評価方法論–検索エンジンの進歩のために–. コロナ社, 2015. A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 29

Slide 29 text

③-2 ナゲット分割 A要約文 (音質ポジティブ) 低音に迫力があり、 全体的にクリアでバ ランスの取れた音質 である。 29 A要約ナゲット (音質ポジティブ) ナゲット 1ナゲット1主張 低音に迫力がある LLM 全体的にクリア バランスの取れた 音質 メリット 細かい単位で共通しているか、固有であるか を比較することができる

Slide 30

Slide 30 text

③-2 ナゲット分割 30  入力:要約文(各観点ネガポジ別)  出力:ナゲットに分割した結果  プロンプト 次の文章から「意味のある情報の最小単位(ナゲット)」を抽出してください。ナ ゲットとは、対話システムがユーザに提供した意味のある情報の原子的、最小 単位を指す。また主に、一文、またはそれ以下の情報の断片(句や節)である。 A要約ナゲット(音質) A要約文(音質) 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 LLM • 音質は非常に高い。 • クリアで自然な音が 楽しめる。 • 低音もしっかり響く。 • 全体的に心地よい 音楽体験を提供す る。

Slide 31

Slide 31 text

③-2 ナゲット分割(要約文と評価文の紐づけ) A要約ナゲット (音質ポジティブ) A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい 低音に迫力がある LLM 全体的にクリア バランスの取れた 音質 31

Slide 32

Slide 32 text

③-2 ナゲット分割(要約文と評価文の紐づけ) A要約ナゲット (音質ポジティブ) A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい 低音に迫力がある LLM 全体的にクリア バランスの取れた 音質 メリット 要約文がどのような評価文から生成 されているかを確認できるようにする 32

Slide 33

Slide 33 text

③-2 ナゲット分割(要約文と評価文の紐づけ)  入力:評価文(1文ずつ)  出力:評価文の分類先の要約ナゲット  プロンプト 次のレビューの内容は以下の要約文のいずれかの内容と一致していますか? ある要約文に含まれる場合、その要約文に対してレビューを出力してください。 A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい A要約ナゲット (音質ポジティブ) LLM 全体的にクリア 33

Slide 34

Slide 34 text

③-3 共通要約・固有要約 34 ③-1 評価文要約 A評価文 B評価文 B要約文 A要約文 要約ナゲットを共通と固有に分類 • 音がクリア • 音質がよい 音質が全体的に 1. 2つの商品の中から共通する内容を抽出 音がクリアで低音 • 低音が力強い • 低音がよく響く よく、特に低音が が力強く満足 • 低音に満足 2. 共通として抽出されなかった要約文を固有と • 音が綺麗 よく響く して扱う ⁞ ⁞ ③-3 共通・固有要約 ③-2 ナゲット分割 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く

Slide 35

Slide 35 text

③-3 共通要約・固有要約 A要約ナゲット (音質ポジティブ) 共通要約 低音に迫力がある 低音に迫力がある 全体的にクリア B要約ナゲット (音質ポジティブ) 低音が力強い 高音がとても綺麗 35 LLM A固有要約 全体的にクリア B固有要約 高音がとても綺麗

Slide 36

Slide 36 text

③-3 共通要約・固有要約 A要約ナゲット (音質ポジティブ) 共通要約 低音に迫力がある 低音に迫力がある 全体的にクリア B要約ナゲット (音質ポジティブ) 低音が力強い 高音がとても綺麗 36 LLM A固有要約 全体的にクリア B固有要約 高音がとても綺麗 B固有要約

Slide 37

Slide 37 text

③-3 共通要約・固有要約 37  入力:AとBの要約ナゲット集合(各観点ネガポジ別)  出力:共通要約グループ  プロンプト 次の商品Aと商品Bの要約文リストに共通している内容がある場合、1つのグルー プにまとめてください。 グループ化したものについて,その内容を端的に表す共通要約を作成してください. A要約ナゲット • 音がクリアで綺麗 • 低音が力強く大満足である B要約ナゲット • 全体的に音質はとても良い • 低音が良く響き良い 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い

Slide 38

Slide 38 text

共通・固有を考慮した対照比較表 共通要約:2つの商品に共通する内容 固有要約:一方の商品のみに現れる内容 共通要約 固有要約 固 38

Slide 39

Slide 39 text

実験 39 1. 共通・固有要約の抽出精度の評価 共通と固有を正確に分類できているか? 提案手法 vs AACSum 2. ユーザ実験 共通・固有の考慮の有無に差はあるか?

Slide 40

Slide 40 text

実験設定(共通) データセット 楽天市場の商品レビューデータ[4] テレビ・マウスジャンルからそれぞれ2商品を選択 各商品につきレビューをランダムに100件使用 大規模言語モデル gpt-4o-mini-2024-07-18 Temperatureは0.0と設定 [4]楽天グループ株式会社 (2020): 楽天市場データ. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.2.1 40

Slide 41

Slide 41 text

共通・固有要約の抽出精度 41 共通と固有を正確に分類できているか? 比較手法:AACSum  入力には提案手法により抽出した評価文を使用 アノテーションにより正解データを作成  アノテーター3人による多数決  レビューを見て共通、A固有、B固有を判断  FleissのKappa係数:0.71→かなりの一致(Substantial agreement) 提案手法 AACSum 正解率 0.78 0.72 適合率 0.79 0.69 再現率 0.81 0.69 F1値 0.78 0.68 ※適合率、再現率、F1値は共通・固有のマクロ平均

Slide 42

Slide 42 text

共通・固有要約の精度評価結果 42 特に共通要約で2手法の結果に大きな差があった 共通 提案手法 AACSum 適合率 0.87 0.56 再現率 0.54 0.35 固有 提案手法 AACSum 適合率 0.95 0.87 再現率 0.78 0.76 AACSumで生成された固有要約は、人手の評価で は共通と判断されたケースが多い 例:AACSumの結果(テレビ「コストパフォーマンス」) 共通 A固有 B固有 • コストパフォーマンスが 高い • 価格に対して満足でき る商品である • コストパフォーマンスは 最高である • 32型でこのお値段はコ スパ最強である • コストパフォーマンスが 高い商品である • 値段を考えたら十分で ある

Slide 43

Slide 43 text

共通・固有要約の精度評価結果 生成された共通要約・固有要約の件数  提案手法:57件 AACSum:114件 原因  AACSum:入力した評価文がそのまま出力されるケースが多数 →共通する意見がまとめられていない AACSum 映像に残像のよう なものが見えます 提案手法 残像が残ることがある 残像が残ります 提案手法は、要約が評価文の必要な内容を全て含んでいる かは評価できていない 43

Slide 44

Slide 44 text

ユーザ実験 44 目的:共通・固有の考慮の有無によって比較表に差が あるか? 実験参加者:12名(兵庫県立大学の学生) 事前タスク→タスク①→タスク後アンケート①→タスク② →タスク後アンケート②→最終アンケート 共通・固有無 vs 共通・固有有 A B A要約 A要約 A要約 B要約 B要約 B要約 B A vs 共通 A固有 A固有 B固有 B固有

Slide 45

Slide 45 text

ユーザ実験のタスク 45 2つの商品を比較し購入する商品を決定する  2つの商品は価格やスペックの近い商品を選択 シチュエーション  1人暮らし用のテレビ  普段使い用のマウス(研究、課題) 制限時間:15分(/1タスク) タスク1 被験者1,5,9 比較手法/テレビ 被験者2,6,10 提案手法/テレビ 被験者3,7,11 比較手法/マウス 被験者4,8,12 提案手法/マウス タスク2 提案手法/マウス 比較手法/マウス 提案手法/テレビ 比較手法/テレビ

Slide 46

Slide 46 text

提案手法(共通・固有の考慮有り) 観点ごとに共通・固有をまとめた比較表 46

Slide 47

Slide 47 text

比較手法(共通・固有の考慮無し) 共通・固有に分類せず、各観点の要約を横 並びに表示させたもの 47

Slide 48

Slide 48 text

タスク例 48 あなたは、大学の課題や研究に取り組む際に使用する パソコン用のマウスを新しく買おうと考えています。 購入する候補を以下のAとBの2つのマウスに絞りました。 システムを用いてレビューの情報から2つの商品を比較 し、どちらを購入するか決めてください。 A B 価格 ¥3,600 ¥4,000 ボタン 3 3 ケーブル ワイヤレス ワイヤレス

Slide 49

Slide 49 text

タスク後アンケート 49 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83 ③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた

Slide 50

Slide 50 text

タスク後アンケート 50 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83 ③様々な観点について比較する のに役立った 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 5段階 リッカート尺度 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた

Slide 51

Slide 51 text

タスク後アンケート ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 51 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 2つの商品の共通点(相違点)を 知るのに役立った 思いつく限り挙げてください。 2.59 2.92 ⑤共通点(個) 2.25 2.17 ⑥相違点(個) 85.21 86.46 ⑦SUS ユーザ 1. 使いやすさ 2. 価格に対する音質の良さ 3. 価格帯

Slide 52

Slide 52 text

タスク後アンケート 52 ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 知るのに役立った SUS(System Usability Scale) システムのユーザビリティをはかる 2.59 2.92 ⑤共通点(個) 指標(最大100) 2.25 2.17 ⑥相違点(個) 質問項目10個に5段階リッカート尺 86.46 ⑦SUS 度で回答 85.21 • 例:頻繁に使用したいと思う、必要以上 に複雑だと思う

Slide 53

Slide 53 text

タスク後アンケートの結果 53 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83 ③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた 提案手法>比較手法:時間、十分情報を得られたか、共通点、SUS 提案手法<比較手法:観点を知るのに役立ったか、相違点 ※いずれも有意差はなし

Slide 54

Slide 54 text

最終アンケートの結果 どちらのシステムが良かったか? 11/12が提案手法(共通・固有の考慮有)と回答 良かった点 共通点がまとめられていて、比較する労力が 減った 比較すべき観点・レビューがわかりやすい 改善点 自分が比較したい観点がなかった 1つのレビューから複数の評価が抽出されており、 件数が実際より多く見えてしまう 54

Slide 55

Slide 55 text

比較表の改善点 自分の比較したい 観点が比較表上に なかった  観点の妥当性  適切な数の選択 音質 デザイン フィット感 ノイズ キャンセリング ×評価 価格 バッテリー 接続 55 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる  1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています 元レビュー フィット感:ジョギングしてても外れません。 最初は心配でしたが、しっかりフィットして います。

Slide 56

Slide 56 text

比較表の改善点 自分の比較したい 観点が比較表上に なかった  観点の妥当性  適切な数の選択 音質 デザイン フィット感 ノイズ キャンセリング ×評価 価格 56 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる  1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています バッテリー 接続 しっかりフィットして、ジョギング しても外れない

Slide 57

Slide 57 text

考察(共通点・相違点の個数) 57 2つの商品の共通点、相違点を思いつく 限り挙げてください。 共通点:提案手法>比較手法 相違点:提案手法<比較手法 →固有の要約がうまく生成されていない可能性 LLM 共通 A固有 共通 13 2 A固有 5 17 B固有 6 0 B固有 0 0 22 人手 原因:要約時の分類違いではなく、観点ごとに評価文を要約した 際に固有要約として表示すべき内容が欠落した可能性有

Slide 58

Slide 58 text

実験のまとめ 共通・固有の精度評価 58 提案手法 A • 提案手法 > AACSum ユーザ実験 • 共通・固有の考慮の有無にほぼ差なし →共通・固有の考慮に大きな効果はない 今後 B 共通 A固有 A固有 B固有 B固有 vs 比較手法 A B A要約 A要約 A要約 B要約 B要約 B要約 • より共通点・相違点を探しやすくする比較表の作成

Slide 59

Slide 59 text

まとめ LLMを用いたレビュー集約による商品比較表の作成 提案手法 1. 観点抽出 2. 評価文抽出 3. 共通・固有要約の生成 実験 共通・固有の精度:提案手法 > AACSum ユーザ実験:共通・固有の考慮による差はほぼなし 今後の課題 相違点を探しやすい比較表の作成 観点抽出、評価文抽出の精度の向上 59