Share
Embed
Transcript
59 slides
-
背景 2 商品の比較を行う際、レビューは重要な情報源 問題点:量が多い・順番がバラバラ→比較しづらい ノイズキャンセル が優秀! 低音も高音もバランス 良く聞こえて良い!! ノイズキャンセリング が期待以上
バッテリーの残量 表示が便利! 充電が長持ち ノイキャンは 微妙 低音がしっかり 聴こえる -
2商品の比較(レビュー) ノイズキャンセル が優秀! 低音も高音もバランス 良く聞こえて良い!! ノイズキャンセリング が期待以上 4 バッテリーの残量 表示が便利!
充電が長持ち ノイキャンは 微妙 低音がしっかり 聴こえる -
既存研究 7 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 AB共通の要約 AACSum[2] 観点
Aの要約 Bの要約 [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025 -
既存研究 8 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 課題: • LLMを用いて対照要約を行っている研究は複数あるが、
AB共通の要約 実タスク(ユーザ実験)における検証が行われていない AACSum[2] →比較表は必要なのか?どんな比較表が商品比較に 適しているのか?はわからない 観点 Aの要約 Bの要約 • 共通・固有の要約生成精度が低い [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025 -
比較表の作成 価格の割に音質が 良く、低音もはっき りしています。 商品A レビュー 9 長時間使うと少 し耳が痛くなり ます
低音が強めで 迫力があります この価格帯として は十分な性能だ と思います A 音質 バッテリー バッテリーの持ち はもう少し長いと 良かったです 高級モデルと比べ ると音の広がりは 控えめです 商品B レビュー B 低音に迫力 音質が良い 音の広がりは控えめ 持ちが良くない -
提案手法の概要 10 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質
充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
提案手法の概要 11 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質
充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
提案手法の概要 12 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。
レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
提案手法の概要 13 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質
充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
① 観点抽出 14 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点
音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
① 観点抽出 価格の割に音質が良く、 低音もはっきりしています。 ただ、長時間使うと少し耳 が痛くなります。 15 商品A レビュー この価格帯としては十分
な性能だと思います。 高級モデルと比べると音 の広がりは控えめですが、 普段使いには問題ありま せん。 音はクリアでボーカルが 聞き取りやすいです。 ケースもコンパクトで持ち 運びやすいですが、 バッテリーの持ちはもう 少し長いと良かったです。 商品B レビュー 低音が強めで迫力があり ますが、高音はややこ もって聞こえます。 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン -
① 観点抽出 16 入力:レビュー(各100件×2商品) 出力:観点 プロンプト これらのレビューがあるとき、この2つのイヤホンを比較する際
どのような観点から比較を行いますか? A+B レビュー(各100件) • 左側のイヤホンだ け接続が切れます。 • ランニング目的で 初めてコードレスイ ヤホンを購入した が最高。 • さすがBOSEです。 観点 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン -
②評価文抽出 17 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。
レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
【観点】 音質 【評価文】 ② 評価文抽出 音は悪くない 音は悪くないのです が、接続が不安定 で時々途切れます。 デザインはコンパク
トで持ち運びしやす いです。 • • • • • 18 価格 音質 接続の安定性 バッテリーの持ち デザイン 【ネガポジ】 ポジティブ LLM 【観点】 接続の安定性 【評価文】 接続が不安定で時々途切れます 【ネガポジ】 ネガティブ 【観点】 デザイン 【評価文】 コンパクトで持ち運びしやすい 【ネガポジ】 ポジティブ -
② 評価文抽出 19 入力:レビュー(1件ずつ)+観点リスト 出力:観点に対応する評価文+ネガポジ プロンプト ユーザーから与えられたレビューから、観点リスト内の観点に具体的に言及し
ている評価を抜き出してください。 Aレビュー 左側のイヤホンだけ が接続が切れます。 改善品と交換してほ しい。 観点 価格、音質、使いや すさ、接続の安定性 LLM 評価文 【観点】 接続の安定性 【評価文】 左側のイヤホンだけ が接続が切れます。 【ネガポジ】 ネガティブ -
③共通・固有要約文の生成 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 20 観点 音質
充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア (音質) • 低音が力強い ⁞ B評価文 • 音質がよい (音質) • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
既存研究 : AACSum[2] 21 (Abstractive Aspect-Based Comparative Summarization) A評価文 •
音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 2つの商品のレビューから2 つの商品の共通点とそれぞ れの商品の固有の内容をま とめてください。 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い 課題 1. 共通・固有の生成 精度が良くない 2. 要約文とレビューが 結びついていない [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025 -
AACSumと提案手法の違い 22 AACSum : 観点ごとに評価文を対照要約 A評価文 • 音がクリア • 低音が力強い
• 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約文 B要約文 音がクリアで低音 が力強く満足 音質が全体的に よく、特に低音が よく響く A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
AACSumと提案手法の違い 23 提案手法 : ナゲット単位で共通・固有を抽出 A評価文 • 音がクリア • 低音が力強い
• 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 ③-1 評価文要約 A要約文 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文
• 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 24 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
③-1 評価文要約 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞
B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 25 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
③-1 評価文要約 26 A評価文 (音質ポジティブ) • 音がとてもクリアで聞こえ • • •
• • やすい 低音にしっかり迫力がある 全体的にバランスが取れ ている 低音が強めで臨場感があ る 全体的に音がクリアで綺麗 音のバランスが良くて、 ジャンル問わず楽しめる ⁞ A要約文 (音質ポジティブ) LLM 低音に迫力があり、全体 的にクリアでバランスの 取れた音質である。 メリット 重複する内容、不要な内容を削除し、重要な 内容だけを抽出できる -
③-1 評価文要約 27 入力:各観点の評価文(ネガポジ別) 出力:要約結果 プロンプト イヤホンのポジティブなレビューを複数与えます。これらの複数レビューの
うち音質に言及しているポジティブな内容を1つに要約してください。 A評価文(音質) A要約文(音質) • 低音に深みが 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 あり力強いです • 低音が力強く 大満足 • 音がクリア ⋮ LLM -
③-2 ナゲット分割 A評価文 B評価文 それ以上分割することの • 音がクリア • 音質がよい できない情報の意味的な
• 低音が力強い • 低音がよく響く 最小単位[3] • 音が綺麗 • 低音に満足 ⁞ ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 28 B固有要約 音質が良い [3] 酒井哲也. 情報アクセス評価方法論–検索エンジンの進歩のために–. コロナ社, 2015. A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
③-2 ナゲット分割 A要約文 (音質ポジティブ) 低音に迫力があり、 全体的にクリアでバ ランスの取れた音質 である。 29 A要約ナゲット
(音質ポジティブ) ナゲット 1ナゲット1主張 低音に迫力がある LLM 全体的にクリア バランスの取れた 音質 メリット 細かい単位で共通しているか、固有であるか を比較することができる -
③-2 ナゲット分割 30 入力:要約文(各観点ネガポジ別) 出力:ナゲットに分割した結果 プロンプト 次の文章から「意味のある情報の最小単位(ナゲット)」を抽出してください。ナ
ゲットとは、対話システムがユーザに提供した意味のある情報の原子的、最小 単位を指す。また主に、一文、またはそれ以下の情報の断片(句や節)である。 A要約ナゲット(音質) A要約文(音質) 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 LLM • 音質は非常に高い。 • クリアで自然な音が 楽しめる。 • 低音もしっかり響く。 • 全体的に心地よい 音楽体験を提供す る。 -
③-2 ナゲット分割(要約文と評価文の紐づけ) A要約ナゲット (音質ポジティブ) A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい 低音に迫力がある
LLM 全体的にクリア バランスの取れた 音質 31 -
③-2 ナゲット分割(要約文と評価文の紐づけ) A要約ナゲット (音質ポジティブ) A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい 低音に迫力がある
LLM 全体的にクリア バランスの取れた 音質 メリット 要約文がどのような評価文から生成 されているかを確認できるようにする 32 -
③-2 ナゲット分割(要約文と評価文の紐づけ) 入力:評価文(1文ずつ) 出力:評価文の分類先の要約ナゲット プロンプト 次のレビューの内容は以下の要約文のいずれかの内容と一致していますか? ある要約文に含まれる場合、その要約文に対してレビューを出力してください。
A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい A要約ナゲット (音質ポジティブ) LLM 全体的にクリア 33 -
③-3 共通要約・固有要約 34 ③-1 評価文要約 A評価文 B評価文 B要約文 A要約文 要約ナゲットを共通と固有に分類
• 音がクリア • 音質がよい 音質が全体的に 1. 2つの商品の中から共通する内容を抽出 音がクリアで低音 • 低音が力強い • 低音がよく響く よく、特に低音が が力強く満足 • 低音に満足 2. 共通として抽出されなかった要約文を固有と • 音が綺麗 よく響く して扱う ⁞ ⁞ ③-3 共通・固有要約 ③-2 ナゲット分割 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く -
③-3 共通要約・固有要約 A要約ナゲット (音質ポジティブ) 共通要約 低音に迫力がある 低音に迫力がある 全体的にクリア B要約ナゲット (音質ポジティブ)
低音が力強い 高音がとても綺麗 35 LLM A固有要約 全体的にクリア B固有要約 高音がとても綺麗 -
③-3 共通要約・固有要約 A要約ナゲット (音質ポジティブ) 共通要約 低音に迫力がある 低音に迫力がある 全体的にクリア B要約ナゲット (音質ポジティブ)
低音が力強い 高音がとても綺麗 36 LLM A固有要約 全体的にクリア B固有要約 高音がとても綺麗 B固有要約 -
③-3 共通要約・固有要約 37 入力:AとBの要約ナゲット集合(各観点ネガポジ別) 出力:共通要約グループ プロンプト 次の商品Aと商品Bの要約文リストに共通している内容がある場合、1つのグルー
プにまとめてください。 グループ化したものについて,その内容を端的に表す共通要約を作成してください. A要約ナゲット • 音がクリアで綺麗 • 低音が力強く大満足である B要約ナゲット • 全体的に音質はとても良い • 低音が良く響き良い 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い -
実験 39 1. 共通・固有要約の抽出精度の評価 共通と固有を正確に分類できているか? 提案手法 vs AACSum 2. ユーザ実験
共通・固有の考慮の有無に差はあるか? -
実験設定(共通) データセット 楽天市場の商品レビューデータ[4] テレビ・マウスジャンルからそれぞれ2商品を選択 各商品につきレビューをランダムに100件使用 大規模言語モデル gpt-4o-mini-2024-07-18 Temperatureは0.0と設定 [4]楽天グループ株式会社 (2020):
楽天市場データ. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.2.1 40 -
共通・固有要約の抽出精度 41 共通と固有を正確に分類できているか? 比較手法:AACSum 入力には提案手法により抽出した評価文を使用 アノテーションにより正解データを作成 アノテーター3人による多数決
レビューを見て共通、A固有、B固有を判断 FleissのKappa係数:0.71→かなりの一致(Substantial agreement) 提案手法 AACSum 正解率 0.78 0.72 適合率 0.79 0.69 再現率 0.81 0.69 F1値 0.78 0.68 ※適合率、再現率、F1値は共通・固有のマクロ平均 -
共通・固有要約の精度評価結果 42 特に共通要約で2手法の結果に大きな差があった 共通 提案手法 AACSum 適合率 0.87 0.56 再現率
0.54 0.35 固有 提案手法 AACSum 適合率 0.95 0.87 再現率 0.78 0.76 AACSumで生成された固有要約は、人手の評価で は共通と判断されたケースが多い 例:AACSumの結果(テレビ「コストパフォーマンス」) 共通 A固有 B固有 • コストパフォーマンスが 高い • 価格に対して満足でき る商品である • コストパフォーマンスは 最高である • 32型でこのお値段はコ スパ最強である • コストパフォーマンスが 高い商品である • 値段を考えたら十分で ある -
共通・固有要約の精度評価結果 生成された共通要約・固有要約の件数 提案手法:57件 AACSum:114件 原因 AACSum:入力した評価文がそのまま出力されるケースが多数 →共通する意見がまとめられていない AACSum
映像に残像のよう なものが見えます 提案手法 残像が残ることがある 残像が残ります 提案手法は、要約が評価文の必要な内容を全て含んでいる かは評価できていない 43 -
ユーザ実験 44 目的:共通・固有の考慮の有無によって比較表に差が あるか? 実験参加者:12名(兵庫県立大学の学生) 事前タスク→タスク①→タスク後アンケート①→タスク② →タスク後アンケート②→最終アンケート 共通・固有無 vs 共通・固有有
A B A要約 A要約 A要約 B要約 B要約 B要約 B A vs 共通 A固有 A固有 B固有 B固有 -
ユーザ実験のタスク 45 2つの商品を比較し購入する商品を決定する 2つの商品は価格やスペックの近い商品を選択 シチュエーション 1人暮らし用のテレビ 普段使い用のマウス(研究、課題)
制限時間:15分(/1タスク) タスク1 被験者1,5,9 比較手法/テレビ 被験者2,6,10 提案手法/テレビ 被験者3,7,11 比較手法/マウス 被験者4,8,12 提案手法/マウス タスク2 提案手法/マウス 比較手法/マウス 提案手法/テレビ 比較手法/テレビ -
タスク例 48 あなたは、大学の課題や研究に取り組む際に使用する パソコン用のマウスを新しく買おうと考えています。 購入する候補を以下のAとBの2つのマウスに絞りました。 システムを用いてレビューの情報から2つの商品を比較 し、どちらを購入するか決めてください。 A B 価格
¥3,600 ¥4,000 ボタン 3 3 ケーブル ワイヤレス ワイヤレス -
タスク後アンケート 49 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83
③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた -
タスク後アンケート 50 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83
③様々な観点について比較する のに役立った 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 5段階 リッカート尺度 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた -
タスク後アンケート ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 51 共通・固有無 (比較手法) 9.78 4.58
共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 2つの商品の共通点(相違点)を 知るのに役立った 思いつく限り挙げてください。 2.59 2.92 ⑤共通点(個) 2.25 2.17 ⑥相違点(個) 85.21 86.46 ⑦SUS ユーザ 1. 使いやすさ 2. 価格に対する音質の良さ 3. 価格帯 -
タスク後アンケート 52 ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 共通・固有無 (比較手法) 9.78 4.58
共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 知るのに役立った SUS(System Usability Scale) システムのユーザビリティをはかる 2.59 2.92 ⑤共通点(個) 指標(最大100) 2.25 2.17 ⑥相違点(個) 質問項目10個に5段階リッカート尺 86.46 ⑦SUS 度で回答 85.21 • 例:頻繁に使用したいと思う、必要以上 に複雑だと思う -
タスク後アンケートの結果 53 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83
③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた 提案手法>比較手法:時間、十分情報を得られたか、共通点、SUS 提案手法<比較手法:観点を知るのに役立ったか、相違点 ※いずれも有意差はなし -
比較表の改善点 自分の比較したい 観点が比較表上に なかった 観点の妥当性 適切な数の選択 音質 デザイン
フィット感 ノイズ キャンセリング ×評価 価格 バッテリー 接続 55 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる 1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています 元レビュー フィット感:ジョギングしてても外れません。 最初は心配でしたが、しっかりフィットして います。 -
比較表の改善点 自分の比較したい 観点が比較表上に なかった 観点の妥当性 適切な数の選択 音質 デザイン
フィット感 ノイズ キャンセリング ×評価 価格 56 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる 1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています バッテリー 接続 しっかりフィットして、ジョギング しても外れない -
考察(共通点・相違点の個数) 57 2つの商品の共通点、相違点を思いつく 限り挙げてください。 共通点:提案手法>比較手法 相違点:提案手法<比較手法 →固有の要約がうまく生成されていない可能性 LLM 共通 A固有
共通 13 2 A固有 5 17 B固有 6 0 B固有 0 0 22 人手 原因:要約時の分類違いではなく、観点ごとに評価文を要約した 際に固有要約として表示すべき内容が欠落した可能性有 -
実験のまとめ 共通・固有の精度評価 58 提案手法 A • 提案手法 > AACSum ユーザ実験
• 共通・固有の考慮の有無にほぼ差なし →共通・固有の考慮に大きな効果はない 今後 B 共通 A固有 A固有 B固有 B固有 vs 比較手法 A B A要約 A要約 A要約 B要約 B要約 B要約 • より共通点・相違点を探しやすくする比較表の作成 -
まとめ LLMを用いたレビュー集約による商品比較表の作成 提案手法 1. 観点抽出 2. 評価文抽出 3. 共通・固有要約の生成 実験
共通・固有の精度:提案手法 > AACSum ユーザ実験:共通・固有の考慮による差はほぼなし 今後の課題 相違点を探しやすい比較表の作成 観点抽出、評価文抽出の精度の向上 59