Upgrade to Pro — share decks privately, control downloads, hide ads and more …

大規模言語モデルによるレビューの対照型集約にもとづく商品比較表の作成

 大規模言語モデルによるレビューの対照型集約にもとづく商品比較表の作成

Transcript

59 slides
  1. 既存研究 7 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 AB共通の要約 AACSum[2] 観点

    Aの要約 Bの要約 [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025
  2. 既存研究 8 対照要約:複数の文書の共通や違いを要約するタスク STRUM-LLM[1] 観点 Aの要約 Bの要約 課題: • LLMを用いて対照要約を行っている研究は複数あるが、

    AB共通の要約 実タスク(ユーザ実験)における検証が行われていない AACSum[2] →比較表は必要なのか?どんな比較表が商品比較に 適しているのか?はわからない 観点 Aの要約 Bの要約 • 共通・固有の要約生成精度が低い [1] Beliz Gunel, James B. Wendt, Jing Xie, Yichao Zhou, Nguyen Vo, Zachary Fisher, and Sandeep Tata. STRUM-LLM: Attributed and structured contrastive summarization. arXivpreprint arXiv:2403.19710, 2024. [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025
  3. 比較表の作成 価格の割に音質が 良く、低音もはっき りしています。 商品A レビュー 9 長時間使うと少 し耳が痛くなり ます

    低音が強めで 迫力があります この価格帯として は十分な性能だ と思います A 音質 バッテリー バッテリーの持ち はもう少し長いと 良かったです 高級モデルと比べ ると音の広がりは 控えめです 商品B レビュー B 低音に迫力 音質が良い 音の広がりは控えめ 持ちが良くない
  4. 提案手法の概要 10 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質

    充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  5. 提案手法の概要 11 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質

    充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  6. 提案手法の概要 12 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。

    レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  7. 提案手法の概要 13 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点 音質

    充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  8. ① 観点抽出 14 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 観点

    音質 充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 観点 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い ⁞ B評価文 • 音質がよい • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  9. ① 観点抽出 価格の割に音質が良く、 低音もはっきりしています。 ただ、長時間使うと少し耳 が痛くなります。 15 商品A レビュー この価格帯としては十分

    な性能だと思います。 高級モデルと比べると音 の広がりは控えめですが、 普段使いには問題ありま せん。 音はクリアでボーカルが 聞き取りやすいです。 ケースもコンパクトで持ち 運びやすいですが、 バッテリーの持ちはもう 少し長いと良かったです。 商品B レビュー 低音が強めで迫力があり ますが、高音はややこ もって聞こえます。 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン
  10. ① 観点抽出 16  入力:レビュー(各100件×2商品)  出力:観点  プロンプト これらのレビューがあるとき、この2つのイヤホンを比較する際

    どのような観点から比較を行いますか? A+B レビュー(各100件) • 左側のイヤホンだ け接続が切れます。 • ランニング目的で 初めてコードレスイ ヤホンを購入した が最高。 • さすがBOSEです。 観点 LLM • • • • • • 価格 音質 使いやすさ 接続の安定性 バッテリーの持ち デザイン
  11. ②評価文抽出 17 レビュー ①観点抽出 ②評価文抽出 左側のイヤホ 左側のイヤホン ンだけ接続が だけ接続が切 切れます。

    レビュー 観点 れます。・・・ LLM 走っても耳から 外れません。 観点 音質 充電 接続 【観点】 接続の安定性 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ 接続の安定性 ③共通・固有要約文の生成 • 左側だけ接続が切れる 音がクリア A評価文 • •ときどき接続が途切れる • 低音が力強い 音質 ⁞ LLM • 音質はとても良い 音質がよい • •低音に迫力がある B評価文 • 低音が響く ⋮ ⁞ 商品A要約 音がクリア 低音が力強く満足 評価文 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  12. 【観点】 音質 【評価文】 ② 評価文抽出 音は悪くない 音は悪くないのです が、接続が不安定 で時々途切れます。 デザインはコンパク

    トで持ち運びしやす いです。 • • • • • 18 価格 音質 接続の安定性 バッテリーの持ち デザイン 【ネガポジ】 ポジティブ LLM 【観点】 接続の安定性 【評価文】 接続が不安定で時々途切れます 【ネガポジ】 ネガティブ 【観点】 デザイン 【評価文】 コンパクトで持ち運びしやすい 【ネガポジ】 ポジティブ
  13. ② 評価文抽出 19  入力:レビュー(1件ずつ)+観点リスト  出力:観点に対応する評価文+ネガポジ  プロンプト ユーザーから与えられたレビューから、観点リスト内の観点に具体的に言及し

    ている評価を抜き出してください。 Aレビュー 左側のイヤホンだけ が接続が切れます。 改善品と交換してほ しい。 観点 価格、音質、使いや すさ、接続の安定性 LLM 評価文 【観点】 接続の安定性 【評価文】 左側のイヤホンだけ が接続が切れます。 【ネガポジ】 ネガティブ
  14. ③共通・固有要約文の生成 ②評価文抽出 ①観点抽出 左側のイヤホ ンだけ接続が 切れます。 レビュー 20 観点 音質

    充電 接続 LLM 走っても耳から 外れません。 【観点】 接続の安定性 共通要約 【評価文】 レビュー 左側のイヤホ ンだけが接続 が切れます。 改善品と交換 してほしい。 LLM 【ネガポジ】 ネガティブ ③共通・固有要約文の生成 A評価文 • 音がクリア (音質) • 低音が力強い ⁞ B評価文 • 音質がよい (音質) • 低音が響く ⁞ LLM 商品A要約 音がクリア 低音が力強く満足 商品B要約 音質が良い 低音がよく響く 左側のイヤホンだけ が接続が切れます。 固有要約 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  15. 既存研究 : AACSum[2] 21 (Abstractive Aspect-Based Comparative Summarization) A評価文 •

    音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 2つの商品のレビューから2 つの商品の共通点とそれぞ れの商品の固有の内容をま とめてください。 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い 課題 1. 共通・固有の生成 精度が良くない 2. 要約文とレビューが 結びついていない [2] Hyeon Jin, Chaewon Yoon, Yurim Oh, and Hyun-Je Song. Abstractive aspect-based comparative Summarization. In Companion Proceedings of the ACM on Web Conference 2025, pp.1043–1047, 2025
  16. AACSumと提案手法の違い 22 AACSum : 観点ごとに評価文を対照要約 A評価文 • 音がクリア • 低音が力強い

    • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約文 B要約文 音がクリアで低音 が力強く満足 音質が全体的に よく、特に低音が よく響く A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  17. AACSumと提案手法の違い 23 提案手法 : ナゲット単位で共通・固有を抽出 A評価文 • 音がクリア • 低音が力強い

    • 低音に満足 ⁞ B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 ③-1 評価文要約 A要約文 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  18. ③共通・固有要約文の生成 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞ B評価文

    • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 24 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  19. ③-1 評価文要約 A評価文 • 音がクリア • 低音が力強い • 低音に満足 ⁞

    B評価文 • 音質がよい • 低音がよく響く • 音が綺麗 ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 25 B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  20. ③-1 評価文要約 26 A評価文 (音質ポジティブ) • 音がとてもクリアで聞こえ • • •

    • • やすい 低音にしっかり迫力がある 全体的にバランスが取れ ている 低音が強めで臨場感があ る 全体的に音がクリアで綺麗 音のバランスが良くて、 ジャンル問わず楽しめる ⁞ A要約文 (音質ポジティブ) LLM 低音に迫力があり、全体 的にクリアでバランスの 取れた音質である。 メリット 重複する内容、不要な内容を削除し、重要な 内容だけを抽出できる
  21. ③-1 評価文要約 27  入力:各観点の評価文(ネガポジ別)  出力:要約結果  プロンプト イヤホンのポジティブなレビューを複数与えます。これらの複数レビューの

    うち音質に言及しているポジティブな内容を1つに要約してください。 A評価文(音質) A要約文(音質) • 低音に深みが 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 あり力強いです • 低音が力強く 大満足 • 音がクリア ⋮ LLM
  22. ③-2 ナゲット分割 A評価文 B評価文 それ以上分割することの • 音がクリア • 音質がよい できない情報の意味的な

    • 低音が力強い • 低音がよく響く 最小単位[3] • 音が綺麗 • 低音に満足 ⁞ ⁞ ③-3 共通・固有要約 低音が力強く良い 音がクリア ③-1 評価文要約 A要約文 音がクリアで低音 が力強く満足 B要約文 音質が全体的に よく、特に低音が よく響く ③-2 ナゲット分割 共通要約 A固有要約 28 B固有要約 音質が良い [3] 酒井哲也. 情報アクセス評価方法論–検索エンジンの進歩のために–. コロナ社, 2015. A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  23. ③-2 ナゲット分割 A要約文 (音質ポジティブ) 低音に迫力があり、 全体的にクリアでバ ランスの取れた音質 である。 29 A要約ナゲット

    (音質ポジティブ) ナゲット 1ナゲット1主張 低音に迫力がある LLM 全体的にクリア バランスの取れた 音質 メリット 細かい単位で共通しているか、固有であるか を比較することができる
  24. ③-2 ナゲット分割 30  入力:要約文(各観点ネガポジ別)  出力:ナゲットに分割した結果  プロンプト 次の文章から「意味のある情報の最小単位(ナゲット)」を抽出してください。ナ

    ゲットとは、対話システムがユーザに提供した意味のある情報の原子的、最小 単位を指す。また主に、一文、またはそれ以下の情報の断片(句や節)である。 A要約ナゲット(音質) A要約文(音質) 音質は非常に高く、 クリアで自然な音 が楽しめる。低音 もしっかり響き、全 体的に心地よい音 楽体験を提供する。 LLM • 音質は非常に高い。 • クリアで自然な音が 楽しめる。 • 低音もしっかり響く。 • 全体的に心地よい 音楽体験を提供す る。
  25. ③-2 ナゲット分割(要約文と評価文の紐づけ) A要約ナゲット (音質ポジティブ) A評価文 (音質ポジティブ) • 音がとてもクリアで 聞こえやすい 低音に迫力がある

    LLM 全体的にクリア バランスの取れた 音質 メリット 要約文がどのような評価文から生成 されているかを確認できるようにする 32
  26. ③-3 共通要約・固有要約 34 ③-1 評価文要約 A評価文 B評価文 B要約文 A要約文 要約ナゲットを共通と固有に分類

    • 音がクリア • 音質がよい 音質が全体的に 1. 2つの商品の中から共通する内容を抽出 音がクリアで低音 • 低音が力強い • 低音がよく響く よく、特に低音が が力強く満足 • 低音に満足 2. 共通として抽出されなかった要約文を固有と • 音が綺麗 よく響く して扱う ⁞ ⁞ ③-3 共通・固有要約 ③-2 ナゲット分割 共通要約 低音が力強く良い A固有要約 音がクリア B固有要約 音質が良い A要約ナゲット B要約ナゲット • 音がクリア • 低音が力強 く満足 • 音質が良い • 低音がよく 響く
  27. ③-3 共通要約・固有要約 37  入力:AとBの要約ナゲット集合(各観点ネガポジ別)  出力:共通要約グループ  プロンプト 次の商品Aと商品Bの要約文リストに共通している内容がある場合、1つのグルー

    プにまとめてください。 グループ化したものについて,その内容を端的に表す共通要約を作成してください. A要約ナゲット • 音がクリアで綺麗 • 低音が力強く大満足である B要約ナゲット • 全体的に音質はとても良い • 低音が良く響き良い 共通要約 低音が力強く良い LLM A固有要約 音がクリア B固有要約 音質が良い
  28. 共通・固有要約の抽出精度 41 共通と固有を正確に分類できているか? 比較手法:AACSum  入力には提案手法により抽出した評価文を使用 アノテーションにより正解データを作成  アノテーター3人による多数決 

    レビューを見て共通、A固有、B固有を判断  FleissのKappa係数:0.71→かなりの一致(Substantial agreement) 提案手法 AACSum 正解率 0.78 0.72 適合率 0.79 0.69 再現率 0.81 0.69 F1値 0.78 0.68 ※適合率、再現率、F1値は共通・固有のマクロ平均
  29. 共通・固有要約の精度評価結果 42 特に共通要約で2手法の結果に大きな差があった 共通 提案手法 AACSum 適合率 0.87 0.56 再現率

    0.54 0.35 固有 提案手法 AACSum 適合率 0.95 0.87 再現率 0.78 0.76 AACSumで生成された固有要約は、人手の評価で は共通と判断されたケースが多い 例:AACSumの結果(テレビ「コストパフォーマンス」) 共通 A固有 B固有 • コストパフォーマンスが 高い • 価格に対して満足でき る商品である • コストパフォーマンスは 最高である • 32型でこのお値段はコ スパ最強である • コストパフォーマンスが 高い商品である • 値段を考えたら十分で ある
  30. 共通・固有要約の精度評価結果 生成された共通要約・固有要約の件数  提案手法:57件 AACSum:114件 原因  AACSum:入力した評価文がそのまま出力されるケースが多数 →共通する意見がまとめられていない AACSum

    映像に残像のよう なものが見えます 提案手法 残像が残ることがある 残像が残ります 提案手法は、要約が評価文の必要な内容を全て含んでいる かは評価できていない 43
  31. ユーザ実験のタスク 45 2つの商品を比較し購入する商品を決定する  2つの商品は価格やスペックの近い商品を選択 シチュエーション  1人暮らし用のテレビ  普段使い用のマウス(研究、課題)

    制限時間:15分(/1タスク) タスク1 被験者1,5,9 比較手法/テレビ 被験者2,6,10 提案手法/テレビ 被験者3,7,11 比較手法/マウス 被験者4,8,12 提案手法/マウス タスク2 提案手法/マウス 比較手法/マウス 提案手法/テレビ 比較手法/テレビ
  32. タスク後アンケート 49 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83

    ③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた
  33. タスク後アンケート 50 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83

    ③様々な観点について比較する のに役立った 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 5段階 リッカート尺度 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた
  34. タスク後アンケート ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 51 共通・固有無 (比較手法) 9.78 4.58

    共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 2つの商品の共通点(相違点)を 知るのに役立った 思いつく限り挙げてください。 2.59 2.92 ⑤共通点(個) 2.25 2.17 ⑥相違点(個) 85.21 86.46 ⑦SUS ユーザ 1. 使いやすさ 2. 価格に対する音質の良さ 3. 価格帯
  35. タスク後アンケート 52 ①タスクにかかった時間(分) ②時間内に十分情報を得られた ③様々な観点について比較する のに役立った 共通・固有無 (比較手法) 9.78 4.58

    共通・固有有 (提案手法) 7.92 4.83 4.42 4.42 ④商品を比較するための観点を 4.67 4.42 知るのに役立った SUS(System Usability Scale) システムのユーザビリティをはかる 2.59 2.92 ⑤共通点(個) 指標(最大100) 2.25 2.17 ⑥相違点(個) 質問項目10個に5段階リッカート尺 86.46 ⑦SUS 度で回答 85.21 • 例:頻繁に使用したいと思う、必要以上 に複雑だと思う
  36. タスク後アンケートの結果 53 共通・固有無 (比較手法) 9.78 4.58 共通・固有有 (提案手法) 7.92 4.83

    ③様々な観点について比較する のに役立った 4.42 4.42 ④商品を比較するための観点を 知るのに役立った ⑤共通点(個) ⑥相違点(個) ⑦SUS 4.67 4.42 2.59 2.25 2.92 2.17 85.21 86.46 ①タスクにかかった時間(分) ②時間内に十分情報を得られた 提案手法>比較手法:時間、十分情報を得られたか、共通点、SUS 提案手法<比較手法:観点を知るのに役立ったか、相違点 ※いずれも有意差はなし
  37. 比較表の改善点 自分の比較したい 観点が比較表上に なかった  観点の妥当性  適切な数の選択 音質 デザイン

    フィット感 ノイズ キャンセリング ×評価 価格 バッテリー 接続 55 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる  1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています 元レビュー フィット感:ジョギングしてても外れません。 最初は心配でしたが、しっかりフィットして います。
  38. 比較表の改善点 自分の比較したい 観点が比較表上に なかった  観点の妥当性  適切な数の選択 音質 デザイン

    フィット感 ノイズ キャンセリング ×評価 価格 56 同じ観点内に1つのレビュー から複数回抽出されており、 件数が実際より多く感じる  1要約文に含まれる評価文は1 レビューあたり1件にする フィット感がよく、激しく動いても 外れない • ジョギングしても外れない • しっかりフィットしています バッテリー 接続 しっかりフィットして、ジョギング しても外れない
  39. 考察(共通点・相違点の個数) 57 2つの商品の共通点、相違点を思いつく 限り挙げてください。 共通点:提案手法>比較手法 相違点:提案手法<比較手法 →固有の要約がうまく生成されていない可能性 LLM 共通 A固有

    共通 13 2 A固有 5 17 B固有 6 0 B固有 0 0 22 人手 原因:要約時の分類違いではなく、観点ごとに評価文を要約した 際に固有要約として表示すべき内容が欠落した可能性有
  40. 実験のまとめ 共通・固有の精度評価 58 提案手法 A • 提案手法 > AACSum ユーザ実験

    • 共通・固有の考慮の有無にほぼ差なし →共通・固有の考慮に大きな効果はない 今後 B 共通 A固有 A固有 B固有 B固有 vs 比較手法 A B A要約 A要約 A要約 B要約 B要約 B要約 • より共通点・相違点を探しやすくする比較表の作成
  41. まとめ LLMを用いたレビュー集約による商品比較表の作成 提案手法 1. 観点抽出 2. 評価文抽出 3. 共通・固有要約の生成 実験

    共通・固有の精度:提案手法 > AACSum ユーザ実験:共通・固有の考慮による差はほぼなし 今後の課題 相違点を探しやすい比較表の作成 観点抽出、評価文抽出の精度の向上 59

More Decks by 兵庫県立大学 山本研究室