属性に基づいた類似商品レビュー検索による評価情報補完インタフェース

Transcript

1. 第18回データ工学と情報マネジメントに関するフォーラム（DEIM2026） 7G-03 属性に基づいた 類似商品レビュー検索による 評価情報補完インタフェース 2026年3月2日 藤井真梨乃, 山本岳洋, 湯本高行 (兵庫県立大学) 1
2. 背景 •商品レビューは購入判断に重要な要素 •検索中の商品によっては、調べたい項目に ついて書かれたレビューがほとんどない 使った人がどう 思ったか分から ない…… 2
3. 問題 ある商品の中で調べたい項目の検索結果が 少ない 3
4. 解決策 ある商品の中で調べたい項目の検索結果が 少ない ➔調べたい項目と関連する属性の値が似てい る商品(=類似商品)からレビューを補完 結構コンパクトかも？ 4
5. 既存研究 •商品と属性を入力とし、類似商品の属性値や レビュー中の単語の出現確率によるランキング から関連するレビューを取得[1] レンズ&タイプ： Zoom lens- 18 mm- 55 mm F/3.5-5.6 & DA Pentax KAF このレンズは多くの Pentaxのカメラと 互換性がある。 入力 出力 レンズ&タイプ： 3 x x Zoom lens - 18 mm - 55 mm F/3.5-5.6 DA L AL Pentax KAF このレンズは多くのPentaxの カメラと互換性がある。 レンズ&タイプ：16 x x Zoom lens - 4.28 mm - 64.48 mm - F/3.3-5.9 & Sony 非常に素晴らしい ズーム性能です。 属性値やレビュー中の単語の出現確率を計算 [1]Dae Hoon Park, Hyun Duk Kim, ChengXiang Zhai, and Lifan Guo. Retrieval of Relevant Opinion Sentences for New Products. In Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '15), pp.393–402, 2015. 5
6. 既存研究 •商品と属性を入力とし、類似商品の属性値や レビュー中の単語の出現確率によるランキングか ら関連するレビューを取得[1] 本研究： • LLMを用いる ➔入力を属性に限定せず、自由度を向上 • 手法を適用させたインタフェースの評価を 行う ➔ユーザ目線で効果があるのかを検証 [1]Dae Hoon Park, Hyun Duk Kim, ChengXiang Zhai, and Lifan Guo. Retrieval of Relevant Opinion Sentences for New Products. In Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '15), pp.393–402, 2015. 6
7. 作成したインタフェース 商品クエリを選択 テキストクエリを入力 調べたい商品(商品クエリ)を選択し、調べたいトピック (テキストクエリ)を入力 このとき、商品クエリにレビューは存在していない 7
8. 作成したインタフェース 商品クエリを選択 テキストクエリを入力 関連する属性 意見 テキストクエリと関連する属性が類似する商品に書か れている意見が複数補完される 8
9. 作成したインタフェース 商品クエリを選択 テキストクエリを入力 属性クエリ 意見 類似商品 1つ意見をクリックすると、意見の元レビューとその レビューが書かれている商品が表示される ➔レビューが存在しない商品でも参考情報を入手可能 9
10. 類似商品から意見を補完する手法[2] ① テキストクエリ から関連する 属性を抽出 ② 類似商品を選択 ③ 類似商品から 意見の抽出、 ランキング 10 [2] Marino Fujii, Takehiro Yamamoto and Takayuki Yumoto.Supplementing Product Reviews: Retrieving Opinions from Products with Similar Attributes, Proceedings of the 27th International Conference on Information Integration and Web Intelligence (iiWAS 2025), pp.15-30, December 2025
11. 類似商品から意見を補完する手法 ① テキストクエリ から関連する 属性を抽出 ② 類似商品を選択 ③ 類似商品から 意見の抽出、 ランキング 11
12. 類似商品から意見を補完する手法 ① テキストクエリから関連する属性を 抽出 テキストクエリ 運びやすさ 商品クエリ 40FB10P 入力 ユーザ 画面サイズ 幅×高さ×奥行 重量 録画機能 LLM ・・・ 関連するか 判定 あなたは今テレビのレビューを 検索しようとしています。 「運びやすさ」という入力に対して、 「画面サイズ」という属性はあては まりますか。あてはまるかを True/Falseで書いてください。 12
13. 類似商品から意見を補完する手法 ① テキストクエリから関連する属性を 抽出 テキストクエリ 運びやすさ 商品クエリ 40FB10P 入力 ユーザ 画面サイズ 画面サイズ 幅×高さ×奥行 幅×高さ×奥行 重量 録画機能 LLM 重量 録画機能 ・・・ ・・・ 関連するか 判定 関連 属性 13
14. 類似商品から意見を補完する手法 ① テキストクエリ から関連する 属性を抽出 ② 類似商品を選択 ③ 類似商品から 意見の抽出、 ランキング 14
15. 類似商品から意見を補完する手法 ②類似商品を選択 • 量的データ：正規化して絶対値をとり、上位10商品 𝑝 𝑖 , 𝑝 𝑗 :商品𝑖, 𝑗の属性 𝐬𝐢𝐦 𝒑 𝒊 , 𝒑 𝒋 = 𝟏 − |𝒗 𝒊 − 𝒗 𝒋 | , 太字斜体p じ , わり 太字s 太字i. 太字m 始めかっこ太字斜体p じょ う、2 番目の始めかっこ太字斜体i. , 2 番目のかっこ閉じ、最後上付き文字、 ょ う、2 番目の始めかっこ太字斜体j , 2 番目のかっこ閉じ、最後上付き文字、終 かっこイコール太字1 マイナス縦線太字斜体v じょ う、始めかっこ太字斜体i. , 終わりかっこ、最後上付き文字マイナス太字斜体v じょ う、始めかっこ太字斜体j , 終わりかっこ、最後上付き文字、縦線 商品クエリ 40FB10P 画面サイズ LT-40A420 -32インチ 重量:6.6kg 32S22: -32インチ 重量:4.4kg 類似商品 +1 LT-40A420 ・・・ 関連属性 40FB10P -32インチ 重量:6.7kg 𝑣 𝑖 , 𝑣 𝑗 :商品𝑖, 𝑗の属性値 幅×高さ×奥行 重量 15
16. 類似商品から意見を補完する手法 ②類似商品を選択 • カテゴリカルデータ：完全一致する全商品 商品クエリ 40FB10P 関連属性 LT-40A420 -32インチ 録画機能:外付けHDD 32S22: -32インチ 録画機能:外付けHDD 類似商品 +1 LT-40A420 32S22 +1 ・・・ 録画機能 40FB10P -32インチ 録画機能:外付けHDD 16
17. 類似商品から意見を補完する手法 ②類似商品を選択 • 類似する属性の数が多い10商品 関連属性 画面サイズ 幅×高さ×奥行 重量 順位 商品名 類似属性数 類似属性 1 LT-40A420 3 4 43UB10P 2 画面サイズ、幅×高さ ×奥行、重量 幅×高さ×奥行、重量 商品クエリ (40FB10P)の 類似商品 J40SK01, J40SK03, LT-40A420, 2T-C40AE1, LC-40H40, LC-40S5, LC-40W35-B, 43A6800, 43UB10P, MAL-FWTV43 17
18. 類似商品から意見を補完する手法 ① テキストクエリ から関連する 属性を抽出 ② 類似商品を選択 ③ 類似商品から 意見の抽出、 ランキング 18
19. 類似商品から意見を補完する手法 ③類似商品から意見の抽出、 ランキング 類似商品のレビュー とても軽くて、映像も特に違 和感はないです。とてもお値 打ちだと思います。 This Thiswas wasmy myfirst first (J40SK03) purchase. 関連属性 重量 size Screen Screen size 関連属性についての意見 LLM とても軽くて テレビのレビュー「初めて購入しました。 軽くてびっくりしました。サイズも手頃で 良かったです。」から「重量」に関連する 記述を抜き出してください。 関連する記述が無い場合は「なし」と出力 してください。 関連するか判定 意見を抽出 19
20. 類似商品から意見を補完する手法 ③類似商品から意見の抽出、 ランキング • テキストクエリとのコサイン類似度でランキ ングし、関連する意見を上位に テキストクエリ 運びやすさ 埋め込み 埋め込み ランキング 普通です とても軽くて 大きな画面 ・・・ 20
21. 類似商品から意見を補完する手法 ③類似商品から意見の抽出、 ランキング • テキストクエリとのコサイン類似度でランキ ングし、関連する意見を上位に テキストクエリ 運びやすさ 埋め込み 埋め込み ランキング 1. とても軽くて 2. 普通です 3. 大きな画面 ・・・ 21
22. 類似商品から意見を補完する手法 ③類似商品から意見の抽出、 ランキング • テキストクエリとのコサイン類似度でランキ ングし、関連する意見を上位に テキストクエリ 運びやすさ 商品クエリ 40FB10P 類似商品から取得した意見のランキング 1. とても軽くて移動しやすい 2. 軽くて 3. 本体の軽さ 4. 軽量 5. とても軽くて ・・・ 22
23. インタフェースの評価 RQ1:類似商品のレビューを基に意見を補完 することは、ユーザがレビュー検索を行う 上で有用か RQ2:ユーザは類似商品のレビューを基に 補完された意見をどれぐらい信頼している のか • 補完された意見は検索している商品自体の情報では ないため、完全に信じることは不可能 23
24. ユーザ実験 •参加者：兵庫県立大学の学生12名 •期間：2025年12月23日～2026年1月5日 •被験者内実験 • 提案手法：レビューがついていない商品に補完を 行うインタフェース • 比較手法：レビューがついていない商品に補完を 行わないインタフェース 参加者ID タスク1 タスク2 1/2/3 テレビ/提案手法 カメラ/比較手法 4/5/6 テレビ/比較手法 カメラ/提案手法 7/8/9 カメラ/提案手法 テレビ/比較手法 10/11/12 カメラ/比較手法 テレビ/提案手法 24
25. 実験手順 インタフェースの説明 検索タスク1 タスク後アンケート1 検索タスク2 タスク後アンケート2 最終アンケート 25
26. 検索タスク •1商品について7つの観点(テキストクエリ)で 調べ、その内容を記述してもらう • テレビ:40FB10P、カメラ:COOLPIX A100 • 評価項目：記述内容の単語数 (カメラの例)あなたはカメラを買い替えようとしており、友人 の勧めで「COOLPIX A100」という商品に興味を持っていま す。そこで、その商品について以下の観点で調べてみることにし ました。 野球の静止画を 撮るなら 液晶画面の見や すさ 振動耐性につい て(手ぶれ) スマホよりサッ と撮れるか 容量の大きさ 星空の撮影は可 能か 電池持ちの良さ 他のレビューも見ながら、このカメラがどのような商品なのか をメモにまとめてください。制限時間は15分です。 26
27. 使用データ 用意した観点(テキストクエリ):カメラ&テレビ ジャンルについて各7個(著者らで考えたもの) テレビ カメラ 運びやすさ 野球の静止画を撮るなら 録画設定はしやすいか 液晶画面の見やすさ 音質の良さ 振動耐性について(手ぶれ) 脚の安定性 電池持ちの良さ 画質の良さ スマホよりサッと撮れるか コンサートを観るのに向いてい るか 容量の大きさ スポーツ観戦に向いているか 星空の撮影は可能か 27
28. 使用データ 用意した属性:価格.comのスペック情報から、 カメラは19個、テレビは22個 カメラ セルフタイマー タイムラプス 自分撮り機能 画素数 液晶モニター 連写撮影 起動時間 手ブレ補正機構 撮影枚数 4K対応 シャッタースピード タッチパネル 撮影感度 記録メディア 重量 記録フォーマット 幅x高さx奥行き 撮像素子 インターフェース テレビ 画面サイズ 画素数 パネル種類 HDR方式 映像処理エンジン バックライト 量子ドット 倍速機能 BS8K BS4K/110度CS4K 録画機能 ドライブ内蔵 自動録画機能 2番組同時録画 早見再生 スマートスピーカー連携 回転式スタンド HDMI端子 リモコン(音声操作) スピーカー数 幅x高さx奥行 重量 28
29. 使用データ 用意したレビュー：楽天データセット内の レビューデータ[3] • 2017年1月1日～2019年12月31日に投稿され たレビュー ジャンル テレビ カメラ 商品数 87 レビュー数 7,963 55 1,840 [3]楽天グループ株式会社. 楽天市場データ．国立情報学研究所情報学研究データリポジトリ. (データセット),2020.https://doi.org/10.32130/idr.2.1. 29
30. 使用モデル 30
31. 提案手法と比較手法の違い 提案手法 比較手法 • 検索商品にレビュー • 検索商品にレビュー がついていないため、 がついていないため、 類似商品から意見を テキストクエリを選択 補完する したときに何も表示 されない • 検索商品以外の商品では、その商品の レビュー、テキストクエリと関連する意見を表示 31
32. アンケートの設問 •タスク後アンケート • SUS10問 • SUS: 使いやすさをスコア化する指標(0～100) • 独自設問4問(RQ1) 評価項目 設問 意見の網羅性 同じ観点の中で漏れなく意見を調べる ことができたと思う。 商品の理解度 このシステムによって、調べたい商品に ついて理解できたと思う。 レビュー抽出の精度 検索結果に提示された意見は、元のレ ビューの主旨と相違ないと思う。 全体的な満足度 システムの機能に満足している。 32
33. アンケートの設問 • 最終アンケート • システムの感想(自由記述)+独自設問3問 評価項目 設問 類似商品の精度(RQ2) 検索結果に提示された類似している商 品は、実際に類似していると思う。 類似商品提示の有用性 (RQ1) 類似している商品を提示することは、 検索を行う上で役に立ったと思う。 補完された意見の妥当性 (RQ2) 検索結果に提示された類似している商 品の意見は、検索中の商品についてい ても自然であると思う。 5段階リッカート尺度を使用 33
34. 検索タスクの結果 •検索したことをまとめた回答の単語数は提案 手法の方が多い傾向 ➔比較手法よりも得られる情報量が多く、 網羅的に検索を行っている 34
35. アンケート結果(RQ1) 類似商品のレビューを基に意見を補完することは、 ユーザがレビュー検索を行う上で有用か • タスク後アンケートでは、全項目において提案手法が 比較手法を上回った • レビュー抽出の精度以外の項目で有意差を確認 評価項目 タスク後アンケート 使いやすさ(SUS) 最終アンケート 提案手法 比較手法 68.5* 57.5 意見の網羅性 3.08* 1.50 商品の理解度 3.25* 1.92 レビュー抽出の精度 3.42 2.83 全体的な満足度 3.58* 2.08 類似商品提示の有用性 4.33 - 35
36. アンケート結果(RQ1) 類似商品のレビューを基に意見を補完することは、 ユーザがレビュー検索を行う上で有用か • 最終アンケートでも、類似商品提示の有用性は高い ➔類似商品による補完を行うインタフェースは有用 評価項目 タスク後アンケート 最終アンケート 使いやすさ(SUS) 提案手法 比較手法 68.5* 57.5 意見の網羅性 3.08* 1.50 商品の理解度 3.25* 1.92 レビュー抽出の精度 3.42 2.83 全体的な満足度 3.58* 2.08 類似商品提示の有用性 4.33 36
37. アンケート結果の考察 •理由① 類似商品のレビューが出てくる分、類似商品を 探す手間が省けるので楽になった点が良かった 類似商品を探す手間が減少 37
38. アンケート結果の考察 •理由② 良かった部分に関しては，それぞれの観点につ いてスペックのどの部分を見れば分かるのかを 知らなかったため，スペックに関する知識がな くても観点について情報を得られた点です． どの属性に着目すればよいかが分かる 38
39. アンケート結果の考察 •理由③ スペックだけでは分からない使用シーンが 想像しやすかった． 補完を行うことである程度の想像が可能 39
40. アンケート結果(RQ2) ユーザは類似商品のレビューを基に補完され た意見をどれぐらい信頼しているのか •評価指標の値は高いとも低いともいえない 評価項目 最終アンケート 類似商品の精度 提案手法 3.25 補完された意見の妥当性 3.17 40
41. アンケート結果の考察 類似商品の意見を検索対象の商品に適用できな い場合もあると思った．たとえば， 類似商品で，水 中で撮影しているときに画面の白いモヤがあって 見にくいとか． 性能の異なる商品のレビューも補完されてしまう ため，注意しないと誤認が起こりそうだと感じた 誤った情報が含まれているため、実際に検索 中の商品と類似すると断定できない 41
42. 限界点 比較手法のSUSが10点以上低い ➔意見の補完機能以外の要因がアンケートの 回答に影響している可能性 評価項目 タスク後アンケート 使いやすさ(SUS) 最終アンケート 提案手法 比較手法 68.5* 57.5 意見の網羅性 3.08* 1.50 商品の理解度 3.25* 1.92 レビュー抽出の精度 3.42 2.83 全体的な満足度 3.58* 2.08 類似商品提示の有用性 4.33 42
43. 改善点 意見の補完機能以外の要因がアンケートの回 答に影響している可能性 比較する インタフェースを追加 インタフェースの 改良 • 提案手法と比較手 法の間に、関連する 属性だけが分かるイ ンタフェースを追加 ➔利便性を細分化 • 同じ属性値を持つ 商品を表示する絞 り込み機能を搭載 ➔利便性を向上 43
44. まとめ 商品レビューが少ないときに、類似する商品 から意見を補完するインタフェースの評価 • 類似商品を補完することの有用性は高い • ユーザは異なる情報が含まれている前提で検索を 行っている 44