修論

Transcript

1. 大規模言語モデルを利用した閲覧目的推定に基づく映画 レビュー検索手法 九州大学大学院芸術工学府 鈴木 醇 九州大学大学院芸術工学科研究院 牛尼 剛聡 7A-02
2. _ 1 Filmarks https://filmarks.com/movies/107171 FIlmarks .com Rotten Tomatoes ...
3. _ 2 ... ...
4. 3 話が理解できな かった...
5. 3 情報要求 クエリ インデックス 検索結果
6. 4 1. 高市 内閣 の政策について 2. 高市 政権 の 支持率 3. 高市 総理 の 取り組み
7. 4 1. 高市 内閣 の政策について 2. 高市 総理 の 取り組み 3. 高市 政権 の 支持率
8. 4 宮崎駿、ジブリの映画らしい優しい映画。た とえその先が愚かな世界だとしても、作り変 えたり好きなように変えるのではなく、自分 の力で生きていく。本当に自分がどう生きる か。を考えさせられる映画でした 話が理解できなかった 正直よくわからなかった 0.936 0.816 multilingual-e5-large 情報要求 ユーザと同意見 価値のあるレビュー
9. 5 multilingual-e5-large 情報要求 宮崎駿、ジブリの映画らしい優しい映画。た とえその先が愚かな世界だとしても、作り変 えたり好きなように変えるのではなく、自分 の力で生きていく。本当に自分がどう生きる か。を考えさせられる映画でした 話が理解できなかった 正直よくわからなかった 0.936 0.816 ユーザと同意見 価値のあるレビュー ユーザクエリ ?????
10. 6 宮崎駿、ジブリの映画らしい優しい映画。た とえその先が愚かな世界だとしても、作り変 えたり好きなように変えるのではなく、自分 の力で生きていく。本当に自分がどう生きる か。を考えさせられる映画でした 話が理解できなかった 正直よくわからなかった multilingual-e5-large 情報要求 ユーザと同意見 価値のあるレビュー 閲覧目的のマッチング
11. 7 _ 大カテゴリ(A~H)と 小カテゴリ(A1,B1など)で分類 大カテゴリ 小カテゴリ 大カテゴリ 小カテゴリ
12. 8 (index-label) LLM index-label 面白かった！ さすが宮崎駿作品。 絵が綺麗だった。 C :感想共有 D :技術制作面への関心 E :出演者監督に対する評価 どのような目的で有用か を考慮しカテゴリに分類 してください。 A 鑑賞前の参考 B 内容理解補助 C 感想共有 …
13. A 鑑賞前の参考 B 内容理解補助 C 感想共有 9 (query-label) LLM G：比較推薦材料 G2：他者への推薦材料探し query-label 『この映画はどんな人 におすすめですか』 ユーザーの入力から、 どの目的でレビューを閲覧 したいかを推定してください …
14. 10 _ 本検索手法を目的指向レビュー検索(PORR: Purpose-Oriented Review Ranking)と呼ぶ
15. 11 目的一致度は包含率を用いて求める ユーザ目的ラベルのうち、何個がレビュー目的ラベルに含 まれるか A:query-label(ユーザ目的ラベル) B:index-label(レビュー目的ラベル) (A) (B)
16. 12 意味的類似度𝑆!"# は2種類の方法を検討する (1) 通常の文書類似度𝑺𝒔𝒆𝒎 𝒃𝒂𝒔𝒆 ユーザ入力文とレビュー文書 をそれぞれ埋め込みベクトルに変換しそのコサイ ン類似度を測る (2) HyDE に基づく拡張文書類似度𝑺𝒔𝒆𝒎 𝑯𝒚𝑫𝑬 ユーザの入力文の疑似回答を生成し、欲しい文章に文体を近づける
17. 13 HyDE • ユーザの入力文の疑似回答を生成し、欲しい文章に文体を近づける • 語彙や文体が似ることによって、欲しい文章が取得できる確率が高くなる 映画を観た後、「自分はどう生きるべき か」という深い問いかけが心に残り、自 己と社会との関わりを改めて考えさせ られます。物語の温かさと哲学的な テーマが、静かな余韻となって長く胸 に響きます。 映画を観た後に残る「問いかけ」の 余韻はどのように感じられますか？ LLM
18. 14 最終的なスコア 意味的文書類似度(multilingual-e5-large) 包含率：ユーザ目的ラベルのうち、レビュー目的ラベルに含まれる割合
19. 15 ユーザの入力 ： タイトルの意味がわかりません 推定された目的: B(内容理解補助), B2(テーマメッセージ考察) 文書類似度のみ： 1_ これ見たらどう生きればいいかわかると思ったのにわからなかった 2_ 見ながら考えさせられるのではなく見た後に考えさせられる作品でした 3_ほぼ寝てしまったから批評のしようがないけど、冒頭からなに言ってるか正直わからず難しかった。 提案手法： 1_ 生きろ、生きねば、どう生きるか。今を生きる現代人に問うているのかも 2_いろんな解釈があるんだろうけど、たぶん世界は捨てたものじゃない人は間違いもおこすけどそん な中どう生きるかが大事なんだろうなと。やはり宮崎駿の世界観はすごい驚愕と感動… 3_見たあとは美術館に行ったあとのような疲労感が…。それくらい考えさせられる作品。
20. 16 _ 実験1:NDCGによるランキング評価 実験2:LLM の評価の妥当性確認
21. 17 _ ( ) 対象： 『君たちはどう生きるか』1300件 (filmarks) ユーザ、レビュー目的推定：GPT-4.1-mini 埋め込みモデル： multilingual-e5-large 今回はひとまず均等にλ=0.5 に設定
22. 18 _ 代表的な質問20件に対してndcg@k(=3,10)を計測 質問20件それぞれに対して、検索を行いAnswer Covarageという手法で検索適合性を図る 表記名 内容 base 意味類似度検索 HyDE HyDE による意味類似度検索 PORR(base) 目的ラベルを用いた検索 PORR(HyDE) HyDEと目的ラベルを用いた検索 比較手法
23. 19 _NDCG NDCG（Normalized Discounted Cumulative Gain） • ランキング品質の評価指標 • 「関連度」と「順位」を同時に考慮 • 上位に高関連な文書があるほど高スコア • 理想ランキング(iDCG)で正規化された指標(0~1) • 今回は理想ランキングの決定にAnswer Covaregeを用いる
24. 20 _Answer Covarage 質問が解決可能かを測る 検索結果に対して、質問に対する回答を導き出せるか(Answer Covarage)を評価 3段階評価 0 -> 渡されたレビューのみでは回答不可能 1 -> 直接的な言及はないが、渡されたレビューを用いて推測を行えば問に回答できる 2 -> 直接的な言及があり、渡されたレビューを直接利用することで問に回答できる NDCGの関連度スコアなどに利用 今回は、評価者としてLLMを用いる
25. Answer Covarege ( ) " SF SF 21 _ ൺֱ 0.632 nDCGスコア
26. 22 BH法適用後の有意差判定結果 • NDCG@3, NDCG@10 のいずれもPORR(Hyde)>PORR(base)>hyde>baseの順にスコアが高い • NDCG@3はいずれも優位差が認められなかった。 • NDCG@10は既存手法に対して優位差
27. 23 1 目的適合性による探索性能の向上 • 複数レビューを参照する利用において，閲覧目的を考慮した再ランキングが有効であることを示唆 上位少数件では目的ラベル単体の効果は限定的 • NDCG@3 では PORR(base)とbase 以外で安定した有意差は確認されなかった • 目的ラベル一致度が離散的であり，上位順位の微細な入れ替えに寄与しにくいことが要因 • 例えば，query-label が 4 個付与されている場合，一致度は {0, 0.25, 0.50, 0.75, 1.00} のように 0.25 刻みでしか変化しない
28. 24 2_LLM 被験者実験を用いてLLMの評価の妥当性を評価する LLMと同様のAnswer Covarage推定タスクを被験者にも解かせ、評価の一致度を調べる 計36問の設問を用意 • 質問とレビューのセットを用意し、0,1,2をつけてもらう
29. 25 LLM _QWK,MAE QWK（Quadratic Weighted Kappa）： 誤差の大きさを考慮したカッパ係数。LLMの判定が、人手評価とどれだけ同じ判断をしているか（偶然 一致を除いた一致度）を表す指標。-1~1の範囲を取りうる。 MAE（Mean Absolute Error）： LLM判定と人手評価のズレの大きさを、平均的にどれくらい間違っているかで示す指標
30. 26 2_ • QWKが0.6を超えており、一般的に高い一致であると言える値である • MAEよりLLMと人手評価の値は平均で0.3しか違わないことがわかる • 再サンプリングを用いた信頼区間に基づくと大多数の場合において中程度以上の一致を示す
31. 27 まとめ • LLM による閲覧目的ラベル推定と，目的ラベル一致度および文書類似度を統合した 目的志向 ビュー検索手法（PORR）の提案 • NDCG@10 における 従来の意味類似度検索およびクエリ拡張手法を上回る検索性能の確認 • 複数レビューを探索的なレビュー閲覧における 目的適合性導入の有効性の実証 • 一方で、上位順位の微細な入れ替えに寄与しにくい 展望 • 単一作品に限定した実験設定から，複数作品への評価拡張 • 目的志向ランキング手法の 他ドメイン UGC 検索への適用可能性の検討 • 閲覧システムとしてのユーザ体験評価検証
32. ! THANK YOU!