論文紹介-AutoHyde

Transcript

1. HyDEの網羅性を上げる Auto-HyDE手法の提案 (2024/4/5投稿) 芸術工学府一年 鈴木醇
2. ユーザレビュー レビューDB ユーザのレビューに 似たもの タイトルが わからな かった タイトルの 意味は理解 できなかった タイトルが 意味不明 結局タイトル はどう関連 する? 通常のRAGだと 01 意味的に似ているものではなく説明が欲しい
3. HyDE手法 02 ユーザレビュー LLM タイトルが わからな かった タイトルは、 ラストの... という意味 と思った。 タイトルの 意味は... という考え がしっくり。 タイトルは 文字通り... 仮説解説 タイトルの 意味は.... である。 仮説的文書埋め込み(HyDE): 疑似的に文書を生成することによって、目的の文書を取得する 解説文書
4. HyDEの課題 03 HyDE手法には限界がある 疑似文書を生成するプロンプト依存が大きい ユーザの入力クエリに対して一つのプロンプトは非現実的 DBの性質によって、スタイルやトーン、構造が一意でない場 合、疑似文書を生成するプロンプトによって検索が偏る
5. AutoHyDE 04 HyDEの網羅性を上げるために、どのような疑似的文章を生成すれ ばよいかを判別 検索結果 TOP100 keyword含む文書群 (重要かも) TOP20 TOP21~100 検索クエリ ヒロがミカに恋した理由 キーワード [”ヒロ”,”ミカ”,”恋”] キーワード抽出 ベクトル類似度検索 クラスタ１ クラスタ2 クラスタ3 疑似文書1 疑似文書２ 疑似文書3 通常のRAG Auto-HyDE 類似度検索を信頼する数xn 20x5 =100 類似度検索で取得する文書
6. AutoHyDEへの所感 05 レビューは、HyDEの手法の課題で紹介されたスタイルやトーン、 構造が一意でないという最たる例 素のHyDEでは必要な、プロンプト調整の部分が自動化される 多視点を取ってくるということに対してクリティカル(な気がする) 懸念点 提案のみで精度評価がされていない 応答は遅くなる
7. 参考文献 https://note.com/ippei_suzuki_us/n/n94cea16ac02e https://towardsdatascience.com/autohyde-making-hyde- better-for-advanced-llm-rag-619e58cdbd8e