BedrockのナレッジベースとLlamaIndexでGraphRAGを作って精度比較してみた！

Transcript

1. Bedrockナレッジベースと LlamaIndexでGraphRAGを 作って精度比較してみた！ 2025/01/07 JAWS-UG 朝会 #65 福地開
2. Who am I ? 福地 開 (ふくち はるき) @har1101mony Japan AWS Jr.Champions目指してます！ NECソリューションイノベータ株式会社 2年目 インフラエンジニア(AWS) 趣味：ブログ書くこと、バスケ、競馬 推し馬(ドウデュース)が引退してしまったので 次の推し馬探し中…
3. 本日お話すること・しないこと ◆ 話すこと！ ✓ GraphRAGとは？(簡単に) ✓Bedrockのナレッジベースで作ったGraphRAG ✓LlamaIndexで作ったGraphRAG ◆話さないこと！ ✓RAGの詳細な説明 ✓LlamaIndexの詳細な説明 ✓GraphRAGの具体的な構築方法 →構築方法については別途ブログに纏めてあるので、こちらをご参照ください！
4. re:Invent 2024は RAGがアツかった！
5. RAGのアップデートは8件！ ◆Amazon Bedrock Knowledge BasesがGraphRAGに対応 ◆Amazon Bedrock Knowledge Basesが構造化データの取り込みをサポート ◆Amazon Bedrock Knowledge Basesがマルチモーダルデータに対応 ◆Amazon Bedrock Knowledge Basesが応答のストリーミングをサポート ◆Amazon Bedrock Knowledge Basesの自動クエリフィルタ機能を発表 ◆Amazon Bedrock Knowledge BasesがAPIによるデータ操作に対応 ◆Amazon Bedrock Knowledge BasesでRAGの評価機能をプレビュー開始 ◆Amazon KendraのGenAI Indexを発表
6. RAGのアップデートは8件！ ◆Amazon Bedrock Knowledge BasesがGraphRAGに対応 ◆Amazon Bedrock Knowledge Basesが構造化データの取り込みをサポート ◆Amazon Bedrock Knowledge Basesがマルチモーダルデータに対応 ◆Amazon Bedrock Knowledge Basesが応答のストリーミングをサポート ◆Amazon Bedrock Knowledge Basesの自動クエリフィルタ機能を発表 ◆Amazon Bedrock Knowledge BasesがAPIによるデータ操作に対応 ◆Amazon Bedrock Knowledge BasesでRAGの評価機能をプレビュー開始 ◆Amazon KendraのGenAI Indexを発表 この中からGraphRAGを触ってみる！
7. GraphRAGとは？従来のRAGとどう違うの？(ざっくり) ◆従来のRAG：ベクトルを用いて検索する →単語・文章を数値の配列に変換して、類似度を検索 猫 馬 お茶 カレー チャーハン ペガサス (2次元に変換したイメージです。)
8. GraphRAGとは？従来のRAGとどう違うの？(ざっくり) ◆GraphRAG：ナレッジグラフを用いて検索する ノード(丸)：実体。人やモノなどを表現する。 エッジ(線)：関係性。 (イメージです。)
9. GraphRAGのいいところ！ ◆ドキュメントなどの複雑なデータにおいても その中で記載されているモノや事象同士の様々な関係性を 明示的に保持できること！ ↓ ◆従来のベクトル検索に加えて ナレッジグラフによる検索も使うことで RAGの精度を向上させられる！
10. Bedrockのナレッジベースで GraphRAGを構築してみる！
11. 使用したドキュメント ◆私の愛馬「ドウデュース」に関するドキュメントを用意 写真：https://world.jra-van.jp/db/horse/H1014044/ 生い立ちやレース結果などを ドキュメントにしてS3に格納
12. ナレッジベースでGraphRAGを構築 ◆ベクトルデータベースにNeptune Analyticsを指定
13. ナレッジベースでGraphRAGを構築 ◆まだプレビュー版ということもあってか、精度はイマイチ ←0/3レースの結果が出力された ←2/5レースの結果が出力された (結果自体は4つ出力されていますが、 2つ間違えています。)
14. LlamaIndexで GraphRAGを構築してみる！ ※LlamaIndex…生成AIアプリケーション開発におけるフレームワークの1つ
15. LlamaIndexでGraphRAGを構築 ◆LlamaIndexを用いてナレッジグラフを作成
16. LlamaIndexでGraphRAGを構築 ◆クエリを投げてみると、完璧な答えが！
17. LlamaIndexでGraphRAGを構築 ◆もう1つの質問でも、4/5レースが正しく回答された！
18. 結論： 現状だとLlamaIndexを用いて GraphRAGを構築する方が精度良さそう！ ナレッジベースのGraphRAGはGAに期待！
19. 結論： 現状だとLlamaIndexを用いて GraphRAGを構築する方が精度良さそう！ ナレッジベースのGraphRAGはGAに期待！ というのが、ブログ作成時の結論。 ナレッジベースのGraphRAGでも 精度向上させる方法、あります！
20. Parsing Strategyとチャンキング戦略を設定！ ◆Parsing Strategy(変換戦略)を 「Foundation models as a parser」に設定 ◆チャンキング戦略を「Hierarchical chunking」に設定
21. ナレッジベースのGraphRAGでも精度が向上！ ◆LlamaIndex同様、完璧な回答が出力された！
22. ナレッジベースのGraphRAGでも精度が向上！ ◆もう1つの質問でも、4/5レースが正しく回答された！
23. 新・結論： ナレッジベースのGraphRAGも 設定をチューニングすることで、 かなり良い精度にすることができた！ Neptune Analyticsもう少しだけお安くなってほしい