GraphRAG×Geminiで QAボットを作ってみた

AI Hackathon with Google Cloudというハッカソンで作成したアプリの話です。
2024年11月25日に開催された Jagu'e'r AI/ML分科会 Meet up #8 「年忘れ LT大会」 において発表した資料になります。

Transcript

1. GraphRAG×Geminiで QAボットを作ってみた 林 佑亮 (Hayashi Yusuke)
2. 自己紹介 • 林 佑亮（2021年卒） • データエンジニア in 株式会社インテー ジ • 主な業務：LLM関係のPoC、分析環境 整備
3. アジェンダ • 作るまでの経緯 • やったこと • できたもの
4. 作るまでの経緯 • 作るまでの経緯 • やったこと • できたもの
5. きっかけ AI系のハッカソン出てみたい →AI Hackathon with Google Cloudというハッカソンがあるらしい →Just do it!! https://googlecloudjapanaihackathon.devpost.com/
6. テーマ決め とりあえずやりたいことを詰め込みたい • GraphRAG：従来のテキストベースとは異なるデータの持たせ方、気に なる • AIエージェント：LLMの応用としてできることが増えそう、気になる どっちも取り入れて実装してみよう！
7. データ ベース GraphRAGとは • RAGの一種で、元データからナレッジグラフを作成し、ナレッジグラフを検索する 手法 • 以下のようなケースで従来手法に比べ大幅に改善 ◦ 複数の情報を結びつけて回答する必要がある ◦ ドキュメント全体の意味概念を総合的に理解して回答する必要がある 参考：https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/ 質問 クエリ レスポ ンス 回答 グラフ データ 元データ グラフ化 格納
8. AIエージェントとは • 置かれている環境を認識して、複雑な目標に対して自律的に稼働するAIシステ ム ◦ 目的達成までの計画、動的な情報収集、集めた情報の統合、出力の修正といった複数 のタスクを自律的に考えて行動できる https://sakana.ai/ai-scientist-jp/ AIエージェントの例：The AI Scientist→ • 論文をAIだけで自動作成（1本約15ドル！） • アイディア生成から実験、可視化、論文執筆、 レビューまでを自動で行う
9. やったこと • 作るまでの経緯 • やったこと • できたもの
10. やったこと • データ集めと前処理 • グラフデータベースの作成 • エージェントの作成 • チャットボットの作成
11. データ集めと前処理 • Wikipediaから戦国武将のデータを取得：織田信長、豊臣秀吉、徳川家 康、明智光秀（合計20万文字程度） • 読み込んだファイルを一つに統合
12. グラフデータベースの作成 • LangChainのLLMGraphTransformerを用いて テキストデータからグラフを構築し、neo4jにグラ フを保存 Graph Databse Wikipediaのテキストデータ （4記事、合計20万文字程度） Geminiを用いて グラフデータベースを作成 作成されたグラフ
13. Tools • TextからCypherクエリを生成する • グラフ内のDocumentラベルを持つ ノードを参照してベクトル検索する エージェントの作成 グラフデータベースを検索して回答してくれるエージェントを作成 LLM：Gemini 1.5 Pro データに基づいて回答するエージェント Prompt：ReActベースでプロンプトを 作成 • 入力に対して思考、行動、観 察のサイクルを回すように指 示
14. チャットボットの作成 Streamlit(※)を用いてチャットボットを作成 ※Pythonだけで簡単にWebアプリを作れるフレームワーク • チャットの履歴を表示 • ストリーミングで応答の状況を表示
15. できたもの • 作るまでの経緯 • やったこと • できたもの
16. アプリ画面
17. Chat bot app Compute Engine Streamlit app in Container Gemini 1.5 Pro Vertex AI Embeddings for Text User Graph Databse Neo4j 最終的なアーキテクチャ
18. 所感 良かった点 • 触ってみたかった技術を実装できた！（GraphRAG、AIエージェント） • Google Cloudに触れるきっかけになった • ハッカソンに出たことで、期間内に集中してモノを作ることができた 改善点 • 「とりあえず実装できた」レベルで、各技術への理解が浅い • デプロイが難しかった（本当はCloud Runを使いたかった）