GraphRAG グラフDBを使ったLLM生成（自作漫画DBを用いた具体例を用いて）

GraphRAGについて、自作の漫画グラフDBを用いた説明資料です。
スライド上にあるデモは以下のサイトで試すことができます。

・Manga Graph（漫画のグラフDB）: https://mangagraph.netlify.app/
・GraphRAGによる漫画レコメンド文生成: https://manga-graph-graphrag-production.up.railway.app/

※Start Python Clubさんの「みんなのPython勉強会#118」で発表した資料になります。
https://startpython.connpass.com/event/371646/

Transcript

1. GraphRAG グラフDBを使ったLLM生成 自作漫画DBを用いた具体例を使って
2. GraphRAGとは 「グラフDB」を使用した「RAG」の一種
3. GraphRAG に入る前に まず前提の話
4. グラフ
5. グラフとは 対象を表すノード（点）と、それらの関係性を表すエッジ（線）で構成されるデータ構造
6. ノードとは 人・物・場所など対象そのものを表す点のこと ノード ノード ノード
7. エッジとは • ノード同士の関係やつながりを表す線 • 方向や強さなどの属性を持つこともある エッジ エッジ
8. グラフの例: SNS 山田 フォロー セバスティアン フォロー /フォロワーの関係性
9. RAG
10. RAGとは 1. 検索して （Retrieval） 2. 拡張された （Augmented） 3. 生成をする （Generation）
11. RAGを使うと何が嬉しいのか LLMを使う際に学習済み知識だけでは届かない領域にも 対応可能になる。
12. 例えばLLM”のみ”の場合 LLM 何時までに出社 しなければならな いですか？ 9〜10時が一般 的でしょう
13. RAGを用いた場合 LLM 何時までに出社 しなければならな いですか？ 12時までです！
14. よくあるRAGの手法 検索の際にベクトル検索を使用する。 1. 文章や画像を「ベクトル（数値の並び）」に変換して 2. 意味が近いものを検索する。
15. ベクトル検索を使用した場合 LLM 何時までに出社 しなければならな いですか？ 12時までです！ 第3条 社員は12時までに出社をす ること
16. ベクトル検索を使用した場合の問題点 あくまで「似た文」を探すため、 事実同士の関係性や順序などは意識しづらい。
17. GraphRAG
18. GraphRAGとは 「グラフDB」を使用した「RAG」の一種 LLM
19. GraphRAGを使うと何が嬉しいか • 事実どうしのつながりを道筋としてたどる「関係探し」に強い • なぜその生成になったかの「理由づけ」がしやすい LLM
20. ここから具体例
21. 今回使うグラフDB Manga Graph →メディア芸術データベースを基に、 自前で作成した「漫画のグラフDB」
22. Manga Graphの中にある関係性 📗 NARUTO 👤 岸本斉史 創作 📗 BORUTO 創作 📙 週刊少年 ジャンプ 掲載 掲載 🏢 集英社 発行 📙 週刊 ヤング ジャンプ 📗 キングダ ム 発行 掲載
23. グラフDBの構築方法 • 今回はNeo4jというDBを使用 • 一定のノードとエッジまではクラウド上でも無料で使用可能。 （もちろんローカルでも使用可能）
24. Neo4jの使い方 • Cypher（サイファー）というクエリ言語を使う。 • CypherではSQLクエリに近い書き方ができる。
25. Neo4j の使い方の流れ （コードも交えて）
26. データベースの作成 画面ぽちぽち デスクトップ版アプリや、クラウド版（Neo4j Aura）もある。
27. Driverの設定
28. ノードの追加
29. ノードの取得 # Output Titles: ['NARUTO', 'Hunter x Hunter']
30. エッジの追加
31. エッジの取得 # Output Edges: ['岸本斉史[created]NARUTO', '冨樫義博[created]Hunter x Hunter']
32. 実際のグラフ Neo4jのアプリ上でグラフを可視化することもできる。
33. Manga Graph のデモ
34. https://youtu.be/qAdB1Wv-toI
35. Graph”RAG”の具体例 （LLMで漫画の推薦文を生成する）
36. （GraphRAGを使っていない）素のLLMでの生成 以下のようなプロンプトを使う。 ユーザーが入力した漫画名に基づいて、 他の漫画のレコメンド文を生成してください。 …以下省略
37. GraphRAGを使った生成 先ほどのプロンプト + グラフから抽出した関係性をテキスト化したものを使う。 以下のようなプロンプトを使う。 「ユーザーが入力した漫画名に基づいて、他の漫画のレコメンド文を生成 してください。 ただし、以下のグラフ構造を考慮して生成してください。 〜グラフ構造〜」 （この部分は次のスライドで説明）
38. プロンプトのグラフ構造の部分 • 岸本斉史 -[created]-> NARUTO • 鳥山 明 -[created]-> ドラゴンボールZ • 週刊少年ジャンプ -[published]-> NARUTO • 週刊ヤングジャンプ -[published]-> キングダム • 週刊ヤングジャンプ -[published_by]-> 集英社 • 週刊少年ジャンプ -[published_by]-> 集英社 これらを先ほどの プロンプトの末尾 に入れる
39. 実際のプロンプト ユーザーが入力した漫画名に基づいて、他の漫画のレコメンド文を生成してください。 ただし、以下のグラフ構造を考慮して生成してください。 • 岸本斉史 -[created]-> NARUTO • 鳥山 明 -[created]-> ドラゴンボールZ • 週刊少年ジャンプ -[published]-> NARUTO …省略
40. GraphRAG のデモ
41. https://www.youtube.com/watch?v=iUsHvC2DPlE
42. これ、どっちの生成が良いの？ 場合による • 素のLLMだと、よほどプロンプトを工夫しないと有名どころの漫画ばかり推薦する。 • ただし正直、今のManga Graphだと効果は見えづらい。
43. GraphRAGの使い所 本来GraphRAGが効果を発揮するのは社内文書などクローズドな情報を持っている時。 （=ネット上にない情報なのでLLMが学習していない） つまり例えば、漫画の独自データベースを持っている会社ではもっと色々な関係性を使 用できる。 • 購入している読者の特徴 • 面白いと評価している漫画と読者の関係性
44. 「でもクローズドなグラフデータなん て持ってない !」 時も多いですよね ...?
45. 自然言語から のグラフDBの作り方 文章からLLMを使用して関係性を抽出する。
46. 自然言語から のグラフDBの作り方 山田はNARUTOを面白いと思っている。 LLM 山田 LIKE 📗 NARUTO
47. まとめ • GraphRAGとは「グラフDB」を使用した「RAG」の一種 • 事実どうしのつながりを道筋としてたどる「関係探し」に強い • なぜその生成になったかの「理由づけ」がしやすい • （GraphRAGに限らず）RAGは社内文書などクローズドな情報検索に強い。 • グラフDBを現時点で持っていなくても自然言語から作成することもできる。
48. その他の手法
49. コミュニティという一部のグラフのまとまりと階層的な要約を用いた手法。 Microsoft GraphRAG Edge D., Trinh H., Cheng N., et al. From Local to Global: A Graph RAG Approach to Query-Focused Summarization. arXiv:2404.16130, 2024.
50. PageIndex テキストをツリー構造に変換した上で、LLMがそのツリー構造を元に検索する手法。 https://pageindex.ai/
51. 技術スタック Manga Graph • FastAPI（API構築） • Neo4j（グラフDB） • Sentence Transformers（ベクトル化） GraphRAGのデモ • Streamlit（デモサイト） • LangChain（プロンプト管理、生成）
52. 本日の発表資料 https://speakerdeck.com/seaturt1e/graphrag-mangagraph 説明欄にさきほどの「MangaGraphの可視化サイト」や 「GraphRAGによる漫画レコメンド文のデモサイト」の URLを掲載していま す。
53. 使用データ/参考文献 • メディア芸術データベース • MyAnimeList Dataset • H Sun, B Dhingra, M Zaheer, K Mazaitis, R Salakhutdinov, WW Cohen. Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text, arXiv:1809.00782, 2018. • Edge D., Trinh H., Cheng N., et al. From Local to Global: A Graph RAG Approach to Query-Focused Summarization. arXiv:2404.16130, 2024.
54. Neo4j以外のグラフDB • Amazon Neptune • Azure Cosmos DB for Apache Gremlin • TigerGraph • ArangoDB And more…