社内情報検索システムで用いられるRAGの4つの実装方法

Transcript

1. 1 社内情報検索システムで用いられる RAGの4つの実装方法 LLM Application Meetup vol.4 松本和高
2. 2 松本 和高
 株式会社エクスプラザ リードエンジニア
 X: _mkazutaka
 Github: mkazutaka
 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している
 現在08/30に第一子が生まれ現在育休中
 https://note.com/mkazutaka/n/n9f0e2c4dee96 

3. CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設立 東京都港区六本木4丁目8-5 和幸ビル 所在地 会社概要
5. 5 noteで技術発信を実施 LLM関連の技術記事を noteで発信 https://note.com/explaza_inc/ CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy
6. 6 本日の内容
 • RAG(Retrieval-augmented Generation)について 
 ◦ LLMを使って社内のドキュメントの情報を返す際に利用される 
 • 手法を実装して、結果を見る

7. 7 LLMには欠点がある
 • もっともらしいウソの出力を出すことがある（ハルシエーション） 
 • 最新のデータを持たない
 図. 2023/10/12にGPT3.5に対して質問した結果 正しくは359657627190
8. 8 LLMに知識を補完するには
 • 知識を与えてあげるとLLMは正しい回答をしてくれる場合もある 
 ◦ プロンプトのテクニック
 知識を与える 正しい回答をする 図. GPT3.5に知識を与えて正しい回答を得る
9. 9 検索によってLLMに知識を補完する: RAG
 • RAG（Retrieval-augmented Generation: 検索により強化した文章生成）という 
 ◦ ユーザから見えない形にすれば、LLMがあたかもその知識を知っているように 
 振る舞う
 知識を与える 正しい回答をする 検索エンジンなどで 取得 図. 検索エンジンで情報を取得し、 GPT3.5に知識を与えて正しい回答を得る
10. 10 RAGの基本的な実装ステップ
 1. ドキュメントやウェブページを解析して、知識をDBに格納する 
 2. ユーザのプロンプトをもとに、DBから知識を検索し、ユーザのプロンプトを再構築 
 3. LLMからの結果をユーザに返す 
 参考: https://gpt-index.readthedocs.io/en/latest/getting_started/concepts.html
11. ここからは実装していく
 

12. 12 環境
 • 対象となるドキュメント
 ◦ 商工会議所が出している「中小企業・小規模事業者のための インボイス制度対策」 
 • 開発環境
 ◦ Python、LLMはChatGPT、LlamaIndexを使う 
 中小企業・小規模事業者のための インボイス制度対策 https://www.jcci.or.jp/chusho/202203invoice_booklet.pdf
13. シンプルな実装

14. 14 シンプルな実装: 実装
 1. SimpleDirectoryReaderを使ってファイルを読み込む 
 2. LlamaIndexにメモリベクトルDBにドキュメントを保存 
 3. 質問をする

15. インボイス制度について聞いてみる 

16. 16 シンプルな実装: インボイスについて聞いてみた結果

17. 17 シンプルな実装: インボイスについての正しい回答のページ
 • 回答としてはファイルの1ページ目を参照してほしい 

18. • ChatGPTに送った内容を見る: P.12とP.26を知識として入れている 
 18 シンプルな実装: インボイス制度について聞いた際に参照されたファイル

19. 課税事業者のメリット・デメリットを聞く

20. 20 結果: 課税事業者のメリデメについて聞いてみた結果

21. 21 シンプルな実装: 課税事業者のメリデメについての正しい回答のページ
 • 回答としてはファイルの7ページ目を参照してほしい 

22. • ChatGPTに送った内容を見る: P.7とP.8を知識として入れている 
 22 シンプルな実装: 課税事業者のメリデメについて参照されたファイル

23. • インボイス制度についての質問は正しい場所を参考にできなかった 
 ◦ ドキュメント内に「インボイス制度」という文字は30個ある 
 ◦ 追加で、`「インボイス制度とは」について教えてください」`で試してみたが 
 だめだった
 ◦ 別の方法も試してみる
 
 • 課税事業者のメリットデメリットについては正しい場所を参考にした 
 ◦ 表をパーサーが適当な形式に変換したが、よしなLLM側で解釈した 
 23 シンプルな実装の結論

24. Recursive Retrieverを用いた実装

25. • PDFファイルをページでわける(これをNodeと呼ぶ) 
 ◦ Node郡の中から最適なNodeを選ぶ 
 25 ドキュメントの検索方法: シンプルな実装

26. • ページ単位でNodeをわけず、特定のチャンク単位で分ける 
 ◦ 検索は、一番小さいチャンクに対して行う、LLMにあたえるものは一番 
 大きなチャンクを使う
 26 ドキュメントの検索方法: Recursive Retrieval (再帰的検索)

27. 27 Recursive Retrieval(Chunk)の実装: 1/3
 1. SimpleDirectoryReaderを使ってファイルを読み込む 
 a. 今回は、Unstructuredを使う

28. 28 Recursive Retrieval(Chunk)の実装: 2/3
 1. チャンクごとに再帰的なグラフを作る 

29. 29 Recursive Retrieval(Chunk)の実装: 3/3
 1. すべてのnodeをDBに保存し、質問をする 
 a. RecursiveRetrieverが再帰的に検索してくれるため細かい実装は不要 

30. インボイス制度について聞いてみる 

31. 31 Recursive Retriever(Chunk)の実装: インボイスについて聞いてみた結果

32. 32 Recursive Retriever(Chunk)の実装: プロンプトの中身の一部
 • 1ページ目の一部を参照している 

33. 課税事業者のメリット・デメリットを聞く

34. 34 Recursive Retriever(Chunk)の実装: 結果

35. 35 Recursive Retriever(Chunk)の実装: プロンプトの中身の一部
 • 7ページ目の一部を参照している 

36. • インボイス制度についての質問は正しい場所を参考にした 
 ◦ チャンク数が固定なので、たまたまうまく行った可能性もある 
 
 • 課税事業者のメリットデメリットについては正しい場所を参考にした 
 36 Recursive Retriever(Chunk)を用いた実装の結論

37. Recursive Retriever(Summary)を用いた実装

38. • 特定のチャンク単位で分けていたのを要約を用いる 
 ◦ 今回はページ単位で要約する
 38 Recursive Retrieval (Summary)

39. 39 Recursive Retrieval(Summary)の実装: 1/4
 1. SimpleDirectoryReaderを使ってファイルを読み込む 
 a. 今回はページごとに読む込みたいのでSimpleDirectoryReaderをそのまま使用 

40. 40 Recursive Retrieval(Summary)の実装: 2/4
 1. デフォルトのプロンプトだと英語で要約文ができる 
 a. 日本語で検索を行うと結果がでなくなるのでプロンプトを英語に修正する 

41. 41 Recursive Retrieval(Summary)の実装: 3/4
 1. ページごとにドキュメントを生成する 

42. 42 Recursive Retrieval(Summary)の実装: 4/4
 1. 質問する

43. インボイス制度について聞いてみる 

44. 44 Recursive Retriever(Summary)の実装:インボイスについて聞いてみた結果
 • シンプルな実装でみたのとほぼ同じ 

45. 課税事業者のメリット・デメリットを聞く

46. • シンプルな実装でみたのとほぼ同じ 
 46 Recursive Retriever(Summary)の実装:インボイスについて聞いてみた結果

47. • 今回のケースだとシンプルな実装の結果と同じになった 
 ◦ (実装みすったかもしれない)
 
 • ページごとに要約していくので、コストが掛かる 
 ◦ 使い所はすこしむずかしい
 47 Recursive Retriever(Summary)を用いた実装の結論

48. Agentを用いた実装
 (おまけ)

49. 49 LlamaIndexにAgentが10/2ぐらいに登場
 • Agentとは
 ◦ 要求を「どのような手段を使ってどういう順番で解決するか」を 
 LLMを使って自動的に決定してくれるような機能 
 
 • LlamaIndexの作者いわく、Agentでできること 
 ◦ 単一文書に対する事実に基づいたQA 
 ◦ 単一ドキュメントの要約
 ◦ 複数のドキュメントに対する事実に基づく比較 
 ◦ 複数のドキュメントにわたる全体的な比較 

50. 50 LhamaIndexのAgentのアーキテクチャ
 • ドキュメントごとにAgentを作成
 ◦ さらにそれを管理するAgentがいる 

51. 51 Agentの実装
 • 割りと長くなっちゃので省略
 • 今回のケースだと単一のドキュメント 
 ◦ サンプルに習って単一のドキュメントであってもMultiDocumentAgentを利用 

52. インボイス制度について聞いてみる 

53. 53 Agentの実装:インボイスについて聞いてみた結果

54. • インボイス制度についての質問は正しくなさそう 
 ◦ Agentにたよるとクエリの結果が非常に長くなる 
 ◦ 実際に動かしてみると全ドキュメントを 
 検索してるのかってぐらいChatGPTを叩いてた 
 54 Agentを用いた実装の結論

55. 55 まとめ
 • 今回は、RAGの5つの実装と実際にドキュメント検索してみた 
 ◦ ただし、これはあくまでデモ
 ◦ 実際のユースケースでは、利用する質問と回答を作って定期的に 
 作ったプログラムが正常に回答を返しているかを評価する必要がある 
 ▪ ここが難しい
 
 • LhamaIndexには、他のRAG手法にFineTuning等もあるので見ると面白いかも 
 
 • より精度を上げるには
 ◦ VectorDBを変える: Azure Cognitive SearchのHybridSearch使うとか 
 ◦ PDFParserを変える: Azure AI Document Intelligenceを使うとか 

56. 56 最後に
 採用してます！！
 興味があればぜひ！
 
 あと多分LLM Appの登壇者も募集してます
 よかったらぜひ！お声がけください