20240711_RAGを用いたシンプルな 社内情報検索システムを導入した話とつらみ

Transcript

1. RAGを用いたシンプルな 社内情報検索システムを導入した話とつらみ Findy Lunch LT 「現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策」
2. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
3. 自己紹介 市川 俊太 いちかわ しゅんた (37歳) 株式会社助太刀 バックエンドエンジニア • 猫が好き • 趣味はサッカー観戦 • Ruby/PHPなどのLL言語が好き
4. 会社紹介 事業者間マッチング 協力会社探し 正社員採用 工事会社の人手不足を マッチングと 正社員採用で解決
5. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
6. 導入の背景 • 社内ルールや仕事上の資料がどこにあるか分からない（特に新入社員など） • 管理部に都度業務ルール（タクシー利用の申請方法など）をSlackで質問 • 偉い人「流行りのAIを使って何かシステムを構築してみては？」（つらみ?）
7. 導入の背景 • 弊社ではGoogleWorkspaceを利用 • ドキュメント関連はGoogleDriveにて一元管理 • GoogleDriveをソース元にしたRAGを利用した検索システムを構築する？🤔
8. • 情報検索基盤を開発していた2023年11月頃は、RAGに関する情報が今ほど多くなかっ た（つらみ） • AWS主催の生成AIイベントに参加 ◦ Amazon Kendraを知る 導入の背景 Amazon KendraとLLMを活用した社内情報検索基盤を構築することにした
9. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
10. RAGの概要
11. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
12. システムの構成 • AWS Cognitoのユーザプールに Google認証を統合 • 社内ドキュメントはAmazon Kendraに インデックスを作成 ◦ KendraからGoogleDrive連携が うまくいかず、S3をソース元に変 更（つらみ） • メッセージはDynamoDBに格納 • インフラはAWS上で構築 • 検索画面となるフロントエンドは Vercel(Next.js)でホスティング
13. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
14. 導入・運用 • 社内約2/3の社員が利用（全社員170名ほど） • 利用ピーク時、月約70件の質問に関するクエリが実行
15. 導入・運用 • 具体的な利用例 ◦ 「Slack に外部の方を招待する方法を教えて」 ◦ 「入籍したらどのような手続きが必要ですか？」 ◦ 「休日出勤をするときの申請方法を教えて」 ◦ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか？」
16. 導入・運用 ある程度使ってくれてそう🤔 • 具体的な利用例 ◦ 「Slack に外部の方を招待する方法を教えて」 ◦ 「入籍したらどのような手続きが必要ですか？」 ◦ 「休日出勤をするときの申請方法を教えて」 ◦ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか？」
17. システム利用に関するアンケート結果 利用者の声 「探したい資料をキーワード検索とかできると嬉しい。ドライ ブ検索だとあまりにも検索結果が多いため」 「マニュアル以外にも、個別事象の対応を蓄積させて回答で きるようになったら嬉しいです！」 未利用者の声 「知る機会がない。本件に限らず「slackで流せば全員に必 ず伝わる」ということがこの会社では散見される。」
18. アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5. 導入・運用 6. つらみ
19. つらみ • 技術的なつらみ • 運用のつらみ
20. つらみ • 技術的なつらみ ◦ 検索速度が遅い ◦ 回答の精度が時々怪しい ▪ ドキュメントの質に依存し、ハルシネーションは起きる ◦ 評価が難しい ▪ 検索結果の評価自体が難しい • 悪い場合どこが悪いのか特定するのが難しい ▪ RAGでは、検索と生成という2つの組み合わせのため評価が難しい
21. つらみ • 運用のつらみ ◦ そもそもRAGが何かわからず利用しているケースがある ▪ ChatGPT, Google検索のように利用されている ◦ ドキュメントの質に検索精度が左右される ◦ ドキュメント自体ちゃんと管理する必要がある ▪ 運用ルールを定める必要がある ▪ 古い情報で回答が生成される
22. 導入した感想 ◦ やりたいことに対して、そもそもRAGを使う必要があったのか？ ▪ 全文検索エンジンだけで事足りるのでは？ ◦ 会社規模（利用頻度など）に見合ったシステムの構築が必要 ▪ Amazon Kendra利用料が結構かかる（月約800ドル） • 今だとVertex AI Search ＋ LLM Add-on の方が安くすみそう
23. 皆様、ご清聴ありがとうございました！ Findyさんもありがとうございます！ 助太刀くん （弊社のマスコット）