Slide 1
Slide 1 text
RAGを用いたシンプルな
社内情報検索システムを導入した話とつらみ
Findy Lunch LT 「現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策」
Slide 2
Slide 2 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 3
Slide 3 text
自己紹介
市川 俊太
いちかわ しゅんた
(37歳)
株式会社助太刀 バックエンドエンジニア
● 猫が好き
● 趣味はサッカー観戦
● Ruby/PHPなどのLL言語が好き
Slide 4
Slide 4 text
会社紹介
事業者間マッチング
協力会社探し
正社員採用
工事会社の人手不足を
マッチングと
正社員採用で解決
Slide 5
Slide 5 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 6
Slide 6 text
導入の背景
● 社内ルールや仕事上の資料がどこにあるか分からない（特に新入社員など）
● 管理部に都度業務ルール（タクシー利用の申請方法など）をSlackで質問
● 偉い人「流行りのAIを使って何かシステムを構築してみては？」（つらみ?）
Slide 7
Slide 7 text
導入の背景
● 弊社ではGoogleWorkspaceを利用
● ドキュメント関連はGoogleDriveにて一元管理
● GoogleDriveをソース元にしたRAGを利用した検索システムを構築する？🤔
Slide 8
Slide 8 text
● 情報検索基盤を開発していた2023年11月頃は、RAGに関する情報が今ほど多くなかっ
た（つらみ）
● AWS主催の生成AIイベントに参加
○ Amazon Kendraを知る
導入の背景
Amazon KendraとLLMを活用した社内情報検索基盤を構築することにした
Slide 9
Slide 9 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 10
Slide 10 text
RAGの概要
Slide 11
Slide 11 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 12
Slide 12 text
システムの構成
● AWS Cognitoのユーザプールに
Google認証を統合
● 社内ドキュメントはAmazon Kendraに
インデックスを作成
○ KendraからGoogleDrive連携が
うまくいかず、S3をソース元に変
更（つらみ）
● メッセージはDynamoDBに格納
● インフラはAWS上で構築
● 検索画面となるフロントエンドは Vercel(Next.js)でホスティング
Slide 13
Slide 13 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 14
Slide 14 text
導入・運用
● 社内約2/3の社員が利用（全社員170名ほど）
● 利用ピーク時、月約70件の質問に関するクエリが実行
Slide 15
Slide 15 text
導入・運用
● 具体的な利用例
○ 「Slack に外部の方を招待する方法を教えて」
○ 「入籍したらどのような手続きが必要ですか？」
○ 「休日出勤をするときの申請方法を教えて」
○ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか？」
Slide 16
Slide 16 text
導入・運用
ある程度使ってくれてそう🤔
● 具体的な利用例
○ 「Slack に外部の方を招待する方法を教えて」
○ 「入籍したらどのような手続きが必要ですか？」
○ 「休日出勤をするときの申請方法を教えて」
○ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか？」
Slide 17
Slide 17 text
システム利用に関するアンケート結果
利用者の声
「探したい資料をキーワード検索とかできると嬉しい。ドライ
ブ検索だとあまりにも検索結果が多いため」
「マニュアル以外にも、個別事象の対応を蓄積させて回答で
きるようになったら嬉しいです！」
未利用者の声
「知る機会がない。本件に限らず「slackで流せば全員に必
ず伝わる」ということがこの会社では散見される。」
Slide 18
Slide 18 text
アジェンダ
1. 自己紹介
2. 導入の背景
3. RAGの概要
4. システムの構成
5. 導入・運用
6. つらみ
Slide 19
Slide 19 text
つらみ
● 技術的なつらみ
● 運用のつらみ
Slide 20
Slide 20 text
つらみ
● 技術的なつらみ
○ 検索速度が遅い
○ 回答の精度が時々怪しい
■ ドキュメントの質に依存し、ハルシネーションは起きる
○ 評価が難しい
■ 検索結果の評価自体が難しい
● 悪い場合どこが悪いのか特定するのが難しい
■ RAGでは、検索と生成という2つの組み合わせのため評価が難しい
Slide 21
Slide 21 text
つらみ
● 運用のつらみ
○ そもそもRAGが何かわからず利用しているケースがある
■ ChatGPT, Google検索のように利用されている
○ ドキュメントの質に検索精度が左右される
○ ドキュメント自体ちゃんと管理する必要がある
■ 運用ルールを定める必要がある
■ 古い情報で回答が生成される
Slide 22
Slide 22 text
導入した感想
○ やりたいことに対して、そもそもRAGを使う必要があったのか？
■ 全文検索エンジンだけで事足りるのでは？
○ 会社規模（利用頻度など）に見合ったシステムの構築が必要
■ Amazon Kendra利用料が結構かかる（月約800ドル）
● 今だとVertex AI Search ＋ LLM Add-on の方が安くすみそう
Slide 23
Slide 23 text
皆様、ご清聴ありがとうございました！
Findyさんもありがとうございます！
助太刀くん
（弊社のマスコット）