Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240711_RAGを用いたシンプルな 社内情報検索システムを導入した話とつらみ
Search
shunta ichikawa
July 09, 2024
2
2k
20240711_RAGを用いたシンプルな 社内情報検索システムを導入した話とつらみ
shunta ichikawa
July 09, 2024
Tweet
Share
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
33
1.9k
In The Pink: A Labor of Love
frogandcode
139
22k
Code Review Best Practice
trishagee
61
16k
Building Applications with DynamoDB
mza
89
5.9k
A Modern Web Designer's Workflow
chriscoyier
690
190k
Unsuck your backbone
ammeep
666
57k
GraphQLとの向き合い方2022年版
quramy
42
13k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
109
6.8k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Transcript
RAGを用いたシンプルな 社内情報検索システムを導入した話とつらみ Findy Lunch LT 「現場で実践!RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策」
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
自己紹介 市川 俊太 いちかわ しゅんた (37歳) 株式会社助太刀 バックエンドエンジニア • 猫が好き
• 趣味はサッカー観戦 • Ruby/PHPなどのLL言語が好き
会社紹介 事業者間マッチング 協力会社探し 正社員採用 工事会社の人手不足を マッチングと 正社員採用で解決
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
導入の背景 • 社内ルールや仕事上の資料がどこにあるか分からない(特に新入社員など) • 管理部に都度業務ルール(タクシー利用の申請方法など)をSlackで質問 • 偉い人「流行りのAIを使って何かシステムを構築してみては?」(つらみ?)
導入の背景 • 弊社ではGoogleWorkspaceを利用 • ドキュメント関連はGoogleDriveにて一元管理 • GoogleDriveをソース元にしたRAGを利用した検索システムを構築する?🤔
• 情報検索基盤を開発していた2023年11月頃は、RAGに関する情報が今ほど多くなかっ た(つらみ) • AWS主催の生成AIイベントに参加 ◦ Amazon Kendraを知る 導入の背景 Amazon
KendraとLLMを活用した社内情報検索基盤を構築することにした
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
RAGの概要
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
システムの構成 • AWS Cognitoのユーザプールに Google認証を統合 • 社内ドキュメントはAmazon Kendraに インデックスを作成 ◦
KendraからGoogleDrive連携が うまくいかず、S3をソース元に変 更(つらみ) • メッセージはDynamoDBに格納 • インフラはAWS上で構築 • 検索画面となるフロントエンドは Vercel(Next.js)でホスティング
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
導入・運用 • 社内約2/3の社員が利用(全社員170名ほど) • 利用ピーク時、月約70件の質問に関するクエリが実行
導入・運用 • 具体的な利用例 ◦ 「Slack に外部の方を招待する方法を教えて」 ◦ 「入籍したらどのような手続きが必要ですか?」 ◦ 「休日出勤をするときの申請方法を教えて」
◦ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか?」
導入・運用 ある程度使ってくれてそう🤔 • 具体的な利用例 ◦ 「Slack に外部の方を招待する方法を教えて」 ◦ 「入籍したらどのような手続きが必要ですか?」 ◦
「休日出勤をするときの申請方法を教えて」 ◦ 「内装業者のお客さんの更新提案、何に気をつければいいだろうか?」
システム利用に関するアンケート結果 利用者の声 「探したい資料をキーワード検索とかできると嬉しい。ドライ ブ検索だとあまりにも検索結果が多いため」 「マニュアル以外にも、個別事象の対応を蓄積させて回答で きるようになったら嬉しいです!」 未利用者の声 「知る機会がない。本件に限らず「slackで流せば全員に必 ず伝わる」ということがこの会社では散見される。」
アジェンダ 1. 自己紹介 2. 導入の背景 3. RAGの概要 4. システムの構成 5.
導入・運用 6. つらみ
つらみ • 技術的なつらみ • 運用のつらみ
つらみ • 技術的なつらみ ◦ 検索速度が遅い ◦ 回答の精度が時々怪しい ▪ ドキュメントの質に依存し、ハルシネーションは起きる ◦
評価が難しい ▪ 検索結果の評価自体が難しい • 悪い場合どこが悪いのか特定するのが難しい ▪ RAGでは、検索と生成という2つの組み合わせのため評価が難しい
つらみ • 運用のつらみ ◦ そもそもRAGが何かわからず利用しているケースがある ▪ ChatGPT, Google検索のように利用されている ◦ ドキュメントの質に検索精度が左右される
◦ ドキュメント自体ちゃんと管理する必要がある ▪ 運用ルールを定める必要がある ▪ 古い情報で回答が生成される
導入した感想 ◦ やりたいことに対して、そもそもRAGを使う必要があったのか? ▪ 全文検索エンジンだけで事足りるのでは? ◦ 会社規模(利用頻度など)に見合ったシステムの構築が必要 ▪ Amazon Kendra利用料が結構かかる(月約800ドル)
• 今だとVertex AI Search + LLM Add-on の方が安くすみそう
皆様、ご清聴ありがとうございました! Findyさんもありがとうございます! 助太刀くん (弊社のマスコット)