RAG を試してみて感じたこと

Transcript

1. RAG を試してみて 感じたこと 2025/6/7 (土) ＠ 伊勢IT交流会 森ソフト 森純一
2. 誰？ • 森ソフト 代表 森純一 https://www.mori-soft.com • 三重県伊勢市にいるプログラマー（個人事業主）です • スマホのアプリ開発（Java, Flutter） • 業務システム開発（Excel, Access, SQL Server） 2
3. 生成 AI はやってますね • Google 検索前に ChatGPT に聞くことも増えてきました • エディタ使ってても、 Coplilot とかがどんどん提案してくれま す（はずすここともままありますが） 3
4. 弱点あるのでしょうか？ • 一定のタイミングで学習を打ち切ってるので、最新の情報がな いこともある（生成 AI 自体が、検索もするので、気にならな い時もあります） • マイナーの情報（特に非公開の情報）だと、カバーされていな いこともある印象 • ハルシネーション 4
5. RAG とは • 生成 AI の性能を上げるための方法の一つ • プロンプトエンジニアリング • RAG • Fine tuning • Retrieval Augmented Generation の略 • Retrieval：検索して • Augmented：拡張して • Generation：生成する • 生成 AI の参考となる知識を別途提供することで、適切な回答 を得られるようにする技術 5
6. もうちょっと詳しく https://platform.openai.com/docs/guides/optimizing-llm-accuracy 6
7. 試してみる • 以前からいろんなサイトの『よくある質問』が選択式になって いるのが不便だった • なので、これを知識として与えて、回答するようなRAGアプリ ケーションを作ってみる 7
8. ざっくりした構成 • RAGで与える知識：Python, LlamaIndex, FAISSで構成 • APIサーバー： FastAPI を利用 • Wordpress のチャットボットとして実装 • docker コンテナで動かす • 詳細知りたい方はブログを見てください https://blog.mori-soft.com/entry/2025/06/04/120822 https://blog.mori-soft.com/entry/2025/06/06/152712 https://blog.mori-soft.com/entry/2025/06/06/152827 8
9. RAG を試してみた印象 • とりあえず動くものをつくるのは意外と簡単 • 生成AI に問い合わせればなんとかなる • でも中身の詳細はブラックボックスのまま（気持ち悪い） • 生成 AI で精度を上げるためのアプローチがたくさんある • どれを使うのがベスト？ 9
10. https://platform.openai.com/docs/guides/optimizing-llm-accuracy 10
11. RAG を試してみた印象（続き） • 技術的に実装するのも大事（面白い） • けど、評価するほうがもっと大事かもしれない • 公開されている情報に対してだと、生成 AI をそのまま使うのと RAG で構成するのと性能の違いを説明できるか？ • 試すだけではなく、実用としてお金を出してもらう時、どうやったら 納得してもらえるのか？ • この評価の話って大変そう・・・ 11
12. 以上