【簡単】Vertex AI と LangChain を使って Cloud Run に RAG アプリを構築する

Transcript

1. ｜　© Cloud Ace, Inc 【簡単】Vertex AI と LangChain を使って Cloud Run に RAG アプリを構築する
2. ｜　© Cloud Ace, Inc Agenda 01 | RAG と Vertex AI Search について 02 | 今回作るアプリ 03 | LangChain とは 04 | 構築 05 | まとめ
3. ｜　© Cloud Ace, Inc 自己紹介 kazz (高橋 和真) クラウドエース株式会社 SRE 部 所属 • 2023 年新卒 SRE エンジニア • Google Cloud 歴 1 年弱 • 業務では主にインフラ設計・開発を担当
4. ｜　© Cloud Ace, Inc 01 | RAG と Vertex AI Search について
5. ｜　© Cloud Ace, Inc RAG（Retrieval-Augmented Generation）とは プロンプト（ユーザの入力）に関する情報をデータベース から取得し、LLM がその情報をもとに回答を生成する仕組み 引用元：https://www.nri.com/jp/knowledge/glossary/lst/alphabet/rag
6. ｜　© Cloud Ace, Inc RAG を使うとどう嬉しいの？
7. ｜　© Cloud Ace, Inc RAG を使うメリット • 社内データを参照して回答 できる • ドメイン特化の知識を持った回答できる • 最新の情報を回答に反映できる • 用途に合わせて回答を最適化できる • データソースを管理することで、回答の信頼性 を上げる
8. ｜　© Cloud Ace, Inc RAG を使うデメリット • 設計と実装が大変 ◦ TL、OCR、チャンク化、埋め込み、インデックス作成、保存、 入力のクリーニング、スキーマ調整、情報検索、 要約などのエンドツーエンドの検索および検出プロセス • 情報源（データベース）の管理が大変
9. ｜　© Cloud Ace, Inc Vertex AI Search なら
10. ｜　© Cloud Ace, Inc Vertex AI Search Google 検索品質の情報検索および回答生成システムで、 すぐに使用できる RAG システムとして機能 ETL、OCR、チャンク化、埋め込み、インデックス作成、保存、入力 のクリーニング、スキーマ調整、情報検索、要約などのエンドツー エンドの検索および検出プロセス Vertex AI Search なら数回のクリック で構築できる！ Vertex AI
11. ｜　© Cloud Ace, Inc Vertex AI Search の担当範囲 引用元：https://www.nri.com/jp/knowledge/glossary/lst/alphabet/rag
12. ｜　© Cloud Ace, Inc Vertex AI Search を使用することで、 RAG アプリを簡単に構築できる！
13. ｜　© Cloud Ace, Inc 02 | 今回作るアプリ
14. ｜　© Cloud Ace, Inc 構成図
15. ｜　© Cloud Ace, Inc 03 | LangChain とは
16. ｜　© Cloud Ace, Inc LangChain とは LangChain • LLM モデルを活用してアプリケーション を構築するためのフレームワーク • データの取り込み、 処理を簡単に行える • 異なるデータソースやモデルを 簡単に統合できる
17. ｜　© Cloud Ace, Inc LangChain の話を始めると もう 1 LT 分ぐらい時間がかかるので割愛
18. ｜　© Cloud Ace, Inc 今回使う LangChain の機能 LangChain Templates LangChain を使った LLM アプリを 更に簡単に構築するためのテンプレート集 LangServe LangChain アプリを REST API として簡単にデプロイすることが できる仕組み
19. ｜　© Cloud Ace, Inc 構築
20. ｜　© Cloud Ace, Inc 構成図
21. ｜　© Cloud Ace, Inc インフラ部分の紹介 Cloud Run • コンテナ化されたアプリケーションを スケーラブルにデプロイするためのサービス Buildpack • ソースコードから自動的にコンテナイメージを生 成するツール • 開発者が Dockerfile を手動で作成する手間を 省くことができる
22. ｜　© Cloud Ace, Inc 構成図
23. ｜　© Cloud Ace, Inc 外部情報のソースにできるもの • ウェブサイトの URL ◦ ドメインからウェブサイトを自動的にクロールしてくれる • BigQuery ◦ テーブルからデータをインポートする • Cloud Storage ◦ Cloud Storage バケットからデータをインポートする
24. ｜　© Cloud Ace, Inc 全力デモ
25. ｜　© Cloud Ace, Inc 05 | まとめ
26. ｜　© Cloud Ace, Inc まとめ Google Cloud のサービスを活用することで、 生成 AI を使ったアプリケーション は簡単に構築することができます ※Google Cloud, Vertex AI は Google LLC の商標です ※LangChain は LangChain Inc. の商標です ※Buildpacks は The Linux Foundation の商標です