CloudflareStack でRAGに入門

Transcript

1. CloudflareStackでRAGに入門 いわみ あさひ 

2. • 自己紹介
 • Cloudflare Stackについて
 • RAGについて
 • 構成
 • できたもの
 • 今後やってみたいこと
 • まとめ
 アジェンダ
3. 株式会社Gemcook所属：
 あさひ(@asahiXXXXXXXXX)
 
 バックエンドエンジニア
 TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL 自己紹介

4. 株式会社Gemcook所属：
 あさひ(@asahiXXXXXXXXX)
 
 バックエンドエンジニア
 TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL 自己紹介
 Zennで 週刊Cloudflare という記事を 毎週出しています。 Zenn: あさひ@asahi_iwm
5. Cloudflare Stack

6. • Cloudflare DeveloperのYoutubeで紹介されていた
 ◦ The Cloudflare Stack
 • どこかで説明されてるわけでは
 ないがCloudflareのサービスを
 スタックとして理解
 
 Cloudflare Stackって？
7. RAG

8. • RAG（Retrieval Augmented Generation）
 ◦ 事前情報を与えてそれを踏まえて回答を生成して くれるやつ
 ◦ 通常のLLMだとそのモデルが学習した時点まで の情報でしか回答を生成してくれない
 RAGって何？
9. 今回の構成

10. • Workers
 ◦ Hono
 ◦ Drizzle
 • Workers AI
 • D1
 • Vectorize
 今回の構成
11. D1にナレッジを保存する コンテンツをベクトル化 ナレッジ(事前情報)を保存する流れ VectorizeにD1のIDと一緒に保存
12. ナレッジ(事前情報)を保存する流れ
13. ナレッジ(事前情報)を保存する流れ
14. ナレッジ(事前情報)を保存する流れ
15. 回答を生成する流れ 質問をベクトルデータにする 類似するベクトルデータを探してナレッジを探す ナレッジをコンテキストとし AIに回答を生成させる
16. 回答を生成する流れ
17. 回答を生成する流れ
18. 回答を生成する流れ
19. 回答を生成する流れ
20. 回答を生成する流れ
21. できたもの

22. • Demo
 ◦ めっちゃ簡単にやります
 できたもの
23. 今後やってみたいこと

24. • AI Gatewayを使って日本語対応
 ◦ Workers AIに日本語モデルがない…
 • Streamingレスポンス対応
 • 画面を用意する
 • D1以外の採用（KVとかR2）
 • RAGを活用して何かを作ってみる
 今後やってみたいこと
25. まとめ

26. • Cloudflare Stackで
 RAGに入門することができた
 • 基礎的なRAGの仕組みは理解できた
 • 日本語対応モデルがないのが残念
 
 まとめ