Building RAG Chatbot on Cloudflare

第32回伊勢IT交流会登壇資料。

Transcript

1. Building RAG Chatbot on Cloudflare 第32回 伊勢IT交流会
2. 自己紹介 山口 真 / Shin Yamaguchi • ソフトウェアエンジニア（フリーランス） • フレアーズ合同会社 代表社員 ◦ 現在6名常用（エンジニア4名、デザイナー2名） • 仕事内容 ◦ 東京の樹脂メーカーのコンサルティング ◦ 東京の塗料メーカーのコンサルティング ◦ 大阪の中小SI会社でのシステム開発 ◦ 自社の受託開発のマネジメント 　　　フレアーズ合同会社 - https://flares.jp/ 　　　やましんサービス - https://shinroh.com/ 2
3. 開発のお供は、GitHub Copilot with Claude 4.5 Sonnet GitHub Copilot Business プランを会社で契約して自 社開発者全員に配ってい る。 GitHub Copilotの良いとこ ろ、他社の最新モデルにす ぐに対応してくれるところ。 レートリミットになるまで 黙々とエージェントモードで ゴリゴリ開発を進めてる。 3
4. 今回作ったもの 4
5. 山本楽器さんのホームページをリニューアル ホームページのリニューアルに合わせて RAGチャットボットも作った。 主な機能 • スクレイピングデータのベクトルストア 埋め込み。 • 上記のベクトルストアのRAG検索機 能付きのAIチャットボット。 • 検索キーワードをDBに保存し、ユー ザーニーズを分析できるようにした。 開発にかかった時間は約 2日程。 5 https://yamamoto-gakki.co.jp/
6. 予算の問題 6
7. AWSの場合 AWSの場合だとこ んな感じの試算。 SageMakerではなく Bedrockを使う想定 にしたとしても、 OpenSearchが結 構高くて月間200ド ル（3万円）くらいは かかる見立てにな る。 結構高いよな…💧 7 サービス 使用量 単価 月額コスト Lambda 100,000 req × 25秒 $0.20/million req + $0.0000166667/GB-sec $41.67 SageMaker Endpoint ml.g5.xlarge × 24時間 $1.408/時間 × 730時間 $1,027.84 OpenSearch Serverless 1 OCU $0.24/OCU-hour × 730時間 $175.20 DynamoDB 100,000 書き込み, 100,000 読み取り $1.25/million WRU + $0.25/million RRU $0.38 S3 5GB ストレージ, 100,000 GET $0.023/GB + $0.0004/1k requests $0.16 API Gateway 100,000 req $3.50/million req $0.35 合計 $1,245.60/月
8. Cloudflareを採用したコスト重視の構成 8 • 山本楽器サイト ◦ 自作のWordPress チャットボットプラグイ ン ▪ チャットUI ▪ データ同期 ▪ 検索履歴分析 • Cloudflare ◦ Workers ▪ Hono ◦ Workers AI ▪ Mistral AI ◦ Vecctorize ◦ KV Store ◦ D1 Database
9. Cloudflareの場合 AWSとの圧倒的な 価格差。 1ヶ月約5,000円 で済む計算。 低価格に利用できる Cloudflare は 中小企業の味方☀ 9 サービス 使用量 単価 月額コスト Workers 100,000 req × 25秒 $5/月 (基本) + $0.50/million CPU-ms $17.50 Vectorize 10,000 docs, 100,000 queries $0.04/million queries $0.05 Workers AI (埋め 込み) 100,000 req $0.011/1k requests $1.10 Workers AI (LLM) 100,000 req $0.125/1k requests $12.50 D1 Database 読み取り/書き込み $5/月 (基本) $5.00 KV Storage 5GB, 100,000 reads $0.50/GB + $0.50/million reads $2.50 合計 $38.65/月
10. 実際に検索してみる☝ 10 山本楽器へGO
11. RAGの精度・信頼性向上の仕組み 1. プロンプトエンジニアリング • ✅ 日本語回答の強制（英語での回答を禁止） • ✅ 構造化されたシステムプロンプト（役割、制約、回答ルールを明確 化） • ✅ コンテキストベースの回答生成（検索結果を活用） • ✅ ソース引用の強制（参考 URLを必ず含める） 2. RAG（Retrieval-Augmented Generation） • ✅ ベクトル検索による関連文書の取得（ Top-K=5） • ✅ コサイン類似度でのランキング • ✅ スコアによる関連度の表示 • ✅ 768次元の埋め込みベクトル（ @cf/baai/bge-base-en-v1.5） 3. コンテキスト管理 • ✅ 会話履歴の保持（ conversationId） • ✅ 過去の質問と回答を含めたプロンプト生成 • ✅ 文脈を考慮した継続的な対話 4. データ品質向上 • ✅ 10文字未満のコンテンツをスキップ（ノイズ除去） • ✅ HTMLタグの除去と正規化 • ✅ チャンク分割（1000文字単位、200文字オーバーラップ） • ✅ メタデータの付与（タイトル、 URL、抽出日時） 11 5. 検索品質の最適化 • ✅ Vectorizeによる高速ベクトル検索 • ✅ KVキャッシュによるページデータの再利用 • ✅ 定期的なデータ同期（週 1回推奨） 6. ユーザーエクスペリエンス • ✅ 参考URLの視覚的表示（スコアバー付き） • ✅ ローディング状態の明示 • ✅ エラーハンドリングとユーザーフィードバック • ✅ 提案質問（Quick Replies）による誘導 7. 分析とフィードバックループ • ✅ 検索履歴の記録（ D1データベース） • ✅ 統計情報の可視化（検索頻度、人気クエリ） • ✅ レスポンスタイムの測定 • ✅ ユーザー行動の分析 8. セキュリティと信頼性 • ✅ API認証（全エンドポイント） • ✅ レート制限（60 req/分/IP） • ✅ 入力バリデーション • ✅ エラーログの記録
12. まとめ 12 Cloudflare の利用で実現できること: • Cloudflare で中小企業向けの低価格なRAGチャットボット開発が可能。 • Workers AIの選択肢として、LlamaやQwenなどミドルレンジから高性能モデルま で様々なモデルが利用できる。 • R2（AWSのS3に相当）を利用することで、社内ドキュメントを読み込ませる形の RAGチャットボットも作成できる。 今後の個人的な課題: • マルチモーダルAI（自然言語処理と画像処理の掛け合わせ）の 実装経験を積む（複雑な図表を理解するRAGなど）。
13. Grow colors with dx 三重県四日市市のソフトウェア企業 フレアーズ合同会社 RAGチャットボット 開発依頼受付中 開発予算参考 • 開発費用：時給4000円（税別）〜 • 維持費　：月額5000円（税別）〜 利用用途 • カスタマーサポートチャットボット • 教育チャットボット • その他、お気軽にご相談ください 僕たちと一緒に開発を楽しみたい方 からのご連絡もお待ちしております