ローカルLLMを用いた簡単なLLMアプリを作ってみた / Building a Simple LLM App with Local LLM

Transcript

1. ローカルLLMを用いた 簡単なLLMアプリを作ってみた 2025/05/15(木) 部内 生成AI勉強会
2. はじめに ┃本日お話しすること 2 ローカルLLMについて 作成したアプリについて
3. はじめに ┃本日お話しすること 3 ローカルLLMについて 作成したアプリについて ・Ollama ・使い方（導入方法） ・RAG ・行われている処理（デモ） ・LLMアプリの監視（Langfuse）
4. 4 ローカルLLMとは？
5. ローカルLLM ┃インターネット接続なしで自分のコンピューター上で 直接実行できる大規模言語モデル ┃特徴 ‐ データプライバシーとセキュリティの確保 ‐ コスト予測可能性 ‐ ネットワーク依存性の排除 5 企業内システムなどの閉じた環境と相性がよく 需要があると考えられる
6. 6 ローカルLLMはどうやって使う？
7. ┃LLMを簡単にローカル環境で実行できるように してくれるOSS ‐ 今回は公開されているDockerイメージを利用 • ollama/ollama - Docker Image | Docker Hub[2] Ollama[1] 7 ダウンロードしたモデルを管理・呼び出し [1] https://ollama.com/ [2] https://hub.docker.com/r/ollama/ollama
8. ┃Gemma（Google） ‐ 軽量（ノートPC・CPUのみでの動作可能） ┃Llama（Meta AI（旧Facebook）） ‐ 完全オープンソース[4] ┃Qwen（Alibaba Cloud） ‐ 多言語対応（日本語でも高い性能） Ollamaで利用できるモデル例[3] 8 [3] https://ollama.com/library [4] https://github.com/meta-llama/llama-models
9. クラウドとローカルの比較[5] 9 [5] https://qiita.com/ksonoda/items/f3c703fb7b689fd65868
10. 10 ローカルLLMを導入してみる
11. Ollama導入｜検証環境 ┃PCスペック ‐ OS：Windows 11 Home ‐ CPU：AMD Ryzen 5 4500 6-Core Processor 3.60 GHz ‐ GPU：NVIDIA GeForce RTX 4060 Ti ‐ メモリ：16GB ┃使用ツール ‐ WSL2(Ubuntu 24.04.1 LTS) ‐ Docker(Docker Desktop) 11
12. Ollama導入｜手順 ┃以下を準備してOllamaを導入していきます 12 WSL2 Docker NVIDIA Container Toolkit
13. Ollama導入｜WSL2の準備 ┃管理者としてpowershellを起動し、以下を入力 ┃システムを再起動し、Linuxユーザ情報を設定 ‐ ユーザ名・パスワードの設定 13
14. Ollama導入｜Dockerの準備 ┃docker 公式サイト[6]よりダウンロード・インストール 14 [6] https://www.docker.com/
15. Ollama導入｜GPU使用設定（スキップ可） ┃コンテナからGPUを使うためのツールを設定 ‐ ollama/ollama - Docker Image | Docker Hub 参照 15
16. Ollama導入｜Ollamaコンテナ起動 ┃以下コマンドでOllamaコンテナを起動 ‐ GPUの設定をしていない場合は –gpus=all を省略 ┃Docker Desktopからも確認可能 16
17. 17 ローカルLLMを使ってみる
18. Ollama利用｜コンテナから利用 ┃以下コマンドでコンテナ内へ ┃ollama run コマンドでモデルを起動し対話 18
19. Ollama利用｜コンテナから利用 ┃ollama run コマンドでモデルを起動し対話 19
20. Ollama利用｜LangChainから利用 ┃ChatOllama で簡単に呼び出し可能（コード） 20
21. Ollama利用｜LangChainから利用 ┃ChatOllama で簡単に呼び出し可能（コード） 21 この1行だけで呼び出せる！ AWSやAzureでの呼び出し方
22. Ollama利用｜LangChainから利用 ┃ChatOllama で簡単に呼び出し可能（実行結果） 22
23. Ollama利用｜LangChainから利用 ┃ChatOllama で簡単に呼び出し可能（実行結果） 23 コードからでも問題なく応答できている
24. ローカルLLMまとめ ┃ローカルLLMとは、自分のコンピューター上で 直接実行できる大規模言語モデルのことである ┃ローカルLLMは閉じた環境と相性がよく、今後 需要が高まると考えられる ┃Ollamaを用いることで簡単にローカルLLMを 扱うことができる 24
25. 25 作成したRAGアプリケーションについて
26. アプリ構成 26
27. アプリ構成｜Document_loader 27
28. Document_loader 28
29. Document_loader 29 チャンク分割 ベクトルDBへの保存 Documentオブジェクトへ変換
30. アプリ構成｜RAG 30
31. RAG｜プロンプト 31 Langfuse上でプロンプトを管理
32. RAG｜RAGチェーン 32
33. RAG｜RAGチェーン 33 入力データの作成 LLMの出力の整形 プロンプトの取得 関連ドキュメントの検索・取得
34. ┃Steamlitを利用 ‐ Pythonだけで簡単にウェブアプリケーションを作成できる オープンソースのフレームワーク ┃最近はMastraなども台頭してきている ‐ JavaScript/TypeScript製のオープンソースAIエージェント 開発フレームワーク ‐ 参考：The Typescript AI framework – Mastra[7] RAG｜アプリ部分 34 [7] https://mastra.ai/
35. 35 実際にアプリの動きを見てみる
36. RAG｜アプリデモ 36
37. RAG｜アプリまとめ ┃使えなくないがある程度のマシンスペックがないと、 割とレスポンスが重いように感じる ┃ローカルLLMは盛んに進歩しているので今後の 性能向上には期待できる ┃特に企業の内部システムや専門領域での 活用においては有用ではないかと感じている 37
38. 38 監視もしてみる
39. ┃LLMアプリの監視と評価のためのオープンソース プラットフォーム ‐ 簡単に導入することができる ┃できること ‐ トレース ‐ コスト追跡 ‐ プロンプトの管理 など Langfuse[8] 39 [8] https://langfuse.com/
40. ┃Docker composeで利用 ‐ 参考：Docker Compose (self-hosted) – Langfuse[9] ‐ http://localhost:3000で利用可能 Langfuse｜導入 40 [9] https://langfuse.com/self-hosting/docker-compose
41. Langfuse｜実装 41 コールバックハンドラーを作成 各ステップの情報を Langfuseに自動送信
42. 42 実際に監視内容を見てみる
43. Langfuse｜デモ 43
44. Langfuse｜まとめ ┃Langfuseを用いると比較的簡単にLLMアプリの 監視をすることができる ┃監視だけでなく、様々な機能がある ┃なにかしらLLMアプリを監視できる仕組みを 用意しておくことは大事 44
45. おわりに｜まとめ ┃本日お話ししたこと 45 ローカルLLMについて 作成したアプリについて ・Ollama ・使い方（導入方法） ・RAG ・行われている処理（デモ） ・LLMアプリの監視（Langfuse）
46. おわりに｜まとめ ┃本日お話ししたこと 46 ローカルLLMについて 作成したアプリについて 比較的簡単に扱うことができる ローカルLLM × RAG の可能性 今後の発展にも注視
47. おわりに｜感じたこと ┃技術的ハードルの低下 ‐ Ollamaなどのツールにより、ローカルLLMの導入が容易に ┃技術進歩の速さ ‐ どんどん性能が高いLLMが発表されている 47 基本的にはクラウドのLLMを利用すればよいが ローカルLLMに1度触れてみることはおすすめ