ラズパイに詰め込んだLLMアプリ開発環境のモニタリング

■テーマ
・生成AIを使ったアプリ開発を体験する。
・試してみるアプリは、旅行先でどんなことが起こるのか占いをするアプリとする。
■解決したい課題は２つ。
・無料でやりたいので、クラウドサービスは使わない。
・お試しなので、何度もやり直せるラズパイを使う。
■取り組む技術は
・ラズパイで動くことが条件なので軽量AI
・AIプラットフォームは、OSSのOllama
・AIモデルは、グーグルとIBMの軽量モデルを使います
・アプリ開発は、２つある候補からローコード開発ができるLangFlowを選びました。

Transcript

1. ラズパイに詰め込んだ 生成AIアプリ開発環境のモニタリング Tech Roots 2025/9/5（金）18:30~ 鹿野 市郎
2. 自己紹介 Profile ◼ 所属/経歴 • 電機メーカー勤務 • 経歴 1. サーバーのグローバル製造技術/営業 2. データセンター・プロジェクト 3. マネージドサービス（マルチクラウド・ハイブリッドクラウド） ◼ 個人活動 • 副業：FunnyGeek ITサービス（ファニーギーク） • ボランティア：CoderDojo青梅（主宰/Champion） • IBM チャンピオン：IBM Champion 2018-2025, 8 year Milestone • Datadog アンバサダー：Datadog Ambassador 2024 • 特定非営利活動法人 青梅こども未来 プログラミング講師 • 特定非営利活動法人 青梅の虹any, Rainbow Room プログラミング講師 • 特定非営利活動法人 多摩川流域生活支援ネットワーク, ポラリスキッズ プログラミング講師 • 一般社団法人 情報通信ネットワーク産業協会 CIAJ 調査統計員会 委員(2024委員長) • 一般財団法人 科学技術継承財団 理事 KANO Ichiro 鹿野 市郎
3. 今日のテーマ • 生成AIを使ったアプリを作りたい （目的は学習・経験） あなた、パスポートを 忘れたことあるね ・試してみるアプリは、旅行先でどんなことが起こるのか占いをするアプリ。
4. 課題と技術 課題 • 無料でやりたいので、クラウドサービスは使わない • お試し。何度もやり直しできるラズパイを使う 取り組む技術 • ラズパイ4 CPU4コア, RAM16GB ［軽量なAIモデルを選定］ • LLMプラットフォーム：Ollama［OSSで探す］ • 軽量AIモデル：Google Gemma, IBM Granite 3つの世代 • 候補1：LangChain ライブラリ を使うか • 候補2：LangFlow ローコード開発 を使うか（GUIで検証・改造）
5. ラズパイに実装してみた できたこと３つ： • コーディングせずに、GUIドラッグ＆ドロップだけでアプリ開発できる • コーディング不要なので、プロンプト生成の検証と改良が早い • 4つあるCPUコアは、コア毎に80%超過するとLEDが点滅する • 構成 Raspberry Pi OS Ollama Langflow granite3.1:1b granite3.3:2b gemma:2b granite3.2:2b LLM アプリ Node.js FastAPI http://host:7860 http://host:11434
6. ローコード開発環境： Langflow GUI画面のノードを並べ替えて、複雑なワークフローを組み立てて、アプリを開発します。
7. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す ・Langflowのプレイグランド機能で、アプリをすぐに試せます。
8. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す ▼開発したLLMアプリのプロンプトを試す ・アプリが完成したら、デプロイして、WEBブラウザでアプリを動かすことができます。
9. 問題が発生！ 質問してから、 回答されるまでの時間が遅い
10. 問題が発生！ 質問してから、 回答されるまでの時間が遅い 数値でレスポンスわかるとイイ
11. 伝えたいこと：検証にはモニタリングが必須（性能） • リクエスト数 • 応答時間 • エラー数 • 依存関係
12. 伝えたいこと：検証にはモニタリングが必須（デバッグ） • トレース どこでエラー 発生したか すばやく 見つかる エラー内容
13. 宣伝：情報システムの監視・モニタリング AI と クラウド時代 に分散化し複雑になった環境をシンプル化できる オブザーバビリティ Datadog が おススメ
14. まとめ（KPT振り返り） （Keep）できたこと • ラズパイに 生成AIアプリ開発環境を実装 できた • アプリ開発で モニタリングの大切さ を体験できた （Problem）できなかったこと • 作ったアプリの 生成されるテキストの回答精度 が低い （Try）次にやること • 旅行占い アプリを完成 させて、12月のイベントで展示する