ローカルLLMアプリ開発環境のモニタリング

課題
•無料でやりたいので、クラウドサービスは使わない
•お試し。何度でもやり直しできるラズパイを使う

取り組む技術
•ラズパイ4 CPU4コア, RAM16GB［軽量なAIモデルを選定］
•LLMプラットフォーム：Ollama［OSSで探す］
•軽量AIモデル：Google Gemma, IBM Granite, tinyllama
•LLMアプリ開発：LangFlowローコード開発 （GUI）

1. ローカルLLMアプリ開発環境のモニタリング JDDUG#13 Japan Datadog User Group 2025/10/29 ファニーギーク 鹿野 市郎
2. 自己紹介 Profile ◼ 所属/経歴 • 電機メーカー勤務 • 経歴 1. サーバーのグローバル製造技術/営業 2. データセンター・プロジェクト 3. マネージドサービス（マルチクラウド・ハイブリッドクラウド） ◼ 個人活動 • 副業：FunnyGeek ITサービス（ファニーギーク） • ボランティア：CoderDojo青梅（主宰/Champion） • IBM チャンピオン：IBM Champion 2018-2025, 8 year Milestone • Datadog アンバサダー：Datadog Ambassador 2024, 2025 • 特定非営利活動法人 青梅こども未来 プログラミング講師 • 特定非営利活動法人 青梅の虹any, Rainbow Room プログラミング講師 • 特定非営利活動法人 多摩川流域生活支援ネットワーク, ポラリスキッズ プログラミング講師 • 一般社団法人 情報通信ネットワーク産業協会 CIAJ 調査統計員会 2024委員長 • 一般財団法人 科学技術継承財団 理事 KANO Ichiro 鹿野 市郎
3. 背景 • なぜ、ローカルLLMの話？ ➢ 本業で生成AIのモニタリングPJに参画している ➢ ゆえに、生成AIを理解しておく必要がある
4. どうやって生成AIを理解するか • 生成AIを使ったアプリを作りたい（学習目的） あなた、パスポートを 忘れたことあるね
5. 課題と技術 課題 • 無料でやりたいので、クラウドサービスは使わない • お試し。何度でもやり直しできるラズパイを使う 取り組む技術 • ラズパイ4 CPU4コア, RAM16GB ［軽量なAIモデルを選定］ • LLMプラットフォーム：Ollama［OSSで探す］ • 軽量AIモデル：Google Gemma, IBM Granite, tinyllama • アプリ開発 • 候補1：LangChain ライブラリ を使うか • 候補2：LangFlow ローコード開発 を使うか（GUI）
6. ラズパイに実装してみた できたこと３つ： • コーディングせずに、GUIドラッグ＆ドロップだけでアプリ開発できる • コーディング不要なので、プロンプト生成の検証と改良が素早い • 4つあるCPUコアは、コア毎に80%超過するとLEDが点滅する • 構成 Raspberry Pi OS Ollama Langflow granite3.1:1b granite3.3:2b gemma:2b granite3.2:2b LLM アプリ Node.js FastAPI http://host:7860 http://host:11434
7. ローコード開発環境： Langflow
8. アプリの中に、チャットを追加できる
9. アプリの中に、チャットを追加できる イマドキなUIを <HTML>タグで出力してくれる
10. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す
11. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す ▼開発したLLMアプリのプロンプトを試す 要改善（英語で回答するし、ハルシネーションだし）
12. 問題が発生！ 質問してから、 回答されるまでの時間が遅い
13. 問題が発生！ 質問してから、 回答されるまでの時間が遅い
14. 伝えたいこと：検証にはモニタリングが必須（性能） • リクエスト数 • 応答時間 • エラー数 • 依存関係
15. 伝えたいこと：検証にはモニタリングが必須（デバッグ） • トレース どこでエラー 発生したか エラー内容
16. クラウドサーバー(IaaS)にも実装してみた /BFF
17. APM > Traces 時系列にアプリ実行リクエスト数, エラー数, レイテンシー（13.1秒）, HTTPステータス[200]を確認できた。
18. APM > Traces > Waterfall 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。
19. APM > Traces > Waterfall > infrastructure 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。
20. LLM Observability > Traces 生成AIのInputプロンプトとOutputプロンプトが列挙される。
21. 疑問 ユーザーが入力したプロンプトを閲覧可能にしてよいのだろうか。 Input Output
22. 解決案 LLM応答の指標をモニタリングしつつ、入出力をマスクしてみた。 ローカルLLMの場合、自動でのハルシネーションやバイアス、応答精度は非対応。独自ロジック実装が必要。 Input Output
23. Qiitaに End to End のLLMモニタリング記事投稿しました ▪Tips: 入出力プロンプトの Mask ▪Tips: 初回29秒, 二回目7秒のナゾ ▪Tips: LLMObs SDK コードサンプル
24. ローカルLLMアプリ開発環境のモニタリング