Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

ローカルLLMアプリ開発環境のモニタリング

Avatar for 1kano 1kano
October 30, 2025
0
69

 ローカルLLMアプリ開発環境のモニタリング

課題
•無料でやりたいので、クラウドサービスは使わない
•お試し。何度でもやり直しできるラズパイを使う

取り組む技術
•ラズパイ4 CPU4コア, RAM16GB［軽量なAIモデルを選定］
•LLMプラットフォーム：Ollama［OSSで探す］
•軽量AIモデル：Google Gemma, IBM Granite, tinyllama
•LLMアプリ開発：LangFlowローコード開発 （GUI）

Avatar for 1kano

1kano

October 30, 2025
Tweet

More Decks by 1kano

See All by 1kano
ラズパイに詰め込んだLLMアプリ開発環境のモニタリング
Avatar for 1kano ichirokano2
0
39
Datadog, 無い機能なら作ってしまえ、カスタムメトリック
Avatar for 1kano ichirokano2
0
220

Featured

See All Featured
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k
[SF Ruby Conf 2025] Rails X
Avatar for Vladimir Dementyev palkan
0
640
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
29
4.1k
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
Avatar for Akihiro Kokubo akihiro_kokubo
PRO
65
35k
How to Grow Your eCommerce with AI & Automation
Avatar for Katarina Dahlin katarinadahlin
PRO
0
78
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
37
2.7k
Raft: Consensus for Rubyists
Avatar for Patrick Van Stee vanstee
141
7.3k
A Guide to Academic Writing Using Generative AI - A Workshop
Avatar for Kenji Saito ks91
PRO
0
170
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k
Visual Storytelling: How to be a Superhuman Communicator
Avatar for David Neal reverentgeek
2
400
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
560
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
0
720

Transcript

  1. ローカルLLMアプリ開発環境のモニタリング JDDUG#13 Japan Datadog User Group 2025/10/29 ファニーギーク 鹿野 市郎

  2. 自己紹介 Profile ◼ 所属/経歴 • 電機メーカー勤務 • 経歴 1. サーバーのグローバル製造技術/営業

    2. データセンター・プロジェクト 3. マネージドサービス（マルチクラウド・ハイブリッドクラウド） ◼ 個人活動 • 副業：FunnyGeek ITサービス（ファニーギーク） • ボランティア：CoderDojo青梅（主宰/Champion） • IBM チャンピオン：IBM Champion 2018-2025, 8 year Milestone • Datadog アンバサダー：Datadog Ambassador 2024, 2025 • 特定非営利活動法人 青梅こども未来 プログラミング講師 • 特定非営利活動法人 青梅の虹any, Rainbow Room プログラミング講師 • 特定非営利活動法人 多摩川流域生活支援ネットワーク, ポラリスキッズ プログラミング講師 • 一般社団法人 情報通信ネットワーク産業協会 CIAJ 調査統計員会 2024委員長 • 一般財団法人 科学技術継承財団 理事 KANO Ichiro 鹿野 市郎

  3. 背景 • なぜ、ローカルLLMの話？ ➢ 本業で生成AIのモニタリングPJに参画している ➢ ゆえに、生成AIを理解しておく必要がある

  4. どうやって生成AIを理解するか • 生成AIを使ったアプリを作りたい（学習目的） あなた、パスポートを 忘れたことあるね

  5. 課題と技術 課題 • 無料でやりたいので、クラウドサービスは使わない • お試し。何度でもやり直しできるラズパイを使う 取り組む技術 • ラズパイ4 CPU4コア,

    RAM16GB ［軽量なAIモデルを選定］ • LLMプラットフォーム：Ollama［OSSで探す］ • 軽量AIモデル：Google Gemma, IBM Granite, tinyllama • アプリ開発 • 候補1：LangChain ライブラリ を使うか • 候補2：LangFlow ローコード開発 を使うか（GUI）

  6. ラズパイに実装してみた できたこと３つ： • コーディングせずに、GUIドラッグ＆ドロップだけでアプリ開発できる • コーディング不要なので、プロンプト生成の検証と改良が素早い • 4つあるCPUコアは、コア毎に80%超過するとLEDが点滅する • 構成

    Raspberry Pi OS Ollama Langflow granite3.1:1b granite3.3:2b gemma:2b granite3.2:2b LLM アプリ Node.js FastAPI http://host:7860 http://host:11434

  7. ローコード開発環境： Langflow

  8. アプリの中に、チャットを追加できる

  9. アプリの中に、チャットを追加できる イマドキなUIを <HTML>タグで出力してくれる

  10. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す

  11. 旅行占いアプリを作ってみた ▼Playground でプロンプトを試す ▼開発したLLMアプリのプロンプトを試す 要改善（英語で回答するし、ハルシネーションだし）

  12. 問題が発生！ 質問してから、 回答されるまでの時間が遅い

  13. 問題が発生！ 質問してから、 回答されるまでの時間が遅い

  14. 伝えたいこと：検証にはモニタリングが必須（性能） • リクエスト数 • 応答時間 • エラー数 • 依存関係

  15. 伝えたいこと：検証にはモニタリングが必須（デバッグ） • トレース どこでエラー 発生したか エラー内容

  16. クラウドサーバー(IaaS)にも実装してみた /BFF

  17. APM > Traces 時系列にアプリ実行リクエスト数, エラー数, レイテンシー（13.1秒）, HTTPステータス[200]を確認できた。

  18. APM > Traces > Waterfall 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。

  19. APM > Traces > Waterfall > infrastructure 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。

  20. LLM Observability > Traces 生成AIのInputプロンプトとOutputプロンプトが列挙される。

  21. 疑問 ユーザーが入力したプロンプトを閲覧可能にしてよいのだろうか。 Input Output

  22. 解決案 LLM応答の指標をモニタリングしつつ、入出力をマスクしてみた。 ローカルLLMの場合、自動でのハルシネーションやバイアス、応答精度は非対応。独自ロジック実装が必要。 Input Output

  23. Qiitaに End to End のLLMモニタリング記事投稿しました ▪Tips: 入出力プロンプトの Mask ▪Tips: 初回29秒,

    二回目7秒のナゾ ▪Tips: LLMObs SDK コードサンプル

  24. ローカルLLMアプリ開発環境のモニタリング