ローカルLLMアプリ開発環境のモニタリング

ローカルLLMアプリ開発環境のモニタリング JDDUG#13 Japan Datadog User Group 2025/10/29 ファニーギーク鹿野市郎

自己紹介 Profile ◼ 所属/経歴 • 電機メーカー勤務 • 経歴 1. サーバーのグローバル製造技術/営業
2. データセンター・プロジェクト 3. マネージドサービス（マルチクラウド・ハイブリッドクラウド） ◼ 個人活動 • 副業：FunnyGeek ITサービス（ファニーギーク） • ボランティア：CoderDojo青梅（主宰/Champion） • IBM チャンピオン：IBM Champion 2018-2025, 8 year Milestone • Datadog アンバサダー：Datadog Ambassador 2024, 2025 • 特定非営利活動法人青梅こども未来プログラミング講師 • 特定非営利活動法人青梅の虹any, Rainbow Room プログラミング講師 • 特定非営利活動法人多摩川流域生活支援ネットワーク, ポラリスキッズプログラミング講師 • 一般社団法人情報通信ネットワーク産業協会 CIAJ 調査統計員会 2024委員長 • 一般財団法人科学技術継承財団理事 KANO Ichiro 鹿野市郎

背景 • なぜ、ローカルLLMの話？ ➢ 本業で生成AIのモニタリングPJに参画している ➢ ゆえに、生成AIを理解しておく必要がある

どうやって生成AIを理解するか • 生成AIを使ったアプリを作りたい（学習目的）あなた、パスポートを忘れたことあるね

課題と技術課題 • 無料でやりたいので、クラウドサービスは使わない • お試し。何度でもやり直しできるラズパイを使う取り組む技術 • ラズパイ4 CPU4コア,
RAM16GB ［軽量なAIモデルを選定］ • LLMプラットフォーム：Ollama［OSSで探す］ • 軽量AIモデル：Google Gemma, IBM Granite, tinyllama • アプリ開発 • 候補1：LangChain ライブラリを使うか • 候補2：LangFlow ローコード開発を使うか（GUI）

ラズパイに実装してみたできたこと３つ： • コーディングせずに、GUIドラッグ＆ドロップだけでアプリ開発できる • コーディング不要なので、プロンプト生成の検証と改良が素早い • 4つあるCPUコアは、コア毎に80%超過するとLEDが点滅する • 構成
Raspberry Pi OS Ollama Langflow granite3.1:1b granite3.3:2b gemma:2b granite3.2:2b LLM アプリ Node.js FastAPI http://host:7860 http://host:11434

ローコード開発環境： Langflow

アプリの中に、チャットを追加できる

アプリの中に、チャットを追加できるイマドキなUIを <HTML>タグで出力してくれる

旅行占いアプリを作ってみた ▼Playground でプロンプトを試す

旅行占いアプリを作ってみた ▼Playground でプロンプトを試す ▼開発したLLMアプリのプロンプトを試す要改善（英語で回答するし、ハルシネーションだし）

問題が発生！質問してから、回答されるまでの時間が遅い

伝えたいこと：検証にはモニタリングが必須（性能） • リクエスト数 • 応答時間 • エラー数 • 依存関係

伝えたいこと：検証にはモニタリングが必須（デバッグ） • トレースどこでエラー発生したかエラー内容

クラウドサーバー(IaaS)にも実装してみた /BFF

APM > Traces 時系列にアプリ実行リクエスト数, エラー数, レイテンシー（13.1秒）, HTTPステータス[200]を確認できた。

APM > Traces > Waterfall 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。

APM > Traces > Waterfall > infrastructure 関数の遷移とそれぞれにかかる実行時間をみる。Ollama呼び出しから応答までが13.1秒を占めている。

LLM Observability > Traces 生成AIのInputプロンプトとOutputプロンプトが列挙される。

疑問ユーザーが入力したプロンプトを閲覧可能にしてよいのだろうか。 Input Output

解決案 LLM応答の指標をモニタリングしつつ、入出力をマスクしてみた。ローカルLLMの場合、自動でのハルシネーションやバイアス、応答精度は非対応。独自ロジック実装が必要。 Input Output

Qiitaに End to End のLLMモニタリング記事投稿しました ▪Tips: 入出力プロンプトの Mask ▪Tips: 初回29秒,
二回目7秒のナゾ ▪Tips: LLMObs SDK コードサンプル

ローカルLLMアプリ開発環境のモニタリング

ローカルLLMアプリ開発環境のモニタリング

ローカルLLMアプリ開発環境のモニタリング

1kano

More Decks by 1kano

Featured

Transcript