ローカルLLM環境でのAgent構築 https://x.com/shindoy 

2025 MaaS - GPUStack 2022 Jira - Atlassian 

によるローカルLLM環境でのAgent構築 1.環境セットアップ（GPUStack導入含む）
 　Homebrew等で開発環境を整えた後、GPUStack環境を構築（インストールTipsあり！）
 
 2.LLMモデルの準備
 　GGUF形式の量子化済みモデル（例：Mistral, LLaMA2など）等を取得しGPUStackで動作確認
 
 3.プロンプトテンプレートの整備
 　使用モデルに合わせてChatML/Alpaca/Vicuna等のプロンプト形式を設計
 
 4.チャットエージェントの構築
 　LangChainやllama-cpp-pythonを用い会話制御やRAG機能を備えたチャットエージェント構成
 
 5.Dockerによる構成管理
 　再現性・配布性のためGPUStackとエージェント環境をDockerfile/DockerComposeで管理
 
 6.UI構築
 　Gradio, Streamlit, FastAPI等を使って、LLMと連携するシンプルなWebチャットUIを提供
 
 7.セキュリティ・最適化
 　ローカル通信限定、Metal最適化、量子化モデル選定などで安全かつ効率的な実行を確保
 
 8.テスト&チューニング
 　チャット品質・応答速度・リソース使用量を評価し、推論パラメータやRetrieverの最適化 

前提のお話 皆さん、Agent構築は クラウド使ってますよね 

今日のお話 ローカルでの構築はいいぞ そろそろ 

1.ローカルLLM環境導入Tips
 

No content

No content

https://docs.gpustack.ai/ 

No content

https://docs.gpustack.ai/latest/installation/installation-requirements/ 

No content

No content

2.LLMモデルの準備Tips 

No content

No content

No content

No content

No content

量子化レベル メモリ削減 精度への影響 推奨用途 3bit 約75%削減 中～高 メモリ制約が厳しい環境（16GB RAM） 4bit 約65%削減 低～中 一般的な用途に最適なバランス 8bit 約50%削減 最小限 高精度が必要な用途（32GB以上のRAM推奨） 

# モデルカタログの表示 gpustack models list # モデルのダウンロード（例：Llama 3.1 8B Instruct） gpustack models download mlx-community/Llama-3.1-8B-Instruct-3bit # ダウンロード済みモデルの確認 gpustack models local モデル関係のコマンド 

自作LLMのデプロイ 

No content

ローカル環境でのAgent開発メリット ・試行錯誤の自由さ ・APIコストの抑制 ・基礎技術の理解 ・セキュリティとプライバシー 

エージェント開発w/GPUStackメリット ・リソースの柔軟性
 必要に応じて計算リソースをスケールアップ/ダ ウンできるため、プロジェクトの規模に応じた最 適なリソース管理が可能 ・物理制約からの解放
 HWによる物理的な制約から解放され、より柔軟で カスタマイズ性の高いシステム構築が可能 

ローカルLLMの課題 ・初期構築コスト（HW購入、構築費用等） ・維持管理コスト（電力、人材、Ops費用） ・LLM選定ノウハウ（検証コスト） 

ローカルLLMの課題 ・初期構築コスト→ ・維持管理コスト（電力、人材、Ops費用） ・LLM選定ノウハウ（検証コスト） 無料 

https://note.com/cor_instrument/n/n6d2bc4db9175 ✗ 

異なるHWの組み合せによる構成でも 異なるNW上のワーカーでも一元管理可能 

アーキテクチャ サーバ ワーカー ワーカー:1 ワーカー:n 

アーキテクチャ LLM 実行 

GPUStackをGPUが入っていないLinuxサーバにインストール、 そのサーバ上から、GPUが入っているサーバをワーカーに追加する、 と言う構築方法は正しいですか？ それとも、GPUStackがインストールされるサーバもGPUが必要ですか？ 実際にあった質問 回答：サーバはGPU不要 

No content

UI AIエージェント データ ソース Tokenize Detokenize API REST / WebSocket ローカルLLM環境 Agent開発 LLM 実行環境 HW 

No content

・完全なデータ主権 ・入出力データが企業内で完結 ・自社の情報管理ポリシー完全準拠 ・顧客データや知財も保護可能 • ローカル環境でのAgent開発メリット （ビジネス目線） 

オンプレミス・ ローカルLLM クラウドサービス API使用 某サービス 有料版 某サービス 無料版 学習 されない されない されない オプトアウト が必要 データ 自己保有 ベンダー内 ベンダー内 ベンダー内 される セキュリティレベル 高 低 準拠法 日本国 海外 （一部日本） 海外 海外 ( ) ※完全なる正確性を保証するものではありません ※他社様のサービスを批判する目的ではありません 

オンプレミス・ ローカルLLM クラウドベンダー のAPI使用 生成AIツール 有料版 生成AIツール 無料版 学習 されない されない されない オプトアウト が必要 データ 自己保有 ベンダー内 ベンダー内 ベンダー内 される セキュリティレベル 高 低 準拠法 日本国 海外 （一部日本） 海外 海外 ( ) ※完全なる正確性を保証するものではありません ※他社様のサービスを批判する目的ではありません クラウドサービス API使用 某サービス 有料版 某サービス 無料版 

「ローカルLLM」 参考情報 

͉ 

No content

No content

No content

No content

3.情報源Tips
 

No content

No content

ありがとうございました！