リソース制限環境下でのローカルLLM構築術

ローカルLLM(Ollama+軽量LLM)とMCPの使い方について、以下の手順で説明します。
1. クラウドLLM、ローカルLLMの課題
2. Ollama+軽量LLMで始めよう！
3. MCPとは
4. MCPHost+Ollama

Transcript

1. リソース制限環境下でのローカルLLM構築術 2025.07.14 【オンライン】札幌すごいAI会 ローカルLLM特化回 三浦 恒樹 (MIURA KOUKI) 診療情報管理士 上級医療情報技師 医用画像情報専門技師 ドゥウェル株式会社
2. 長男が飼っている モンちゃん（ハリネズミ） がアイコン Self Introduction ・ドゥウェル株式会社 （医療系IT開発・導入会社）に所属 ・マネージャー（プレイング・マネージャー） ・TypeScript, Vue.js, Node.js, Java，C#, PHP ・３児の父 ・休日は子どものサッカー観戦 ・参加している勉強会 　札幌PHP勉強会、JBUG札幌、JavaDO、ゆるWeb勉強会、えびてく、 　クラメソ札幌IT勉強会(仮)、AWS初心者LT会in札幌、 　札幌すごいAI会、札幌IT石狩鍋、hokkaido.js　　等
3. 1. クラウドLLM、ローカルLLMの課題 2. Ollama+軽量LLMで始めよう！ 3. MCPとは 4. MCPHost+Ollama 5. まとめと展望 INDEX
4. １．クラウドLLM、ローカルLLMの課題 院内ネットワーク （病院の場合） クラウドLLMの課題（特定の業界・環境の場合） ローカルLLMの課題 クラウドLLM 病院など、外部ネットワークに 接続できない環境では優秀な クラウドLLMを利用し難い 予算 高性能H/W 低性能H/W 重量LLM 軽量LLM 投資対効果を明確に見積 りできない場合、投資額は 制限される
5. 2．Ollama+軽量LLMで始めよう！ 手順（10分くらい） https://ollama.com/download/linux ①Ollamaをインストール ②LLMモデルを探して https://ollama.com/search ③one-linerで開始 /bye で終了 MCPを使う場合 は”tools”対応を選 ぶ b=billion params (10憶パラメータ) LLMモデルを探すときは...
6. 3．MCPとは MCP Host (Included LLM and MCP Client) MCP Server MCP ローカルファイル データベース WebAPI 等 サーバー側の機能として以下が定義されている ・プロンプト プロンプトのテンプレートを返す ・リソース 副作用のないリソースアクセス ・ツール 副作用のあるリソースアクセス https://modelcontextprotocol.io/specification/2025-03-26/server/index
7. 4．MCPHostとOllama 手順（10分くらい） https://github.com/mark3labs/mcphost ①Go言語インストール ②MCPHostをインストール ③MCPクライアント設定後、実行 $ cat .mcp.json { "mcpServers": { "filesystem": { "type": "local", "command": ["npx", "@modelcontextprotocol/server-filesystem", "/tmp/test"], "environment": {}, "allowedTools": ["read_file", "write_file"], "excludedTools": ["delete_file"] }, } } $ $HOME/go/bin/mcphost -m ollama:qwen3:0.6b 動くはず。でしたが動きませんでした。ごめんなさい... (独自実装しているMCP Host(Ollama+Qwen3:0.6b+MCP Client) + MCP Serverでは動作することを確認済み。<-an excuse.）
8. ５．まとめと展望 • クラウドLLMを使用できない環境ではローカルLLMが有用 • 特定のタスクを実現する場合（LLMが解決するのは自然言語インターフェイス程度 で良い場合）、軽量LLMが有用 • Ollama+軽量LLM+MCPで特定タスクを実現するAIエージェントを構築できる • 展望... 大きい予算 高性能H/W SIP-med-LLM/SIP-j med-llm-2-8x13b SIP-med-LLM : https://huggingface.co/SIP-med-LLM/SIP-jmed-llm-2-8x13b-OP-instruct 国内医療LLM(SIP-med-LLM)を使った 実証実験を行いたい
9. ご清聴ありがとうございました。 最後に ： 「AIってすごい！」