ローカルでLLMを使ってみよう

meetup app osaka@10
https://meetupapp.connpass.com/event/383295/

Transcript

1. ローカルでLLMを 使ってみよう @kosmosebi meetup app osaka@10 2026-02-21 1
2. Self Introduction { "name": "Keiji KAMEBUCHI", "corporation": "pnop Inc.", "web": "https://azure.moe/", "X": "@kosmosebi", "awards": [ "Microsoft Regional Director" ], "location": "Osaka, Japan", "YouTube": "https://www.youtube.com/@kosmosebi" } Senior Fellow @kosmosebi 2
3. Introduction • クラウド上の素晴らしい AI を使うのもいいけど、ローカルで 完結させたいこともあるよね • 今回はちょっとお気楽にローカルで動かしてみようという話 • なお Windows の機能のあれこれは今回話しません • Copilot + PC が、ねぇ… 3
4. Agenda • 言語モデルをローカルで動かす方法 • アプリから利用する 4
5. なぜローカルで動かすのか • クラウドはお金がかかるから （PC と電気代は無視するものとする） • 扱いたいデータがセンシティブ • この辺は緩和策もあるので割と微妙な動機ではある • 速度的なところ • 微妙 • クラウド側のほうが Inference/Reasoning もレイテンシーも速い場合も ある • 結局？ • 動かしたいから、PC が余ってる、コストを気にせず大量に処理したい、他 • 浪漫 5
6. 言語モデルをローカルで動かす方法 • Ollama https://ollama.com/ • OpenAI、Anthropic Messages API 互換のエンドポイントあり • クラウド版もあり • LM Studio https://lmstudio.ai/ • OpenAI、Anthropic Messages API 互換のエンドポイントあり • GUIが充実、商用ライセンス要件あり • Foundry Local https://www.foundrylocal.ai/ • Microsoft 謹製、現在 Preview • OpenAI 互換APIあり、Windows Server 2025 での動作も想定 • llama.cpp や vLLM とかもあるけど… • GGUF とか ONNX とか一旦置いときたい • カリカリも楽しいけど、今回はお手軽さで上記3つから選択 • OpenAI や Anthropic の互換 API があるといろいろ便利 • 最近はCPUオフロードとかもしてくれるし、動作環境の制限がだいぶ減った 6
7. Ollama • 割とデファクトなツール • CLI、UI も割とシンプル（個人の感想） • Ollama launch コマンドで Claude Code や OpenCode など 他のツールとの連携がしやすくなった 7
8. LM Studio • UI がリッチ、モデルが探しやすい • モデルのロード時のパラメーターなども弄りやすい • モデルの処理の状態や、API 呼び出し時のログが見やすい 8
9. Foundry Local • 現状 CLI と SDK のみ • Foundry Local のサービスやモデルロードなどを操作するた めの SDK が準備されてる • SDK 単体でロードや InProc での利用が可能 • 今のところ Anthropic API 互換はない 9
10. アプリから利用する • Claude Code • Anthropic API 互換で Function Calling 対応モデルならたぶん 大丈夫？ • 環境変数設定してモデル指定で起動すれば OK • ANTHROPIC_AUTH_TOKEN … 適当でいい • ANTHROPIC_BASE_URL … 各ツールのエンドポイント • ollama … http://localhost:11434 • LM Studio … http://localhost:1234 • ollamaなら直接起動可 • ollama launch claude --model gpt-oss:20b 10
12. アプリから利用する • Visual Studio の GitHub Copilot • Ask （質問）のみ利用可能 • モデルの管理で Foundry Local でダウンロードされてるモデルを追 加できる • 応答に特殊トークン混じりやすい？（モデルによるのかもしれない） 12
13. アプリから利用する • Visual Studio Code の GitHub Copilot • Ask （質問）のみ利用可能 • モデルの管理で Ollama と Foundry Local でダウンロードされて るモデルを追加できる • Foundry Local は AI Toolkit 経由らしく、foundry コマンドなどでダウン ロードしたものとは別のものを既定で参照してるぽい 13
14. おまけ • Windows AI APIs • Phi Silica を使ったり NPU を使って AI モデルを活用したアプリケー ションが作れる • Copilot + PC でないと、ほぼ使えない • Foundry Local • ローカル PC 上でモデルを実行したりできる • Foundry Local で動作する形式のモデルなら Copilot + PC でなくても動 作させることができる • CLI や REST API でアクセスするのでアプリの自由度も高い • ※ macOS 版もある • Windows ML • ONNX ランタイム経由で Windows 上で ONNX AI モデルを動かしたり、モ デルを変換、トレーニング、ファインチューニングしたりできる 14
15. まとめ • ローカルで愛でるのも楽しい…はず • 大半のケースはクラウド上のモデルを使ったほうが手間が無い • いろんな意味でエッジなケースか？ • コスト、検閲、ネットワーク、他いろいろ • 基本的にリソースの取り合い… • Claude Code 等から使うと結構 PC のスペックが必要 • ツールが変わるとモデルの管理方法もかわる（ファイルサイズ注意） 15