ローカルLLM

Transcript

1. 0 ローカルLLM 2025-11-06 第134回NearMe技術勉強会 Takuma KAKINOUE
2. 1 LLMをローカルで動かしたい • 楽にできる⽅法はないか？ → Ollamaを使ってみよう！（https://ollama.com/） • どのモデルを動かそう？ ◦ https://ollama.com/search ◦ gpt-ossが気になったのでgpt-oss:20bを動かしてみる
3. 2 動かし⽅ • ollama pull gpt-oss:20b • ollama run gpt-oss:20b
4. 3 環境 • Windows11 • GPU：RTX5070Ti（VRAM：16GB）
5. 4 動かしてみた結果 約12秒で完全な出⼒が得られた！ AIからの返答は、「前提知識があれば理解できる が、⼩学⽣が理解するのは難しそう」といった 感じ..
6. 5 Mac（M2 Pro）でも試してみた • brew install ollama • ollama serve • ollama pull gpt-oss:20b • ollama run gpt-oss:20b 同じ質問をしたら、完全な出⼒が得られるのに約43秒かかった → 5070tiより遅いが実⽤的なレベル ※出⼒の内容は若⼲異なったが（⻑さは同程度）、質はどっこいどっこい
7. 6 本家ChatGPT（無課⾦版）では 28秒かかったが、 内容は⼀番わかりやす かった！ （モデルはOSS版と異な る模様）
8. 7 結果 • local（RTX5070Ti） ◦ 処理時間：約12秒、出⼒精度：普通 • local（Mac M2 Pro） ◦ 処理時間：約43秒、出⼒精度：普通 • 無課⾦版ChatGPT ◦ 処理時間：約28秒、出⼒精度：良い
9. 8 コーディングもやらせてみた結果（local: Mac M2 Pro） ＞ FizzBuzz問題を解くコードをPythonで書いて。
10. 9 今後の展望 • Toolsなどを使って⾃作コーディングエージェントを作ってみる （余談） DGX Sparkほしい..! https://www.nvidia.com/ja-jp/products/workstations/dgx-spark/
11. 10 Thank you