ローカルLLM基礎知識 / local LLM basics 2025

2025-11-22に開催された「第１回　ローカルLLMなんでも勉強会」での登壇資料です。

Transcript

1. ローカルLLM基礎知識 2025-11-22 ローカルLLM勉強会 きしだ なおき
2. 2025/11/22 2 自己紹介 • きしだ なおき • LINEヤフー • X(twitter): @kis • blog: きしだのHatena • (nowokay.hatenablog.com) • 「プロになるJava」というJavaの本を書いてます
3. 3 ローカルLLMとは • 自分(たち)のために動かすLLM • 今回は、個人が手元のPCで動かす前提 • 大人数で使う場合には様々な管理が必要 • 今回はスコープ外
4. ローカルLLMのメリット • ネットがなくても使える • 自分でコントロールできる • データを外に送らない • カスタマイズできる • 勉強になる • かわいい
5. LLMの仕組み • LLMを中心とした反応システム • LLM=大規模言語モデル • 言語を扱う大規模なニューラルネットワーク • Transformerを基本とする • 仕組み的には、文章の続きを生成
6. Transformer • 2017にGoogleが発表 • Attention is All You Need • アテンション • 文章中の単語がどの単語を注目しているか • O(n^2) • パラメータ数 • アテンションやFFNの重みの数
7. LLMを動かすのに必要なメモリ • 16bit floatの場合、1パラメータにつき2バイト • 7Bモデル(70億パラメータ)なら14GB • 8bit量子化 • 8bitにまるめても性能があまり変わらない • 7Bモデルなら7GB • 4bit量子化 • 4bitでも案外性能が落ちない • 7Bモデルなら3.5GB
8. MoE(Mixture of Experts) (GPT-4) • FFNは知識をうけもつ • すべての知識を同時に使うことはない • 多数の専門家モデルを持っておいて、 推論時に必要なモデルだけを呼び出 すことでリソースを節約 • GPT-oss 120B • エキスパート数 128 • アクティブパラメータ数5.1B
9. マルチモーダル • 文書と画像などを扱えるモデル • 画像とテキストの対応を学習 • CLIP • CLIPのベクトルをLLMに入れると 画像対応LLMがつくれる
10. ローカルLLMを動かすハードウェア • 単体GPU • CPU+GPU(128GB) 製品 メモリ 価格 RTX 5060 Ti 16GB ¥75,000 RTX 4090 24GB ¥400,000 RTX 5090 32GB ¥500,000 RTX PRO 5000 48GB ¥800,000 RTX PRO 6000 96GB 1,400,000 製品 Mac Studio ¥730,000 MacBook Pro ¥920,000 EVO X2 ¥320,000 DGX Spark ¥700,000
11. とはいえサーバー • Open Router • いろいろ動かせる • さくらのAI • GPT-oss 120Bや Qwen3 Coder 480Bなど • 3000回 / 月まで無料
12. AIは100倍速くなる • 今後、AIがこれ以上賢くなるかどうかはわからない • 確実に速くなっていく • CerebrasでQwen3 Coder 480Bが2600tok/sec • Cerebrasはウェハーサイズのプロセッサを作っている
13. ローカルLLMのモデル • お手頃 〜32B • Qwen3 (0.6~32B), Gemma 3(0.6〜27B), GPT-oss 20B • 大きめ 〜120B • Qwen3-Next 80B, GPT-oss 120B, GLM 4.5 Air(106B) • 大きい 〜300B • MiniMax M2(230B), Qwen3 235B, GLM 4.6(355B) • 巨大 〜1T • Kimi K2(1T), DeepSeek R2(671B)
14. マルチモーダル • 画像言語モデル • Qwen3-VL, GLM-4.5V, Llama 4, Gemma 3
15. LLMを動かすフレームワーク • PyTorch • 機械学習定番フレームワーク • Hugging Face Transformers(Python) • LLM作成フレームワーク • Llama.cpp(GGUF) • C++で実装したエンジン。モデル形式はGGUF。量子化がある • MLX • Apple Sililcon用行列計算フレームワーク • Unsloth • 動的量子化、ファインチューンフレームワーク
16. ローカルLLMの実行環境 • LM Studio • llama.cpp • Ollama • vLLM • Docker • Open WebUI
17. LM Studio • LLM統合環境 • 便利 • おすすめ
18. llama.cpp • LLM実行エンジン • LM StudioもOllamaも内部で使う • サーバー機能を持っている • 軽量でプログラムから使いやすい • 30MBくらい(+モデルが3GBくらい)
19. Ollama • 個人用LLM実行サーバー • あまり便利ではない • モデルを独自形式で保持 • ファイル操作できない • モデルの選択肢が不自由 • 量子化などを選べない
20. vLLM • サービス向け実行サーバー • ちょっとおおげさ
21. Docker • Dockerが入ってるなら手軽 • docker model run ai/gpt-oss:20B
22. Open WebUI • Web用UI • LLMを動かす機能は持たない • LM Studioなどに接続
23. ファインチューニング • LLMのカスタマイズ • ファインチューニングの分類 • CPT(継続事前学習) • 知識を教える • SFT(教師ありファインチューニング) • よいやりとりを教える • RLHF(人間の評価による強化学習) • 出力結果に点をつける • DPO(直接的な選考最適化) • 質問に対してよい応答とよくない応答を教える
24. ファインチューニングで考えること • データセットは？ • どこで実行する？ • NVIDIA GPUが必要 • モデルは？ • どう実行する？ • どう試す？
25. データセットは？ • がんばってググる • 自分で作る • 人力でがんばる • LLMに作らせる(ライセンス注意) • コンパイルエラー解説データ セットを作成中
26. どこで実行する？ • ファインチューンのフレームワーク(Unsloth)がCUDA前提なので NVIDIA GPUが必要 • 軽く試すならGoogle Colabがおすすめ • https://colab.research.google.com/
27. モデルは？ • 確保できたハードウェアでトレーニングできるサイズ • 8Bや14Bくらい。 • Gemma 3やQwen 3、Llama 3
28. どう実行する？ • Unslothフレームワーク • unsloth + finetuneで検索 • Colab Notebookが用意されている • 学習パラメータなど試行錯誤
29. できたモデルどう試す？ • 趣味なら雰囲気で！
30. 実際のところは？ • おそらくローカルLLMは小さい単機能な用途が多いはず • 大きいモデルでデータセットを作って、より小さいモデルをファ インチューンして動かせればコストも安くレスポンスもよい • 同じことを小さいモデルで動かせるようになれば勝ち