ローカルLLMでどこまでコードが書けるか -LLM基礎知識 / How much code can be written on a local LLM - fundamental knowledge

2026年9月2日に開催された「コーディングのためのローカルLLM勉強会」での登壇資料です。
https://lycorptech-jp.connpass.com/event/402836/

Transcript

1. ローカルLLMでどこまでコードが書けるのか 2026-09-02 コーディングのためのローカルLLM勉強会 きしだ なおき #地元のLLM会
2. • • • きしだ なおき X(twitter): @kis blog: きしだのHatena • • 自己紹介 (nowokay.hatenablog.com) 「プロになるJava」というJavaの本を書いてます 2026/09/02 2
3. 2023年からの3年で おうちで動くLLMはどう変わったか 3
4. 2023 「動いて偉い！」 • • • チャットのできるモデルが出始める 日本語を学習させないと 日本語は話せない 「対話できてえらい」 「聞いたことに答えてくれて偉い」
5. 2024「まともに動く！」 • • まともな意味のある長文を出す 特別に学習しなくても日本語で答える
6. 2025「使えそう！」 • • • Gemma 3/Qwen3登場 意味のある動くプログラムを一発で出す 専門的な内容を解説する
7. 2026「使える！」 • • • • Gemma 4 / Qwen3.6登場 英語のレポートを要約して解説 まとまったプログラムを作る エージェントで作業する
8. 2026/6「必要では？」 • • • • 最高モデルが出たらすぐ止まる 最高だったモデルがなんか性能落ちてる トークン際限なく使えない 大きいローカルモデルなら代替がある程度可能
9. 2026/9「実行環境次第」 • モデル自体は完全に実用化 • • Qwen3.8, DeepSeek V4, GLM5.8-Flash 問題はどう動かすか • デバイス高騰でなかなか
10. 現在の状況(モデル) • • • • • • Qwen3.8-27B Qwen3.8-Flash-Next(125B-A6B-E51B) DeepSeek V4 Flash(284B-A13B) GLM-5.3-Flash(320-A18B) メモリ高騰が残念 非中国モデルならMuse Glimmer(30B), Laguna S 2.1(118B-A8B)
11. 現在の状況(ビジネス的) • • • コーディングエージェント使い放題はコストがかさむ プロプラモデルは制限がきびしい プロプラモデルは値上がりする • • • サーバーが足りてない 新しい高性能モデルは高くなっていってる プロプラモデルはなんか性能さがってる
12. • • • コーディング以外のモデル 要約、翻訳、話し相手 Gemma 4 12B コード以外のエージェント Muse Glimmer メモリ少ないんやGPUないんや LFM2.5-8B-A1B 翻訳専用 Hy-MT2 TranslateGemma LFM2-350M-ENJP-MT • • • • • •
13. 今日の話 • 手元のマシンでコーディング作業を行う • • • 32GB-128GBの統合メモリでQwen3.8 / Gemma 4を動かす 将来的には192GB-256GBで250B程度を動かす 15万トークン以内の作業
14. • • オープンウェイトモデルの整理 G7デジタル技術大臣会合での整理 ウェイト利用可能AI • • なんらか利用条件のあるライセンス(モデル名明示など) ex: Qwen3.8-Flash-Next, Kimi-K3 オープンウェイトAI • オープンソースライセンス(Apache 2.0, MIT, OpenMDW 1.1) ex: Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash • • オープンデータ付きオープンソースAI • • 学習データや学習スクリプトなど公開 ex: LLM-JP, Nemotron オープンソースAI • 学習データについて公開できないものは説明(該当なし)
15. • モデルの数字のみかた パラメータってなんや 掛け算するための値 GBに置き換えたらだいたいのサイズ(8bit) 100Bなら8bitで100GB 知識をもたせるにはパラメータサイズが必要 パラメータあたり2bitの情報といわれている ex: 山口県知識 30B : いくつも間違い, 150B : 1つ間違い, 300B : だいたいあってる • • • • • • •
16. • • モデルの数字のみかた アクティブってなんや 実際に計算につかうパラメータ MoE(Mixture of Experts) 一部のエキスパートだけ動かす 動かすパラメータが多いほど賢い Dense / MoE • • • • • • MoEは速い Denseは重いけど賢い https://kishida.github.io/QwenQwen3.js/html/router-viz.html
17. • フルアテンション • • • かいつまんでトークンの関係を見る 計算量はピックアップ方法による スライディングアテンション • • すべてのトークンの関係を見る。O(n^2) スパースアテンション • • アテンションの種類 直近のトークンを見るO(1) 線型アテンション • 計算方法を工夫してO(1)
18. • 量子化 LLMはパラメータの精度を落としても性能が落ちにくい • • アテンションは精度を高めに、FFNは精度を落とすと性能を落とさずサ イズを減らせる • • • 妥当な候補の確率が高い、ある程度辻褄をあわせれる サイズが減るとメモリからプロセッサへの転送も減って速くなる Q4_K_Mくらいがサイズ/性能の バランスがいい サイズに対して指数関数的に性能は 落ちる https://unsloth.ai/docs/models/glm-5.3-flash
19. Q4_K_MとかQ4_K_Sってなに？ • • • Q4はわかる Kもなんかアルゴリズムらしい MとかLとかSって？ • • アテンションなど大事なところは 精度が高いものを使う その比率がLは高くSは低い Qwen3-0.6 Q4_K_M Q4_K_S
20. • SWE-Bench Verified • • 難しい問題や実務的な問題を加えたもの DeepSWE • • SWE-Benchからあいまいだったりテストがなかったりを削ったもの SWE-Bench Pro • • ベンチマーク GitHubリポジトリの実装されなさそうな変更タスクを設定して開発 そこそこコードが書けたら、テストなどの手順がよければ通る • エージェント上の試行錯誤、つまりエージェント含めた推論時スケール
21. LLMの評価は採用面接のようなもの • ベンチマークはペーパーテスト • • • いかに「面接」するか 賢いモデルはトークン利用が少ない • • 対策するとみんなとける 「面接」でも、よい候補者は端的に簡潔に説明してすぐ終わる コードの質を見る • • const flag=false;の3行後にflag=trueしてエラーになってると萎える フレームワークなしWeb TODO管理できれいなフレームワークができる とあがる
22. • ハードウェア SoC – CPU/NPU/GPUを統合したチップ • • • • • AMD Ryzen AI Max+ 395–EVO-X2:128GB/48万円58万円 Intel Core Ultra 7 – EVO-T2 64GB / 32万円33万円 NVIDIA GB10 – Ascent GX10: 128GB / 58万円85万円 NVIDIA RTX Spark ??(きっとGB10と同じ) Apple Silicon – Mac Studio: 128GB / 95万円 • • • • • • GPU(32GB) RTX 5060 Ti 16GB x2 / 20万円25万円 Intel Arc Pro B70 / 22万円30万円 Radeon AI Pro R9700 / 25万円30万円 RTX 5090 / 60万円~90万円~ RTX PRO 4500 / 60万円123万円 GPUで動かそうとすると高いのでCPU+GPU一体型で
23. 5年後は？ • • ハードウェアの進化だけでは動かせるモデルは増えない メモリ → 年率40%成長 → 5年で5.3倍 大きいモデルも乗るだけなら乗る プロセッサ → 年率30%成長 → 5年で3.7倍 もすこし足りない 帯域 → 年率20%成長 → 5年で2.4倍 今でも2倍欲しいので、2.4倍になっても・・・ • • • • • • 300Bくらいが主戦場では • • 普通にコーディングできる フロンティアモデルと使い分け(設計やデバッグはフロンティア、作業はローカル)
24. • llama.cpp • • DeepSeek V4 / GLM 5.3 / GLM 5.3-Flash専用 SGlang / vLLM • • mac用。ファイル形式はmlx DwarfStar • • さまざまな量子化。多くの実行環境に対応。 mlx-lm/vlm • • 実行エンジン 複数人で使うサーバーにするなら 割と簡単に(AIさんが)つくれるので自分の実装を持っておくのもおすすめ きしだもQwen専用エンジンをつくっている(QuestWend) •
25. • こんな感じ 実行エンジン選択チャート
26. 統合ツール • 実行エンジン、モデル管理、UIなどの統合 • • LM Studio • • • GUIツール モデル管理しやすい Ollama • • • いずれもllama.cpp, mlx-lm対応 CLIツール 独自管理で慣れるとかなり不便 慣れるとllama.cpp直などになっていく
27. コーディングエージェント • オープンソース • • • • OpenCode Pi DeepSeek Herness クローズドツールも使える • • Codex Claude Code
28. • • • • 実際にローカルでコード書けるの？ Qwen3.8-27B + OpenCodeでQwen3のJavaScript実装つくった 25万トークンでちゃんと動かした ありそうなコードは書ける 細かい仕様をたくさん誤解している • • • • 知識総量はパラメータ数依存なので細かい 知識があいまい その誤解を元にコードを書くと 正しい仕様を信じなくなる。相当頑固 資料を可能な限り渡して仕様を吐き出させ誤解を修正してからの実装が必要 ローカルは検索エンジンの制約から、検索はにがて
29. まとめ • • 実用的になっている HTML画面の作り起こし、UIの変更などは十分にまかせれる • • • • コスト削減 込み入ったデバッグや設計などはフロンティアモデルを使う 工夫次第でかなりの作業を手元でできる あと、ローカルで動かすの楽しい