Slide 1

Slide 1 text

ローカルLLMでどこまでコードが書けるのか 2026-09-02 コーディングのためのローカルLLM勉強会 きしだ なおき #地元のLLM会

Slide 2

Slide 2 text

● ● ● きしだ なおき X(twitter): @kis blog: きしだのHatena ● ● 自己紹介 (nowokay.hatenablog.com) 「プロになるJava」というJavaの本を書いてます 2026/09/02 2

Slide 3

Slide 3 text

2023年からの3年で おうちで動くLLMはどう変わったか 3

Slide 4

Slide 4 text

2023 「動いて偉い!」 ● ● ● チャットのできるモデルが出始める 日本語を学習させないと 日本語は話せない 「対話できてえらい」 「聞いたことに答えてくれて偉い」

Slide 5

Slide 5 text

2024「まともに動く!」 ● ● まともな意味のある長文を出す 特別に学習しなくても日本語で答える

Slide 6

Slide 6 text

2025「使えそう!」 ● ● ● Gemma 3/Qwen3登場 意味のある動くプログラムを一発で出す 専門的な内容を解説する

Slide 7

Slide 7 text

2026「使える!」 ● ● ● ● Gemma 4 / Qwen3.6登場 英語のレポートを要約して解説 まとまったプログラムを作る エージェントで作業する

Slide 8

Slide 8 text

2026/6「必要では?」 ● ● ● ● 最高モデルが出たらすぐ止まる 最高だったモデルがなんか性能落ちてる トークン際限なく使えない 大きいローカルモデルなら代替がある程度可能

Slide 9

Slide 9 text

2026/9「実行環境次第」 ● モデル自体は完全に実用化 ● ● Qwen3.8, DeepSeek V4, GLM5.8-Flash 問題はどう動かすか ● デバイス高騰でなかなか

Slide 10

Slide 10 text

現在の状況(モデル) ● ● ● ● ● ● Qwen3.8-27B Qwen3.8-Flash-Next(125B-A6B-E51B) DeepSeek V4 Flash(284B-A13B) GLM-5.3-Flash(320-A18B) メモリ高騰が残念 非中国モデルならMuse Glimmer(30B), Laguna S 2.1(118B-A8B)

Slide 11

Slide 11 text

現在の状況(ビジネス的) ● ● ● コーディングエージェント使い放題はコストがかさむ プロプラモデルは制限がきびしい プロプラモデルは値上がりする ● ● ● サーバーが足りてない 新しい高性能モデルは高くなっていってる プロプラモデルはなんか性能さがってる

Slide 12

Slide 12 text

● ● ● コーディング以外のモデル 要約、翻訳、話し相手 Gemma 4 12B コード以外のエージェント Muse Glimmer メモリ少ないんやGPUないんや LFM2.5-8B-A1B 翻訳専用 Hy-MT2 TranslateGemma LFM2-350M-ENJP-MT ● ● ● ● ● ●

Slide 13

Slide 13 text

今日の話 ● 手元のマシンでコーディング作業を行う ● ● ● 32GB-128GBの統合メモリでQwen3.8 / Gemma 4を動かす 将来的には192GB-256GBで250B程度を動かす 15万トークン以内の作業

Slide 14

Slide 14 text

● ● オープンウェイトモデルの整理 G7デジタル技術大臣会合での整理 ウェイト利用可能AI ● ● なんらか利用条件のあるライセンス(モデル名明示など) ex: Qwen3.8-Flash-Next, Kimi-K3 オープンウェイトAI ● オープンソースライセンス(Apache 2.0, MIT, OpenMDW 1.1) ex: Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash ● ● オープンデータ付きオープンソースAI ● ● 学習データや学習スクリプトなど公開 ex: LLM-JP, Nemotron オープンソースAI ● 学習データについて公開できないものは説明(該当なし)

Slide 15

Slide 15 text

● モデルの数字のみかた パラメータってなんや 掛け算するための値 GBに置き換えたらだいたいのサイズ(8bit) 100Bなら8bitで100GB 知識をもたせるにはパラメータサイズが必要 パラメータあたり2bitの情報といわれている ex: 山口県知識 30B : いくつも間違い, 150B : 1つ間違い, 300B : だいたいあってる ● ● ● ● ● ● ●

Slide 16

Slide 16 text

● ● モデルの数字のみかた アクティブってなんや 実際に計算につかうパラメータ MoE(Mixture of Experts) 一部のエキスパートだけ動かす 動かすパラメータが多いほど賢い Dense / MoE ● ● ● ● ● ● MoEは速い Denseは重いけど賢い https://kishida.github.io/QwenQwen3.js/html/router-viz.html

Slide 17

Slide 17 text

● フルアテンション ● ● ● かいつまんでトークンの関係を見る 計算量はピックアップ方法による スライディングアテンション ● ● すべてのトークンの関係を見る。O(n^2) スパースアテンション ● ● アテンションの種類 直近のトークンを見るO(1) 線型アテンション ● 計算方法を工夫してO(1)

Slide 18

Slide 18 text

● 量子化 LLMはパラメータの精度を落としても性能が落ちにくい ● ● アテンションは精度を高めに、FFNは精度を落とすと性能を落とさずサ イズを減らせる ● ● ● 妥当な候補の確率が高い、ある程度辻褄をあわせれる サイズが減るとメモリからプロセッサへの転送も減って速くなる Q4_K_Mくらいがサイズ/性能の バランスがいい サイズに対して指数関数的に性能は 落ちる https://unsloth.ai/docs/models/glm-5.3-flash

Slide 19

Slide 19 text

Q4_K_MとかQ4_K_Sってなに? ● ● ● Q4はわかる Kもなんかアルゴリズムらしい MとかLとかSって? ● ● アテンションなど大事なところは 精度が高いものを使う その比率がLは高くSは低い Qwen3-0.6 Q4_K_M Q4_K_S

Slide 20

Slide 20 text

● SWE-Bench Verified ● ● 難しい問題や実務的な問題を加えたもの DeepSWE ● ● SWE-Benchからあいまいだったりテストがなかったりを削ったもの SWE-Bench Pro ● ● ベンチマーク GitHubリポジトリの実装されなさそうな変更タスクを設定して開発 そこそこコードが書けたら、テストなどの手順がよければ通る ● エージェント上の試行錯誤、つまりエージェント含めた推論時スケール

Slide 21

Slide 21 text

LLMの評価は採用面接のようなもの ● ベンチマークはペーパーテスト ● ● ● いかに「面接」するか 賢いモデルはトークン利用が少ない ● ● 対策するとみんなとける 「面接」でも、よい候補者は端的に簡潔に説明してすぐ終わる コードの質を見る ● ● const flag=false;の3行後にflag=trueしてエラーになってると萎える フレームワークなしWeb TODO管理できれいなフレームワークができる とあがる

Slide 22

Slide 22 text

● ハードウェア SoC – CPU/NPU/GPUを統合したチップ ● ● ● ● ● AMD Ryzen AI Max+ 395–EVO-X2:128GB/48万円58万円 Intel Core Ultra 7 – EVO-T2 64GB / 32万円33万円 NVIDIA GB10 – Ascent GX10: 128GB / 58万円85万円 NVIDIA RTX Spark ??(きっとGB10と同じ) Apple Silicon – Mac Studio: 128GB / 95万円 ● ● ● ● ● ● GPU(32GB) RTX 5060 Ti 16GB x2 / 20万円25万円 Intel Arc Pro B70 / 22万円30万円 Radeon AI Pro R9700 / 25万円30万円 RTX 5090 / 60万円~90万円~ RTX PRO 4500 / 60万円123万円 GPUで動かそうとすると高いのでCPU+GPU一体型で

Slide 23

Slide 23 text

5年後は? ● ● ハードウェアの進化だけでは動かせるモデルは増えない メモリ → 年率40%成長 → 5年で5.3倍 大きいモデルも乗るだけなら乗る プロセッサ → 年率30%成長 → 5年で3.7倍 もすこし足りない 帯域 → 年率20%成長 → 5年で2.4倍 今でも2倍欲しいので、2.4倍になっても・・・ ● ● ● ● ● ● 300Bくらいが主戦場では ● ● 普通にコーディングできる フロンティアモデルと使い分け(設計やデバッグはフロンティア、作業はローカル)

Slide 24

Slide 24 text

● llama.cpp ● ● DeepSeek V4 / GLM 5.3 / GLM 5.3-Flash専用 SGlang / vLLM ● ● mac用。ファイル形式はmlx DwarfStar ● ● さまざまな量子化。多くの実行環境に対応。 mlx-lm/vlm ● ● 実行エンジン 複数人で使うサーバーにするなら 割と簡単に(AIさんが)つくれるので自分の実装を持っておくのもおすすめ きしだもQwen専用エンジンをつくっている(QuestWend) ●

Slide 25

Slide 25 text

● こんな感じ 実行エンジン選択チャート

Slide 26

Slide 26 text

統合ツール ● 実行エンジン、モデル管理、UIなどの統合 ● ● LM Studio ● ● ● GUIツール モデル管理しやすい Ollama ● ● ● いずれもllama.cpp, mlx-lm対応 CLIツール 独自管理で慣れるとかなり不便 慣れるとllama.cpp直などになっていく

Slide 27

Slide 27 text

コーディングエージェント ● オープンソース ● ● ● ● OpenCode Pi DeepSeek Herness クローズドツールも使える ● ● Codex Claude Code

Slide 28

Slide 28 text

● ● ● ● 実際にローカルでコード書けるの? Qwen3.8-27B + OpenCodeでQwen3のJavaScript実装つくった 25万トークンでちゃんと動かした ありそうなコードは書ける 細かい仕様をたくさん誤解している ● ● ● ● 知識総量はパラメータ数依存なので細かい 知識があいまい その誤解を元にコードを書くと 正しい仕様を信じなくなる。相当頑固 資料を可能な限り渡して仕様を吐き出させ誤解を修正してからの実装が必要 ローカルは検索エンジンの制約から、検索はにがて

Slide 29

Slide 29 text

まとめ ● ● 実用的になっている HTML画面の作り起こし、UIの変更などは十分にまかせれる ● ● ● ● コスト削減 込み入ったデバッグや設計などはフロンティアモデルを使う 工夫次第でかなりの作業を手元でできる あと、ローカルで動かすの楽しい