Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Local_LLMはともだち_怖くないよ.pdf

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Belong inc.
August 26, 2026
48

 Local_LLMはともだち_怖くないよ.pdf

Belong inc.

August 26, 2026

Transcript

27 slides
  1. Agenda 01 Introduction 02 local LLM って? 03 LM Studio

    を使ってみよう 04 Agent としても使ってみよう 2
  2. llm を⾛らせるはいいが、どのエンジンで⾛らせる? • llama.cpp ◦ 基本 CLI なので初⼼者向けではないが⼀番実⾏速度が早い • LM

    Studio ◦ GUI が充実しててわかりやすいので初⼼者向け。モデルの⽐較とかで使いやす い。 • Ollama ◦ 実⾏スピード結構遅いけど Claude Code がなぜかいろんなモデルで使えたり して⾯⽩い。
  3. params って? • パラメータ=モデルの脳のサイズ ◦ 7B = 70億。 • 多いほど賢い。そのぶんメモリと速度を⾷う

    • ⽬安 ◦ 〜4B = 軽量 ◦ 7〜14B = ノート PC の主戦場 ◦ 30B〜 = 強い GPU かメモリ多めの Mac
  4. bit って? • 量⼦化=params(重み)を何 bit に圧縮して持つか(元は FP16) ◦ Q8:劣化ほぼなし ◦

    Q4:サイズ1/4で劣化わずか(定番) ◦ Q2:かなり性能が落ちる • 迷ったら Q4_K_M
  5. size って? • ファイルサイズ ≒ params × bit ÷ 8

    • これが「メモリ(特にVRAM)に載るか」を決める • 例:7B モデルの Q4 量⼦化 ≒ 約 4GB • ⽬安 • • • 〜5GB(〜8B の Q4)= メモリ 16GB でも快適 〜10GB(14B の Q4)= 16GB 機はここが上限ライン 20GB〜(30B クラス)= 32GB 以上かメモリ多めの Mac

More Decks by Belong inc.