ローカル環境でAIを動かそう！

Slide 1

Slide 1 text

ローカル環境でAIを動かそう！第2回札幌すごいAI会 2025年5月30日 (金) 株式会社コールド・フュージョンテッダー　マイケル

Slide 2

Slide 2 text

質問！

Slide 3

Slide 3 text

llama.cpp・Diffusers 聞いたことある方を挙手！

Slide 4

Slide 4 text

> 仕事: ゲームクリエイター（開発、たまにディレクションも）　（初代PlayStation 〜 Switchゲーム機 / スマホ / PC / Rift VR / AR / MR） AWSでアプリケーション開発（サーバーレス / コンテナ） > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > コミュニティ: JAWS-UG GameTech+札幌運営 / 2020年からAWSコミュニティビルダー > 趣味: ゲーム (遊ぶ方)、燻製作り、スキューバ > 最近本当にすごいと思ったAI: Claude Sonnet 4でGitHub Copilot Agent Mode $ whoami

Slide 5

Slide 5 text

ローカル環境でAIを動かす ● 反応が常に速い ○ PCスペックが足りてれば... ● ネット通信は必要ない ○ ソースコードやデータが環境から出ていかない ○ 秘密情報・セキュリティ厳しい会社に可能性あり ● カスタムのシステムプロンプト ○ AIとの会話設定を自由に決められる ● 楽しいっ！

Slide 6

Slide 6 text

PCスペック ● 強いGPUは必要 ○ 3〜4年前までくらいなら最近のモデル動かせる ● GPUメモリ量が一番重要 ○ WindowsならGeforce 3070 12GBが最低ライン ○ MacならM1 Max 32GBからでも ● 将来を考えるとMacの方が強い方針かも？ ○ Apple Siliconはユニファイドメモリがある ○ メインCPUとGPUが同じメモリ区域使える ○ 64GBは大きい！70Bチャットモデルも実行可能！

Slide 7

Slide 7 text

始めるには...？

Slide 8

Slide 8 text

始めるには...？ ● Hugging FaceはAIモデルのGitHub ○ 大量な学習済みモデルが公開されてる ○ テキスト生成、画像生成、動画生成、音声生成、 3Dオブジェ生成、画像から動画生成、画像から3Dオブジェ生成... など！ ● Gemma・DeepSeek・LLaMA・Mistral・ Stable Diffusion・FLUXの有名なモデルも公開 ○ ファインチューニングでカスタマイズされたのも

Slide 9

Slide 9 text

llama.cpp ● チャット・テキスト生成には llama.cpp がおすすめ ○ 完全C/C++のLLMインファレンスアプリ ○ CUDA / Vulkan / Metalの幅広くGPU対応 ○ 1.5, 2, 3, 4, 5, 6, 8 ビット量子化対応 ● GitHubで公開されてる ● GGUFフォーマットが必要 ○ 他から変換ツールある https://github.com/ggml-org/llama.cpp

Slide 10

Slide 10 text

llama.cpp

Slide 11

Slide 11 text

llama.cpp

Slide 12

Slide 12 text

M1 Ultra 64GBでDeepSeek-R1 70B

Slide 13

Slide 13 text

Diffusers (python)で画像生成 ● 数行のpythonコードでDiffusers対応モデル使える ● 必要入力はモデルパスとプロンプトだけ！