Gemma4 Hands-on at Nagoya

Transcript

1. Gemma 4 でローカルLLMハンズオン DevFest Nagoya 2026 - エージェント時代の開発者とビルダー
2. tsho / 田中 翔 (Sho Tanaka) - Google Developer Expert, AI/ML. TPU Builder - MLOps Community 運営 - OSS conf 登壇 (AI/ML/Data) - Devoox, SciPy Conf, PyCon Gr, TW etc Linkedin.com/in/tsho
3. ローカルLLMとは？
4. ローカル LLMとは？ ローカルLLMは、LLMのモデル本体や重みを自分のPC・サーバーなどに保存 し、クラウドAPIへプロンプトを送信せず、手元のマシン上で推論（文章生成な ど）を実行できるLLMのこと
5. LLM の公開範囲とライセンス 用語 モデルの 重み 学習データ 本体/情報 学習/推論コード 商用利用/改変/再配布 Open-weight model 公開 公開範囲は モデルによる 公開範囲は モデルによる モデルごとのライセンス ・利用条件に従う 全学習データの出所・選定・ 処理方法などを開示。共有 可能なデータは公開し、別 途入手できるデータは入手 先を明示。 データ処理・学習・推 論に使った完全なソー スコードを公開 商用を含む任意の目的で 利用・改変・再配布できる。 再配布時に同じライセンス 条件の適用を求められる場 合がある。 Open Source AI (OSID 1.0) 公開 https://opensource.org/ai/open-source-ai-definition
6. 昨今のローカル LLM 需要急増の背景 1 (個人的な感想 ) フロンティアモデルによる輸出規制 が行われる影響を考慮し、今後ロー カルモデルに対応する 引用 https://news.yahoo.co.jp/expert/article s/d32796504b93fb1c462ad699724f70 6aed402cfb
7. 昨今のローカル LLM 需要急増の背景 2 (個人的な感想 ) Open AI / Anthropic モデルによる コストに対するコード出力における ROIに調査が行われていた模様 引用 https://www.cnbc.com/2026/07/07/chinese-ai-models-costs-us-openai-anthro pic.html
8. まとめ：ローカル LLM のメリット  コスト管理  セキュリティ 外部APIのトークン課金を抑えら れる ・学習データに使われない ローカルで処理する分、外部 APIの利 用料を減らせる。機器代・電力・保守を 含めて総コストを比較する。 APIサービスもサービス・契約・設定に よって使われないが通信を通すことに は変わらない。 ・外部送信なしで処理できる 入力・出力を手元や社内環境で処理で きる。外部検索やログ転送を使う場合 は、データの送信先を確認する。
9. サービング方法
10. ローカル LLMの入手元 モデルの配布元としてはHugging faceが最も有名。Github, それぞれの公式 ページからダウンロード可能。 ３大クラウドをはじめとしたプラットフォームでローカルLLMをREST APIとして利 用可能だがそれも従量課金となるので注意しないといけない
11. ローカル LLMのサービング 多数の同時リクエストを処理 プロダクション向け 手元で試す - 手軽実行型 サーバー運用・複数APIリクエストの高速処理向け ▪ llama.cpp ▪ vLLM ・PagedAttention技術によりKVキャッシュを効率化 ・連続バッチ処理能力でスループットを高める ・大規模プロダクション環境の標準的選択肢 ▪ SGLang ・RadixAttentionで、入力の先頭部分が共通するリク エスト間のKVキャッシュを再利用 ・構造化出力 (JSON等) やエージェント処理に最適化 PCローカル環境・手軽な動作確認・UI操作向け ・C/C++ の推論エンジン。GGUF形式のモデルを CPU/GPUで実行、APIサーバーとしても利用可能 ▪ Ollama ・CLIでモデルを取得・管理・実行。REST APIでアプリから 呼び出せる ▪ LM Studio ・GUIでモデルの検索・ダウンロード・チャットができ、ロー カルAPIサーバーも起動できる
12. Gemma 4
13. Gemma 4 5 モデルサイズ E2B, E4B, 12B, 26B, 31B 最大256K トークン 最大コンテキスト長 📱 Edge (E2B / E4B) • • オンデバイス最適化: スマホやIoT 機器で効率的な実行に最適化 最大128Kトークン Apache 2.0 商用利用可能なオープンライセンス 💻 Laptop PC (12B Unified) • E4Bと26B A4Bの中間サイズ • 最大256Kトークン Gemini 3 と共通の研究・技術を基盤に開発 🖥 Workstation (26B / 31B) • 26B A4BはMoE、31BはDense • 最大256Kトークン対応 🚀 主要機能と拡張機能 🧠 思考モード (Thinking) 🛠 エージェント & ツール利用 🌐 画像＆動画＆音声入力 回答前に段階的な推論を行い、複雑な問題に対応 Native Function Callingサポートで自律型エージェ ントの構築に対応 画像・動画フレームは全モデル、音声は E2B・E4B・12B Unifiedに対応。出力はテキスト
14. ハンズオン
15. ハンズオン part 1 - 初心者編 gemma4-handson-colab.ipynb
16. ハンズオン part 2 - 中級者以上 https://github.com/tsho/gemma4-local-handson
17. Thank you DevFest Meetup #3
18. 参考
19. 参考 ローカルLLMでどこまでコードが書けるか -LLM基礎知識 / How much code can be written on a local LLM - fundamental knowledge Speaker Deck Source: xxxxx