スマホで動かすローカルLLM

タイトル：スマホで動かすローカルLLM
サブタイトル： -Flutter × Gemma でスマホアプリにLLMを組み込む -

▼概要
Flutterで作成したスアホアプリ上で、LLM（Gemma3）を動かしてみたという内容です。

▼スライド番号7と23の画面について
画面の動作はLT内で動画（下記youtubeリンク）として紹介しております。

▼AkarengaLT vol.37(2025-9-28)
- イベントリンク：https://engineercafe.connpass.com/event/366237/
- youtube：https://www.youtube.com/live/HQQYvGxuwYU?si=aRKJsgzRI5VVo507

Transcript

1. スマホで動かすローカル LLM - Flutter × Gemma でスマホアプリに LLMを組み込む - Akalenga LT 9/28 Y. Nakamura
2. プロフィール 2 Y. Nakamura - Web Engineer - GitHub ：enumura1
3. アジェンダ 3 1. スマホアプリでローカルLLMを動作 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
4. アジェンダ 4 1. スマホアプリでローカル LLMを動作 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
5. 1. スマホアプリでローカル LLMを動作 5 • flutter_gemmaの活用 • オフラインでLLM（Gemma） を動かしてみた ▼やってみたこと
6. 6 • flutter_gemmaの活用 • オフラインでLLM（Gemma3） が動作可能 Flutterを利用 ① ② ③ 1. スマホアプリでローカル LLMを動作
7. 7 1. スマホアプリでローカル LLMを動作 インターネットと通信しないで動かしています
8. アジェンダ 8 1. スマホアプリでローカルLLMを動作 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
9. ローカルLLMとは？ • 概要：一般向け公開されたモデルのこと • できること： ◦ インターネット接続なしで利用できる ◦ 自前のサーバにインストールして動作 • モデル例: LLaMA / Gemma / Mistral / GPT-OSS など • モデルの公開場所：Hugging Face / GitHub など LLM：大規模言語モデル ▼ローカルLLM
10. アジェンダ 10 1. スマホアプリでローカルLLMを動作 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
11. ローカルLLM使用のメリット 1. オフラインで動作可能 a. ネットに繋がっていない環境でもAIを利用可能 2. データを外部に出さず処理可能 a. 機密データを外部に送らず処理可能 i. 例：企業ネットワーク内のセキュアな環境にとじてLLM動作 3. コスト削減 a. クラウドが提供している外部APIコールが不要（トークン課金がなくな る）
12. ローカルLLM使用のデメリット、懸念点 1. ハードウェア要件が高い a. GPU、メモリ、ストレージ大容量 2. 運用コスト増 a. 外部APIとして提供されてるAPIをコールする形式と比べて、メ ンテナンスコストは増える
13. アジェンダ 13 1. スマホアプリ上でローカルLLMを動かしてみた 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
14. 使用した技術スタック 14 • Flutter：スマホアプリの作成 • flutter_gemma：LLMをスマホアプリのローカルで動作 • Gemma：LLMのモデルとして利用 ▼今回使用したもの
15. 使用した技術スタック 15 • Flutter：スマホアプリの作成 • Gemma：LLMのモデルとして利用 • flutter_gemma：LLMをスマホアプリのローカルで動作 ▼今回使用したもの
16. • クロスプラットフォーム開発 に対応したアプリケーション開発フレームワーク ◦ https://flutter.dev/ ◦ iOS / Android / Web /でアプリを動作 ◦ 使用言語は Dart ▪ https://dart.dev/ 使用した技術スタック Flutterとは？
17. 使用した技術スタック 17 • Flutter：スマホアプリの作成 • flutter_gemma：LLMをスマホアプリのローカルで動作 • Gemma：LLMのモデルとして利用 ▼今回使用したもの
18. • 概要：flutter上でのLLMのオフライン動作機能を実現 • 機能：マルチモーダル（テキスト＋画像）、Function Calling、LoRA チューニングなど • サポートモデル：DeepSeek、Gemma など ◦ https://pub.dev/packages/flutter_gemma 使用した技術スタック flutter_gemmaとは？
19. 使用した技術スタック 19 • Flutter：スマホアプリの作成 • flutter_gemma：LLMをスマホアプリのローカルで動作 • Gemma：LLMのモデルとして利用 ▼今回使用したもの
20. • Google DeepMindが開発したLLMモデル ◦ https://deepmind.google/models/gemma/ ◦ 最新のモデルはGemma 3 • 多言語・マルチモーダル（テキスト＋画像）対応 ◦ https://ai.google.dev/gemma/docs/core?hl=ja#multimo dal-input 使用した技術スタック Gemmaとは？
21. アジェンダ 21 1. スマホアプリ上でローカルLLMを動かしてみた 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカル LLMの動かし方 6. まとめ
22. flutter_gemmaを使ったローカル LLMの動かし方 ① Gemmaモデルを初期化 ② チャットセッションを作成して会話を開始 ③ ユーザーメッセージを送信 ④ モデルが生成した結果を取得 22 ▼チャットベースのやり取り例 ① ② ③ ④ c
23. 23 flutter_gemmaを使ったローカル LLMの動かし方 チャットの流れ
24. アジェンダ 24 1. スマホアプリ上でローカルLLMを動かしてみた 2. ローカルLLMとは？ 3. ローカルLLM使用するメリット・デメリット 4. 使用した技術スタック 5. flutter_gemmaを使ったローカルLLMの動かし方 6. まとめ
25. まとめ • ローカルLLM：一般向け公開されたモデルのこと ◦ オフライン環境での動作 ◦ 利用時のセキュリティ、コスト面に強み • flutter_gemma：FLutterのパッケージ ◦ スマホアプリのローカル環境でLLMの動作が可能 ◦ Gemma、DeepSeek などにも対応 ◦ マルチモーダル処理（画像・テキスト）
26. Appendix Appendix
27. Appendix: 参考、引用リンク • 使用アイコン ◦ hugging face ▪ https://huggingface.co/brand ◦ github ▪ https://github.com/logos ◦ flutter ▪ https://api.flutter.dev/flutter/material/Icons-class.html
28. Appendix：エミュレータのスペック 28 • デバイス名: Pixel 9 Pro (AVD) • CPUコア数: 4 • メモリ(RAM): 2GB • ストレージ: 20GB • GPU: 有効 (hw.gpu.enabled = yes)