20251122_LT_スマホ版軽量ローカルLLMで人物名マスク

https://connpass.com/event/375684/

Transcript

1. LT : スマホで動く 軽量ローカルLLMで ⼈物名マスクの実験 ( 2025年11⽉時点 ) 2025/11/22 @doradora09
2. Copyright © 2025 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会九州⽀部 ⽀部⻑ / ASI未来社会研究所 所⻑代理 / iU 情報経営イノベーション専⾨職⼤学 客員教員 ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・Tokyo.R(2010-2016) ・fukuoka.R、PyData.Fukuoka、 オモシロAIごった煮勉強会、ChatGPT部、 AGI福岡、ローカルLLMなんでも勉強会、他 この勉強会の主催者です
3. モチベーション • 個⼈的予想として、 あと３〜５年もすればおそらくスマホなどのエッジ端末でも ChatGPT-5クラスのLLM ( or SLM )が動くはず • 現時点でのスマホで動く軽量LLMの性能をモニタリングして、 定点観測したい ( 半年〜１年に１回くらい )
4. 前説など • 今⽇は２つのスマホ x 5モデルでの実験結果の共有 • Google Pixel 9 fold ( メモリ16GB ) • iPhone 15 Pro ( メモリ8GB ) • 本当はそのうち「スマホのオフラインでGPT-5級のLLM/SLM が動作するとしたら世の中どう変わり得るか？」も話したいで すが、本⽇は割愛
5. 参考：理想的な動き⽅(Mac Studioの例) https://speakerdeck.com/doradora09/20250614-lt-zou- remerosunoge-ren-qing-bao-masukuchu-li-womacstudio- 512gbmemorimasinteshi-sitemita 動画版(GPT-oss-120B ) https://x.com/doradora09/status/1952888372005155004?s=20
6. Google Pixel 9 fold で実験 • 今回検証する⾔語モ デルはこちら • 6bit量⼦化前後のモデ ルで検証(詳細は最後 に) • アプリはPocket Palを 利⽤ ( コンテキスト⻑もア プリ上で変更が可能 )
7. ①Pixel 9 fold, Llama-3.2-3b ( △ ) https://x.com/doradora09/status/19 91865774701760985?s=20
8. ②Pixel 9 fold, Gemma-2-2b( ◦ ) 今回⼀番よく半分はマスク https://x.com/doradora09/status/199 1872230415028563?s=20
9. ②Pixel 9 fold, Gemma-2-2b( ◦ ) 今回⼀番よく半分はマスク
10. ③Pixel 9 fold, Phi-3.5-mini ( × ) 9分待っても「⾛れ」だけ https://x.com/doradora09/status/1 991878358091870619?s=20
11. ④Pixel 9 fold, Qwen2.5-3B ( × ) 後半暴⾛。(Qwenは期待していたもののダメでした) https://x.com/doradora09/status/ 1991883374995390722?s=20
12. ⑤Pixel 9 fold, SmolLm2-1.7B ( × ) 会話として成⽴せず https://x.com/doradora09/status/1 991886160625553719?s=20
13. iPhone 15 Proで実験 • 今回検証する⾔語 モデルはこちら • 4bit量⼦化を中⼼に 実験(メモリ8GBと いうのもあり。詳 細は最後に) • アプリはMLC Chat を利⽤ ( アプリ上でコンテ キスト⻑の変更は 不可 )
14. ① iPhone 15 Pro, Llama-3.2-3B ( × ) めっちゃ重い。あと発熱でアプリが落ちた。 https://x.com/doradora09/ status/19918544590232086 85?s=20
15. ② iPhone 15 Pro, Gemma-2-2b ( × ) 対応表っぽいのは作ってくれるがマスクはダメ https://x.com/doradora09 /status/199186138625594 1964?s=20
16. ③ iPhone 15 Pro, Phi-3.5-mini ( × ) 会話が⽀離滅裂 https://x.com/doradora09/st atus/1991870869875130760 ?s=20
17. ④ iPhone 15 Pro, Qwen2.5-1.5B ( × ) ⽥中よしひこって誰。3Bよりだいぶ酷い https://x.com/doradora09/s tatus/199187462790440180 0?s=20
18. ⑤ iPhone 15 Pro, Mistral-7B ( × ) 会話にならない。あと発熱もやばい https://x.com/doradora09/statu s/1991879046536606002?s=20
19. ChatGPT-5.1先⽣による総評 (Llama-4 maverickを10 とした相対評価ランキング)
20. 所感・雑感 • スマホのLLM全然ダメかと思いきや、端末とモデルによっては半分くらいの マスクができた。 (Pixel 9 fold + Gemma-2-2b ) • ⼀⽅で、⽇本語が通じないモデルなどもあり懐かしい感じ。 ( この辺は調整とかもできると思うけど数年進化を待った⽅が早そう ) • 想定外としては「発熱」。今回の実験中に１回だけ動作中にアプリが落ちた りした。またモデルによって発熱具合も全然違う。 • 実⽤に向けて、となるとスマホの進化も必要なので、個⼈的にはGPT-4.1 or 5級は⼩型軽量モデルだけで２〜３年、端末開発も含めると５〜７年後ター ゲットかな、という所感。 ( 過渡期の今はMacStudio使うとか、インターネット接続でAPI叩く⽅が良 さそう )
21. メモ
22. Enjoy..!!