LLMモジュールで遊んでみた。

Transcript

1. 2025/06/25 坂口航 LLM-Moduleで 遊んでみた！
2. 目次 03 LLM Moduleとは？ デモ 質疑応答 タッチ＆トライ
3. LLM-Moduleとは？ 04 オフラインでLLMを実行できるモジュール M5Stackが開発・販売（日本では1月から） https://shop.m5stack.com/products/m5stack-llm-large-laguage-model-module-ax630c?variant=45711017443585
4. メモリ 4GB 容量 32GB スキル スピーカー、マイク搭載 OS ubuntu22.04 スペック 05
5. AX630C プロセッサ 06 https://en.axera-tech.com/Product/126.html 4K 対応・暗視 AI 対応の SoC （System-on-Chip） 演算性能：3.2TOPS NPU搭載でエッジ処理に特化
6. 出来る事 07 言語処理　画像認識　音声認識　音声合成
7. M5STACK社について 08 中国の深センに本社を置く（2016年～） IoT開発向けのハードウェアとソフトウェアを開発・販売
8. AXELA社について 09 中国の北京に本社を置く半導体企業（2019年～） AI 向けのエッジコンピューティングチップを開発 　例）監視カメラや先端運転支援システム 約200億円の資金調達（2024年末）
9. デモ
10. SSH
11. 自然言語処理 10
12. qwen2.5-1.5B-p256-ax630c 使用したAIモデルについて 11 パラメーター数(15億) トークン数（約250文字） Billion prefill
13. 画像認識
14. VLM（smolvlm-500M-ax630c） 13 "What do you see in this image? The map of Scotland is a country in the United Kingdom.
15. 比較 14 スコットランド 大阪府
16. VLM（smolvlm-500M-ax630c） 14 "What do you see in this image? A blue, full-zip, hooded vest is displayed against a white background. 訳：ブルーのフルジップのフード付きベスト が白地に映える。
17. LLM-Module+CoreS3 15 推論結果の可視化ができる！ https://shop.m5stack.com/products/m5stack-llm-large-laguage-model-module-ax630c?variant=45711017443585
18. 余談:iPhoneでもLLMは動かせる 16 iphone16proで検証
19. まとめ 17 オフラインでLLMを実行できるモジュール 趣味の範疇 多様な事が出来るのは魅力的
20. 参考 18