TechGYOZA 2025 - LLM8850触ってみた

https://techgyoza.connpass.com/event/371476/ の登壇資料
(共有版)

Transcript

1. LLM8850触ってみた TechGYOZA2025 TakuroFukamizu @uzuki_aoba
2. 自己紹介パート
3. 3 概要 名前：深水拓郎 年齢：38歳 職務経歴： • 2021-2013：国内電機メーカーSI子会社 • 2013-2018：東証一部上場モバイル系システムベンダ • 2018-現在：AIベンチャー等マルチタレント人材として活躍 取得資格： • 2003年11月 情報処理技術者試験 初級システムアドミニストレーター • 2004年 5月 情報処理技術者試験 基本情報技術者 • 2005年 5月 情報処理技術者試験 ソフトウェア開発技術者 • 2015年10月 第二種電気工事士 • 2025年 3月 情報配線施工技能検定試験(3級) 登壇・メディア： • 2018年10月 会津大学 会津IT秋フォーラム登壇（1セッション） • 2019年11月 CQ出版 トランジスタ技術 11月号に寄稿（合わせてワークショップ2件実施） • 2020年 2月 三才ブックス ラジオライフ 2月号に寄稿 • 2021年 1月 Design Solution Forum 2020 登壇（2セッション） • 2024年 7月 福岡24時間AIハッカソン 2024（審査員） 大手電機メーカー系Sierを経験後、大手ソフトウェアベンダーにて米国での R&D/技術評価や、国内メーカーのウェアラブルデ バイス向けにIoT、モバイルアプリ、クラウド開発などの開発からプロジェクト管理までを経験しました。 現在はAIベンチャーの起業やエッジAIなど最新のAI技術をアーキテクトの立場から多角的に支援しつつ、海外の Maker Faire に参加するなどMaker活動も行なっています。
4. 4 職務経験概要 職務経験 • ハードウェアからクラウドまでのフルスタックの開発・知識 ◦ 電気配線の施工（600V以下）からIoT、クラウド、AI、Webアプリ、モバイルアプリ、メインフレームまで経験あり • 生成モデル・LLMを利用したシステム開発のアーキテクト ◦ 生成モデル/LLMの特性を考慮したシステム組み込み ◦ 生成モデル/LLMの実行インフラの設計 • Deep Learning モデルの教師データ作成、再学習、アプリケーションおよびハードウェアへの組込 • 汎用マイコンを使用したハードウェアのプロトタイピング ◦ 基板設計、中国メーカーを使用した基板製造 • 開発管理を中心としたプロジェクトマネジメント 経験 ◦ 同時最大30人規模・4ベンダーのプロジェクトの管理 ◦ 某通信大手を含む、スクラム開発の管理 • 企画、要件定義など、プロダクトの方向性を決めるための顧客企業とのコミュニケーション • 多領域の技術・案件の経験により、多種多様な人材・ベンダーのアレンジも可能 使用経験のある機器、ソフトウェア • OS : Windows系, macOS, Ubuntu, iOS, Android, Tizen • DB : SQL Server, PostgreSQL, MySQL, SQLite, Realm, MongoDB • XaaS/Cloud : Amazon Web Service(S3, EC2, ECS, ECR, Cognito, Lambda, Cloudfront, API Gateway, CloudFormation, CDK, IoT Core), Google Cloud(App Engine, Firebase, Natural Language), Azure, Kii, PubNub • Programing Language : JavaScript(ES7, ES6, TypeScript), Python(3.x, 2.8), Swift, Objective-C, Lua, VB6, VB.NET, Java, PHP, COBOL • IoT : Raspberry Pi, RP2040, M5Stack, ESP32/8266, Arduino, Sipeed M1w, Sony Spresense, Intel Edison, Bluetooth LE, ZigBee, WebSocket, MQTT, IFTTT
5. トラ技 2019年11月号
6. 近況 #1
7. GO!GO!TAKAHA2025@福岡県飯塚市
8. GO!GO!TAKAHA2025@福岡県飯塚市
9. 近況 #2
10. UniFiと八丁しかありません。 Juniperとか無いから逸般の誤 家庭ではありません。 YAMAHA RTX1300を買った時と同じ値 段で、ルータ、10GbE PoE SW(8+2 ポート)、WiFi 7 APが買える
14. DS-Lite • transix • v6コネクト • Xpass MAP-E • v6プラス • OCNバーチャ ルコネクト
15. 今日話すこと: LLM8850 一番親しみの深いエッジAI分野の振り返りとLLM8850の実例紹介
16. 実機デモ • Qwen3-0.6B サンプルコード/CLI実行 • Qwen3-1.7B StackFlow API実行 • YOLO11 サンプルコード/CLI実行 • YOLO11 カメラ連続実行
17. かわいいは エッジ(AI) これだけ覚えて帰ってください。
18. エッジAIの実行環境について(昔話)
19. Cloud Local • 処理能力：最大（金次第） • モデル：多様（ただしベンダー次第）
20. Local • 処理能力：中〜やや大（金次第） • モデル：無制限
21. Local • 処理能力：小 • モデル：制限あり
22. https://protopedia.net/prototype/6583
23. D-Robotics RDK S100 128 TOPS K210 0.25 TOPS
24. 24 主なエッジAIデバイス類の処理能力の移り変わり • 2017：0.5〜1 TOPS（スマホNPU、Myriad X VPU） • 2018〜2019：4 TOPS（Edge TPU）〜20〜30 TOPS（Jetson Xavier NX, Hailo-8） • 2020〜2021：スマホ NPU が 10〜15 TOPS、産業BOXに Edge TPU / Hailo-8 が 載り始める • 2022〜2023：Jetson AGX Orin で 275 TOPS、Orin Nano / Hailo-8 で 40 / 26 TOPS が小型ボードに • 2024〜2025：Hailo-10 / Orin Nano Super / LLM-8850 など、40〜70 TOPS クラス の「ジェネレーティブAI向けエッジアクセラレータ」が一般化
26. Yahoo! HackDay 2017
27. Yahoo! HackDay 2017 当時は iPhone Xで15fps出るのが破格だった。(CoreML) 真面目に組み込みでやろうとすると、Raspberry Pi 単独ではYOLOv2 Tinyでも1.5fps 程度。
28. LLM8850: ハードウェア
29. M5Stack LLM8850 について M5Stack LLM8850 は、AXERA社 の AX8850 チップを搭載した組み込み向けのAIア クセラレータモジュールです。 https://www.cnx-software.com/2025/10/03/m5stack-llm-8850-card-an-m-2-m-key-ai-accelerator-module-based-on-axera-ax8850-24-tops-soc/
32. M5Stack LLM8850 モジュールを Raspberry Pi 5 で動かしてみた(LLM編) https://qiita.com/uzuki_aoba/items/78e1944b8ccb60107d5c
33. LLM8850: ソフトウェア Qiitaの記事に書いた内容のおさらい＆再確認/リトライなど 「M5Stack LLM8850 モジュールと Raspberry Pi 5 で動かせるAI関連についての現状の整理」 https://qiita.com/uzuki_aoba/items/e69b8d3f03bb368199fa
34. 各種サンプルソース LLM-8850 Card User Guide 以下の各ページで紹介されているもの。
35. StackFlow AI Platform Function Module (LLM, VLM, STT, TTS) NPU Model (Qwen, DeepSeek) Dependency Package (lib-llm, llm-sys) 手軽にモデルを追加でき る😋 モデルが変わっても API が変わらない😇 サービスになっていて管 理が楽😁
36. 各種サンプルコード • モデル単位でポーティングされるため、 比 較的新しいモデルや多様なタスクのモデ ルを試すことができる • CLI/GUIの対話式のみなのか、APIが用 意されているのかは「サンプルコード」次 第。(同じQwen系でも動くもの/動かないも のあり) • apt installでサービス/モデルをインストー ルすると実行できる。 • サービス指向のアーキテクチャなので、 「組み込みのためのAIプラットフォーム」 として正しいと感じる。 • M5Stackがパッケージ化してくれたモデル しか動かない&ドキュメント待ちな部分は あるので、使えるようになるまでが長い。 （現時点では） StackFlow FSなどの検証、サンプルがある範囲での 特化した実装 PoC向けの実際の組み込み？
37. 各種サンプルコード
38. LLM • Qwen3-0.6B: CLI対話モードのみ(API無し) • Qwen3-1.7B: CLI対話モード+OpenAI互換のAPI • Qwen2.5-0.5B-Instruct: CLI対話モードのみ(API無し) • Qwen2.5-1.5B-Instruct: CLI対話モードのみ(API無し) • DeepSeek-R1-Distill-Qwen-1.5B: CLI対話モードのみ(API無し) • MiniCPM4-0.5B: CLI対話モードのみ(API無し) M5Stackのドキュメントには無いが、 AXERAが公開しているQwen3-4B版はAPIがあってLLM8850でも 動くらしい。 「LLM8850でVOICEVOXとおしゃべり」by @yugulab https://qiita.com/yugulab/items/a9a94aedcb908c03360e
39. Qwen3-1.7Bを動かしてみた。 7.8トークン/秒 →ミドル〜ハイエンドの Androidスマホくらい？
40. 注意点 サンプルの実行コマンドでは起動時にシステムプロンプトの初期とを与えている。 • 動作中にシステムプロンプトを書き換えない使い方をする場合、ここを書き換えてしまうのが早い。 • 動作中にフローによってシステムプロンプトを書き換えたい場合 (LangChainなどでゴリゴリにフローを書いて、複数の タスクを行わせる場合など)、リセットAPI(POST /api/reset)を実行してシステムプロンプトを再設定する。 https://huggingface.co/AXERA-TECH/Qwen3-1.7B/blob/main/run_qwen3_1.7b_int8_ctx_axcl_x86_api.sh
41. YOLO11 M5Stackが配布しているYOLO11(その他、YOLO World、DepthAnythingも含む) https://docs.m5stack.com/en/guide/ai_accelerator/llm-8850/m5_llm_8850_yolo11
42. サンプルのCLIコマンドをサンプル画像で実行 1000 ÷ 25.03 ≒ 39.95fps くらい出ている。
43. StackFlowについて
45. StackFlowを使う - Quick Start - 1. StackFlow 公式ガイド の Raspberry Software Package Acquisition に従っ て、apt install でStackFlowのサービスやモデルをインストールできるようにする。 a. https://docs.m5stack.com/en/stackflow/raspberrypi/software 2. Product Guide の LLM8850のページにリンクされている OpenAI API に従って OpenAI API 準拠のAPIを起動してみる a. https://docs.m5stack.com/en/guide/ai_accelerator/llm-8850/m5_llm_8850_openai
47. サービス実行するだけでOpenAI 互換のAPIが起動
48. ドキュメントは無いが、リポジトリにはモデルがすでに追加されている どのFunction Module(llm-xxx)でどのモデルが使えるのかが明示されていない&Function Moduleの呼び出し方がわからないので、ドキュメント希望。。。
49. apt install し、サービス(llm-openai-api.service)を再起動するだけでモデルが追加され る手軽さ。
50. 同期処理のAPIで回答が返ってくる
52. 組み込みでも、タスクによっては知識の注入が必要 組み込みで標準的な APIで呼び出せる場外が嬉しい 💪 StackFlowには頑張ってほしい 🙏 In-Context LearningやRAGでドメイン知識やキャラ設定などを投 入したい。👏