Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
Search
SORACOM
PRO
November 29, 2024
Technology
0
85
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
第 5 回ナノコン応用コンテストのゲスト登壇にて、ソラコム松下(max)が登壇した資料です。
※URL限定公開です。再配布はソラコム松下の許諾を得るようにしてください。
SORACOM
PRO
November 29, 2024
More Decks by SORACOM
See All by SORACOM
投資家様向けビジネス概要<2025年8月版>
soracom
PRO
0
60
Business Overview for Investors[August 2025 Edition]
soracom
PRO
0
15
少人数・短期間で実現!“ゼロから作らない” 4つの事例から見る、新時代IoT【SORACOM Discovery 2025】
soracom
PRO
0
110
現場のリアルをカメラで変える!小売・商業施設の「現場改革」最前線【SORACOM Discovery 2025】
soracom
PRO
0
120
【特別講演】公開思考実験!もしも、この世界から「ヒトとモノのつながり」が消えたなら?【SORACOM Discovery 2025】
soracom
PRO
0
81
トヨタのIoT民主化を支援!「D-ROOM」の仕組みと現場浸透のくふう【SORACOM Discovery 2025】
soracom
PRO
0
140
クラウド全盛時代におけるIoTエッジ活用とグローバルサプライチェーン戦略【SORACOM Discovery 2025】
soracom
PRO
0
84
【特別講演】デジタル変革の羅針盤 ~CIO/CDOが描くIoTとAIの未来~【SORACOM Discovery 2025】
soracom
PRO
0
130
現場データを“武器”に変える!データ連携で加速する製造DX【SORACOM Discovery 2025】
soracom
PRO
0
85
Other Decks in Technology
See All in Technology
[OCI Technical Deep Dive] OracleのAI戦略(2025年8月5日開催)
oracle4engineer
PRO
1
250
自治体職員がガバクラの AWS 閉域ネットワークを理解するのにやって良かった個人検証環境
takeda_h
0
310
Engineering Failure-Resilient Systems
infraplumber0
0
130
僕たちが「開発しやすさ」を求め 模索し続けたアーキテクチャ #アーキテクチャ勉強会_findy
bengo4com
0
2.6k
Backlog AI アシスタントが切り開く未来
vvatanabe
1
170
AIは変更差分からユニットテスト_結合テスト_システムテストでテストすべきことが出せるのか?
mineo_matsuya
5
2.5k
AIエージェントを現場で使う / 2025.08.07 著者陣に聞く!現場で活用するためのAIエージェント実践入門(Findyランチセッション)
smiyawaki0820
7
1.3k
LTに影響を受けてテンプレリポジトリを作った話
hol1kgmg
0
380
【OptimizationNight】数理最適化のラストワンマイルとしてのUIUX
brainpadpr
2
550
九州の人に知ってもらいたいGISスポット / gis spot in kyushu 2025
sakaik
0
200
✨敗北解法コレクション✨〜Expertだった頃に足りなかった知識と技術〜
nanachi
1
780
歴代のWeb Speed Hackathonの出題から考えるデグレしないパフォーマンス改善
shuta13
6
520
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Scaling GitHub
holman
462
140k
Transcript
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには Nov. 29, 2024 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(Max / @ma2shita)
株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 新幹線通勤族
• 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • X(旧Twitter): @ma2shita • 好きな SORACOM サービス: • SORACOM Funnel • Pixel 9 Pro にしました WiJG?, Public domain, via Wikimedia Commons NEW!! UPDATE!!
ソラコムが提供するグローバル IoT プラットフォーム
ソラコムにおける生成 AI への取り組み状況 研究と新規開発 ⚫ 2023年7月 社内利用の ChatGPT Plus 契約費用の全額補助
⚫ 2023年7月 松尾研究所と共同で「IoT × GenAI Lab」を設立 生成 AI 利用の IoT 向けアプリケーション ⚫ 2023年7月 蓄積済の IoT データを、生成 AI で分析ができる SORACOM Harvest Intelligence ⚫ 2024年7月 ローコードで IoT デバイスと生成 AI をつなげられる SORACOM Flux 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2024年11月現在)
生成 AI を取り巻くエコシステム セキュリティとガバナンス プライバシー保護、ガードレール、透明性 継続的デリバリー 評価、モニタリング、デプロイ モデル強化 RAG、 ファインチューニング
ユーティリティ ライブラリ・フレームワーク、 インテグレーション コミュニティ インターフェイス プロンプト、 AI エージェント 基盤モデル LLM、SLM、 目的特化 コンサルテーション LLM: 大規模言語モデル SLM: 小規模言語モデル RAG: 検索強化生成
生成 AI (LLM) 【LLM】 入力情報から「次の情報を予測」 これまでの機械学習(ML)や 深層学習(DL)と異なる点 IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、
…その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “この” 確率が高い …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力 《これまで》 ⚫ 学習フェーズと推論フェーズ ⚫ 専門知識が必須 《生成AI》 ✓ 学習フェーズが不要 ― すぐ結果が得られる ✓ 専門知識が不要 ― 誰でも使える
生成 AI が活きるユースケースと要素技術 マルチモーダル情報の認識 ✓ 人以外からのデータ入力 ✓ 物体認識、 OCR、文字起こし マルチモーダル
AI SLM (小規模言語モデル) ✓ 独立動作 ― オフラインファースト ✓ プロンプトジェネレーター ― クラウド・LLM への前処理 オフライン・ LLM 協調 UX 物理世界へのフィードバック ✓ 操作のアシスト ✓ 機器間の協調動作 デジタルツイン RAG (検索強化生成) ファインチューニング データ加工・処理の自動化 ✓ 読み替え、整形や名寄せ ✓ 他データとの “意味による” 結合 時系列データへの適用 ✓ トレンドの言語化 ✓ 欠落データ発見や補完 ✓ 未来予測 時系列基盤モデル
マルチモーダル AI と “常識”
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
IoT と AI の関係 ― 生成 AI の判断材料 “データ” の強化
人力 《入力 “何を入れたら”》 プロンプト 《出力 “何が出てくるか”》 生成データ 生成 AI IoT デバイス プロンプト + データ 人の代わりに 入力 支援・操作 生成 AI の出力が 現場の新たな入力に IoT
出典: 株式会社ソラコム. “三菱電機とソラコム・松尾研究所「IoT × GenAI Lab」が、 IoTと生成AIを応用した空調機器制御の実証実験を実施”. プレスリリース. 2024-07-11. https://soracom.com/ja/news/20240711-iot-genai-poc-report,
(参照 2024-08-13). 複数のデータを基に意思決定、作業 • センサーから得られた環境データ • 外部の天気情報から得られた環境データ • 空調機器の設定温度 • 空調利用位置検知システムの情報(画像/ 室内の温度のヒートマップ等) • 感性情報(オフィス勤務者からの快適性についての定期的なフィードバック) 生成 AI の効果 ― IoT × GenAI Lab の取り組み
https://docs.m5stack.com/en/module/Module-llm (参照 2024-11-10) 出所: Don Reisinger. “MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵”. ZDNET Japan. 2024-04-24.
https://japan.zdnet.com/article/35218152/, (参照 2024-11-06). 出所: IoTNEWS編集部. “セレンス、マイクロソフトと協業し車載向けの組込み型SLMモデル「CaLLM Edge」を 発表”. IoTNews. 2024-11-21. https://iotnews.jp/maas-case/258367/, (参照 2024-11-21). 出所: MONOist. “ラズパイ5にAIキットが登場、処理性能は13TOPS”. MONOist. 2024-06-05. https://monoist.itmedia.co.jp/mn/articles/2406/05/news086.html, (参照 2024-11-10).
ハードウェア単体 = クラウド非依存の 生成 AI 環境が整い始めている
Run microsoft/Phi-3.5-mini-4k-instruct locally input_text = """¥ Convert the following plain
text to Table format of Markdown. Show only a Result(Solution) of the conversion. Column are "#", "Name", "Height", "Weight". Automatically assign sequential numbers. --- Kohei MATSUSHITA 173cm 64kg Kazunto GODA 177.5cm 68kg --- """ from transformers import AutoModelForCausalLM, AutoTokenizer # モデルとトークナイザーのロード model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # テキストをトークン化 inputs = tokenizer(input_text, return_tensors="pt") input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] # テキスト生成 output = model.generate(input_ids, attention_mask=attention_mask, max_new_tokens=128) # 生成結果をデコードして表示 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) プロンプトと データ 実装 run.py 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
Run microsoft/Phi-3.5-mini-4k-instruct locally ※動画の一部を スキップしています
エッジデバイス上での生成 AI 実装の課題 部材価格、調達と互換性 ⚫ 高単価部品、採用時から EOL 対策設計 消費電力、電源確保 ⚫
省電力化との両立が困難 LLMOps の実装 ⚫ 継続的デリバリー、セキュリティとガバナンス
通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン
翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと組み合わせて「製品」 ハードウェアの限界 = 機能の限界
ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス:SORACOM
Air (plan01s / planX1)チップ型SIM(eSIM)搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー:JENESIS株式会社
ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから
ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験!進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー|議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
機能の数と、使いこなせる人の数は反比例 使いこなせる人の数 少 多 機能の数 少 多 スマートフォン 専用機 《ボタン等》
= お客様に 学習してもらう量
アイデア EM-Service • エネルギー消費データを解析し、最適な消費プランや 削減方法を提案 鬼殺し 〜飲み促しシステム〜 • プレイヤーの反応や飲酒量の履歴を学習し、個々に最 適化されたゲームルールや罰ゲームの提案
BalanceAlert • ユーザーの支出履歴を分析し、使いすぎを防止するた めのカスタマイズされた予算提案
None
IoT の「つなぐ」を簡単に You Create. We Connect.