Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
Search
SORACOM
PRO
November 29, 2024
Technology
0
90
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
第 5 回ナノコン応用コンテストのゲスト登壇にて、ソラコム松下(max)が登壇した資料です。
※URL限定公開です。再配布はソラコム松下の許諾を得るようにしてください。
SORACOM
PRO
November 29, 2024
More Decks by SORACOM
See All by SORACOM
投資家様向けビジネス概要<2025年8月版>
soracom
PRO
0
190
Business Overview for Investors[August 2025 Edition]
soracom
PRO
0
24
少人数・短期間で実現!“ゼロから作らない” 4つの事例から見る、新時代IoT【SORACOM Discovery 2025】
soracom
PRO
0
270
現場のリアルをカメラで変える!小売・商業施設の「現場改革」最前線【SORACOM Discovery 2025】
soracom
PRO
0
230
【特別講演】公開思考実験!もしも、この世界から「ヒトとモノのつながり」が消えたなら?【SORACOM Discovery 2025】
soracom
PRO
0
150
トヨタのIoT民主化を支援!「D-ROOM」の仕組みと現場浸透のくふう【SORACOM Discovery 2025】
soracom
PRO
0
290
クラウド全盛時代におけるIoTエッジ活用とグローバルサプライチェーン戦略【SORACOM Discovery 2025】
soracom
PRO
0
160
【特別講演】デジタル変革の羅針盤 ~CIO/CDOが描くIoTとAIの未来~【SORACOM Discovery 2025】
soracom
PRO
0
280
現場データを“武器”に変える!データ連携で加速する製造DX【SORACOM Discovery 2025】
soracom
PRO
0
150
Other Decks in Technology
See All in Technology
AI開発ツールCreateがAnythingになったよ
tendasato
0
120
roppongirb_20250911
igaiga
1
200
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
cmusudakeisuke
1
230
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
260
AWSで推進するデータマネジメント
kawanago
1
1.3k
なぜテストマネージャの視点が 必要なのか? 〜 一歩先へ進むために 〜
moritamasami
0
210
下手な強制、ダメ!絶対! 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは?
tsukaman
2
420
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
190
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
19
9k
AWSで始める実践Dagster入門
kitagawaz
1
590
生成AIでセキュリティ運用を効率化する話
sakaitakeshi
0
530
20250903_1つのAWSアカウントに複数システムがある環境におけるアクセス制御をABACで実現.pdf
yhana
3
540
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
330
21k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Six Lessons from altMBA
skipperchong
28
4k
The Invisible Side of Design
smashingmag
301
51k
Docker and Python
trallard
45
3.6k
Facilitating Awesome Meetings
lara
55
6.5k
Rails Girls Zürich Keynote
gr2m
95
14k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Context Engineering - Making Every Token Count
addyosmani
1
30
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
It's Worth the Effort
3n
187
28k
How to Ace a Technical Interview
jacobian
279
23k
Transcript
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには Nov. 29, 2024 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(Max / @ma2shita)
株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 新幹線通勤族
• 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • X(旧Twitter): @ma2shita • 好きな SORACOM サービス: • SORACOM Funnel • Pixel 9 Pro にしました WiJG?, Public domain, via Wikimedia Commons NEW!! UPDATE!!
ソラコムが提供するグローバル IoT プラットフォーム
ソラコムにおける生成 AI への取り組み状況 研究と新規開発 ⚫ 2023年7月 社内利用の ChatGPT Plus 契約費用の全額補助
⚫ 2023年7月 松尾研究所と共同で「IoT × GenAI Lab」を設立 生成 AI 利用の IoT 向けアプリケーション ⚫ 2023年7月 蓄積済の IoT データを、生成 AI で分析ができる SORACOM Harvest Intelligence ⚫ 2024年7月 ローコードで IoT デバイスと生成 AI をつなげられる SORACOM Flux 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2024年11月現在)
生成 AI を取り巻くエコシステム セキュリティとガバナンス プライバシー保護、ガードレール、透明性 継続的デリバリー 評価、モニタリング、デプロイ モデル強化 RAG、 ファインチューニング
ユーティリティ ライブラリ・フレームワーク、 インテグレーション コミュニティ インターフェイス プロンプト、 AI エージェント 基盤モデル LLM、SLM、 目的特化 コンサルテーション LLM: 大規模言語モデル SLM: 小規模言語モデル RAG: 検索強化生成
生成 AI (LLM) 【LLM】 入力情報から「次の情報を予測」 これまでの機械学習(ML)や 深層学習(DL)と異なる点 IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、
…その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “この” 確率が高い …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力 《これまで》 ⚫ 学習フェーズと推論フェーズ ⚫ 専門知識が必須 《生成AI》 ✓ 学習フェーズが不要 ― すぐ結果が得られる ✓ 専門知識が不要 ― 誰でも使える
生成 AI が活きるユースケースと要素技術 マルチモーダル情報の認識 ✓ 人以外からのデータ入力 ✓ 物体認識、 OCR、文字起こし マルチモーダル
AI SLM (小規模言語モデル) ✓ 独立動作 ― オフラインファースト ✓ プロンプトジェネレーター ― クラウド・LLM への前処理 オフライン・ LLM 協調 UX 物理世界へのフィードバック ✓ 操作のアシスト ✓ 機器間の協調動作 デジタルツイン RAG (検索強化生成) ファインチューニング データ加工・処理の自動化 ✓ 読み替え、整形や名寄せ ✓ 他データとの “意味による” 結合 時系列データへの適用 ✓ トレンドの言語化 ✓ 欠落データ発見や補完 ✓ 未来予測 時系列基盤モデル
マルチモーダル AI と “常識”
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
IoT と AI の関係 ― 生成 AI の判断材料 “データ” の強化
人力 《入力 “何を入れたら”》 プロンプト 《出力 “何が出てくるか”》 生成データ 生成 AI IoT デバイス プロンプト + データ 人の代わりに 入力 支援・操作 生成 AI の出力が 現場の新たな入力に IoT
出典: 株式会社ソラコム. “三菱電機とソラコム・松尾研究所「IoT × GenAI Lab」が、 IoTと生成AIを応用した空調機器制御の実証実験を実施”. プレスリリース. 2024-07-11. https://soracom.com/ja/news/20240711-iot-genai-poc-report,
(参照 2024-08-13). 複数のデータを基に意思決定、作業 • センサーから得られた環境データ • 外部の天気情報から得られた環境データ • 空調機器の設定温度 • 空調利用位置検知システムの情報(画像/ 室内の温度のヒートマップ等) • 感性情報(オフィス勤務者からの快適性についての定期的なフィードバック) 生成 AI の効果 ― IoT × GenAI Lab の取り組み
https://docs.m5stack.com/en/module/Module-llm (参照 2024-11-10) 出所: Don Reisinger. “MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵”. ZDNET Japan. 2024-04-24.
https://japan.zdnet.com/article/35218152/, (参照 2024-11-06). 出所: IoTNEWS編集部. “セレンス、マイクロソフトと協業し車載向けの組込み型SLMモデル「CaLLM Edge」を 発表”. IoTNews. 2024-11-21. https://iotnews.jp/maas-case/258367/, (参照 2024-11-21). 出所: MONOist. “ラズパイ5にAIキットが登場、処理性能は13TOPS”. MONOist. 2024-06-05. https://monoist.itmedia.co.jp/mn/articles/2406/05/news086.html, (参照 2024-11-10).
ハードウェア単体 = クラウド非依存の 生成 AI 環境が整い始めている
Run microsoft/Phi-3.5-mini-4k-instruct locally input_text = """¥ Convert the following plain
text to Table format of Markdown. Show only a Result(Solution) of the conversion. Column are "#", "Name", "Height", "Weight". Automatically assign sequential numbers. --- Kohei MATSUSHITA 173cm 64kg Kazunto GODA 177.5cm 68kg --- """ from transformers import AutoModelForCausalLM, AutoTokenizer # モデルとトークナイザーのロード model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # テキストをトークン化 inputs = tokenizer(input_text, return_tensors="pt") input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] # テキスト生成 output = model.generate(input_ids, attention_mask=attention_mask, max_new_tokens=128) # 生成結果をデコードして表示 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) プロンプトと データ 実装 run.py 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
Run microsoft/Phi-3.5-mini-4k-instruct locally ※動画の一部を スキップしています
エッジデバイス上での生成 AI 実装の課題 部材価格、調達と互換性 ⚫ 高単価部品、採用時から EOL 対策設計 消費電力、電源確保 ⚫
省電力化との両立が困難 LLMOps の実装 ⚫ 継続的デリバリー、セキュリティとガバナンス
通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン
翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと組み合わせて「製品」 ハードウェアの限界 = 機能の限界
ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス:SORACOM
Air (plan01s / planX1)チップ型SIM(eSIM)搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー:JENESIS株式会社
ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから
ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験!進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー|議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
機能の数と、使いこなせる人の数は反比例 使いこなせる人の数 少 多 機能の数 少 多 スマートフォン 専用機 《ボタン等》
= お客様に 学習してもらう量
アイデア EM-Service • エネルギー消費データを解析し、最適な消費プランや 削減方法を提案 鬼殺し 〜飲み促しシステム〜 • プレイヤーの反応や飲酒量の履歴を学習し、個々に最 適化されたゲームルールや罰ゲームの提案
BalanceAlert • ユーザーの支出履歴を分析し、使いすぎを防止するた めのカスタマイズされた予算提案
None
IoT の「つなぐ」を簡単に You Create. We Connect.