$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
Search
SORACOM
PRO
November 29, 2024
Technology
0
6
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
第 5 回ナノコン応用コンテストのゲスト登壇にて、ソラコム松下(max)が登壇した資料です。
※URL限定公開です。再配布はソラコム松下の許諾を得るようにしてください。
SORACOM
PRO
November 29, 2024
More Decks by SORACOM
See All by SORACOM
SORACOM のアーキテクチャと挑戦のフィールド
soracom
PRO
1
32
Technical Writing Meetup vol.39
soracom
PRO
1
87
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
340
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
460
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
300
Technical Writing Meetup vol.35
soracom
PRO
2
240
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
900
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
630
【SORACOM UG ビギナーズ】IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
1
480
Other Decks in Technology
See All in Technology
つくってあそぼ! ユビキタス言語作文の紹介
ndadayo
1
150
AWS re:Invent 2024登壇資料(GBL206-JA: Unleashing the power of generative AI on AWS for your business)
minorun365
PRO
7
250
B10-ひと目でわかる(といいなぁ)Microsoft Purview
seafay
PRO
0
500
職能を超えたモブプログラミングが品質に与えた良い影響
tonionagauzzi
1
190
.NET のUnified AI Building Blocks 入門...!
okazuki
0
190
アジャイルテストの4象限で考える プロダクト開発の品質への向き合い方
nagano
1
910
Reliability Engineering at Studist
katsuhisa91
PRO
0
120
論理レプリケーションを使ったDB統合
kkato1
0
320
pmconf2024_UPSIDER
upsider_tech
0
7.5k
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
2
9k
セキュリティ系アップデート全体像と AWS Organizations 新ポリシー「宣言型ポリシー」を紹介 / reGrowth 2024 Security
masahirokawahara
0
190
ABEMA スマートテレビアプリケーションのパフォーマンス改善 〜業界トップクラスを目指して〜 / Performance Improvements on ABEMA Smart TV App
nodaguti
0
110
Featured
See All Featured
KATA
mclloyd
29
14k
It's Worth the Effort
3n
183
27k
Done Done
chrislema
181
16k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
890
Automating Front-end Workflow
addyosmani
1366
200k
Statistics for Hackers
jakevdp
796
220k
Designing for humans not robots
tammielis
250
25k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.4k
Adopting Sorbet at Scale
ufuk
73
9.1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
1
110
Transcript
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには Nov. 29, 2024 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(Max / @ma2shita)
株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 新幹線通勤族
• 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • X(旧Twitter): @ma2shita • 好きな SORACOM サービス: • SORACOM Funnel • Pixel 9 Pro にしました WiJG?, Public domain, via Wikimedia Commons NEW!! UPDATE!!
ソラコムが提供するグローバル IoT プラットフォーム
ソラコムにおける生成 AI への取り組み状況 研究と新規開発 ⚫ 2023年7月 社内利用の ChatGPT Plus 契約費用の全額補助
⚫ 2023年7月 松尾研究所と共同で「IoT × GenAI Lab」を設立 生成 AI 利用の IoT 向けアプリケーション ⚫ 2023年7月 蓄積済の IoT データを、生成 AI で分析ができる SORACOM Harvest Intelligence ⚫ 2024年7月 ローコードで IoT デバイスと生成 AI をつなげられる SORACOM Flux 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2024年11月現在)
生成 AI を取り巻くエコシステム セキュリティとガバナンス プライバシー保護、ガードレール、透明性 継続的デリバリー 評価、モニタリング、デプロイ モデル強化 RAG、 ファインチューニング
ユーティリティ ライブラリ・フレームワーク、 インテグレーション コミュニティ インターフェイス プロンプト、 AI エージェント 基盤モデル LLM、SLM、 目的特化 コンサルテーション LLM: 大規模言語モデル SLM: 小規模言語モデル RAG: 検索強化生成
生成 AI (LLM) 【LLM】 入力情報から「次の情報を予測」 これまでの機械学習(ML)や 深層学習(DL)と異なる点 IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、
…その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “この” 確率が高い …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力 《これまで》 ⚫ 学習フェーズと推論フェーズ ⚫ 専門知識が必須 《生成AI》 ✓ 学習フェーズが不要 ― すぐ結果が得られる ✓ 専門知識が不要 ― 誰でも使える
生成 AI が活きるユースケースと要素技術 マルチモーダル情報の認識 ✓ 人以外からのデータ入力 ✓ 物体認識、 OCR、文字起こし マルチモーダル
AI SLM (小規模言語モデル) ✓ 独立動作 ― オフラインファースト ✓ プロンプトジェネレーター ― クラウド・LLM への前処理 オフライン・ LLM 協調 UX 物理世界へのフィードバック ✓ 操作のアシスト ✓ 機器間の協調動作 デジタルツイン RAG (検索強化生成) ファインチューニング データ加工・処理の自動化 ✓ 読み替え、整形や名寄せ ✓ 他データとの “意味による” 結合 時系列データへの適用 ✓ トレンドの言語化 ✓ 欠落データ発見や補完 ✓ 未来予測 時系列基盤モデル
マルチモーダル AI と “常識”
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
IoT と AI の関係 ― 生成 AI の判断材料 “データ” の強化
人力 《入力 “何を入れたら”》 プロンプト 《出力 “何が出てくるか”》 生成データ 生成 AI IoT デバイス プロンプト + データ 人の代わりに 入力 支援・操作 生成 AI の出力が 現場の新たな入力に IoT
出典: 株式会社ソラコム. “三菱電機とソラコム・松尾研究所「IoT × GenAI Lab」が、 IoTと生成AIを応用した空調機器制御の実証実験を実施”. プレスリリース. 2024-07-11. https://soracom.com/ja/news/20240711-iot-genai-poc-report,
(参照 2024-08-13). 複数のデータを基に意思決定、作業 • センサーから得られた環境データ • 外部の天気情報から得られた環境データ • 空調機器の設定温度 • 空調利用位置検知システムの情報(画像/ 室内の温度のヒートマップ等) • 感性情報(オフィス勤務者からの快適性についての定期的なフィードバック) 生成 AI の効果 ― IoT × GenAI Lab の取り組み
https://docs.m5stack.com/en/module/Module-llm (参照 2024-11-10) 出所: Don Reisinger. “MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵”. ZDNET Japan. 2024-04-24.
https://japan.zdnet.com/article/35218152/, (参照 2024-11-06). 出所: IoTNEWS編集部. “セレンス、マイクロソフトと協業し車載向けの組込み型SLMモデル「CaLLM Edge」を 発表”. IoTNews. 2024-11-21. https://iotnews.jp/maas-case/258367/, (参照 2024-11-21). 出所: MONOist. “ラズパイ5にAIキットが登場、処理性能は13TOPS”. MONOist. 2024-06-05. https://monoist.itmedia.co.jp/mn/articles/2406/05/news086.html, (参照 2024-11-10).
ハードウェア単体 = クラウド非依存の 生成 AI 環境が整い始めている
Run microsoft/Phi-3.5-mini-4k-instruct locally input_text = """¥ Convert the following plain
text to Table format of Markdown. Show only a Result(Solution) of the conversion. Column are "#", "Name", "Height", "Weight". Automatically assign sequential numbers. --- Kohei MATSUSHITA 173cm 64kg Kazunto GODA 177.5cm 68kg --- """ from transformers import AutoModelForCausalLM, AutoTokenizer # モデルとトークナイザーのロード model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # テキストをトークン化 inputs = tokenizer(input_text, return_tensors="pt") input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] # テキスト生成 output = model.generate(input_ids, attention_mask=attention_mask, max_new_tokens=128) # 生成結果をデコードして表示 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) プロンプトと データ 実装 run.py 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
Run microsoft/Phi-3.5-mini-4k-instruct locally ※動画の一部を スキップしています
エッジデバイス上での生成 AI 実装の課題 部材価格、調達と互換性 ⚫ 高単価部品、採用時から EOL 対策設計 消費電力、電源確保 ⚫
省電力化との両立が困難 LLMOps の実装 ⚫ 継続的デリバリー、セキュリティとガバナンス
通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン
翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと組み合わせて「製品」 ハードウェアの限界 = 機能の限界
ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス:SORACOM
Air (plan01s / planX1)チップ型SIM(eSIM)搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー:JENESIS株式会社
ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから
ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験!進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー|議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
機能の数と、使いこなせる人の数は反比例 使いこなせる人の数 少 多 機能の数 少 多 スマートフォン 専用機 《ボタン等》
= お客様に 学習してもらう量
アイデア EM-Service • エネルギー消費データを解析し、最適な消費プランや 削減方法を提案 鬼殺し 〜飲み促しシステム〜 • プレイヤーの反応や飲酒量の履歴を学習し、個々に最 適化されたゲームルールや罰ゲームの提案
BalanceAlert • ユーザーの支出履歴を分析し、使いすぎを防止するた めのカスタマイズされた予算提案
None
IoT の「つなぐ」を簡単に You Create. We Connect.