【限定公開】IoT・エッジ領域で生成系AIを活用する戦略と、これからのチャレンジ

2023年11月17日開催『EdgeTech+ 2023』で、ソラコム松下(max)が発表した資料です。

※この資料はURLのみでの共有としています。社内や組織内での共有・閲覧は可ですが、SNS等不特定多数への共有はお控えください。

Transcript

1. IoT・エッジ領域で生成 AI を活用する戦略と、 これからのチャレンジ Nov. 17, 2023 EdgeTech+ 2023 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (Max / @ma2shita)
2. 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 🗻 新幹線通勤族 🚅 • 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • AWS ヒーロー (2020年受賞) • X(旧Twitter): @ma2shita • 最近 Pixel 8 に変えました ← NEW!! WiJG?, Public domain, via Wikimedia Commons
3. @SORACOM_PR fb.com/soracom.jp イベントの振り返りに！ ハッシュタグ #エッジテックプラス #SORACOM フォローや チャンネル登録を是非！ youtube.com/c/SORACOM_Japan instagram.com/soracom.official
4. IoT・エッジ領域で生成 AI を活用する戦略と、 これからのチャレンジ (45分) • IoT と ソラコムの 生成 AI への取り組み状況 • 生成 AI の振り返り • IoT・エッジ領域における生成 AI との付き合い方
5. 生成 AI の認知は高いが、活用はこれから 出所: 野村総研. “アンケート調査にみる「生成AI」のビジネス利用の実態と意向”. レポート | デジタルエコノミー. 2020-6-13. https://www.nri.com/jp/knowledge/report/lst/2023/cc/0613_1, (参照 2023-11-16). ➢ ビジネスパーソンにおける「生成AI」の認知率は50％を超え、男性で高い傾向 ➢ AIにはプラスとマイナスのイメージがある
6. Pixel シリーズ「消しゴムマジック」 AI を活用して写真に写りこんだ人などの不要なものを検出し、数タップで 消去できる機能です。 ― https://support.google.com/photos/thread/223378348/
7. 十分に発達した科学技術は、 魔法と見分けがつかない。 ― クラークの三法則、第三法則より
8. ChatGPT(GPT-4V) デモ: > 画像内の人数（人間の顔）の数を数えて、 日本語で回答してください。 合計 = 60 • 明確に顔が見えている人数 = 58 • 顔が50%以上隠れている人数 = 2
9. ChatGPT(GPT-4V) デモ: > 画像内の人数（人間の顔）の数を数えて、 日本語で回答してください。
10. 生成 AI の実行 LLM × PE PE: プロンプトエンジニアリング
11. 株式会社ソラコム 概要 商号 株式会社ソラコム / SORACOM, INC. 代表取締役社長 玉川 憲 拠点 日本、英国、米国(シアトル) 事業概要 IoT 向けの通信プラットフォームの提供 ビジョン 世界中のヒトとモノを繋げ、共鳴する社会へ 「日本発」グローバルで使える IoT プラットフォームへ
12. https://www.youtube.com/watch?v=QBXAhM5PhTE
13. 株式会社MIXI 小さなお子さまをもつ親御さんのため に、子供が携帯しやすい「みてね」の 子ども向けGPSを開発。 高精度な位置情報とAI学習で自動で出 発・到着をお知らせ。お子さまの1日の 歩数や移動履歴も。 利用したSORACOMサービス： SORACOM Air, SORACOM Beam 協力パートナー：JENESIS株式会社 導入事例 サービス
14. クラウド センサー/デバイス “モノ” ネットワーク 現場をデジタル化 現場とクラウドをつなげる デジタルデータの活用 モノやコトをデジタル化 人手に頼らずデータを集める、現場を動かす IoT とは？
15. SORACOM は IoT の「つなぐ」を簡単に IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化 ✓ アラート通知 センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M 通信 デバイス クラウド型 カメラサービス 衛星通信
16. 600万を超える IoT 契約回線と実績 600万を超える IoT が 活躍している社会へ 出所: “IoTプラットフォームSORACOMの契約回線数が600万を突破”. ソラコム プレスリリース. 2023-10-25. https://soracom.com/ja-jp/news/20231025-6million-iot-devices-connected/, (参照 2023-10-25). ※海外法人からの提供を含む SORACOM Air の総回線数。SORACOM Air for セルラー、Sigfox、LoRaWANを含む。
17. ソラコムにおける生成 AI への取り組み状況 1. 研究と新規開発 ➢ ChatGPT Plus 契約費用の全額補助 ➢ 松尾研究所と共同で「IoT × GenAI Lab」を設 立 生成 AI 研究、新規プロダクト開発、顧客向けプロサービス 提供を行うチームを設立 2. 情報発信や共有 ➢ IoT 技術の勉強会「IoT-Tech Meetup」で “ChatGPT × IoT” を テーマに開催 <https://soracom.connpass.com/> 3. プラットフォームへの実装と提供 ➢ IoTデータの分析を生成 AI で行える 「SORACOM Harvest Intelligence」を提供 時系列データを対象にしたプロンプト支援で、トレンドや 異常・欠損などの洞察がワンクリックで得られる 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2023年11月現在)
18. OpenAI DevDay - Nov. 6, 2023 https://www.youtube.com/watch?v=U9mJuUkhUzk Microsoft Ignite - Nov. 16, 2023 https://www.youtube.com/watch?v=sgW_ww1Xxe8 GPT-4 Turbo、GTP-4V API GPTs、Assistant API Azure OpenAI Service、 Rebrand to “Copilot” Copilot Studio、Azure Maia AWS re:Invent - Nov. 27, 2023 https://reinvent.awsevents.com/ ？ 進化の激しい生成 AI を取り巻く環境
19. “AI” における生成 AI (GenAI) の位置づけ 生成 AI (Generative AI; GenAI) • 機械学習(ML) における分類「識別モデル」と「生成モデル」のうち、生成に着目した呼称。 • 実装例には、画像を生成するモデルや、自然言語を扱う大規模言語モデル(LLM)がある。 出典: 西脇 文彦. “生成AIが実現している機能の6類型”. DIAMOND ハーバード・ビジネス・レビュー. 2023-06-09. https://dhbr.diamond.jp/articles/-/9676, (参照 2023-08-10). 従来の ML や深層学習(DL)と異なる点 ➢ これまでは「学習」と「推論(生成)」の２つの作業が 不可欠。特に学習は専門知識や費用が必要だった。 ➢ 生成 AI は学習済みモデル(基盤モデル)が提供され、 利用者による学習作業が不要で、成果が得られる。
21. 基盤モデル = “常識” 株式会社スマートドライブ主催「Mobility Transformation 2023」(9/23) より 基盤モデルとは 大量かつ多様なデータで訓練され、 多様な用途におけるタスクに適応 できるモデル※1 ※1 Stanford University Human-Centered Artificial Intelligence, Machine Learning Reflections on Foundation Models 人間の経験や知識の如く 「常識を獲得」
23. 大規模言語モデル(Large Language Model; LLM) とパラメーター数 【LLM とは】入力単語群を基に 「次の単語を予測する」仕組み LLM の評価指標「パラメーター数」 • パラメーターの数 = モデルの容量 • 言語や用途に特化している場合もある ため単純比較はできないが、予測精度 の評価目安にはなる 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第２回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、 …その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “これ” だな、 常識的に考えて。 …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力
24. 例: line-corporation/japanese-large-lm text = generator( "おはようございます、今日の天気は", max_length=30, do_sample=True, pad_token_id=tokenizer.pad_token_id, num_return_sequences=5, ) 出所: “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). コードの一部 # [{'generated_text': 'おはようございます、今日の天気は雨模様ですね。梅雨のこの時期の 朝は洗濯物が # {'generated_text': 'おはようございます、今日の天気は晴れ。 気温は8°C位です。 朝晩は結構冷え込む # {'generated_text': 'おはようございます、今日の天気は曇りです。 朝起きたら雪が軽く積もっていた。 # {'generated_text': 'おはようございます、今日の天気は☁のち☀です。 朝の気温5°C、日中も21°Cと # {'generated_text': 'おはようございます、今日の天気は晴天ですが涼しい1日です、気温は午後になり低 出力の一部
25. 日本国内の主だった LLM ※1 “Language Models are Few-Shot Learners”. arXiv:2005.14165. 2020-07-22. https://arxiv.org/abs/2005.14165, (参照 2023-08-10). ※2 James Vincent. “OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’”. The Verge.. 2023-01-18. https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview, (参照 2023-08-10). LLM 名 パラメーター数 特化言語 提供元 公開時期 GPT-3 1,750億 汎用 OpenAI 2020年11月 ※1 GPT-4 (非公開) 汎用 OpenAI 2023年3月 ※2 OpenCALM 68億 日本語 サイバーエージェント 2023年5月 ※3 rinna 36億 日本語 rinna 2023年5月 ※4 japanese-large-lm 36億 日本語 LINE 2023年8月 ※5 Weblab-10B 100億 日・英 松尾研究室 2023年8月 ※6 ※4 “rinna、日本語に特化した36億パラメータのGPT言語モデルを公開”. rinna ニュース. 2020-05-17. https://rinna.co.jp/news/2023/05/20230507.html, (参照 2023-08-10). ※3 “サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学 習した商用利用可能なモデルを提供―”. サイバーエージェント プレスリリース. 2020-05-17. https://www.cyberagent.co.jp/news/detail/id=28817, (参照 2023-08-10). ※5 “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). ※6 “100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。”. 松尾研究所 プレスリリース. 2020-08-18. https://weblab.t.u-tokyo.ac.jp/100億パラメータサイズ・日英2ヶ国語対応の大規模/, (参照 2023-08-10). • 他にも「NEC の LLM (NEC)」がある。海外では「Llama 2 (Meta)」「Claude 2 (Anthropic)」「Falcon LLM (Technology Innovation Institute)」が公開されている • 最新リストを追うならば Open LLM Leaderboard(Hugging Face) をチェック
26. UX で LLM の民主化を実現「ChatGPT」 • LLM の直接実装では「文章の続きを書く」ことができるが、ニーズが少なかった • ChatGPT が注目された背景は「会話型インターフェイス」にしたことで、誰でも 使える = LLM 利用の民主化を実現 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第２回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). LLM GPT-3 GPT-3.5 GPT-4 ChatGPT 会話型 インターフェイス
27. 生成 AI のユースケース 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第２回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). 始めやすい 革新
28. 『 LLM は、何でも知ってるな 』
29. 何でもは知らないわよ。 知ってることだけ ― 〈物語〉シリーズ 羽川翼
30. LLM を使いこなす「プロンプトエンジニアリング」 LLM は「LLM が知っている事を基に、予測を生成する」 ➢ LLM が知っていることを引き出す手法が、プロンプトエンジニアリング(PE)
31. プロンプトエンジニアリングを学ぶ Prompt Engineering Guide https://www.promptingguide.ai/ 日本語: https://www.promptingguide.ai/jp プロンプトエンジニアリング自体の基礎から、 LLM 全般に対するテクニックを解説 ※英語版が最新 Best practices for prompt engineering with OpenAI API https://help.openai.com/en/articles/6654000-best-practices-for- prompt-engineering-with-openai-api OpenAI が提供する API を使いこなす 8 つの Tips だが、他の LLM 向けにも通ずる内容
32. プロンプトエンジニアリングは発展期 1/2 GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化が あることが明らかに 出所: AIDB. “GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに”. AIDB. 2020-08-30. https://aiboom.net/archives/54690, (参照 2023-08-31). 選択肢の順序が変更されることで、モデルの性能に 13%から75%もの大きな変動が生じたという点 コンピューターの原則 GIGO Garbage In, Garbage Out を意識すると、より良い結果が得られる
33. プロンプトエンジニアリングは発展期 2/2 出所: Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, Xing Xie. “Large Language Models Understand and Can be Enhanced by Emotional Stimuli”. arXiv:2307.11760. 2023-07-14. https://arxiv.org/abs/2307.11760, (参照 2023-11-10). 参照: AIDB, https://x.com/ai_database/status/1720257299212873914?s=20 2023-11-3. (参照 2023-11-10). 大規模言語モデルは感情的刺激を理解し、 それによって強化されうる
34. 「常識の獲得」によるパラダイムシフト LLM ができることは「次の単語を予測して生成」 ChatGPT は LLM を基にした会話型 I/F プロンプトエンジニアリングで LLM の性能が大きく変わる
35. 生成 AI との付き合い方 Copilot ー よき友 Whisper 等 ChatGPT 以外のプロダクト利用、 GPTs(GPT Builder)、RAG 等 Function Calling、Assistant API Azure OpenAI Service、Amazon Bedrock 等 私たちの生産性を上げる Embed ー 部品 製品に革新を組み込む
36. Copilot ― よき友 ハードウェア開発の支援に LLM を用いる ➢ ドキュメント要約やレビュー • 途中参加PJに対する議事録要約 や検索、専門用語の読み替えを RAG(検索拡張生成) で実現する ➢ コードや回路の設計、生成 ➢ デバッグ計画のドラフト ※ RAG: Retrieval Augmented Generation; 検索拡張生成 ※ プロンプトや取り込ませるデータがどのように取り扱われるかは、規約や構成を確認する必要あり 【再掲】
37. ビジネスで用いられるどのテクノロジーにも当てはまる第一の法則は、 効率の良い業務を自動化すれば、効率がさらに良くなるということだ。 第二の法則は、効率の悪い業務を自動化すれば、さらに効率が悪くなる ということだ ― 『ビル・ゲイツ 未来を語る』 ― 外山, 健. (2016). テクノロジーは貧困を救わない. 日本: みすず書房. ※下線と太字は筆者加筆
38. Embed ― 部品 生成 AI / LLM をハードウェアに 組み込めるのか？
39. 【再掲】
40. LLM のファイルサイズは数 GB クラス https://huggingface.co/line-corporation/japanese-large-lm-1.7b/tree/main
41. Raspberry Pi で動かす試みはされている 出所: 松浦立樹. “ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生”. ITmedia. 2020-03-18. https://www.itmedia.co.jp/news/articles/2303/18/news059.html, (参照 2023-08-10). LLaMAの7Bモデルを「Raspberry Pi 4」 で動かせるか検証したところ、 超低速ながら稼働したと報告。
42. 参考: LLM のローカル動作を試みるなら https://www.docswell.com/s/karaage0703/Z38EP1-2023-07-19-201446
43. ハードウェアへの LLM 組み込みは「見極め」 ➢ ハードウェア上の LLM で、何を提供したいのか？ ➢ 労力に見合った価値が提供できるのか？ 【再掲】
44. ハードウェアへの LLM 組み込み、検討ポイント LLM の本質は「知っている事だけ」 ➢ モデルサイズ自体が LLM の精度に比例する ユースケースを限定し、目的特化とすれば価値が出せる可能性 も考えられる ➢ e.g.) 特定タスクに対する自然言語入力インターフェイス 生成 AI に特定課題向け教師データを生成させ、マイコン動作 可能な ML モデル(Not LLM) を作る手段も考えられる ➢ 注意) 生成 AI による教師データ作りが規約で NG な場合もある ため、許諾範囲は要チェック
45. それでも LLM を ハードウェアに「組み込む」には？
46. ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス：SORACOM Air （plan01s / planX1）チップ型SIM（eSIM）搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー：JENESIS株式会社
47. 通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン 翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと一体化して 「製品」 ハードウェアの限界 = 機能の限界
48. ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験！進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー｜議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
49. クラウド上の生成 AI / LLM を利用する アーキテクチャー ➢ 実態はクラウド API プログラミング SDK や認証情報 ➢ 実装には JSON での送受信、IP 通信が必要 中継器、もしくは Wi-Fi、有線、セルラー(LTE / 5G / LTE-M) 等でつなげる MCU 上にすべて実装 中継器やサーバーへ SDK や 認証情報をオフロード SDK 認証情報 SDK 認証情報 プロトコル変換 例: nginx を MQTT ↔ MQTTS 変換機にして AWS IoT Core へ接続
50. 通信を用いた製品作りの解決すべき事柄 • API や通信途絶時の製品品質の確保 • API の仕様変更や機能追加、料金改定への追従 • 認証情報の盗難・流用対策 • 支払い状況に連動したサービス提供や停止処理 • 交換時の紐づけ・引継ぎ • プロンプトインジェクション等のセキュリティ対策 対策例 ➢ 再送処理や機能の部分的なローカル実装 ➢ 耐タンパ性があるモジュールの利用 ➢ トラフィック監視や変換・制御
51. クラウド活用時の IoT デバイスの開発工数削減や運用支援 SORACOM プラットフォームのサービス • パブリッククラウドの IoT サービス • HTTP(S) REST API • MQTT(S) ブローカー データ転送 SORACOM Beam クラウドアダプタ SORACOM Funnel ファンクション呼び出し SORACOM Funk IoT データ通信 SORACOM Air SORACOM IoT SIM セキュアリンク (VPN) SORACOM Arc IoT デバイス Wi-Fi LAN Starlink SORACOM バーチャル SIM/Subscriber • パブリッククラウドの ストリームサービス • SORACOM パートナーの SaaS • パブリッククラウドの FaaS オンデマンドパケットキャプチャ SORACOM Peek インラインプロセッシング (データ変換) SORACOM Orbit 透過型トラフィック処理 SORACOM Junction Web API セキュアプロビジョニング (初期設定代行と設定配布) SORACOM Krypton
52. 株式会社MIXI 導入事例 SORACOM BeamとeSIMを組み合わせによるデバイスの認証と通信の暗号化を行 うことにより、セキュリティの強靭化と同時に機器の開発やキッティングの手間 をオフロード。 位置情報 SORACOM Beam UDP HTTPS みてねみまもりGPS AWS Cloud eSIM 回線(SIM)情報により デバイスを認証 SORACOM Beamのプロトコル変換機能により、 デバイスがやり取りする軽量なUDP通信を 安全なHTTPSに変換してクラウドとやり取り。 サービス
53. IoT・エッジ領域で生成 AI を活用する戦略と、 これからのチャレンジ
54. 【再掲】
55. 生成 AI を使うなら LLM 選びと プロンプトエンジニアリング を
56. IoT の「つなぐ」を簡単に You Create. We Connect.