双方向データフローに基づくインテリジェントな IoTシステムを実現するための研究 栗林健太郎（2030006）北陸先端科学技術大学院大学博士前期課程 博士後期課程進学試験（2022年2月6日15時20分〜15時40分） 1

2 目次 1. 世界観と課題 2. 研究計画 1. 修士研究の展開 2. IoTデバイスへの変更の動的適用に関する研究 3. IoTデバイスへの学習済みモデルの配布に関する研究 3. スケジュール

3 1. 世界観と課題

4 1. 世界観と課題 物理空間とサイバー空間を架橋しインテリジェントに動作する IoTシステムの技術基盤を実現する Physicalverse Midverse Physical Space Materials (Things) Overlaids (IoTs) Intermediates Metaverse Cyber Space Objects IoT System (1) Device Layer Edge Layer Cloud Layer [1] 栗林 健太郎, 三宅 悠介, 力武 健次, 篠田 陽一, IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手法の提案 [2] Shi, Weisong, Jie Cao, Quan Zhang, Youhuizi Li, and Lanyu Xu, Edge Computing: Vision and Challenges IoT System (2) ・・ ・ ・・ ・ ・・ ・ - Sensing physical environment and actuating devices. - Transport the sensor data to the upper layer.[1] - Conducting with environment in an intelligent manner based on learning (device-side/cloud-side). - Computing offloading, data cashing/storage, request distribution, service discovery, IoT management, privacy management [2] - Processing the data, i.e., formatting, transforming, extending, etc [1] - Analysing the data to produce meaningful information. - Providing services to users. - Sending actuation orders to the device layer.[1]

1. 世界観と課題 インテリジェントなIoTシステムを構築するに際して以下3つの課題に取り組む 課題① 3層構造をとるIoTシステムの設計・実装は複雑になってしまう [1] ①プログラミング言語，通信プロトコルの選択肢の多様性，②デバイス層からのデータ取得方式の多様性とネットワークの双方 向性，③データフローおよび処理記述の複雑性による 課題② 配備されたIoTデバイスへの開発者による変更の適用は困難である [3] 継続的に更新され続けるIoTシステムを構成するIoTデバイスもまた継続的に更新され続ける必要がある．一方で，デバイスの ハードウェア特性やネットワーク上の位置付けにより，効率的な更新が難しい． 課題③ デバイス層での推論のためのモデル配布を効率的に行うのが困難である [4] IoTデバイスは非力であり，学習はクラウド層のように計算資源が豊富な場所で行う必要がある．一方で，学習済みモデルを継 続的にデバイスへ配布する効率的な方法は定まっておらず，しばしば手動でなされている． [3] 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用する方式の提案と実装 [4] Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola, Edge MLOps: An Automation Framework for AIoT Applications

6 2. 研究計画

2.1. 修士研究の展開 多数のデバイスにより構成されるIoTシステムでのPratipadの実用性を評価する [5] Cruz, Mauro A. A. da, Joel J. P. C. Rodrigues, Arun Kumar Sangaiah, Jalal Al-Muhtadi, and Valery Korotaev, Performance Evaluation of IoT Middleware 対応する課題 課題① 3層構造をとるIoTシステムの設計・実装は複雑になってしまう （承前：「IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手法の提 案」修士論文審査会発表） ● 提案手法を大規模なシステムに応用可能なパフォーマンス改善 ○ 修士研究で評価したデモシステムは，少数のデバイスからなるものであった ○ 数百〜数千のIoTデバイスが接続する環境を想定したパフォーマンス改善が必要 ● 定量評価 ○ 上記の想定における，提案手法の定量評価（電力消費量，パケットサイズ，エラーレート，レス ポンスタイム，データ量に対するパフォーマンス変化等 [5]）

2.2. IoTデバイスへの変更の動的適用 効率的な更新を目的とする先行研究はあるが，動的言語に基づくものはない [6] Peter Ruckebusch, Eli De Poorter, Carolina Fortuna, and Ingrid Moerman, Gitar: Generic extension for internet-of-things architectures enabling dynamic updates of network and application modules [7] Peter Ruckebusch, Spilios Giannoulis, Ingrid Moerman, Jeroen Hoebeke, and Eli De Poorter, Modelling the energy consumption for over-the-air software updates in lp-wan networks ● 先行研究は，開発者によるコードの変更をIoTデバイスに適用する方式を以下の表の通り整理している（[6-7]より筆者 がまとめた）． ● ハードウェアやネットワーク制約の強いIoTデバイスの実環境への配備後の更新方式に着目しているため，動的言語に よる方式を採用不可としている． 更新対象 概要 採用可否 スクリプト言語によるコード スクリプト言語の持つ動的な性質を利用して，旧いコードを開発者による変更後の新し いコードで置き換える． ✕ 仮想機械で動作する言語によるコード 仮想機械で動作する言語の持つ動的な性質を利用して，旧いコードを開発者による変 更後の新しいコードで置き換える． ✕ ファームウェアイメージ アプリケーションコードを埋め込んだファームウェアイメージを入れ替えることで，開発者 による変更後の新しいコードを適用する． ◯ ネイティブコードへの動的リンク 開発者による変更後の新しいコードをネイティブコードとして配置し，既存のコードのリ ンク先を動的に書き換える． ◯ 対応する課題 課題② 配備されたIoTデバイスへの開発者による変更の適用は困難である

2.2. IoTデバイスへの変更の動的適用 ● IoTデバイス内アプリケーションの開発効率向 上のためにコードの変更を動的に適用する方 式については，すでに提案済み（右図 [3]）． ● 一方で，本研究では開発者によるコードの変 更を，Pratipadを通じてクラウド層からデバイ ス層へ配布する． ● 多量のデバイスへのコードの動的な変更を安 全に行える方式の確立が研究の肝． クラウド層から変更すべきコードをIoTデバイスへ配布し，動的更新を実現する [3] 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用する方式の提案と実装 対応する課題 課題② 配備されたIoTデバイスへの開発者による変更の適用は困難である

10 2.3. IoTデバイスへの学習済みモデルの配布 学習処理のクラウドへの移譲だけでなく，MLOpsのような開発サイクルが必要 [4] Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola, Edge MLOps: An Automation Framework for AIoT Applications [8] Castillo, Emmanuel Ayuyao, and Ali Ahmadinia, Distributed Deep Convolutional Neural Network For Smart Camera Image Recognition [9] Li, He, Kaoru Ota, and Mianxiong Dong, Learning IoT in Edge: Deep Learning for the Internet of Things with Edge Computin 対応する課題 課題③ デバイス層での推論のためのモデル配布を効率的に行うのが困難である ● 学習をクラウド層へオフローディングし，そこで得ら れたモデルを用いてデバイス層で推論を行う研究 が行われている[8, 9]． ● それらでは学習済みモデルの継続的な更新や配備 について考慮がなされていない． MLOpsに基づく エッジデバイスでの推論のためのフレームワークが 提案されている（右図[4]）． ● 一方で，モデルの配布方法については，ビルド済み のものをpullする以外にもpushやdemand方式もあ り得る（例：Pratipadが対応するデータ取得方式）．

11 2.3. IoTデバイスへの学習済みモデルの配布 Pratipadによるモデルの効率的な配布と，多様な配布方式への対応 環境 ① センシング ② データ中継・処理 ③ データ集約 ④ 機械学習 ⑤ パラメタ転送 ⑥ 学習済みモデルによる推論 対応する課題 課題③ デバイス層での推論のためのモデル配布を効率的に行うのが困難である ① 転送経路の一本化とモデルの圧縮による効率化 ② Push, Pull, Demand方式によるモデルの配布 図は「栗林 健太郎, Elixirで構成された3層構造からなる IoTシステムにおける分散機械学習・推論実行基盤へ向けて」 [10]より

12 3. スケジュール

3. スケジュール ※ 博士論文関連のスケジュールについては「時期 | JAIST 北陸先端科学技術大学院大学 https://www.jaist.ac.jp/education/degree/timeline.html」を参照した． 2022年度 2023年度 2024年度 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 研究① 論文誌投稿 IPSJ・IOT研究会特集号 論文誌出版 IPSJ・IOT研究会特集号 研究② 国内研究会投稿 IPSJ・EMB研究会 国際会議投稿 SenSys/IC2E/CLOUD 研究③ 国際会議投稿 Erlang Workshop 国内会議投稿 IOTS2022 論文誌投稿 IPSJ・IOT研究会特集号 論文誌出版 IPSJ・IOT研究会特集号 博士論文 骨子 提出 予備 審査 公聴 会

参考文献 1. 栗林 健太郎, 三宅 悠介, 力武 健次, 篠田 陽一, IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手 法の提案, インターネットと運用技術シンポジウム論文集 , 2021, pp.48-55, Nov 2021. 2. Shi, Weisong, Jie Cao, Quan Zhang, Youhuizi Li, and Lanyu Xu. 2016. “Edge Computing: Vision and Challenges.” IEEE Internet of Things Journal 3 (5): 637–46. 3. 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用 する方式の提案と実装 , 研究報告ソフトウェア工学（ SE）, Vol.2021-SE-207, No.32, pp.1-8, Feb 2021. 4. Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola. 2021. “Edge MLOps: An Automation Framework for AIoT Applications.” In 2021 IEEE International Conference on Cloud Engineering (IC2E), 191–200. 5. Cruz, Mauro A. A. da, Joel J. P. C. Rodrigues, Arun Kumar Sangaiah, Jalal Al-Muhtadi, and Valery Korotaev. 2018. “Performance Evaluation of IoT Middleware.” Journal of Network and Computer Applications 109 (May): 53–65. 6. Peter Ruckebusch, Eli De Poorter, Carolina Fortuna, and Ingrid Moerman. Gitar: Generic extension for internet-of-things architectures enabling dynamic up- dates of network and application modules. Ad Hoc Net- works, Vol. 36, pp. 127–151, January 2016. 7. Peter Ruckebusch, Spilios Giannoulis, Ingrid Moerman, Jeroen Hoebeke, and Eli De Poorter. Modelling the energy consumption for over-the-air software updates in lp- wan networks: Sigfox, lora and ieee 802.15.4g. Internet of Things, Vol. 3-4, pp. 104–119. 8. Castillo, Emmanuel Ayuyao, and Ali Ahmadinia. 2017. “Distributed Deep Convolutional Neural Network For Smart Camera Image Recognition.” In Proceedings of the 11th International Conference on Distributed Smart Cameras, 169–73. ICDSC 2017. New York, NY, USA: Association for Computing Machinery. 9. Li, He, Kaoru Ota, and Mianxiong Dong. 2018. “Learning IoT in Edge: Deep Learning for the Internet of Things with Edge Computing.” IEEE Network 32 (1): 96–101. 10. 栗林 健太郎, Elixirで構成された3層構造からなる IoTシステムにおける分散機械学習・推論実行基盤へ向けて , https://speakerdeck.com/kentaro/toward-a-distributed-machine-learning-infrastructure-for-iot-systems-in-elixir