$30 off During Our Annual Pro Sale. View Details »

双方向データフローに基づくインテリジェントなIoTシステムを実現するための研究 / My Research Plan for the Doctoral Course

双方向データフローに基づくインテリジェントなIoTシステムを実現するための研究 / My Research Plan for the Doctoral Course

北陸先端科学技術大学院大学博士前期課程博士後期課程進学試験(2022年2月6日15時20分〜15時40分)

(承前)IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手法の提案
https://speakerdeck.com/kentaro/masters-thesis-examination

Kentaro Kuribayashi

February 06, 2022
Tweet

More Decks by Kentaro Kuribayashi

Other Decks in Technology

Transcript

  1. 双方向データフローに基づくインテリジェントな
    IoTシステムを実現するための研究
    栗林健太郎(2030006)北陸先端科学技術大学院大学博士前期課程
    博士後期課程進学試験(2022年2月6日15時20分〜15時40分)
    1

    View Slide

  2. 2
    目次
    1. 世界観と課題
    2. 研究計画
    1. 修士研究の展開
    2. IoTデバイスへの変更の動的適用に関する研究
    3. IoTデバイスへの学習済みモデルの配布に関する研究
    3. スケジュール

    View Slide

  3. 3
    1. 世界観と課題

    View Slide

  4. 4
    1. 世界観と課題
    物理空間とサイバー空間を架橋しインテリジェントに動作する IoTシステムの技術基盤を実現する
    Physicalverse Midverse
    Physical Space
    Materials
    (Things)
    Overlaids
    (IoTs)
    Intermediates Metaverse
    Cyber Space
    Objects
    IoT System (1)
    Device Layer Edge Layer Cloud Layer
    [1] 栗林 健太郎, 三宅 悠介, 力武 健次, 篠田 陽一, IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手法の提案
    [2] Shi, Weisong, Jie Cao, Quan Zhang, Youhuizi Li, and Lanyu Xu, Edge Computing: Vision and Challenges
    IoT System (2)
    ・・

    ・・

    ・・

    - Sensing physical environment
    and actuating devices.
    - Transport the sensor data to the
    upper layer.[1]
    - Conducting with environment
    in an intelligent manner based
    on learning
    (device-side/cloud-side).
    - Computing offloading, data
    cashing/storage, request distribution,
    service discovery, IoT management,
    privacy management [2]
    - Processing the data, i.e., formatting,
    transforming, extending, etc [1]
    - Analysing the data to produce
    meaningful information.
    - Providing services to users.
    - Sending actuation orders to the
    device layer.[1]

    View Slide

  5. 1. 世界観と課題
    インテリジェントなIoTシステムを構築するに際して以下3つの課題に取り組む
    課題①
    3層構造をとるIoTシステムの設計・実装は複雑になってしまう [1]
    ①プログラミング言語,通信プロトコルの選択肢の多様性,②デバイス層からのデータ取得方式の多様性とネットワークの双方
    向性,③データフローおよび処理記述の複雑性による
    課題②
    配備されたIoTデバイスへの開発者による変更の適用は困難である [3]
    継続的に更新され続けるIoTシステムを構成するIoTデバイスもまた継続的に更新され続ける必要がある.一方で,デバイスの
    ハードウェア特性やネットワーク上の位置付けにより,効率的な更新が難しい.
    課題③
    デバイス層での推論のためのモデル配布を効率的に行うのが困難である [4]
    IoTデバイスは非力であり,学習はクラウド層のように計算資源が豊富な場所で行う必要がある.一方で,学習済みモデルを継
    続的にデバイスへ配布する効率的な方法は定まっておらず,しばしば手動でなされている.
    [3] 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用する方式の提案と実装
    [4] Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola, Edge MLOps: An Automation Framework for AIoT Applications

    View Slide

  6. 6
    2. 研究計画

    View Slide

  7. 2.1. 修士研究の展開
    多数のデバイスにより構成されるIoTシステムでのPratipadの実用性を評価する
    [5] Cruz, Mauro A. A. da, Joel J. P. C. Rodrigues, Arun Kumar Sangaiah, Jalal Al-Muhtadi, and Valery Korotaev, Performance Evaluation of IoT Middleware
    対応する課題 課題① 3層構造をとるIoTシステムの設計・実装は複雑になってしまう
    (承前:「IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手法の提
    案」修士論文審査会発表)
    ● 提案手法を大規模なシステムに応用可能なパフォーマンス改善
    ○ 修士研究で評価したデモシステムは,少数のデバイスからなるものであった
    ○ 数百〜数千のIoTデバイスが接続する環境を想定したパフォーマンス改善が必要
    ● 定量評価
    ○ 上記の想定における,提案手法の定量評価(電力消費量,パケットサイズ,エラーレート,レス
    ポンスタイム,データ量に対するパフォーマンス変化等 [5])

    View Slide

  8. 2.2. IoTデバイスへの変更の動的適用
    効率的な更新を目的とする先行研究はあるが,動的言語に基づくものはない
    [6] Peter Ruckebusch, Eli De Poorter, Carolina Fortuna, and Ingrid Moerman, Gitar: Generic extension for internet-of-things architectures enabling dynamic updates of network and application modules
    [7] Peter Ruckebusch, Spilios Giannoulis, Ingrid Moerman, Jeroen Hoebeke, and Eli De Poorter, Modelling the energy consumption for over-the-air software updates in lp-wan networks
    ● 先行研究は,開発者によるコードの変更をIoTデバイスに適用する方式を以下の表の通り整理している([6-7]より筆者
    がまとめた).
    ● ハードウェアやネットワーク制約の強いIoTデバイスの実環境への配備後の更新方式に着目しているため,動的言語に
    よる方式を採用不可としている.
    更新対象 概要 採用可否
    スクリプト言語によるコード
    スクリプト言語の持つ動的な性質を利用して,旧いコードを開発者による変更後の新し
    いコードで置き換える.

    仮想機械で動作する言語によるコード
    仮想機械で動作する言語の持つ動的な性質を利用して,旧いコードを開発者による変
    更後の新しいコードで置き換える.

    ファームウェアイメージ
    アプリケーションコードを埋め込んだファームウェアイメージを入れ替えることで,開発者
    による変更後の新しいコードを適用する.

    ネイティブコードへの動的リンク
    開発者による変更後の新しいコードをネイティブコードとして配置し,既存のコードのリ
    ンク先を動的に書き換える.

    対応する課題 課題② 配備されたIoTデバイスへの開発者による変更の適用は困難である

    View Slide

  9. 2.2. IoTデバイスへの変更の動的適用
    ● IoTデバイス内アプリケーションの開発効率向
    上のためにコードの変更を動的に適用する方
    式については,すでに提案済み(右図 [3]).
    ● 一方で,本研究では開発者によるコードの変
    更を,Pratipadを通じてクラウド層からデバイ
    ス層へ配布する.
    ● 多量のデバイスへのコードの動的な変更を安
    全に行える方式の確立が研究の肝.
    クラウド層から変更すべきコードをIoTデバイスへ配布し,動的更新を実現する
    [3] 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用する方式の提案と実装
    対応する課題 課題② 配備されたIoTデバイスへの開発者による変更の適用は困難である

    View Slide

  10. 10
    2.3. IoTデバイスへの学習済みモデルの配布
    学習処理のクラウドへの移譲だけでなく,MLOpsのような開発サイクルが必要
    [4] Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola, Edge MLOps: An Automation Framework for AIoT Applications
    [8] Castillo, Emmanuel Ayuyao, and Ali Ahmadinia, Distributed Deep Convolutional Neural Network For Smart Camera Image Recognition
    [9] Li, He, Kaoru Ota, and Mianxiong Dong, Learning IoT in Edge: Deep Learning for the Internet of Things with Edge Computin
    対応する課題 課題③ デバイス層での推論のためのモデル配布を効率的に行うのが困難である
    ● 学習をクラウド層へオフローディングし,そこで得ら
    れたモデルを用いてデバイス層で推論を行う研究
    が行われている[8, 9].
    ● それらでは学習済みモデルの継続的な更新や配備
    について考慮がなされていない.
    MLOpsに基づく
    エッジデバイスでの推論のためのフレームワークが
    提案されている(右図[4]).
    ● 一方で,モデルの配布方法については,ビルド済み
    のものをpullする以外にもpushやdemand方式もあ
    り得る(例:Pratipadが対応するデータ取得方式).

    View Slide

  11. 11
    2.3. IoTデバイスへの学習済みモデルの配布
    Pratipadによるモデルの効率的な配布と,多様な配布方式への対応
    環境
    ① センシング
    ② データ中継・処理 ③ データ集約
    ④ 機械学習
    ⑤ パラメタ転送
    ⑥ 学習済みモデルによる推論
    対応する課題 課題③ デバイス層での推論のためのモデル配布を効率的に行うのが困難である
    ① 転送経路の一本化とモデルの圧縮による効率化
    ② Push, Pull, Demand方式によるモデルの配布
    図は「栗林 健太郎, Elixirで構成された3層構造からなる
    IoTシステムにおける分散機械学習・推論実行基盤へ向けて」
    [10]より

    View Slide

  12. 12
    3. スケジュール

    View Slide

  13. 3. スケジュール
    ※ 博士論文関連のスケジュールについては「時期
    | JAIST 北陸先端科学技術大学院大学 https://www.jaist.ac.jp/education/degree/timeline.html」を参照した.
    2022年度 2023年度 2024年度
    Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4
    研究① 論文誌投稿
    IPSJ・IOT研究会特集号
    論文誌出版
    IPSJ・IOT研究会特集号
    研究② 国内研究会投稿
    IPSJ・EMB研究会
    国際会議投稿
    SenSys/IC2E/CLOUD
    研究③ 国際会議投稿
    Erlang Workshop
    国内会議投稿
    IOTS2022
    論文誌投稿
    IPSJ・IOT研究会特集号
    論文誌出版
    IPSJ・IOT研究会特集号
    博士論文 骨子
    提出
    予備
    審査
    公聴

    View Slide

  14. 参考文献
    1. 栗林 健太郎, 三宅 悠介, 力武 健次, 篠田 陽一, IoTシステムの双方向データフローにおける設計と実装の複雑さを解消する手
    法の提案, インターネットと運用技術シンポジウム論文集 , 2021, pp.48-55, Nov 2021.
    2. Shi, Weisong, Jie Cao, Quan Zhang, Youhuizi Li, and Lanyu Xu. 2016. “Edge Computing: Vision and Challenges.” IEEE
    Internet of Things Journal 3 (5): 637–46.
    3. 栗林 健太郎, 山崎 進, 力武 健次, 丹 康雄, IoTデバイス内アプリケーションの開発効率向上のためにコードの変更を動的に適用
    する方式の提案と実装 , 研究報告ソフトウェア工学( SE), Vol.2021-SE-207, No.32, pp.1-8, Feb 2021.
    4. Raj, Emmanuel, David Buffoni, Magnus Westerlund, and Kimmo Ahola. 2021. “Edge MLOps: An Automation
    Framework for AIoT Applications.” In 2021 IEEE International Conference on Cloud Engineering (IC2E), 191–200.
    5. Cruz, Mauro A. A. da, Joel J. P. C. Rodrigues, Arun Kumar Sangaiah, Jalal Al-Muhtadi, and Valery Korotaev. 2018.
    “Performance Evaluation of IoT Middleware.” Journal of Network and Computer Applications 109 (May): 53–65.
    6. Peter Ruckebusch, Eli De Poorter, Carolina Fortuna, and Ingrid Moerman. Gitar: Generic extension for
    internet-of-things architectures enabling dynamic up- dates of network and application modules. Ad Hoc Net- works,
    Vol. 36, pp. 127–151, January 2016.
    7. Peter Ruckebusch, Spilios Giannoulis, Ingrid Moerman, Jeroen Hoebeke, and Eli De Poorter. Modelling the energy
    consumption for over-the-air software updates in lp- wan networks: Sigfox, lora and ieee 802.15.4g. Internet of
    Things, Vol. 3-4, pp. 104–119.
    8. Castillo, Emmanuel Ayuyao, and Ali Ahmadinia. 2017. “Distributed Deep Convolutional Neural Network For Smart
    Camera Image Recognition.” In Proceedings of the 11th International Conference on Distributed Smart Cameras,
    169–73. ICDSC 2017. New York, NY, USA: Association for Computing Machinery.
    9. Li, He, Kaoru Ota, and Mianxiong Dong. 2018. “Learning IoT in Edge: Deep Learning for the Internet of Things with
    Edge Computing.” IEEE Network 32 (1): 96–101.
    10. 栗林 健太郎, Elixirで構成された3層構造からなる IoTシステムにおける分散機械学習・推論実行基盤へ向けて ,
    https://speakerdeck.com/kentaro/toward-a-distributed-machine-learning-infrastructure-for-iot-systems-in-elixir

    View Slide