IoTデバイスでMLモデルを動かす技術

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　自己紹介中河宏文 ● スパイスコード株式会社CEO ● 会社代表としては珍しく?現役でコードも書いている ● エンジニアとしてはデバイスドライバ開発から、フロントエンド開発までやる何でも屋 Twitter: hnakagawa14 GitHub: hnakagawa ※写真は10年前

Slide 3

Slide 3 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　会社紹介 2019年08月15日東京都中央区銀座に当社設立 2019年10月15日 0.2億円の資金調達 2020年02月30日 0.6億円の資金調達 2020年03月15日調達・購買管理システムリリース会社名代表取締役中河宏文所在地東京都中央区銀座 6丁目13番16号銀座 Wallビル UCF5階スパイスコード株式会社事業内容飲食店向けのプラットフォーム事業 2021年02月08日 2.0億円の資金調達資本金 2億7,600万円従業員 11名 2021年08月20日農林水産省の実証実験に採択（補助金 :0.3億円） 2021年09月01日 FC向けのプラットフォームリリース 2021年11月01日東京都の実証実験に採択（補助金 :0.1億円）株主 Coral Capital (500 Startups)、STRIVE (GREE Ventures)、食の未来ファンド (Kemuri Ventures)、他

Slide 4

Slide 4 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　私たちのミッション美味しい料理は人を幸せにします。それは、言葉や文化の壁を簡単に超える力を持っています。それらを担い、支える産業がフード産業です。しかし、そのフード産業を取り巻く環境は現在、目紛しく変化しています。外食業界は慢性的な人手不足の状況からコロナの影響によって、業界そのもの自体の存続性が問われる状況に陥り、その煽りを受けるように多くの卸売業や生産者たちは、多くの在庫を抱え新たな販路を開拓する必要に迫られるなど、非常に苦しい状況に陥っています。そんな中で、我々はテクノロジーの力を使って消費者起点のなめらかで、無駄のない食料生産・供給ネットワークを社会実装し、飲食店様、強いては「食」の社会インフラを担っていらっしゃる皆様が、より誇りと自信を持って価値を発揮できる環境を創出したいと考えています。 MISSION フード産業を持続可能な仕組みへアップデートする

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　 IoTデバイスでMLモデルを動かす技術とは? ● TensorFlow Lite ● Pytorch Mobile ● ONNX Runtime ● etc… 現在、EdgeデバイスでDNNモデル(computation graph)を動かす為の様々な runtimeが存在します

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　何故NASなのか？ ● IoT(Edge)デバイスでMLモデルを走らせる上で様々なトレードオフ問題が存在します。 ○ Accuracy ○ Latency ○ Energy consumpition ○ Model size ● 目的のUXを達成するためには、アルゴリズム、エンジニアリング両方でそれらのバランスを考慮する必要がある Image credit[1] Image credit[1] オペレーションによって計算コストが違う mobile deviceでサポートしている GPUインターフェースのシェア Image credit[2]

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　 Designing efficient networks Mobile Nets V1, V2 and V3 - Depthwise separable conv を使用し計算量を低減 - Inverted residual with linear bottleneckを使用しメモリアクセス量を低減 - 活性化関数にh-swishを使用 - squeeze & excitationを使用した channelのattention - 軽量なfinal blockの採用 etc… Image credit: [4] Image credit: [5] Image credit: [6] Efficient Net - NASを使用して開発 - ネットワークの階層,ネットワークの幅,入力画像のサイズを説明変数とし、 FLOPS,メモリ使用量を制約とした最適化問題として探索 Image credit: [7]

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　 Designing efficient networks: Automated ways - 通常のモデルトレーニング - アーキテクチャ・サーチで探索 &トレーニングデバイス向けでは、探索時にLossにlatency等のペナルティ項を追加するなどして、ターゲットデバイスにfitしたモデル、acuraccyとlatencyのバランスが取れたモデルを探索

Slide 14

Slide 14 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　 NAS手法例 MnasNet[8] (RL-Based) Image credit: [8] Image credit: [9] FBNet[9] (Differentiable) - 探索空間から数千のmodelをsamplingする - 巨大な探索空間から探索できるが、巨大な計算機リソースが必要になる - DARTSベースの探索手法 - differentiableベースの探索のため探索は軽量だが、スーパーネットをGPUメモリに載せる必要がある為、GPUメモリの使用量が問題となりbatch sizeを上げられない - Binary Gateを挟むことによってGPUメモリ使用量問題を解決 - Binary Gateはαパラメータを元にサンプリングを行い決定 ProxylessNAS [10] (Differentiable)

Slide 15

Slide 15 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　前半まとめ ● IoT(Edge)デバイス上ではlatencyなどaccuracy以外の要素も重要となる ● 目的のUXを実現するために、accuracyやlatency等のバランスを取る必要がある ○ 必ずしもAccuracyが最優先ではない ● 個々のデバイス特性に合わせてDNNモデルを作るのは大変 ○ NASで探索を行うと良い

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　 MediaPipeとは ● リアルタイム処理を行う為の cross platformなPipeline framework ● PipelineをGraphとして記述 ● 効率良くPipelineを動作させる為の様々な仕組みをサポート Image credit: [10]

Slide 20

Slide 20 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　何が良いのか? カメラ入力リサイズ等の前処理物体認識画面描画処理の流れ 33ms以上時間がかかる処理 30fpsで動作 ● 通常カメラの入力スピード(例: 30fps)よりその後の処理の方が時間がかかる ● 愚直にシーケンシャル処理を行うとリアルタイム処理ができない Image credit: [10]

Slide 21

Slide 21 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　パイプライン・並列処理カメラ入力リサイズ等の前処理物体認識画面描画処理の流れ ● 各工程の処理をパイプライン制御 ● 並列処理はパイプライン・スケジューラが管理 ○ パイプラインが詰まらないように後段の処理優先度を高く制御 ● 処理が間に合わない場合は適当にデータを捨てる処理をパイプラインに入れる事ができるカメラ入力リサイズ等の前処理物体認識画面描画カメラ入力リサイズ等の前処理物体認識画面描画

Slide 22

Slide 22 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　フレームワーク・アーキテクチャパイプラインはGraphとして定義され以下の要素から構成される ● Nodes ○ 処理が行われる所、入出力portを持つ ○ 実装上はCalculatorと呼ばれる ● Packet ○ Graphを流れるデータを表す単位 ○ Timestampによって順序が管理される ● Streams ○ Graphのedgeを表す ○ PacketのTimestampを元にした所謂priority queueな実装 ● Side packets ○ Timestampを考慮しないedge ● Packet Ports ○ Nodeの入出力port ○ Nodeを結ぶ型情報が定義された物 Image credit: [11]

Slide 23

Slide 23 text

© 2021　Spicescode All rights reserved.　 © 2021　Spicescode All rights reserved.　まとめ DNNモデル (再掲) ● IoT(Edge)デバイス上ではlatencyなどaccuracy以外の要素も重要となる ● 目的のUXを実現するために、accuracyやlatency等のバランスを取る必要がある ○ 必ずしもAccuracyが最優先ではない ● 個々のデバイス特性に合わせてDNNモデルを作るのは大変 ○ NASで探索を行うと良いリアルタイム処理 ● MediaPipeが強力なフレームワーク ● パイプライン並列処理を簡単に記述できる ● 実践的にはNASなんかよりこっちが重要