OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 2022/10/28 学術変⾰ 階層的⽣物ナビ学 OpenPack Challenge 2022 - チュートリアル 0

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 1 産業ドメインにおける⾏動認識の課題 物流センタ, 工場 ML CPS / Digital Twin Manager MLʼ センサデータ, 動画 作業⾏動データ Simulation, Bottleneck Assessment Wearable Sensor 作業プロセスの 改善 複雑な動作から構成される作業⼯程を認識する 「作業⾏動認識モデル」の開発 課題1 IoTデータをはじめとする マルチモーダルデータの組み合わせ⽅ IoT Device 課題2

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 2 OpenPack Dataset ● 産業ドメインにおける⼤規模マルチモーダル⾏動認識データセット ● IoT機器のデータを⽤いた⾏動認識技術の開発も想定 合計収録時間 53.8 H ⾻格, 深度画像 Wearable デバイス センサの種類 被験者数 16 梱包作業回数 2048 IoT デバイス メタ データ コンペでは “Operation” の推定を⾏います︕ • Work Operation Labels: 21K+ • Action Labels: 38K+

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 1st Activity Recognition Challenge on Packaging Work @PerCom WS Data IMU, Keypoints, IoT Device, Meta Data, etc Task 梱包作業における，10種類の作業⾏動認識 (e.g., Assemble Box, Scan Label ) Launch 2022.10.15 Ends 2023.01.15 Prize 上位3チーム ● 賞⾦ ● Percomへの旅費⽀援 詳細はHPを ご覧ください! https://open-pack.github.io/ challenge2022/

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 4 Sample Video & 認識対象の作業⼯程 ID 作業⼯程 100 Picking 200 Relocate Item Label 300 Assemble Box 400 Insert Items 500 Close Box 600 Attach Box Label 700 Scan Label 800 Attach Shipping Label 900 Put on Back Table 1000 Fill out Order

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 5 タスクの概要 Input 加速度 (左⼿⾸ 3ch) 行動認識モデル (Neural Network) Output モデルの出⼒ (各クラスの確率) 60秒分 (1800pt x 6ch) @30Hz 60秒分 (1800pt x 10class) @30Hz 60秒分 (60pt,) @1Hz 作業⼯程IDの系列 (1秒ごと) Down-sampling & Argmax

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 6 今回実⾏するモデル: DeepConvLSTM (CNNのみ版) Kernel Size: 特徴を抽出する 範囲を制御する ハイパーパラメータ 今回実験してもらうモデル 特徴を抽出する範囲 (受容野) の変え⽅ ココを変更! •ks=5 (0.16秒間) •ks=15 (0.5秒間) •ks=30 (1.0秒間) •ks=60 (2.0秒間)

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 7 Tutorial⽤ Notebook [1] HP: OpenPack Challenge 2022 (“OpenPack Dataset”で検索) https://open-pack.github.io/challenge2022 [2] Colab: Tutorial_Basics_of_Modeling__JA.ipynb https://colab.research.google.com/github/open- pack/openpack-torch/blob/main/examples/deep-conv- lstm/notebooks/Tutorial_Basics_of_Modeling__JA.ipynb [注意] ランタイムをGPUに変更

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 8 Codalabでの予測結果の提出 Codalabの アカウントを作成 “submission.zip”を アップロード しばらくすると、 スコアが表⽰されます.

OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 9 Link https://twitter.com/OpenPackDataset Twitter: @OpenPackDataset • データセットの リリース情報やTipsなど • コンペの状況 Google Group • データセットのリリース情報 • コンペに関連する公式アナウンス Codalab • コンペの予測結果の提出システム • 他の⼈のスコアも確認可能 https://groups.google.com/g/openpack https://codalab.lisn.upsaclay.fr/competitions/7830 HPにもリンクが掲載されています！ https://open-pack.github.io/