OpenPack Challenge 2022 - チュートリアル (日本語)

2022年10月28日に学術変革 階層的生物ナビ学 研究会にて行われた，OpenPack Challenge 2022のチュートリアルセッションの資料です．
コンペの課題である，作業工程認識モデルの構築と，コンペサイトへの提出方法を説明しております．コンペの詳細は，https://open-pack.github.io/challenge2022 でご確認ください．

また，チュートリアルセッションのアーカイブ動画はこちらからご覧になれます．
https://youtu.be/X1Tj9t1EbK0

Transcript

1. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15
   2022/10/28 学術変⾰ 階層的⽣物ナビ学
   OpenPack Challenge 2022 - チュートリアル
   0
   

   View Slide

2. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 1
   産業ドメインにおける⾏動認識の課題
   物流センタ,
   工場
   ML
   CPS / Digital Twin Manager
   MLʼ
   センサデータ,
   動画
   作業⾏動データ
   Simulation,
   Bottleneck
   Assessment
   Wearable
   Sensor
   作業プロセスの
   改善
   複雑な動作から構成される作業⼯程を認識する
   「作業⾏動認識モデル」の開発
   課題1
   IoTデータをはじめとする
   マルチモーダルデータの組み合わせ⽅
   IoT
   Device
   課題2
   

   View Slide

3. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 2
   OpenPack Dataset
   ● 産業ドメインにおける⼤規模マルチモーダル⾏動認識データセット
   ● IoT機器のデータを⽤いた⾏動認識技術の開発も想定
   合計収録時間
   53.8 H
   ⾻格,
   深度画像
   Wearable
   デバイス
   センサの種類
   被験者数
   16
   梱包作業回数
   2048
   IoT
   デバイス
   メタ
   データ
   コンペでは “Operation”
   の推定を⾏います︕
   • Work Operation Labels: 21K+
   • Action Labels: 38K+
   

   View Slide

4. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15
   1st Activity Recognition Challenge on Packaging Work @PerCom WS
   Data IMU, Keypoints, IoT Device, Meta Data, etc
   Task 梱包作業における，10種類の作業⾏動認識
   (e.g., Assemble Box, Scan Label )
   Launch 2022.10.15
   Ends 2023.01.15
   Prize
   上位3チーム
   ● 賞⾦
   ● Percomへの旅費⽀援
   詳細はHPを
   ご覧ください!
   https://open-pack.github.io/
   challenge2022/
   

   View Slide

5. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 4
   Sample Video & 認識対象の作業⼯程
   ID 作業⼯程
   100 Picking
   200 Relocate Item Label
   300 Assemble Box
   400 Insert Items
   500 Close Box
   600 Attach Box Label
   700 Scan Label
   800 Attach Shipping Label
   900 Put on Back Table
   1000 Fill out Order
   

   View Slide

6. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 5
   タスクの概要
   Input 加速度
   (左⼿⾸ 3ch)
   行動認識モデル
   (Neural Network)
   Output
   モデルの出⼒
   (各クラスの確率)
   60秒分 (1800pt x 6ch) @30Hz
   60秒分 (1800pt x 10class) @30Hz
   60秒分 (60pt,) @1Hz
   作業⼯程IDの系列
   (1秒ごと)
   Down-sampling & Argmax
   

   View Slide

7. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 6
   今回実⾏するモデル: DeepConvLSTM (CNNのみ版)
   Kernel Size:
   特徴を抽出する
   範囲を制御する
   ハイパーパラメータ
   今回実験してもらうモデル 特徴を抽出する範囲 (受容野) の変え⽅
   ココを変更!
   •ks=5 (0.16秒間)
   •ks=15 (0.5秒間)
   •ks=30 (1.0秒間)
   •ks=60 (2.0秒間)
   

   View Slide

8. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 7
   Tutorial⽤ Notebook
   [1] HP: OpenPack Challenge 2022 (“OpenPack Dataset”で検索)
   https://open-pack.github.io/challenge2022
   [2] Colab:
   Tutorial_Basics_of_Modeling__JA.ipynb
   https://colab.research.google.com/github/open-
   pack/openpack-torch/blob/main/examples/deep-conv-
   lstm/notebooks/Tutorial_Basics_of_Modeling__JA.ipynb
   [注意]
   ランタイムをGPUに変更
   

   View Slide

9. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 8
   Codalabでの予測結果の提出
   Codalabの
   アカウントを作成
   “submission.zip”を
   アップロード
   しばらくすると、
   スコアが表⽰されます.
   

   View Slide

10. OpenPack Challenge @ 2022.10.15 ~ 2023.01.15 9
    Link
    https://twitter.com/OpenPackDataset
    Twitter:
    @OpenPackDataset
    • データセットの
    リリース情報やTipsなど
    • コンペの状況
    Google Group
    • データセットのリリース情報
    • コンペに関連する公式アナウンス
    Codalab
    • コンペの予測結果の提出システム
    • 他の⼈のスコアも確認可能
    https://groups.google.com/g/openpack https://codalab.lisn.upsaclay.fr/competitions/7830
    HPにもリンクが掲載されています！
    https://open-pack.github.io/
    

    View Slide