動物園（PINTO_model_zoo） に 遊びに行こう🦔 Unagi.py 56枚目 2023/08/13

Who am I ? 2 仕事 ：画像処理 兼 なんでも屋 その他 ：Axross寄稿や インディーゲーム開発の お手伝いしています Name Twitter：KzhtTkhs ：高橋かずひと 所属 ：サイバーエージェント AI事業本部 行政DX Div GovTech開発センター

Who am I ? 3 Name Twitter：KzhtTkhs ：高橋かずひと 所属 ：サイバーエージェント AI事業本部 行政DX Div GovTech開発センター 仕事 ：画像処理 兼 なんでも屋 その他 ：Axross寄稿や インディーゲーム開発の お手伝いしています

Who am I ? Name Twitter：KzhtTkhs ：高橋かずひと 所属 ：サイバーエージェント 仕事 ：画像処理 兼 なんでも屋 その他 ：Axross寄稿や インディーゲーム開発の お手伝いしています 4 AI事業本部 行政DX Div GovTech開発センター PyCon mini Shizuoka 2021 PyCon mini Shizuoka 2020

1 What is Model Zoo? Outline of model zoo and various zoos

What is Model Zoo? トレーニング済みの機械学習モデルを集めたリポジトリ やサイトのこと 一例として以下のModel Zooがある ▫ PyTorch Model Zoo https://pytorch.org/serve/model_zoo.html ▫ ONNX Model Zoo https://github.com/onnx/models ▫ Model Zoo https://modelzoo.co/ ▫ Model Zoo for Intel® Architecture ▫ https://github.com/IntelAI/models 6

What is Model Zoo? ▫ OpenCV Zoo https://github.com/opencv/opencv_zoo ▫ OpenVINO Toolkit - Open Model Zoo repository https://github.com/openvinotoolkit/open_model_zoo ▫ TensorFlow Model Garden https://github.com/tensorflow/models ▫ Vitis AI Model Zoo https://github.com/Xilinx/Vitis-AI/tree/master/model_zoo ▫ EdgeAI-ModelZoo https://github.com/TexasInstruments/edgeai-modelzoo ▫ Hailo Model Zoo https://hailo.ai/ja/products/hailo-software-suite/model-zoo/ 7

What is Model Zoo? Model Zooと呼ぶか若干悩むけど記載 ▫ TensorFlow Hub https://tfhub.dev/ ▫ PyTorch Hub https://pytorch.org/hub/ ▫ Huggin Face https://huggingface.co/ ▫ OpenMMLab の MMPreTrain を含む MM シリーズ https://github.com/open-mmlab/mmpretrain ▫ hand-keypoint-classification-model-zoo https://github.com/Kazuhito00/hand-keypoint-classification-model-zoo ▫ etc 8

2 What is PINTO model zoo? A zoo run by PINTO, a Japanese super ultra engineer

What is PINTO model zoo? ▫ PINTO氏が園長をしている動物園（Model Zoo） https://github.com/PINTO0309/PINTO_model_zoo ▫ モデルを様々なフレームワークに最適化して公開 ※TensorFlow、PyTorch、ONNX、OpenVINO、TFJS、TFTRT、TensorFlowLite 、 EdgeTPU、CoreML など（モデル構造によってはフレームワークを絞って対応） ▫ 2023年8月13日現在 402種類のモデルを公開 ※欠番、セパレータを除く ▫ デモコードは有志の飼育員が追加 ※たぶん今150種類くらいはデモコードが追加してある ▫ 風の噂では色々な企業や大学でも参考にされているとか ※イニシャルトークですが、T社、S社、C社、T社、M社、など 10

What is PINTO model zoo? ▫ Image Classification カテゴリー ▫ ImageNetのクラス分類モデルから、属性判定、 ReID、NSFW判定など26種類を公開 （2023/8/13時点） 11

What is PINTO model zoo? ▫ 2D Object Detectionカテゴリー ▫ YOLOシリーズなどの物体検出モデル60種類を公 開（2023/8/13時点） 12

What is PINTO model zoo? ▫ 3D Object Detectionカテゴリー ▫ ObjectronやSFA3Dなどの物体検出モデル6種類 を公開（2023/8/13時点） 13

What is PINTO model zoo? ▫ 2D/3D Face Detectionカテゴリー ▫ YuNetV2やRetinaFaceなどの顔検出モデル33種 類を公開（2023/8/13時点） 14

What is PINTO model zoo? ▫ 2D/3D Hand Detectionカテゴリー ▫ Minimal-HandやPalm Detectionなどの手検出モ デル4種類を公開（2023/8/13時点） 15

What is PINTO model zoo? ▫ 2D/3D Pose Estimationカテゴリー ▫ MoveNetやRTMPose_Animalなどの姿勢推定モ デル24種類を公開（2023/8/13時点） 16

What is PINTO model zoo? ▫ Depth Estimationカテゴリー ▫ MiDaSv3.1やLite-Monoなどの深度推定モデル50 種類を公開（2023/8/13時点） 17

What is PINTO model zoo? ▫ Semantic Segmentationカテゴリー ▫ DeeplabV3+やMattingなどのセグメンテーショ ンモデル37種類を公開（2023/8/13時点） 18

No Demo What is PINTO model zoo? ▫ Anomaly Detectionカテゴリー ▫ Efficientnet_Anomaly_Detection_Segmentation などの異常検知モデル2種類を公開（2023/8/13時点） 19

What is PINTO model zoo? ▫ Artisticカテゴリー ▫ CoCosNetやAnimeGANv2などの画風変換モデル 11種類を公開（2023/8/13時点） 20

What is PINTO model zoo? ▫ Super Resolutionカテゴリー ▫ Real-ESRGANなどの超解像モデル(LLIEや DeNoize,DeHaze含む)78種類を公開（2023/8/13時点） 21

What is PINTO model zoo? ▫ Sound Classifierカテゴリー ▫ SPICEやWhisperなどの音分類、音認識モデル8 種類を公開（2023/8/13時点） 22 No Image

What is PINTO model zoo? ▫ Natural Language Processingカテゴリー ▫ Mobile_BERTやGPT2などの自然言語処理モデル3 種類を公開（2023/8/13時点） 23 No Image

What is PINTO model zoo? ▫ Text Recognitionカテゴリー ▫ Handwritten_Text_Recognitionやocr_japanese などのテキスト認識モデル3種類を公開 （2023/8/13時点） 24 No Demo

What is PINTO model zoo? ▫ Action Recognitionカテゴリー ▫ PoseC3DやMS-G3Dなどの行動認識モデル3種類 を公開（2023/8/13時点） 25 No Image

What is PINTO model zoo? ▫ Inpaintingカテゴリー ▫ MST_inpaintingやDeepFillv2などのInpatingモデ ル4種類を公開（2023/8/13時点） 26 No Image

What is PINTO model zoo? ▫ GANカテゴリー ▫ MobileStyleGANやattentive-gan-derainnetなど のGANモデル2種類を公開（2023/8/13時点） 27 No Demo

What is PINTO model zoo? ▫ Transformerカテゴリー ▫ dinoなどのTransformerモデル1種類を公開 （2023/8/13時点） 28 No Demo

What is PINTO model zoo? ▫ Othersカテゴリー ▫ 前頁までに該当しないモデル(エッジ検出、レー ン検出、特徴点抽出、オプティカルフロー、視 線推定、その他)45種類を公開（2023/8/13時点） 29

3 Usage Zenn article posted by Japanese Super Ultra Engineer Karaage

Usage ▫ からあげ氏投稿のZennの記事が超分かりやすい ※ぶん投げ 「 PINTO model zooの歩き方 ~ Tour of PINTO model zoo ~」 https://zenn.dev/karaage0703/articles/a4973dc094ee1c 31

4

▫ PINTO氏が園長をしている動物園（Model Zoo） https://github.com/PINTO0309/PINTO_model_zoo ▫ モデルを様々なフレームワークに最適化して公開 ※TensorFlow、PyTorch、ONNX、OpenVINO、TFJS、TFTRT、TensorFlowLite 、 EdgeTPU、CoreML など（モデル構造によってはフレームワークを絞って対応） ▫ 2023年8月13日現在 402種類のモデルを公開 ※欠番、セパレータを除く ▫ デモコードは有志の飼育員が追加 ※たぶん今150種類くらいはデモコードが追加してある ▫ 風の噂では色々な企業や大学でも参考にされているとか ※イニシャルトークですが、T社、S社、C社、T社、M社、など 飼育員になりたい方のPR大歓迎🦔

ご清聴ありがとうございました🙂 次回、飼育員入門？