【NGK2025S】動物園（PINTO_model_zoo）に遊びに行こう

Transcript

1. 動物園（PINTO_model_zoo） に 遊びに行こう NGK2025S #1-6 2025/01/18
2. Who am I ? 2 Name： 高橋かずひと Work ：画像処理系プログラマ 元組み込み屋、元IoT屋 Other： インディーゲーム 開発のお手伝いなど GitHub：@Kazuhito00 X：@KzhtTkhs
3. Who am I ? 3 Name： 高橋かずひと Work ：画像処理系プログラマ 元組み込み屋、元IoT屋 Other： インディーゲーム 開発のお手伝いなど Git Hub X
4. 0 Prerequisites The Audience of This Presentation
5. Prerequisites 今回、取り扱う内容は ▫ 機械学習、AI ▫ Model Zoo ▫ Python/C++ に関連した内容ではありますが、 小難しい話はしないつもりです。 肩の力を抜いて、お聞きいただけると助かります。 5 Git Hub X
6. 1 What is Model Zoo? Outline of model zoo and various zoos
7. What is Model Zoo? トレーニング済みの機械学習モデルを集めた リポジトリやサイトのこと 7 Git Hub X 学習 学習 データ 学習 学習 モデル 推論 推論 入力 データ 学習 モデル 結果 学習 モデル
8. What is Model Zoo? トレーニング済みの機械学習モデルを集めた リポジトリやサイトのこと 一例として以下のModel Zooがある ▫ PyTorch Model Zoo https://pytorch.org/serve/model_zoo.html ▫ ONNX Model Zoo https://github.com/onnx/models ▫ Model Zoo https://modelzoo.co/ ▫ Model Zoo for Intel® Architecture ▫ https://github.com/IntelAI/models 8 Git Hub X
9. What is Model Zoo? ▫ OpenCV Zoo https://github.com/opencv/opencv_zoo ▫ OpenVINO Toolkit - Open Model Zoo repository https://github.com/openvinotoolkit/open_model_zoo ▫ TensorFlow Model Garden https://github.com/tensorflow/models ▫ Vitis AI Model Zoo https://github.com/Xilinx/Vitis-AI/tree/master/model_zoo ▫ Hailo Model Zoo https://hailo.ai/ja/products/hailo-software/hailo-ai-software-suite/#sw-tappas ▫ [アーカイブ] EdgeAI-ModelZoo https://github.com/TexasInstruments/edgeai-modelzoo 9 Git Hub X
10. What is Model Zoo? Model Zooと呼ぶか若干悩むけど記載 ▫ TensorFlow Hub https://tfhub.dev/ ▫ PyTorch Hub https://pytorch.org/hub/ ▫ Huggin Face https://huggingface.co/ ▫ OpenMMLab の MMPreTrain を含む MM シリーズ https://github.com/open-mmlab/mmpretrain ▫ hand-keypoint-classification-model-zoo https://github.com/Kazuhito00/hand-keypoint-classification-model-zoo ▫ etc 10 Git Hub X
11. 2 What is PINTO model zoo? A zoo run by PINTO, a Japanese super ultra engineer
12. What is PINTO model zoo? ▫ PINTO氏が園長をしている動物園（Model Zoo） https://github.com/PINTO0309/PINTO_model_zoo ▫ モデルを様々な機械学習フレームワークに最適化 ※TensorFlow、PyTorch、ONNX、OpenVINO、TFJS、TFTRT、TensorFlowLite 、 EdgeTPU、CoreML など（モデル構造によってはフレームワークを絞って対応） ▫ 2025年1月18日現在 456種類のモデルを公開 ※上記は欠番を除いた数で、世界的に見ても圧倒的にモデル数が多い ▫ 動作サンプルコードは有志の飼育員が追加 ※たぶん今229種類くらいは、サンプルコードが追加してある ▫ 風の噂では色々な企業や大学でも参考にされているとか ※イニシャルトークですが、T社、S社、C社、M社、など 12 Git Hub X
13. What is PINTO model zoo? ▫ 2025年1月18日現在 456種類のモデルを公開 ※上記は欠番を除いた数で、世界的に見ても圧倒的にモデル数が多い 13 Git Hub X ▫ クラス分類(画像) ▫ 物体検出(2D) ▫ 物体検出(3D) ▫ 顔検出 ▫ 手検出 ▫ 姿勢推定 ▫ 深度推定 ▫ セグメンテーション ▫ 異常検知 ▫ 画像スタイル変換 ▫ 超解像 ▫ クラス分類 (サウンド) ▫ NLP ▫ テキスト認識 ▫ 動作推定 ▫ インペインティング ▫ Others ：37 ：78 ：6 ：41 ：7 ：26 ：52 ：41 ：2 ：12 ：82 ：8 ：3 ：3 ：3 ：4 ：51
14. What is PINTO model zoo? ▫ Image Classification カテゴリー ▫ ImageNetのクラス分類モデルから、属性判定、 ReID、NSFW判定など37種類を公開 （2025/1/18時点） Git Hub X
15. What is PINTO model zoo? ▫ 2D Object Detectionカテゴリー ▫ YOLOシリーズ等の物体検出モデル78種類を公開 （2025/1/18時点） Git Hub X
16. What is PINTO model zoo? ▫ 3D Object Detectionカテゴリー ▫ ObjectronやSFA3Dなどの物体検出モデル6種類 を公開（2025/1/18時点） 16 Git Hub X
17. What is PINTO model zoo? ▫ 2D/3D Face Detectionカテゴリー ▫ YuNetV2やRetinaFaceなどの顔検出モデル41種 類を公開（2025/1/18時点） 17 Git Hub X
18. What is PINTO model zoo? ▫ 2D/3D Hand Detectionカテゴリー ▫ Minimal-HandやPalm Detectionなどの手検出モ デル7種類を公開（2025/1/18時点） 18 Git Hub X
19. What is PINTO model zoo? ▫ 2D/3D Pose Estimationカテゴリー ▫ MoveNetやRTMPose_Animalなどの姿勢推定モ デル26種類を公開（2025/1/18時点） 19 Git Hub X
20. What is PINTO model zoo? ▫ Depth Estimationカテゴリー ▫ MiDaSv3.1やLite-Monoなどの深度推定モデル52 種類を公開（2025/1/18時点） 20 Git Hub X
21. What is PINTO model zoo? ▫ Semantic Segmentationカテゴリー ▫ DeeplabV3+やMattingなどのセグメンテーショ ンモデル41種類を公開（2025/1/18時点） 21 Git Hub X
22. No Image What is PINTO model zoo? ▫ Anomaly Detectionカテゴリー ▫ Efficientnet_Anomaly_Detection_Segmentation などの異常検知モデル2種類を公開（2025/1/18時点） 22 Git Hub X
23. What is PINTO model zoo? ▫ Artisticカテゴリー ▫ CoCosNetやAnimeGANv2などの画風変換モデル 12種類を公開（2025/1/18時点） 23 Git Hub X
24. What is PINTO model zoo? ▫ Super Resolutionカテゴリー ▫ ESRGANなどの超解像モデル(その他 DeNoize,LLIE含む)82種類を公開（2025/1/18時点） 24 Git Hub X
25. What is PINTO model zoo? ▫ Sound Classifierカテゴリー ▫ SPICEやWhisperなどの音分類、音認識モデル8 種類を公開（2025/1/18時点） 25 No Image Git Hub X
26. What is PINTO model zoo? ▫ Natural Language Processingカテゴリー ▫ Mobile_BERTやGPT2などの自然言語処理モデル3 種類を公開（2025/1/18時点） 26 No Image Git Hub X
27. What is PINTO model zoo? ▫ Text Recognitionカテゴリー ▫ Handwritten_Text_Recognitionやocr_japanese などのテキスト認識モデル3種類を公開 （2025/1/18時点） 27 No Image Git Hub X
28. What is PINTO model zoo? ▫ Action Recognitionカテゴリー ▫ PoseC3DやMS-G3Dなどの行動認識モデル3種類 を公開（2025/1/18時点） 28 No Image Git Hub X
29. What is PINTO model zoo? ▫ Inpaintingカテゴリー ▫ MST_inpaintingやDeepFillv2などのInpatingモデ ル4種類を公開（2025/1/18時点） 29 No Image Git Hub X
30. What is PINTO model zoo? ▫ Othersカテゴリー ▫ 前頁までに該当しないモデル(エッジ検出、レー ン検出、特徴点抽出、オプティカルフロー、視 線推定、その他)51種類を公開（2025/1/18時点） 30 Git Hub X
31. 3 Usage Zenn article posted by Japanese Super Ultra Engineer Karaage
32. Usage ▫ からあげ氏投稿のZennの記事が分かりやすい ※ぶん投げ 「 PINTO model zooの歩き方 ~ Tour of PINTO model zoo ~」 https://zenn.dev/karaage0703/articles/a4973dc094ee1c 32 Git Hub X
33. 4 Demo Real-Time Demonstration Using Model Zoo AI
34. Git Hub X 34 最近は、園長自身で データセット収集 アノテーション モデルトレーニング を行ったモデルも公開 今回は、その中の 「459_YOLOv9-Wholebody25」 と言うモデルをデモ 高速・高精度な「人検出」 「パーツ検出」「属性判定」 Demo
35. ご清聴ありがとうございました