Save 37% off PRO during our Black Friday Sale! »

Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで

0ced4f52ccc9e9b2644b4dd7f475e545?s=47 kkojima
December 10, 2020

Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで

Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」
https://ibm-developer.connpass.com/event/190153/
カスタムAIモデルの作成からモデルのデプロイまで

インテル 大内山さんが話した当日の資料です。

0ced4f52ccc9e9b2644b4dd7f475e545?s=128

kkojima

December 10, 2020
Tweet

Transcript

  1. インテル株式会社 1 【重要】最初にこちらを実行ください! ※Dockerがインストールされていることが前提です。 § コマンドプロンプトまたはターミナルを起動(サーバーを使われる方はSSHでログイン) § OpenVINO Model ServerのDockerイメージをダウンロード

    • docker pull openvino/model_server:latest § 本日使用するDockerイメージをダウンロード&起動 • cd 適当なフォルダ • mkdir workspace • docker run -it -u 0 --privileged -v 上で作成したworkspaceフォルダへのパス:/workspace -p 8888:8888 hiouchiy/openvino_2021r1_handson /bin/bash
  2. カスタムAIモデルの作成から モデルのデプロイまで IBM Developer Dojo++ (2020/12/10) インテル株式会社 APJデータセンター・グループ・セールス AIテクニカル・ソリューション・スペシャリスト 大内山

    浩(おおうちやま ひろし/Ouchiyama Hiroshi)
  3. インテル株式会社 3 本日のアジェンダ § モデルの運用とは § モデルの構築からデプロイまでを体験 § 【おまけ】インテルのNoCode系AI製品の紹介 §

    最後に
  4. インテル株式会社 4 本日のアジェンダ § モデルの運用とは § モデルの構築からデプロイまでを体験 § インテルのNoCode系AI製品の紹介 §

    最後に
  5. インテル株式会社 5 ディープラーニングの開発ステップ モデルの作成 (学習処理がメイン) モデルの運用 (推論処理がメイン) アクセラレータ (GPU、ASIC等) CPU

    実施期間短い(数か月) ハイパフォーマンス 期間長い(数年) コストパフォーマンス インテルが得意なのはこちら ↓
  6. インテル株式会社 6 インテル® CPUは ディープラーニング推論性能を向上させるために進化 インテル® Xeon® プロセッサー E3/E5/E7 インテル®

    Xeon® プロセッサー E3/E5/E7 v2 インテル® Xeon® プロセッサー E3/E5/E7 v3 (コードネーム:Haswell) インテル® Xeon® プロセッサー E3/E5/E7 v4 (コードネーム:Broadwell) インテル® Xeon® スケーラブル・プロセッサー (コードネーム:Skylake) 第 2 世代インテル® Xeon® スケーラブル・プロセッサー (コードネーム:Cascade Lake) 第5世代 インテル® Core™ プロセッサー 第6世代 インテル® Core™ プロセッサー 第7世代 インテル® Core™ プロセッサー 第8世代 インテル® Core™ プロセッサー 第9世代 インテル® Core™ プロセッサー 第10世代 インテル® Core™ プロセッサー (コードネーム:Ice Lake / Comet Lake) 第 3 世代インテル® Xeon® スケーラブル・プロセッサー (コードネーム:Cooper Lake) 第11世代 インテル® Core™ プロセッサー (コードネーム:Tiger Lake) Xeon Core 旧 新 薦 薦 ・ ・ ・ ・ ・ ・ AVX-512 AVX-512 AVX2 AVX2 AVX AVX DL Boost AVX-512 DL Boost AVX2 AVX2 AVX2 AVX2 AVX2 ※ Comet Lakeは、AVX512/VNNIは含まれず、AVX2のまま AVX-512, DL Boostが入ってる世代がおすすめ AVX-512 DL Boost BF16 AVX-512 DL Boost AVX-512 → https://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/avx-512-overview.html IBM Cloud に搭載
  7. インテル株式会社 7 インテル® AI ソフトウェア: マシンラーニングとディープラーニング Red font products are

    the most broadly applicable SW products for AI users Developer TOols App Developers SW Platform Developer Machine learning Deep LEarning Architect & DevOps Topologies & Models Data Scientist Frameworks Data Scientist Graph ML Performance Engineer Kernel ML Performance Engineer § Intel Data Analytics Acceleration Library (Intel DAAL) § Intel Math Kernel Library (Intel MKL) § Intel Machine Learning Scaling Library (Intel MLSL) § Intel® Deep Neural Network Library (DNNL) Deep Learning Reference Stack Data Analytics Reference Stack § Intel Distribu-on for Python (SKlearn, Pandas) Management Tools CPU CPU ▪ GPU ▪ FPGA ▪ 専用 Containers
  8. 8 DL推論 on CPU – 高速化の方法論 § コツは”インテル製DLフレームワークの利用”と”AIモデルの最適化と 量子化”です。 CPU

    / GPU OSS DLフレームワーク AIモデル(未最適化, 未量子化) Intel CPU インテルTF, PyTorchなど AIモデル(未最適化, 未量子化) Intel CPU インテル® OpenVINO™ AIモデル(最適化, 量子化) Intel CPU インテルTF, PyTorchなど AIモデル(未最適化, 量子化) Intel CPU インテル® OpenVINO™ AIモデル(最適化, 未量子化) ① ② ③ ④ 高 効果
  9. 9 DL推論 on CPU – 高速化の方法論 § DLフレームワーク: • インテル製のフレームワークに置き換え

    § AIモデル • iLitを使用して量子化 Intel CPU インテルTF, PyTorchなど AIモデル(未最適化, 未量子化) Intel CPU インテルTF, PyTorchなど AIモデル(未最適化, 量子化) Intel® Low Precision Optimization Tool (iLit) • モデルの量子化ツール。 TensorFlow、PyTorch、MXNetに 対応 Intel DL Framework • Intel® Optimization for TensorFlow* • PyTorch* • MXNet* ① ②
  10. 10 DL推論 on CPU – 高速化の方法論 § DLフレームワーク • OpenVINO™

    Toolkitに置き換え § AIモデル • OpenVINO™ Toolkitで最適化および量 子化 Intel CPU インテル® OpenVINO™ AIモデル(最適化, 量子化) Intel CPU インテル® OpenVINO™ AIモデル(最適化, 未量子化) Intel® OpenVINO™ Toolkit Intel® OpenVINO™ Toolkit (OpenVINO Model Server) ③ ④
  11. インテル株式会社 11 モデルの運用フェーズにおける各ステップ モデルの作成 (学習処理がメイン) モデルの運用 (推論処理がメイン) インテルが得意なのはこちら ↓ 最適化

    /量子化 デプロイ 運用/ データ収集 アノテーション 再学習
  12. インテル株式会社 12 本日のアジェンダ § モデルの運用とは § モデルの構築からデプロイまでを体験 § 【おまけ】インテルのNoCode系AI製品の紹介 §

    最後に
  13. インテル株式会社 13 ハンズオンイメージ ※講師の環境はIBM CloudのVM(Cascade Lake 4コア)です インテルCPU(Xeon or Core)

    OS(Linux / Win10 / MacOS) Docker コンテナ#1 (Ubuntu 18.04) OpenVINO 2021R1 / TensorFlow2.3 Jupyter Lab モデルの学習→最適化→量子化 /workspace モデル コンテナ#2 (Ubuntu 18.04) OpenVINO Model Server モデル 最適化 /量子化 デプロイ 運用/ データ収集 アノテーション 再学習 アノテーション済み 画像ストレージ 画像を取得 モデルを格納 モデルをWeb API としてデプロイ この部分を体験 いただきます
  14. インテル株式会社 14 ハンズオンコンテンツ § https://github.com/hiouchiy/intel_ai_hands_on_from_train_to_deploy

  15. インテル株式会社 15 モデルの最適化と量子化 最適化:https://docs.openvinotoolkit.org/latest/openvino_docs_optimization_guide_dldt_optimization_guide.html 量子化:https://www.isus.jp/products/mkl/vnni-enables-inference/ 最適化 量子化 ↑量子化:モデルの数値形式をFP32→BF16/INT8などに変換 し学習/推論を高速化すること ←最適化:モデル内部構造をIAにとって都合よく再編成する

    こと
  16. インテル株式会社 16 本日のアジェンダ § モデルの運用とは § モデルの構築からデプロイまでを体験 § 【おまけ】インテルのNoCode系AI製品の紹介 §

    最後に
  17. インテル株式会社 17 アノテーション以外は自動化が可能 最適化 /量子化 デプロイ 運用/ データ収集 アノテーション 再学習

    アノテーションの自動化は困難 ↓ ツールによる作業支援が必須! →MLOps の実現へ
  18. インテル株式会社 18 OpenVINOの“No Code”系フィーチャー § 深層学習の各フェーズに対応したNoCodeツールを提供 アノテーション 学習 最適化/量子化 デプロイ

    (アプリ開発) CVAT Training Extension DL Workbench OVaaS ※3rd party application リクエスト いただければ 技術セッション やります cvat.orgで試せるよ☺
  19. インテル株式会社 19 本日のアジェンダ § モデルの運用とは § モデルの構築からデプロイまでを体験 § 【おまけ】インテルのNoCode系AI製品の紹介 §

    最後に
  20. インテル株式会社 20 改めてインテルの考えるAIとは AIとは特定の目的を持ったソフトウェアである ↓ つまり、作った(学習)後には運用(推論)しないと価値をもたらさない ↓ 運用フェーズは期間が長く、ROIがより重要視されることが多いので、CPU だけでやり切ることが理想 ↓

    インテルのCPU+AIソフトウェアを活用してCPUだけで推論をやり切りま しょう
  21. 21