「極意本」サンプルコードをクラウド上で動かそう

Slide 1

Slide 1 text

石原祥太郎 https://www.kaggle.com/sishihara 日本経済新聞社日経イノベーション・ラボ主任研究員 Kaggle Tokyo Meetup 2023、2023 年 11 月 26 日「極意本」サンプルコードをクラウド上で動かそう [Google スポンサーセッション]

Slide 2

Slide 2 text

Slide 3

Slide 3 text

2023 年に刊行した『Kaggleに挑む深層学習プログラミングの極意』（講談社）のサンプルコードを、GPU 付きのクラウド環境で動かす際の選択肢を解説 ● Kaggle Notebooks ● Google Colab ● Vertex AI Workbench 3 本発表の概要

Slide 4

Slide 4 text

● 2017 年 10 月に日経に入社し、Kaggle を開始 ○ 2018〜2019 年開催のコンペで優勝し 6 月に Kaggle Master 昇格 ○ 2019 年の Kaggle Days Tokyo でコンペ開催 ● Weekly Kaggle News を毎週更新 ● 2020〜2023 年に、書籍 3 冊を出版 4 私と Kaggle

Slide 5

Slide 5 text

書籍の出版 5

Slide 6

Slide 6 text

6 ● GitHub に落ちているサンプルコードを動かしたい ● GPU 付きのクラウド環境で手軽に試したい ● 話すこと： ○ Jupyter Notebook 形式の 3 つの選択肢の紹介 ● 話さないこと： ○ VM インスタンス立てて VSCode から ssh で...... 本発表の想定シナリオ

Slide 7

Slide 7 text

7 実は、既に提供済み https://github.com/smly/kaggle-book-gokui

Slide 8

Slide 8 text

8 ①リポジトリのダウンロード !git clone https://github.com/smly/kaggle-book-gokui.git %cd kaggle-book-gokui/chapter2 ②ライブラリのインストール !pip install -r requirements.txt ③ファイルの実行 !python 00_mlp.py GitHub のサンプルコードの動かし方

Slide 9

Slide 9 text

9 完

Slide 10

Slide 10 text

10 完とは、ならない場合も

Slide 11

Slide 11 text

11 ● CPU / GPU の性能（メモリ含む） ● ストレージのサイズ ● ライブラリのバージョン（CUDA 含む）など詰まりがちな箇所

Slide 12

Slide 12 text

12 紹介する 3 つの選択肢サービス特徴 Kaggle Notebooks 週単位の無料枠あり、拡張性は低い Google Colab 課金版の Pro / Pro+ / Enterprise Vertex AI Workbench GCP 内で自由にカスタマイズ可

Slide 13

Slide 13 text

13 ● 毎週標準で GPU を 30 時間、 TPU を 20 時間まで利用可能 ● 2020 年、需要に応じ週次で追加時間が設けられる仕組みを導入 ● 2022 年、RAM が 30 GB に & GPU で P100 か T4*2 を選択可能に Kaggle Notebooks

Slide 14

Slide 14 text

14 Kaggle Notebooks の GPU/TPU 選択肢選択肢時間 VRAM RAM ストレージコア GPU: P100 12 h 15.9 GB 29 GB 73.1 GB 4 GPU: T4 * 2 12 h 14.8 GB * 2 29 GB 73.1 GB 4 TPU v3-8 9 h --- 330 GB 56.6 GB 96 ※ Kaggle Notebooks 上での表示を掲載 ※ 2023 年 11 月 20 日現在

Slide 15

Slide 15 text

15 ● 高頻度（最近は毎週）で Kaggle Notebooks を構成するための Docker イメージが更新されている [リリースノート] ● バージョンの固定も可能 Kaggle Notebooks のバージョン

Slide 16

Slide 16 text

16 ● ブラウザ上の実行環境 ● Google Drive を簡単にマウントできる ● 非技術職の方にも手軽に共有しやすい ● さまざまな課金プランを提供 Google Colab

Slide 17

Slide 17 text

17 Google Colab の課金プラン課金プラン概要標準実行時間は 12 h Pay As You Go 従量課金 Colab Pro ¥1179/月、速い GPU、多いメモリ Colab Pro+ ¥5767/月、速い GPU Colab Enterprise Google Cloud サービスと連携 ※ 2023 年 11 月 20 日現在

Slide 18

Slide 18 text

18 ● 2023 年 11 月、サイドバーに環境変数が設定できるように ● kaggle api 経由で、データセットのダウンロードや予測値の提出が可能環境変数の設定 https://twitter.com/GoogleColab/st atus/1719798406195867814?s=20

Slide 19

Slide 19 text

19 ● JupyterLab を独自の設定で起動できる Google Cloud サービス ● PyTorch や CUDA のバージョンを指定し環境構築 ● 「Kaggle Python [BETA]」という選択肢も ● コア数やメモリも設定できる ● 課金額の見積もりが出る Vertex AI Workbench

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

GPU 付きのクラウド環境で動かす際の選択肢を解説 22 本発表のまとめサービス特徴 Kaggle Notebooks 週単位の無料枠あり、拡張性は低い Google Colab 課金版の Pro / Pro+ / Enterprise Vertex AI Workbench GCP 内で自由にカスタマイズ可