💰年度末予算消化祭💰 Large Memory Instance で画像分類してみた

by あれ

Slide 1

Slide 1 text

0 💰年度末予算消化祭💰 Large Memory Instance で画像分類してみた 2023/01/26 梶谷美帆

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2023 DATUM STUDIO Co. Ltd. 4 4 Large Memory Instance（Snowpark 最適化インスタンス）とは？ • 背景 • Snowpark により Snowflake で機械学習ができるようになった🎉 • しかし、機械学習（特にトレーニング）ではメモリを大量に消費する • 通常のウェアハウスはメモリが大きくない… • 2021/8 時点で 1ノード3GB だった https://developers.cyberagent.co.jp/blog/archives/31167/ • 機械学習のためにはメモリマシマシウェアハウスが必要！！ • スペック • メモリ16倍 • 消費クレジットは 1.5 倍 • 使い方 • WAREHOUSE_TYPE = ‘SNOWPARK-OPTIMIZED’ をつけるだけ • またはWebUIで「Warehouse Type」を Snowpark-optimizedにする • サイズは Medium 以上に限る通常のウェアハウスよりもメモリが増設されたウェアハウス Snowflake Summit 2022 で発表された際は「Large Memory Instance」と呼ばれていました

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2023 DATUM STUDIO Co. Ltd. 7 7 お題：画像分類 • Snowpark 環境（Secure Sandbox）からステージ内のファイルにアクセスするには Private Preview 機能が必要 • https://qiita.com/takada_tf/items/f5c10924235ff2d2f086 • 詰みです😇 こちらより引用： https://www.snowflake.com/blog/snowpark- python-innovation-available-all-snowflake- customers/

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2023 DATUM STUDIO Co. Ltd. 11 11 画像データを（何とかして）ロードするこうする： • 画像を base64 エンコード • エンコードされた画像（文字列）とラベルのテーブルを作成 • トレーニング用ストアド内で画像（文字列）を base64 デコード、ファイル保存外にアクセスできないなら、中で作ればいいんだよ TYPE BASE64_IMG rose iVBORw0K… tulip SUhEUgAA… : :

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2023 DATUM STUDIO Co. Ltd. 22 22 感想 • 画像分類も動かせるので Snowflake なんでもできますね！！！ • Snowpark 最適化インスタンスのおかげで、メモリの心配がなくなった • もっと大規模なタスクもできそうな予感 • 使えるパッケージが豊富 • 今回の TensorFlow チュートリアルはそのまま移植できました • Anaconda様様 • 正式な機能を使いましょう • 画像の持ち込み、超手間でした（邪道。。。） • 今回使用したデータセットは 230MB 程度ですが、もっと大きなデータセットだとストレージに乗るのか、などいろいろ不明。。。 • やめようね！プライベートプレビュー申し込もうね！

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2023 DATUM STUDIO Co. Ltd. 26 26 参考資料 • Image Recognition in Snowflake using Snowpark Python, PyTorch, Streamlit and OpenAI • ソース：https://github.com/Snowflake-Labs/sfguide-snowpark-pytorch-streamlit-openai-image-rec • IrisデータセットをSnowparkで操作してみた。（機械学習もしてるよ） • Snowflake上で画像分類タスクを実行してみた • https://www.tensorflow.org/tutorials/images/classification

Slide 28

Slide 28 text