データウェアハウス製品のSnowflakeでPythonが動くって知ってました？

みんなのPython勉強会#107
https://startpython.connpass.com/event/326508/

にて発表に使われた資料
※後半はライブコーディング多めだったため資料単独だと把握しにくい内容かと思います

Transcript

1. データウェアハウス製品の SnowflakeでPythonが動くって 知ってました？ 2024-08-22 ちゅらデータ CTO 菱沼 雄太 © 2024 Chura DATA inc.
2. 自己紹介から © 2024 Chura DATA inc.
3. © 2024 Chura DATA inc. 自己紹介(オフラインの姿)
4. オンラインの姿 © 2024 Chura DATA inc.
5. © 2024 Chura DATA inc. 自己紹介 ちゅらデータ CTO DATUM STUDIO 執行役員 Snowflake の Data Hero of The Year(2021) SnowVillage の村長 この子は ろあちゃん フォローしてね @foursue #stapy
6. SnowflakeでPython © 2024 Chura DATA inc.
7. 今日はSnowflakeでPythonを動かす人が 増えるといいなと思って喋る © 2024 Chura DATA inc.
8. そもそも © 2024 Chura DATA inc.
9. Snowflake使うと何が美味しいの？ © 2024 Chura DATA inc.
10. こんなことありませんか？ © 2024 Chura DATA inc.
11. df = pd.read_csv('hoge.csv') 実行じゃ！ © 2024 Chura DATA inc.
12. df = pd.read_csv('hoge.csv') 実行じゃ！ MemoryError: Unable to allocate ... © 2024 Chura DATA inc.
13. df = pd.read_csv('hoge.csv') 実行じゃ！ MemoryError: Unable to allocate ... © 2024 Chura DATA inc. 実は 200GBくらいあった
14. 1台のコンピュータのメモリで処理できないとき 色々テクニックがある © 2024 Chura DATA inc.
15. 根本的には分散コンピューティングする © 2024 Chura DATA inc. メモリを1TBつめばいいんじゃ…
16. 分散処理かぁ © 2024 Chura DATA inc.
17. DaskとかPySpark使う？ © 2024 Chura DATA inc.
18. インフラを用意するのがそれなりに大変 © 2024 Chura DATA inc.
19. インフラを用意するのがそれなりに大変 © 2024 Chura DATA inc. 何台用意する？ メモリはどれくら い？ ディスクはどれくら いいる？ CPUはどれくらい必 要？ お高いんでしょう？ 誰がクラスタを作る の？ 誰がクラスタを管理 するの？
20. クラウドネイティブデータウェアハウス © 2024 Chura DATA inc.
21. クラウドネイティブデータウェアハウス © 2024 Chura DATA inc. Snowflakeとか
22. Snowflakeは 現実の範囲だとわりと インフィニットスケール © 2024 Chura DATA inc.
23. そのうえ Snowflakeは 処理時間課金だから 価値のあるデータ処理なら やればやるだけ儲かる © 2024 Chura DATA inc. すごい 自信だ…
24. ちなみに © 2024 Chura DATA inc.
25. Snowflakeは AWS東京だと処理1時間で$2.85=約414円くらいから ※最小のウェアハウスサイズXSの料金 © 2024 Chura DATA inc.
26. どれくらいのことができるの？ © 2024 Chura DATA inc.
27. 144,006,767,158行のカウントとかで4.2秒くらい © 2024 Chura DATA inc.
28. めっちゃ速い、速いせいで安い ※自分たちのビジネスモデルわかってるのかな？ © 2024 Chura DATA inc. 速いから安い
29. 19日にも速くなって安くなったよってブログが公式で出て た、失礼だけど、中の人は馬鹿なんだと思う © 2024 Chura DATA inc.
30. ※ココだけの話、見積もったインフラ費用が余りがちに… © 2024 Chura DATA inc.
31. でもDBなんて SQLだけなんでしょう？ © 2024 Chura DATA inc. SQL覚えるの 面倒だな… Pythonで書けばいいんじゃ…
32. ところがどっこい そうではありません © 2024 Chura DATA inc.
33. Snowflakeは！！ © 2024 Chura DATA inc.
34. サーバレス分散コンピューティングPython実行環境 なんだよ！！！！ © 2024 Chura DATA inc.
35. その全貌はこちら © 2024 Chura DATA inc.
36. Snowflakeの外にあるPythonと Snowflakeの外にあるPythonと Snowflakeに組み込む UDF/UDTF 開発場所 WebUI © 2024 Chura DATA inc. 全貌？？？ Python コネクタ Spark用Pythonコ ネクタ Notebook Python Worksheet External Function (Lambda等) ストアドプロ シージャ Snowpark API Snowpark for pandas API Streamlit Snowpark Container Service
37. Snowflakeの外にあるPythonと Snowflakeの外にあるPythonと Snowflakeに組み込む UDF/UDTF 開発場所 WebUI © 2024 Chura DATA inc. 全貌？？？ Python コネクタ Spark用Pythonコ ネクタ Notebook Python Worksheet External Function (Lambda等) ストアドプロ シージャ Snowpark API Snowpark for pandas API Streamlit Snowpark Container Service いっぱいありすぎて整理できてないんじゃ…？
38. とりあえず書く © 2024 Chura DATA inc.
39. © 2024 Chura DATA inc. 1. ブラウザでログイン 2. Worksheetを開く 1. どのマシンで実行するか選ぶ：ウェアハウス 2. 誰で実行するか選ぶ：ロール 3. どこで実行するか選ぶ：データベース、スキーマ 3. Python書く＆実行 WorksheetでPython書く
40. © 2024 Chura DATA inc. 1. ブラウザでログイン 2. Worksheetを開く 1. どのマシンで実行するか選ぶ：ウェアハウス 2. 誰で実行するか選ぶ：ロール 3. どこで実行するか選ぶ：データベース、スキーマ 3. Python書く＆実行 WorksheetでPython書く 実際にやってみれば良いんじゃ？
41. 作ったコード持ち込もう © 2024 Chura DATA inc.
42. © 2024 Chura DATA inc. ほかで開発したコード持ち込む 1. ステージに.pyおく（zipでもいいよ） • ステージはSnowflakeのファイルを置く場所のこと • ステージ＝上げる手前 2. UIからpackage選ぶ 3. importする
43. © 2024 Chura DATA inc. ほかで開発したコード持ち込む 1. ステージに.pyおく（zipでもいいよ） • ステージはSnowflakeのファイルを置く場所のこと • ステージ＝上げる手前 2. UIからpackage選ぶ 3. importする 実際にやってみれば良いんじゃ？ (2回目)
44. Notebook使おう © 2024 Chura DATA inc.
45. © 2024 Chura DATA inc. 1. Notebookを開く 2. Python書く＆実行 Notebookとりあえず使える
46. © 2024 Chura DATA inc. 1. Notebookを開く 2. Python書く＆実行 Notebookとりあえず使える (ｼﾞｰ…)
47. SQLの中で Pythonで処理したい © 2024 Chura DATA inc.
48. © 2024 Chura DATA inc. UDF(UDTF)使おう SnowflakeはUDF(ユーザ定義関数)をPythonで書ける ※UDTF(ユーザ定義テーブル関数)は関数の結果がテーブルとして扱える関数 1. UDFを定義 • インラインで定義 • .pyで定義 2. SQLから使う
49. SQLからじゃなくて 普通にPythonを動かせるんです？ 定期的に実行とかしたいじゃないですか © 2024 Chura DATA inc.
50. © 2024 Chura DATA inc. ストアドプロシージャをPythonで書ける SnowflakeはストアドプロシージャもPythonで書ける ※ストアドプロシージャはデータベースに登録できるプログラムの呼び方 1. ストアドプロシージャを • インラインで定義 • .pyで定義 • ワークシートをストアドプロシージャにする 2. 叩く
51. おじさん画面も書きたくなってきちゃったよ © 2024 Chura DATA inc.
52. © 2024 Chura DATA inc. Streamlit Streamlit は簡単にWebアプリを作るためのOSSのライブラリ ※SnowflakeはStreamlit社を買収して、Streaamlitの開発を推進してたりする 1. Streamlit Appsを新規作成 2. 書く！
53. © 2024 Chura DATA inc. ここで唐突な宣伝 https://2024.pycon.jp/ja 2024 9.27 FRI -29 SUN PyCon JP 2024 があるよ SnowflakeがStreamlitの ブースを出すらしい！ ほんとかわからないので、 お前の目で確かめろ！！！
54. 外にあるコードを呼びたい © 2024 Chura DATA inc.
55. © 2024 Chura DATA inc. ちょっとLambdaでデータ処理したい Snowflakeは外部関数として、LambdaとかをAPI-Gateway経由で呼べる 図はSnowflakeのドキュメントから https://docs.snowflake.com/ja/sql-reference/external-functions-introduction API Gateway Lambda (ｼﾞｰ…)
56. うちSparkなんでｗ © 2024 Chura DATA inc.
57. © 2024 Chura DATA inc. Sparkコネクタあるよ！！ 図はSnowflakeのドキュメントから https://docs.snowflake.com/ja/user-guide/spark-connector-overview JDBC経由でSnowflake Connector叩いて、オブジェ クトストレージ経由でデー タをやり取り クエリプッシュダウン が効くと良い感じのパ フォーマンスに
58. いかがでしたか？ © 2024 Chura DATA inc.
59. 大きなデータを仕事で扱うとき… SnowflakeでPython良いと思いませんか？ © 2024 Chura DATA inc. データベース用の実行環境と機械学習用 の実行環境は違うんじゃ？（GPUとか
60. え、GPUほしい？ © 2024 Chura DATA inc.
61. あるよ！A100が8個乗ったやつが！ (vCPU-92個、MEM-1112GB) © 2024 Chura DATA inc. Snowpark Container Serviceっていうマネージ ドなK8sでこれ使える
62. いかがでしたか？ (2回目) © 2024 Chura DATA inc.
63. 大きなデータを仕事で扱うとき… SnowflakeでPython書くの良いと思いませんか？ © 2024 Chura DATA inc. (ｼﾞｰ…)
64. (もしデモがうまく行って時間があれば) 質問たいーむ © 2024 Chura DATA inc.