Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
Search
あれ
April 23, 2024
Technology
2
150
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
2024/04/22「
PyData Okinawa Meetup #42
」登壇資料です。
あれ
April 23, 2024
Tweet
Share
More Decks by あれ
See All by あれ
私が trocco を推す理由
__allllllllez__
2
340
SPCS で実現する dbt All in Snowflake の世界
__allllllllez__
2
170
External Network AccessとStreamlitでデータロードアプリ作ってみた
__allllllllez__
0
270
異形頭の作りかた
__allllllllez__
0
90
💰年度末予算消化祭💰 Large Memory Instance で 画像分類してみた
__allllllllez__
0
340
Other Decks in Technology
See All in Technology
Cypress or Playwright?
rainerhahnekamp
0
180
MixIT 2024 - Pulumi : Gérer son infra avec son langage de programmation préféré
ju_hnny5
1
130
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
510
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.2k
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.4k
uvを使ってストレスフリーな Python開発をしよう!
r74tech
0
260
データベース03: 関係データモデル
trycycle
0
110
M&A戦略を支えるデータマネジメント (MIDAS Tech Study #16 GENDA Komiyama)
kommy339
1
170
Microsoft for Startups Founders Hub_20240429 update
daikikanemitsu
1
2.5k
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
4.9k
個人のAWSアカウントをマルチ運用してみた
miura55
2
250
One engineer company with Ruby on Rails
rstankov
2
470
Featured
See All Featured
Writing Fast Ruby
sferik
622
60k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
YesSQL, Process and Tooling at Scale
rocio
165
13k
Facilitating Awesome Meetings
lara
43
5.6k
Documentation Writing (for coders)
carmenintech
60
4k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
Automating Front-end Workflow
addyosmani
1357
200k
What's new in Ruby 2.0
geeforr
337
31k
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
660
120k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Transcript
Python と Snowflake は ズッ友だょ! ~ Snowflake の Python 関連機能をふりかえる
~ DATUM STUDIO株式会社 梶谷 美帆 2024/04/22
© 2024 DATUM STUDIO Co. Ltd. 自己紹介 【名前】 梶谷 美帆
/ Miho Kajiya またの名を「あれ(@__allllllllez__)」 広報さんに超カッコよく撮影していただいた 【所属】 DATUM STUDIO株式会社 データエンジニアリング本部 2024 Data Superheroes Data Superhero のすがた
© 2024 DATUM STUDIO Co. Ltd. Python と Snowflake
© 2024 DATUM STUDIO Co. Ltd. 実は、Snowflake には Python で使える強力な機能が
たくさんあるのです
© 2024 DATUM STUDIO Co. Ltd. 5 Python と Snowflake
実は、Snowflake には Pythonで使える強力な機能がたくさんあるのです • Snowflake Connector for Python • Snowpark for Python • Python UDFs / UDTFs • Snowpark Stored Procedures for Python • Streamlit in Snowflake • Python Worksheet • Snowpark ML • Snowflake API for Python • Snowflake Notebook(2024/4/22時点でプライベートプレビュー) 思ったより多い、そして似た名前が多い
© 2024 DATUM STUDIO Co. Ltd Python と Snowflake ~
機能編 Snowflake Connector for Python ✓ 最も基本的なライブラリ。SQL 実行により全ての標準操作を行える Snowpark for Python ✓ Spark ライクな Dataframe API でデータ操作を行えるライブラリ。UDFs / UDTFs、SPROCの開発を簡単にするAPIも提供されており、Python 開発に便利 Streamlit in Snowflake ✓ Streamlit によるデータアプリケーションを Snowflake 上で実行、操作できる 各機能を簡単に説明するとこんな感じ Python Worksheet ✓ Snowflake UI上で Python ストアドプロシージャを作成・実行できるエディタ Snowpark ML ✓ 前処理、学習と推論、管理、モデルの展開をすべてSnowflake内で実行可能とな るライブラリ。Snowpark ML Development と Snowpark ML Ops からなる Snowflake API for Python ✓ Snowflake オブジェクトの管理を主とするライブラリ。タスクグラフやコンテナ (SPCS)などをコードで管理可能になる、DevOps に向けたパッケージ Snowflake Notebook ✓ いわゆる Notebook。Snowflake UI上でインタラクティブに Python・SQL の実 行、可視化が可能になる
© 2024 DATUM STUDIO Co. Ltd. 7 Summit 2022/06 発表/PrPr
2023/03 PuPr 2024/02 GA Python Worksheet Python と Snowflake ~ 歴史編 Snowflake 公開以来、多くの Python 関連機能が追加されてきました。特に 2022 年の Snowflake Summit 以降は続々と新機能が発表されています GA:一般提供 PuPr:公開プレビュー PrPr:非公開プレビュー Summit Summit 2021 発表/PrPr 2022/06 PuPr 2022/11 GA Snowpark for Python & Python UDFs / UDTFs, Stored Proceduresなどなど 2022/06 発表/PrPr 2023/09 PuPr 2023/12 GA(AWS) Streamlit in Snowflake 2023/06 PuPr 2024/01 GA (Modeling API のみ) Snowpark ML 2024/01 PuPr Snowflake API for Python 2023/11 発表/PrPr Snowflake Notebook 2015/12 GA Snowflake Connector for Python 2022 2023 2024 Snow day
© 2024 DATUM STUDIO Co. Ltd. Python と Snowflake で
実際、何ができる?
© 2024 DATUM STUDIO Co. Ltd. Snowflake と Python でできること
• Streamlit in Snowflake で外部 からデータロードするアプリ • APIのURLと、APIのホストを許 可するExternal Access integrationを指定して、ポチッ とな!するだけ
© 2024 DATUM STUDIO Co. Ltd. Snowflake と Python でできること
• Snowpark Container Services で Snowflake に JupyterLab 環 境を構築 • Snowflake で完結する Python 分析環境、できちゃいます
© 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望
© 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望 6月に開催する
Data Cloud Summit 2024。「Python Data Pipelines」セッションの予定あり
© 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望 6月に開催する
Data Cloud Summit 2024。「Python Data Pipelines」セッションの予定あり \ \DevOps、分析、データエンジニアリングで怒涛のアップデートの予感!/ / Python API、native Notebook、パイプライン運用のための最新機能
© 2024 DATUM STUDIO Co. Ltd. これからも Python で使える 機能がどんどん増えていきそう
© 2024 DATUM STUDIO Co. Ltd. Snowflake と Python はこれからもずっと
一緒ってコト…?
© 2024 DATUM STUDIO Co. Ltd. Snowflake と Python は
ズッ友だょ!!!
© 2024 DATUM STUDIO Co. Ltd. おしまい