Snowparkを基礎からおさらい

by ugmuka

Slide 1

Slide 1 text

Snowparkを基礎からおさらい DATUM STUDIO株式会社向井雄二 2023年01月26日

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023 DATUM STUDIO Co. Ltd. 6 それぞれがやりたいこと営業 CRMの分析機能を使っていますアナリスト SREにデータ抽出してもらってtableauで分析しています SRE 本番DBは他の人に触られたくないですサイエンティスト jupyter notebook 使ってローカルでモデル作ります法律個人情報の取り扱いには気を付けてくださいダッシュボードがあればよい tableauでの接続先が欲しいインタラクティブなPython環境が欲しい分析用のDB(DWH)が欲しい個人情報にはアクセス制限をしたい

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2023 DATUM STUDIO Co. Ltd. 10 実行例 from snowflake.snowpark import Session from snowflake.snowpark.functions import date_trunc, col connection_parameters = { "account": “**********.aws.ap-northeast-1", "user": *****@datumstudio.jp", "password": “*******", … } session = Session.builder.configs(connection_parameters).create() customer_order = session.table("raw_orders") ¥ .select("user_id", date_trunc("MONTH", "order_date").alias("month")) ¥ .group_by("month", "user_id") ¥ .count() ¥ .show() $ python test.py ------------------------------------ |"MONTH" |"USER_ID" |"COUNT" | ------------------------------------ |2018-01-01 |1 |1 | |2018-01-01 |3 |2 | |2018-01-01 |94 |2 | |2018-01-01 |50 |1 | |2018-01-01 |64 |2 | |2018-01-01 |54 |2 | |2018-01-01 |88 |1 | |2018-01-01 |2 |1 | |2018-01-01 |53 |1 | |2018-01-01 |7 |1 | ------------------------------------

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2023 DATUM STUDIO Co. Ltd. 14 Python UDF: Batch API vectorized decorator: 行をまとまった単位で処理 create function add_cols_vectirized(x number(38, 0), y number(38, 0)) returns number(10, 0) language python runtime_version = 3.8 packages = ('pandas') handler = 'add_cols' as $$ import pandas from _snowflake import vectorized @vectorized(input=pandas.DataFrame) def add_cols(df): return df[0] + df[1] $$; inputにpandas.DataFrameを指定 →入力列を一定サイズ読み込んでpd.DataFrameに変換

Slide 16

Slide 16 text

© 2023 DATUM STUDIO Co. Ltd. 15 Snowpark向けLarge instance メモリ確認用procedure create or replace procedure show_system_info() returns string language python runtime_version = '3.8' packages = ('snowflake-snowpark-python') handler = 'run' as $$ import os import shutil def run(session): total, used, free = shutil.disk_usage("/") memory_bytes = os.sysconf('SC_PAGE_SIZE') * os.sysconf('SC_PHYS_PAGES') return f'Memory total: {int(memory_bytes / (2**30))} GiB, CPU: {os.cpu_count()} core, Disc usage: {int(total / (2**30))} GiB' $$; メモリ、CPU、ローカルストレージが多く単一でのワークロード向けになっている

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2023 DATUM STUDIO Co. Ltd. 18 Snowflakeの行き先すべてのデータをSnowflakeに営業 CRMの分析機能を使っていますアナリスト SREにデータ抽出してもらってtableauで分析しています SRE 本番DBは他の人に触られたくないですサイエンティスト jupyter notebook 使ってローカルでモデル作ります法律個人情報の取り扱いには気を付けてください Snowflake Snowsight tableau-Snowflake連携 Snowpark role base access control masking policy

Slide 20

Slide 20 text

© 2023 DATUM STUDIO Co. Ltd. 19 Next step ✓ streamlit統合 • Snowflake上でstreamlitをホストできるようになる ✓ 非構造化データへの対応 • pythonへの対応はプライベートプレビュー中 ✓ 時系列予測パッケージ • ビルトインで時系列予測ができる ✓ 外部への通信のサポート • API callが可能に etc… 近々のリリース予定