Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Python フレンドリーなクラウドデータプラットフォーム Snowflake のお話 ~ デ...
Search
あれ
April 28, 2025
Technology
0
68
Python フレンドリーなクラウドデータプラットフォーム Snowflake のお話 ~ データ分析基盤のアレもコレも Python でやってみよう
2025年4月27日
PyLadies Tokyo Meetup #100 Python入学式
でのLT資料です。
あれ
April 28, 2025
Tweet
Share
More Decks by あれ
See All by あれ
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
280
5分でわかる! Snowpark Container Service
__allllllllez__
0
720
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
2
370
私が trocco を推す理由
__allllllllez__
2
830
SPCS で実現する dbt All in Snowflake の世界
__allllllllez__
3
650
External Network AccessとStreamlitでデータロードアプリ作ってみた
__allllllllez__
0
510
異形頭の作りかた
__allllllllez__
0
1.3k
💰年度末予算消化祭💰 Large Memory Instance で 画像分類してみた
__allllllllez__
0
470
Other Decks in Technology
See All in Technology
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.5k
マルチプロダクト環境におけるSREの役割 / SRE NEXT 2025 lunch session
sugamasao
1
740
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
3
1.1k
AWS 怖い話 WAF編 @fillz_noh #AWSStartup #AWSStartup_Kansai
fillznoh
0
130
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
240
ロールが細分化された組織でSREは何をするか?
tgidgd
1
420
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
9
2.8k
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
0
340
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
1.1k
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
960
全部AI、全員Cursor、ドキュメント駆動開発 〜DevinやGeminiも添えて〜
rinchsan
10
5.1k
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
760
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
329
21k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.3k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Producing Creativity
orderedlist
PRO
346
40k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Fireside Chat
paigeccino
37
3.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Transcript
Python フレンドリーな クラウドデータプラットフォーム Snowflake のお話 ~ データ分析基盤のアレもコレも Python でやってみよう DATUM
STUDIO 株式会社 あれ / 梶谷 美帆 2025年4月27日
2025 DATUM STUDIO Co. Ltd. 2 自己紹介 【名前】 あれ /
梶谷 美帆 / Miho Kajiya 広報さんにカッコよく撮影していただいた 【所属】 DATUM STUDIO株式会社 データエンジニアリング本部 データエンジニア部 GL/プリンシパルエンジニア 【ユーザーコミュニティ】 Snowflake ユーザーグループ(SnowVillage) 運営 企画チーム(Mayors) / 女子会幹事 / コンテナグ ループ リーダー primeNumber User Group(pUG) リーダー 2024- 2025 Data Superheroes Data Superhero のすがた X
2025 DATUM STUDIO Co. Ltd 所属会社紹介 | DATUM STUDIO データエンジニア・データサイエンティスト、絶賛大募集中です
https://career.datumstudio.jp/ ↓ ↓ きてくれ↓ ↓ → き て く れ →
2025 DATUM STUDIO Co. Ltd. コンテンツ • 自己紹介(さっきの) • Snowflake
とは • Python と Snowflake • データ分析基盤 • Snowflake x Python でできるデータ分析基盤
2025 DATUM STUDIO Co. Ltd. Python と Snowflake の話をします
2025 DATUM STUDIO Co. Ltd. ところで Snowflake って何?
2025 DATUM STUDIO Co. Ltd. 7 Snowflake とは https://www.snowflake.com/ja/product/platform/ 単一のプラットフォームで
幅広いワークロードに対応する 「AIデータクラウド」
2025 DATUM STUDIO Co. Ltd. ※現地ではこのページに「よくわかんないけど、なんかわかった」的な画像がありました わかりましたか? わかりましたか?
2025 DATUM STUDIO Co. Ltd. 9 Snowflake とは 日本のコミュニティが活発。様々な分科会(女子会、Streamlit、AI、コンテナ、 関西、中部、九州、など)が発足し活動しています
「Snowflake感謝祭2024」のようす https://x.com/SnowflakeDB_jp/status/1795462221344256501 https://usergroups.snowflake.com/snowvillage/
2025 DATUM STUDIO Co. Ltd. 改めて Python と Snowflakeの話
2025 DATUM STUDIO Co. Ltd. 実は、Snowflake には Python のための機能が たくさんあるのです
↑公式キャラクターの Snowflake, The Polar Bear https://medium.com/snowflake/announcing-the-ga-release-of-snowflake-python-connector-with-nanoarrow-1d70fd8ba3b1
© 2024 DATUM STUDIO Co. Ltd. 12 Python と Snowflake
Python のための機能、いろいろあります • Snowflake Connector for Python • Snowpark for Python • Python UDFs / UDTFs • Snowpark Stored Procedures for Python • Streamlit in Snowflake • Snowflake Python Worksheet • Snowpark ML • Snowflake API for Python • Snowflake Extension for Visual Studio Code • Snowflake Notebook • Snowpark pandas API ち が い ま す よ ー っ こ れ だ か ら し ろ う と は ダ メ だ ! も っ と よ く 見 ろ ! 全 部 同 じ じ ゃ な い で す か ※公開にあたり代役を立てました
2025 DATUM STUDIO Co. Ltd. データ分析基盤
© 2024 DATUM STUDIO Co. Ltd. 14 データ分析基盤 (主に企業や組織の)データを収集、保存、分析するためのシステムを「データ分 析基盤」と呼びます
「実践的データ基盤への処方箋 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ」より
2025 DATUM STUDIO Co. Ltd. データ分析基盤の技術スタック SaaSデータ 業務データ データウェアハウス ビジネス・インテリジェンス
会計 データ 会計 データ 会計 データ 会計 データ 会計 データ 会計 データ データインジェスト Fivetran Airbyte トランスフォーメーション dbt Dataform Redshift Snowflake BigQuery Synapse Looker Redash DOMO Tableau Reverse ETL Census データガバナンス hightouch AI/ML Databricks SageMaker TROCCO AWS IAM Amazon CloudWatch Logs AWS CloudTrail CData やることが… やることが多い…!!
2025 DATUM STUDIO Co. Ltd. データ分析基盤のアーキテクチャ 経理システム 受発注システム 在庫システム ゲームのシステ
ム 電子書籍のシス テム 物販のシステム YouTube GA4 Salesforce Kintone データサイエンティスト ビジネスアナリスト 経理部 営業部 倉庫 データサイエンティスト 営業 エンジニア プランナー data governance ※よくあるメガベンとかの データ基盤(ハイレベル図) アナリスト やることが… やることが多い…!!
2025 DATUM STUDIO Co. Ltd. データ変換、分析、可視化 やることたくさんあります
2025 DATUM STUDIO Co. Ltd. Snowflake x Python で できる
データ分析基盤
2025 DATUM STUDIO Co. Ltd. Snowflake x Python でできるデータ分析基盤 ✓
Snowflake に組み込まれた Notebook が利用可能 ✓ Python 用のワークシートもあ り、簡単な関数はこちらで作成 することもできる ✓ 困ったらコンテナサービスで JupyterLab を立てる手もあり 分析 ✓ Python Connector が初歩の 方式 ✓ Spark ライクで処理が Snowflake 側で処理される Snowpark for Python ✓ Pandas API で Pandas ユー ザーも安心 変換 ✓ Streamlit in Snowflake によ り Snowflake に Streamlit ア プリをホスト可能 可視化 https://www.snowflake.com/ja/blog/s nowflake-to-acquire-streamlit/ Notebook Streamlit Pandas API
2025 DATUM STUDIO Co. Ltd. Snowflake x Python でできるデータ分析基盤 ✓
Snowflake 自身のワークフロー自動化機能 (Task)をPython API で作成可能。記法がとて も Airflow っぽい ✓ Airflow 自体、コンテナサービスで建てられます ✓ Notebook 単独でスケジュール実行も設定可能 ワークフローエンジン ✓ 2025年4月、PyPI からのパッケージインストー ルが可能になりました。以前は Anaconda の専用 チャンネル経由かアーカイブを持ち込む必要が あった ✓ コンテナサービスで Flask、Django などのアプ リを立てることも可能。というか、 その他もろもろ Airflow in Snowflake コンテナで 立てられれば 全部解決します
2025 DATUM STUDIO Co. Ltd. さいごに
2025 DATUM STUDIO Co. Ltd. さいごに • Snowflake って、SQL が第一言語ではあるけど、Python
でかなり操 作ができるし、とっても Python フレンドリーなんです! • 興味があればトライアル(400ドル分が無料、最大30日間利用可 能)ぜひ使ってみてください! • SnowVillage もよろしくお願いします! SnowVillage Snowflake Trial
2025 DATUM STUDIO Co. Ltd. おしまい