Snowflakeと仲良くなる第一歩

【雪かき部】#1 Snowflakeと仲良くなる第一歩
https://yukikaki.connpass.com/event/395975/

Transcript

1. 超入門！ Snowflakeさん、はじめまして 雪かき部 #1 2026年6月16日 あべ
2. 自己紹介 ・Name 安倍 航太(あべ こうた) ・Company 株式会社BeeX ・Job データ分析基盤導入支援 ・Like Snowflake、AWS ・SNS : @_coco_se 会社ブログアイコン SNSアイコン Data Certifications AWS Snowflake Google Cloud × × × 12 2 1 Awards
3. 対象者 • Snowflakeってなんだ？？？？という人 • 名前は知ってるけど何から勉強したらいいのか分からない人 (すでに知ってるし触ったことあるって人は物足りないかも…) 今回の勉強会について 今日のゴール • Snowflakeの超概要をつかむこと！ 「知った気になる」くらいでOK！！(完璧に理解する必要はありません！) • 勉強の足掛かりをつくること！ 資料は後ほどconnpass、Speaker Deckにアップロードします！ Xでも周知します！
4. アジェンダ Snowflakeの前に… • OLTPとOLAPとは？ • データレイクとは？ • データウェアハウス(DWH)とは？ • データレイクハウスとは？ Snowflakeとは… • Snowflakeの超概要 • 基本アーキテクチャ いざ！入門！ • Snowflake入門コンテンツ紹介
5. Snowflakeの前に…
6. OLTP（オンライントランザクション処理）とは 高いトランザクションを捌くことに特化した仕組み！ OLAP（オンライン分析処理） とはデータ分析に特化した仕組み！ OLTPとOLAPとは？ OLTP ＝ 行指向 OLAP ＝ 列指向 ID 氏名 金額 1 佐藤 ¥500 2 鈴木 ¥800 3 田中 ¥300 1行＝1件の取引を まとめて読み書き （行をセットで処理） ID 氏名 金額 1 佐藤 ¥500 2 鈴木 ¥800 3 田中 ¥300 1列を全行まとめてスキャン → 合計・平均など列の集計が高速 代表的な製品：Oracle、MySQL、SQL Server、PostgreSQL 等… 代表的な製品：Snowflake、Amazon Redshift、BigQuery、Vertica 等…
7. データを「とりあえず」溜めておく場所！ 基本的には未加工のデータがどんどん溜まっていく場所という理解でOK もちろん加工後のデータも置くこともある データレイクとは？ 容量制限がない or 超大容量 のストレージに溜めておくことが一般的 ※拡張性とコストの利点からパブリッククラウドのストレージが 採用されるケースが多い 動画 音声 PDF テーブル Excel DB データレイク（とりあえず全部溜めておく受け皿）
8. 分析や別の用途でデータ活用するために加工したり、 分析・活用に適した形のデータを配置したりする場所！ データウェアハウス(DWH)とは？ 一般的には列指向DBが用いられることが多いが、 高速で読み書きが可能なディスクが付いたサーバや、 コンピュート自体をDWHと呼ぶこともある コンピュートは行指向DB(RDB)が利用されることもある 加工・整理 データレイク 生データをそのまま蓄積（雑多・未加工） DWH 分析に適した形に整理・配置
9. データレイクが持つ拡張性・柔軟性や低コストでのデータ保管、 データウェアハウスが持つDBとしての特性やデータ管理性など それぞれが持つ利点をいい感じに使うことができる仕組みのこと！ この仕組みがあるとDWHが苦手な非構造化データも簡単に扱える！ データレイクハウスとは？ オープンテーブルフォーマット(OTF)と言って、OTFに対応しているクエ リエンジンならどこから見ても同じようにデータを扱うことができる仕 組みもデータレイクハウスの形のひとつ データレイク 拡張性・低コスト保管 etc… DWH ACID特性・データ管理性 etc… データレイクハウス 両者の利点を兼ね備えた仕組み
10. Snowflakeとは…
11. クラウド上で動くデータプラットフォーム！ データ利活用に必要な機能が統合されたマネージドのSaaS製品 • DWHの機能 • BIの機能 • AIの機能 • MLの機能 Snowflakeの超概要① こちらでも似たようなことを話しています AWSわかるよって方はこちらを見るとわかりやすいかも ☞ 登壇資料 実はこんな機能も… • コンテナの機能 (アプリも動かせる) • リレーショナルデータベースの機能 • ストリーミングデータ取り込みの機能 etc…
12. 現在は3つのパブリッククラウド上で、稼働させることが可能！ 1アカウント内で複数のクラウドサービスプロバイダーは利用不可 Snowflakeの超概要② AWS Microsoft Azure Google Cloud 超概要①に登場した通り、マネージドのSaaSなので クラウド上の自前のサーバや、オンプレでは動かせない
13. エディションという概念があって エディションごとに使える機能や、請求金額が変わる！ 同一エディションでも、クラウドサービスプロバイダー(CSP)や リージョンによっても価格は変動する Snowflakeの超概要③ CSP：AWS リージョン：AP Northeast 1(Tokyo)の場合 引用(https://www.snowflake.com/ja/pricing-options/)
14. エディションごとに使える機能も違う！(一部だけ紹介) Snowflakeの超概要④ 引用(https://www.snowflake.com/ja/pricing-options/) ＋ の機能 ＋ の機能 の機能 ＋ 他アカウントと完全に分離された環境
15. Snowflakeは従量課金モデル 課金体系は大きく分けると５つ！ その中でも、 「クレジット」として課金されるものとドルで課金されるものがある Snowflakeの超概要⑤ コンピュートやサーバレス機能 AI機能 ストレージ利用量 ネットワーク通信量 クレジット クレジット(AIクレジット) ドル ドル エディションによって単価が変動 クレジット×単価（ドル）が価格 前払い有無で単価が変動 AIクレジット×単価（ドル）が単価 クラウドサービスプロバイダーや リージョンによって価格が変動 クラウドサービスプロバイダーや リージョンによって価格が変動 クラウドサービス機能 クレジット コンピュート(仮想ウェアハウス)の 使用料の10%を超えた分が課金対象クレジット
16. データ共有が簡単 Marketplaceでデータやアプリをすぐに調達・活用できる！ 自分で出品することも可能 (データの共有方法には他の方法もあるが、ここでは割愛) Snowflakeの超概要⑥ Snowflake Marketplace 出品 購読 出品 購読 外部データ プロバイダー 外部の 利用者 データ アプリ ユーザー ユーザー Snowflake Marketplace データ アプリ
17. データウェアハウスとデータレイクハウスが利用できる！ Apache Icebergテーブルが利用可能 ※Apache Icebergはオープンテーブルフォーマットのひとつ 厳密にいうとIcebergテーブルを使わなくてもデータレイクハウスの機能は使えるが、ここでは割愛 Snowflakeの超概要⑦ Snowflakeが両方のテーブルを一元管理 管理対象のテーブル 管理 管理 内部テーブル（ネイティブ） データウェアハウスの機能 Apache Iceberg テーブル データレイクハウスの機能 データの格納先は2つから選べる ① マネージド Snowflakeが格納先も管理 ② 外部ボリューム 自分のクラウド（S3/GCS/Azure）
18. OLAPだけじゃない！ OLTPの機能も利用できる！ Snowflakeの超概要⑧ Snowflake が OLTP を実現する 2 つの手段 ① ハイブリッドテーブル（Unistore） ② Snowflake Postgres 1つの表に「行＋列」のデュアルストレージ 行ストア （トランザクション） 列ストア （分析） クエリオプティマイザが自動で振り分け ・低レイテンシ／高並行の行ロック・主キー ・OLTPとOLAPを同一基盤・同一データで ・ETL不要、リアルタイム分析と両立 本格的な PostgreSQL 互換の OLTP データベースを Snowflake 上で稼働 PostgreSQL 互換エンジン ・既存のPostgresアプリ/拡張をそのまま ・大規模・高スループットなOLTPに対応 ・Snowflakeのガバナンス／分析と統合
19. DWHだけじゃない！ AI機能やML機能で更なるデータの活用へ！ Snowflakeの超概要⑨ AI機能 (Snowflake Cortex) ML機能 (ML関数) LLM・生成AIを SQL から手軽に呼び出し （マネージドで基盤構築不要） AIエージェント機能もあり 予測・異常検知などの機械学習を SQL 関数として実行（モデル管理不要）
20. (基本的に)すべての操作がSQLで行える！ そのため、データベース内のモノ(オブジェクト)以外の ユーザー、設定、ルールなどもオブジェクトとして捉える！ Snowflakeの超概要⑩ 引用(https://docs.snowflake.com/ja/user-guide/security-access-control-overview#securable-objects)
21. 各オブジェクトに対するアクセス制御は、「権限」をもとに行う！ 主に3つの考え方がある！ • 任意アクセス制御(DAC) オブジェクトの所有者が権限を管理できるという考え方 • ロールベースのアクセス制御(RBAC) ※これは押さえておきたい！ ロールに権限を付与して、ロールをユーザーに割り当てる方式 • ユーザーベースのアクセス制御(UBAC) ユーザーに直接権限を付与する方式 Snowflakeの超概要⑪
22. 3層のレイヤーから成り立つアーキテクチャ 基本アーキテクチャ 引用(https://docs.snowflake.com/ja/user-guide/intro-key-concepts#snowflake-architecture)
23. データを格納しておく機能 Snowflakeでは以下の3つの形式のデータを管理することができる • 構造化データ（表形式のデータ） • 半構造化データ（XML、JSONなどのキーと値があるけど表になっていないデータ） • 非構造化データ（動画ファイル、音声ファイルなどの構造化されていないデータ） データベースストレージレイヤー① 引用(https://docs.snowflake.com/ja/user-guide/intro-key-concepts#snowflake-architecture)
24. ストレージ内のデータは「マイクロパーティション」に保存される 管理面(コストなど)や読み取り性能の向上のための仕組みで、 50～500MBほどのサイズでパーティションごとにデータが分割される。 データベースストレージレイヤー② 引用(https://docs.snowflake.com/ja/user-guide/tables-clustering-micropartitions#what-is-data-clustering)
25. データは圧縮して保存される 圧縮して保管されることでストレージコストが抑えられる ※マイクロパーティションは非圧縮状態で50～500MBで分割される データベースストレージレイヤー③
26. 「仮想ウェアハウス」という コンピューティングリソースの集合体(クラスター)が実際の処理を行う サイズによって消費するクレジットが変動し、性能も変化する 現在は、XS～6XLまで選択ができ、作成後でも変更が可能！ コンピュートレイヤー①
27. 各仮想ウェアハウスはコンピューティングリソースを共有しないため 別の仮想ウェアハウスに影響を及ぼさない！ コンピュートレイヤー② 影響なし
28. セキュリティや認証、アクセス制御などを担っている層 クラウドサービスレイヤー①
29. データのカタログ管理(メタデータ管理)も行っている！ メタデータが管理されていることで、どこに何のデータが入っているか 効率的に探索することができる！ クラウドサービスレイヤー②
30. 「マイクロパーティションプルーニング」という機能で、 メタデータをもとに、ほしいデータが入っているマイクロパーティショ ンの位置を特定し、スキャン量を削減！ この機能のおかげで、クエリ時間が短縮されたり、 より高いパフォーマンスが期待できる！ クラウドサービスレイヤー③
31. Snowflakeはいいとこどりのアーキテクチャ データは一つの場所にあって、コンピューティングノードは複数台一気 に動ける(分散型のアーキテクチャ)という仕組み！ ストレージとコンピュートの密結合を排除しつつ、パフォーマンスとコ ンピューティングのスケールアウト/スケールインを実現可能に！ 共有ディスクデータベースアーキテクチャと非共有データベースアーキテクチャ
32. いざ！入門！
33. 公式のウェビナー 初心者向けコンテンツ① 「お昼休みに学ぶ」 SNOWFLAKE入門シリーズ https://snowflake.com/webinars/zero-to-snowflake-japan/ Snowflake社が定期的に開催しているシリーズ 数日間に分けてザ・入門！という内容を話してくれるウェビナー お昼休み(12:00～13:00)に見れるのがいいポイント！ 直近だと7/22～24にある！
34. 公式のハンズオンウェビナー 初心者向けコンテンツ② Snowflake Platform Training – Japan Ascent Snowflake社が定期的に開催しているシリーズ 払い出された環境で実際に手を動かしながら学習できる！ 4時間で詰め込み型。ついていくのは難しいが後日復習することも可能 https://www.snowflake.com/events/snowflake-platform-training-japan-ascent/ 直近だと7/6にある！ いつもすぐに締め切りになるのでチャンスアリ
35. Udemy オンライン講座 初心者向けコンテンツ③ Snowflakeによるデータエンジニアリングの基礎 数少ない日本語で色々解説している公式以外の教材 基礎的な部分をじっくり学べる！ 他シリーズでより発展的な内容も学べる！ ※最終更新日が2024年のため内容やUIが古い箇所が多数あるため注意 https://www.udemy.com/course/snowflake-load
36. 公式ドキュメント 初心者向けコンテンツ④ Snowflakeの使用を開始するためのチュートリアル 公式のハンズオンも含めたチュートリアルドキュメント 現在の推奨から一部外れた内容もあるため注意 (SnowSQLよりもSnowflake CLIが推奨されている) https://docs.snowflake.com/ja/learn-tutorials
37. 書籍 初心者向けコンテンツ⑤ ゼロからのデータ基盤 Snowflake実践ガイド 現在Data Superherosとして活動している方が執筆に携わっている書籍 そもそもデータ基盤とは？という人にもわかりやすく説明されている さらにはTerraformなども含めて実践に近い内容も掲載されている！ https://nextpublishing.jp/book/17545.html
38. まずはトライアルアカウントを作ってみよう！ 一部の機能に制限があるものの、 まずは触ってみたい！という方には十分な無料トライアル (最大400USD分無料で利用することができる！) 以下のどちらかに到達するまで完全無料 • 30日間が経過する • 400USD使いきる 初心者向けコンテンツ⑥ https://signup.snowflake.com/
39. • SnowflakeはSaaSとして提供されている！ • 3つのクラウドサービスプロバイダーから選択することができ、 既存の環境と統合しやすい！ • OLAPの機能以外にも、OLTP、AI/MLなど 幅広い機能が統合されており、データの利活用がしやすい！ • 日本語の学習コンテンツは少ないものの、 公式でも色々と初心者向けコンテンツを展開してくれている！ まとめ
40. THANK YOU!