Upgrade to Pro — share decks privately, control downloads, hide ads and more …

これわかってれば完璧!脱☆Snowflake初心者 #SnowVillage​ LIVE 005

これわかってれば完璧!脱☆Snowflake初心者 #SnowVillage​ LIVE 005

https://www.youtube.com/watch?v=7zmXTpgHyS4

Snowflakeを愛するユーザーたちの集い【SnowVillage】
第5回目のメンバーはクラスメソッド株式会社のプリセールスアーキテクト、甲木 洋介( @yokatsuki )さん。
Snowflakeの初級ハンズオンや数多くのブログ記事を公開しているクラスメソッドの最前線で活躍する甲木さんからSnowflakeの基本をたっぷり裏話まで聞いちゃいます!
Snowflakeってなんか聞いたことあるけど全然わからない…そんなそこのアナタこそ大歓迎です!何回聞いても何度でも優しく教えてくれる甲木さんが両手を広げてお待ちしております!

SnowVillage LIVEとは
隔週水曜日21:00​にSnowflakeへの愛を伝えたくてたまらない人々がやってきます。

Bd82857e5cd002562af37c7b6b9bc561?s=128

Yosuke Katsuki

March 24, 2021
Tweet

Transcript

  1. これわかってれば完璧! 脱☆Snowflake初心者 #SnowVillage LIVE 005 2021.3.24 クラスメソッド株式会社 甲木 洋介 1

  2. 2 自己紹介 • 甲木 洋介(かつき ようすけ) • ID: yokatsuki •

    クラスメソッド株式会社 • データアナリティクス事業本部 プリセールスアーキテクト • データ分析お悩み相談 ~ 構成検討 ~ 見積・提案 ~ 受注まで
  3. 3 DevelopersIO

  4. 4 本日のお題 • Snowflakeハンズオンのご紹介 • FAQ1:「ステージ」とは? • FAQ2:「スケールアップ」「スケールアウト」とは? • FAQ3:「クレジット」とは?

    • FAQ4:外部ツールからどうやってSnowflakeを使う?
  5. 5 Snowflakeハンズオンのご紹介 https://classmethod.jp/news/snowflake-workshop/

  6. 6 Snowflakeハンズオンのご紹介

  7. 7 FAQ1:「ステージ」とは? • Snowflakeへデータ読み込みの基本はバルクロード • INSERT文は使わない • いちどきにまとめてロードする(COPY) • 小分けにして継続的にロードする(Snowpipe)

    • ステージとは、バルクロード対象データを 置いておく「ファイル置場」のこと
  8. 8 FAQ1:「ステージ」とは? • ステージの種類 • Amazon S3 • Microsoft Azure

    Blob Storage • Google Cloud Storage • Snowflake独自ステージ • ステージにファイルを置くことで、Snowflakeから アクセスできるようになり、バルクロードが可能に なる
  9. 9 FAQ1:「ステージ」とは? • ステージの使い分け • バルクロードの対象データ(ファイル)が 置かれたクラウドストレージを優先する

  10. 10 FAQ1:「ステージ」とは? • ステージの使い分け • Snowflake独自ステージを使用する場合は SnowSQLからのPUTコマンド必須

  11. 11 FAQ2:「スケールアップ」「スケールアウト」とは? • スケールアップ:ウェアハウスのサイズを変える • 手動 • 1つ1つの処理が速くなる

  12. 12 FAQ2:「スケールアップ」「スケールアウト」とは? • スケールアウト:ウェアハウスを構成するクラス ターの数を変える • 事前設定・自動処理 • 処理を沢山同時実行しても性能が落ちない

  13. 13 FAQ3:「クレジット」とは? • クレジット=Snowflake独自の通貨単位 • 1クレジット=xxxドル • 通貨レートを決める2要素 • クラウドサービスとリージョン

    • Snowflakeエディション
  14. 14 FAQ3:「クレジット」とは? https://www.snowflake.com/pricing/

  15. 15 FAQ3:「クレジット」とは? • クラウドサービスとリージョン(2021.3現在) • AWS ロンドン、アイルランド、フランクフルト、シドニー、 シンガポール、東京、ムンバイ • Azure

    ワシントン、トロント、オランダ、シドニー、 シンガポール、チューリッヒ、バージニア • GCP アイオワ、ロンドン、オランダ
  16. 16 FAQ3:「クレジット」とは? • Snowflakeエディション • STANDARD 基本サービス • ENTERPRISE STANDARD+α(マルチクラスタウェアハウス、

    タイムトラベル90日、マテリアライズドビューなど) • BUSINESS CRITICAL ENTERPRISE+α(データ暗号化、専用線など) • VIRTUAL PRIVATE SNOWFLAKE 専用環境提供、最高レベルのセキュリティ
  17. 17 FAQ3:「クレジット」とは? • 計算例 • AWS東京リージョン、ENTERPRISEエディション 1クレジット = 4.3USD •

    仮想ウェアハウスMサイズを2時間稼働 4クレジット/時 x 2時間 = 34.4USD
  18. 18 FAQ4:外部ツールからどうやってSnowflakeを使う? • 各種ドライバ、コネクタあり〼 • ODBC / JDBCドライバ、 snowflake-connector-pythonなど

  19. 19