第2回Snowflake Rookies Camp

Transcript

1. Snowflake Snowflake Rookies Camp Rookies Camp No.2 No.2 2025/04/04 2025/04/04 2025/04/09 2025/04/09 Snowflake Rookies Camp No.2 2025/04/04 2025/04/09
2. お願い！ お願い！ お願い！ 今日の感想 / 勉強会の様子　 など ぜひXで発信してください！！ ハッシュタグは #SnowVillage #RookiesCamp
3. 右のQRコードから 本日のイベントの感想など ご回答お願いいたします。 今後のイベントをより良いものにするために ぜひご協力お願いいたします。 アンケート回答のお願い！ アンケート回答のお願い！ アンケート回答のお願い！ ↑　↑　↑ QRコードはこちら！！
4. SnowVillageのご案内 SnowVillageのご案内 SnowVillageのご案内 『Snowvillage』はSnowflakeのコミュニティです。 Snowflakeの成長にとって、このコミュニティの 存在が非常に大きいと感じています。 参加されていない皆さんも 是非この機会にご参加ください。 きっと、暖かく迎え入れてくれると思います。 参加用のURLはこちら ↑　↑　↑ QRコードは こちら！！
5. Snowflake Snowflake Rookies Campも！！ Rookies Campも！！ Snowflake Rookies Campも！！ Slackに参加したら チャンネル検索！
6. この会で目指すこと この会で目指すこと この会で目指すこと このコミュニティは、一歩ずつ一緒に成長する場です。 参 加 者 同 士 の 悩 み 共 有 実 用 的 な T i p s の 紹 介 小 さ な 成 功 体 験 の 積 み 重 ね 仲 間 と の つ な が り を 作 る
7. なにをしたらいいか わからない 初めてだから不安… 初心者ならではの悩み 初心者ならではの悩み 初心者ならではの悩み Snowflakeもほとんど 触ったことがない… 資料やドキュメント が英語でハードルが高い 実際に使いこなしている イメージが湧かない
8. そんな皆さんを そんな皆さんを 心から歓迎します！ 心から歓迎します！ 小さな疑問も大歓迎！ 小さな疑問も大歓迎！ #snowflake-rookies-camp でも受け付けています #snowflake-rookies-camp でも受け付けています みんなで助け合いながら、 みんなで助け合いながら、 新しい学びを一緒に始めましょう！ 新しい学びを一緒に始めましょう！ そんな皆さんを 心から歓迎します！ 小さな疑問も大歓迎！ #snowflake-rookies-camp でも受け付けています みんなで助け合いながら、 新しい学びを一緒に始めましょう！
9. 幹事メンバー 幹事メンバー 幹事メンバー ｍ.fujita naoki_yokozawa(横澤 直樹) hue(hiroki uetake) Kaori（KaNi） snowflakeに 業務で関わり始めて１年程立ちますが、 まだまだ初心者なので 皆様と一緒にスキルアップしたいです！ 日頃はSIerとしてお客様のデータ活用基盤 構築のPMとしてご支援しています。 Snowflake歴は半年ほどで、3月に SnowPro Advanced:Architectの資格を取 得しました。また、4/2に『Snowflake Squad』に選出いただきました。 これからも勉強会を盛り上げていければ と思いますので一緒に楽しんでいきまし ょう！！ Prepper Open Data Bankの担当を始め て半年。皆さまと一緒に楽しく勉強した い！ずっと続けていきたい！ Snowflakeを触ったことがない方がコミュ ニティに参加することで業務で活用でき るようになったらいいなという思いでこ ちらのユーザーグループを立ち上げまし た。 みんなで楽しく勉強しましょう！ Snowflake初心者です。 業務は主にTableauを中心にCoE活動を行ってい ます。 ユーザー会を通じて、皆さんと一緒に成長して いきたいです！
10. 本日の 本日の DOCTOR DOCTOR 本日の DOCTOR あれ（kajiya） Snowflake歴 約4年のデータエンジニアです。 Snowflake 中心に、AWS、TROCCO、Terraform、 dbt、などなどいろいろやってます。 SnowVillage では、女子会・コンテナグループでリ ーダーをやってます。 少しでも皆さんの助けになれるよう頑張ります。 よろしくお願いいたします！
11. 環境準備 環境準備 環境準備 Snowflake社が 30日間でトライアルできる 環境を提供してくれています。 必要なのは ・インターネット環境 ・メールアドレス　　　のみ！ ここから　→　無料トライアル
12. 第一回目は 　・Snowflakeとは？ 　・特に重要アーキテクチャ 　・FrostyFriday Week1 を勉強しました！ 復習用にZennブログも書いています！ https://zenn.dev/rookiescamp 第一回目の復習！ 第一回目の復習！ 第一回目の復習！
13. FROSTYFRIDAY FROSTYFRIDAY をやってみよう！ をやってみよう！ FROSTYFRIDAY をやってみよう！ Frosty_Fridayとは 1.金曜日に更新されるSnowflakeのスキルアップ ウィークリーチャレンジです 2.レベルは 　Easy Basic Intermediate Hard 　※この勉強会ではEasyかBasicのみ 3.回答は（公式には）ありません！ 　※先人たちの回答はGitHubにあります Snowflakeの機能を学びつつTipsが学べます！ https://frostyfriday.org/ 解説動画があります Snowvillage（Snowflakeのコミュニティー） でご活躍中の 　　　tomoさん　がくさん　あれさん がSnowflakeを得意とするゲストを招いて 隔週で解説動画をYouTubeにUPしてくれています。 わからなければこの解説動画を見ながら学べます！ https://www.youtube.com/watch? v=0T8P_bw6GgE&list =PLVj4iIZgzTAq2FzaBB gqFOtZaJTcoG3JR
14. はじめてハンズオンに取り組む方のために、 サンプルコードを用意しました。 途中で分からなくなったら、 こちらのブログをご覧ください。 https://zenn.dev/rookiescamp/articles/5e185de59dbe04 FROSTYFRIDAYの FROSTYFRIDAYの WEEK3を一緒にやってみよう！ WEEK3を一緒にやってみよう！ FROSTYFRIDAYの WEEK3を一緒にやってみよう！
15. お題： S3に保存されたCSVファイルをSnowflakeに取り込み、2つのテーブルを作成します！ 外部ステージ　→　s3://frostyfridaychallenges/challenge_3/ 1つ目はkeywords.csv を参照し記載されているキーワードの一覧を保存するテーブル 2つ目は、S3の各ファイルの全データをまとめて投入し、 キーワードが含まれているか検索するためのテーブル 最後に、2つ目のテーブルから1つ目のテーブルにあるキーワードを検索し、 キーワードが含まれるファイルに何行データが入っているかを集計しましょう！ FROSTYFRIDAYの FROSTYFRIDAYの WEEK3を一緒にやってみよう！ WEEK3を一緒にやってみよう！ FROSTYFRIDAYの WEEK3を一緒にやってみよう！
16. ゴール： 最終的には下記のようになると完成です。 S3にある‘キーワードが含まれている’ファイルごと（FILENAMEごと）に データの行数（NUMBER_OF_ROW）を集計したもの FROSTYFRIDAYの FROSTYFRIDAYの WEEK3を一緒にやってみよう！ WEEK3を一緒にやってみよう！ FROSTYFRIDAYの WEEK3を一緒にやってみよう！
17. 一緒に学びたいこと ①外部ステージとはなにか ②ファイルフォーマットを作る意味 ③ファイルパターン ④Containsの法則 ※次のスライドを使って説明します！　By横澤さん FROSTYFRIDAYの FROSTYFRIDAYの WEEK3をやりつつ・・ WEEK3をやりつつ・・ FROSTYFRIDAYの WEEK3をやりつつ・・
18. 業務システム クラウドストレージ S3 / AzureBlobStorage / Google Cloud Storage Snowflake 内部ステージ ステージとは？ ステージとは？ ステージとは？ 外部ステージ 内部ステージと外部ステージの2種類存在します。 外部ステージは、例えばAWS S3の特定のバケットに対して外部ステージ としてSnowflake側で参照できるように設定します。 内部ステージは、Snowflake内部でステージ名を設定します。 COPY INTO COPY INTO PUT クラウドストレージごとの コマンドなど
19. 凡例 Snowflakeの権限 Snowflakeの権限 Snowflakeの権限 ACCOUNTADMIN SECURITYADMIN SYSADMIN USERADMIN PUBLIC CUSTOMROLE CUSTOMROLE デフォルトロール カスタムロール Snowflakeであらかじめ作成されている 『デフォルトロール』とユーザが独自に作成する 『カスタムロール』が存在。 ロールはロールを継承することで、下位のロールに 付与されている権限を引き継ぐことが可能。 ACCOUNTADMIN アカウントで最上位のロール 限られたユーザのみに付与する SECURITYADMIN 権限付与やユーザ、ロールの作成が可能 USERADMIN ユーザとロールの作成が可能 すべてのカスタムロールを継承させる(推奨) SYSADMIN ウェアハウスとデータベースなどの各種オブジェクトを 作成可能
20. 以下のことを担保するために利用します 一貫性 予めファイルフォーマットを定義しておくことでパラメータを手動で指定する必要がなくな り、指定誤りなどの不整合が発生しなくなります。 再利用性 同じ定義(ヘッダー有無、区切り文字、改行コード、囲み文字など)のファイルはファイルフ ォーマットを使い回すことができます。 ファイルの定義が変更された場合にフォーマット定義のみ変更すれば良いため、変更箇所を 最小化できます。 　CREATE FILE FORMAT my_csv_format --ファイルフォーマット名を指定 　TYPE = CSV --タイプはCSV 　FIELD_DELIMITER = '|' --区切り文字はパイプ 　SKIP_HEADER = 1 --1行目はスキップ 　FIELD_OPTIONALLY_ENCLOSED_BY = '"' --ダブルクォーテーション囲み 　ENCODING = 'UTF-8'; --エンコーディングはUTF-8 ファイルフォーマットを作る意味 ファイルフォーマットを作る意味 ファイルフォーマットを作る意味 以下のように作成します
21. ファイルパターン ファイルパターン ファイルパターン 外部ステージや内部ステージに保存されているファイルについて、 特定のパターンに一致するファイルのみを処理するための機能です。 簡単にいうと、対象ファイルの絞り込みです。 PATTERN オプションを利用して正規表現を利用して指定します。 PATTERN オプションの利用例 [任意の文字列]202403DD.csvを対象に取り込みたい場合 　PATTERN = ‘.*202403[0-3][0-9]\.csv$’ .* 　　　　　　　　⇒ 0文字以上の任意の文字列 　202403[0-3][0-9]　 ⇒ 202403 + 0～3の1文字 + 0～9の1文字 　\.csv$ 　　　　　 ⇒ .csvで終わるファイル（\は.のエスケープ文字）
22. 第1引数（検索対象文字列） 第2引数（検索文字列） 結果 RookiesCamp/Vol2/data1.csv Rookies true RookiesCamp/Vol2/data2.csv Snowflake false Camp RookiesCamp/Vol2/data3.csv false Cortex RookiesCamp/Vol2/data4.csv false CONTAINSの法則 CONTAINSの法則 CONTAINSの法則 CONTAINSという関数が存在しますが、CONTAINS(A,B)でAにBを含むかを検 索します。 以下が簡単な例です
23. Week3の内容を図解 Week3の内容を図解 Week3の内容を図解 Amazon S3 Snowflake バケット URI： s3://frostyfridaychallenges/challenge_3/ keywords.csv week3_data1.csv week3_data2.csv データベース DB_WEEK3 スキーマ SCHEMA_WEEK3 ウェアハウス COMPUTE_WH 外部ステージ STAGE_WEEK3 参照 テーブル TABLE_SEARCH_WEEK3 COPY INTO ①ウェアハウス利用権限割当 ②データベース作成 ③スキーマ作成 ④外部ステージ作成 ⑤ファイルフォーマット作成 ⑥テーブル作成 ⑦データロード 　(COPY INTO) ⑧検索(CONTAINSを利用) ファイルフォーマット FILE_FORMAT_WEEK3 テーブル TABLE_KEYWORD_WEEK3 COPY INTO week3_data3.csv week3_data4.csv
24. 勉強会で 勉強会で 分からないことがあれば・・ 分からないことがあれば・・ 　　　#snowflake-rookies-camp 　　　#snowflake-rookies-camp チャンネル チャンネル 　　　で是非質問してくください！！ 　　　で是非質問してくください！！ 　　　初歩的な質問でもなんでも聞けるチャンネルに 　　　初歩的な質問でもなんでも聞けるチャンネルに 　　　したいと思っています！ 　　　したいと思っています！ 勉強会で 分からないことがあれば・・ 　　　#snowflake-rookies-camp チャンネル 　　　で是非質問してくください！！ 　　　初歩的な質問でもなんでも聞けるチャンネルに 　　　したいと思っています！
25. Snowflake Rookies Camp Snowflake Rookies Camp を一緒盛り立ててくれる方を随時募集します！ を一緒盛り立ててくれる方を随時募集します！ #snowflake-rookies-camp #snowflake-rookies-camp に@m.fujitaにメンションください！ に@m.fujitaにメンションください！ どしどしご応募おまちしております！ どしどしご応募おまちしております！ Snowflake Rookies Camp を一緒盛り立ててくれる方を随時募集します！ #snowflake-rookies-camp に@m.fujitaにメンションください！ どしどしご応募おまちしております！ 一緒に盛り上げてくれる人 一緒に盛り上げてくれる人 募集します！！ 募集します！！ 一緒に盛り上げてくれる人 募集します！！
26. [Snowflake女子会企画 -#4-] 東京×大阪ライブ中継！資格も絆もゲットしよう！ 4/11 18:30-20:30 SnowPro試験のノウハウが聞けちゃう お得な勉強会です。 fujita/yokozawaも東京会場に参加し ますので ぜひお会いしましょう。 QRコードはこちら！！ Snowflakeユーザー会 Snowflakeユーザー会 イベントのご案内 イベントのご案内 Snowflakeユーザー会 イベントのご案内
27. [SnowVillage Unconference #5 　– 初心者大歓迎！聞き専/飛入登壇, ご自由なスタイルで！ 4/25 19:00-21:00 当日に登壇希望者を募集する方式だそ うです。話したい方も聞きたい方も積 極的にご参加ください。 QRコードはこちら！！ Snowflakeユーザー会 Snowflakeユーザー会 イベントのご案内 イベントのご案内 Snowflakeユーザー会 イベントのご案内
28. QRコードはこちら！！ イベントのご案内(fujitaより) イベントのご案内(fujitaより) イベントのご案内(fujitaより) 4/24 PODBユーザー会を初開催しま す。 truestarオフィスに行ってみたいなと いう方も大歓迎！ オープンデータ、PODBについてざっ くばらんにお話しませんか？ fujitaも参加しますので是非来てくだ さい。お待ちしています！
29. 右のQRコードから 本日のイベントの感想など ご回答お願いいたします。 今後のイベントをより良いものにするために ぜひご協力お願いいたします。 アンケート回答のお願い！ アンケート回答のお願い！ アンケート回答のお願い！ ↑　↑　↑ QRコードはこちら！！
30. THANK THANK YOU YOU THANK YOU