Share
Embed
Transcript
30 slides
-
Snowflake Snowflake Rookies Camp Rookies Camp No.2 No.2 2025/04/04 2025/04/04
2025/04/09 2025/04/09 Snowflake Rookies Camp No.2 2025/04/04 2025/04/09 -
この会で目指すこと この会で目指すこと この会で目指すこと このコミュニティは、一歩ずつ一緒に成長する場です。 参 加 者 同 士 の
悩 み 共 有 実 用 的 な T i p s の 紹 介 小 さ な 成 功 体 験 の 積 み 重 ね 仲 間 と の つ な が り を 作 る -
そんな皆さんを そんな皆さんを 心から歓迎します! 心から歓迎します! 小さな疑問も大歓迎! 小さな疑問も大歓迎! #snowflake-rookies-camp でも受け付けています #snowflake-rookies-camp でも受け付けています
みんなで助け合いながら、 みんなで助け合いながら、 新しい学びを一緒に始めましょう! 新しい学びを一緒に始めましょう! そんな皆さんを 心から歓迎します! 小さな疑問も大歓迎! #snowflake-rookies-camp でも受け付けています みんなで助け合いながら、 新しい学びを一緒に始めましょう! -
幹事メンバー 幹事メンバー 幹事メンバー m.fujita naoki_yokozawa(横澤 直樹) hue(hiroki uetake) Kaori(KaNi) snowflakeに
業務で関わり始めて1年程立ちますが、 まだまだ初心者なので 皆様と一緒にスキルアップしたいです! 日頃はSIerとしてお客様のデータ活用基盤 構築のPMとしてご支援しています。 Snowflake歴は半年ほどで、3月に SnowPro Advanced:Architectの資格を取 得しました。また、4/2に『Snowflake Squad』に選出いただきました。 これからも勉強会を盛り上げていければ と思いますので一緒に楽しんでいきまし ょう!! Prepper Open Data Bankの担当を始め て半年。皆さまと一緒に楽しく勉強した い!ずっと続けていきたい! Snowflakeを触ったことがない方がコミュ ニティに参加することで業務で活用でき るようになったらいいなという思いでこ ちらのユーザーグループを立ち上げまし た。 みんなで楽しく勉強しましょう! Snowflake初心者です。 業務は主にTableauを中心にCoE活動を行ってい ます。 ユーザー会を通じて、皆さんと一緒に成長して いきたいです! -
本日の 本日の DOCTOR DOCTOR 本日の DOCTOR あれ(kajiya) Snowflake歴 約4年のデータエンジニアです。 Snowflake
中心に、AWS、TROCCO、Terraform、 dbt、などなどいろいろやってます。 SnowVillage では、女子会・コンテナグループでリ ーダーをやってます。 少しでも皆さんの助けになれるよう頑張ります。 よろしくお願いいたします! -
FROSTYFRIDAY FROSTYFRIDAY をやってみよう! をやってみよう! FROSTYFRIDAY をやってみよう! Frosty_Fridayとは 1.金曜日に更新されるSnowflakeのスキルアップ ウィークリーチャレンジです 2.レベルは
Easy Basic Intermediate Hard ※この勉強会ではEasyかBasicのみ 3.回答は(公式には)ありません! ※先人たちの回答はGitHubにあります Snowflakeの機能を学びつつTipsが学べます! https://frostyfriday.org/ 解説動画があります Snowvillage(Snowflakeのコミュニティー) でご活躍中の tomoさん がくさん あれさん がSnowflakeを得意とするゲストを招いて 隔週で解説動画をYouTubeにUPしてくれています。 わからなければこの解説動画を見ながら学べます! https://www.youtube.com/watch? v=0T8P_bw6GgE&list =PLVj4iIZgzTAq2FzaBB gqFOtZaJTcoG3JR -
お題: S3に保存されたCSVファイルをSnowflakeに取り込み、2つのテーブルを作成します! 外部ステージ → s3://frostyfridaychallenges/challenge_3/ 1つ目はkeywords.csv を参照し記載されているキーワードの一覧を保存するテーブル 2つ目は、S3の各ファイルの全データをまとめて投入し、 キーワードが含まれているか検索するためのテーブル 最後に、2つ目のテーブルから1つ目のテーブルにあるキーワードを検索し、 キーワードが含まれるファイルに何行データが入っているかを集計しましょう! FROSTYFRIDAYの
FROSTYFRIDAYの WEEK3を一緒にやってみよう! WEEK3を一緒にやってみよう! FROSTYFRIDAYの WEEK3を一緒にやってみよう! -
業務システム クラウドストレージ S3 / AzureBlobStorage / Google Cloud Storage Snowflake
内部ステージ ステージとは? ステージとは? ステージとは? 外部ステージ 内部ステージと外部ステージの2種類存在します。 外部ステージは、例えばAWS S3の特定のバケットに対して外部ステージ としてSnowflake側で参照できるように設定します。 内部ステージは、Snowflake内部でステージ名を設定します。 COPY INTO COPY INTO PUT クラウドストレージごとの コマンドなど -
凡例 Snowflakeの権限 Snowflakeの権限 Snowflakeの権限 ACCOUNTADMIN SECURITYADMIN SYSADMIN USERADMIN PUBLIC CUSTOMROLE
CUSTOMROLE デフォルトロール カスタムロール Snowflakeであらかじめ作成されている 『デフォルトロール』とユーザが独自に作成する 『カスタムロール』が存在。 ロールはロールを継承することで、下位のロールに 付与されている権限を引き継ぐことが可能。 ACCOUNTADMIN アカウントで最上位のロール 限られたユーザのみに付与する SECURITYADMIN 権限付与やユーザ、ロールの作成が可能 USERADMIN ユーザとロールの作成が可能 すべてのカスタムロールを継承させる(推奨) SYSADMIN ウェアハウスとデータベースなどの各種オブジェクトを 作成可能 -
以下のことを担保するために利用します 一貫性 予めファイルフォーマットを定義しておくことでパラメータを手動で指定する必要がなくな り、指定誤りなどの不整合が発生しなくなります。 再利用性 同じ定義(ヘッダー有無、区切り文字、改行コード、囲み文字など)のファイルはファイルフ ォーマットを使い回すことができます。 ファイルの定義が変更された場合にフォーマット定義のみ変更すれば良いため、変更箇所を 最小化できます。 CREATE
FILE FORMAT my_csv_format --ファイルフォーマット名を指定 TYPE = CSV --タイプはCSV FIELD_DELIMITER = '|' --区切り文字はパイプ SKIP_HEADER = 1 --1行目はスキップ FIELD_OPTIONALLY_ENCLOSED_BY = '"' --ダブルクォーテーション囲み ENCODING = 'UTF-8'; --エンコーディングはUTF-8 ファイルフォーマットを作る意味 ファイルフォーマットを作る意味 ファイルフォーマットを作る意味 以下のように作成します -
ファイルパターン ファイルパターン ファイルパターン 外部ステージや内部ステージに保存されているファイルについて、 特定のパターンに一致するファイルのみを処理するための機能です。 簡単にいうと、対象ファイルの絞り込みです。 PATTERN オプションを利用して正規表現を利用して指定します。 PATTERN オプションの利用例
[任意の文字列]202403DD.csvを対象に取り込みたい場合 PATTERN = ‘.*202403[0-3][0-9]\.csv$’ .* ⇒ 0文字以上の任意の文字列 202403[0-3][0-9] ⇒ 202403 + 0~3の1文字 + 0~9の1文字 \.csv$ ⇒ .csvで終わるファイル(\は.のエスケープ文字) -
第1引数(検索対象文字列) 第2引数(検索文字列) 結果 RookiesCamp/Vol2/data1.csv Rookies true RookiesCamp/Vol2/data2.csv Snowflake false Camp
RookiesCamp/Vol2/data3.csv false Cortex RookiesCamp/Vol2/data4.csv false CONTAINSの法則 CONTAINSの法則 CONTAINSの法則 CONTAINSという関数が存在しますが、CONTAINS(A,B)でAにBを含むかを検 索します。 以下が簡単な例です -
Week3の内容を図解 Week3の内容を図解 Week3の内容を図解 Amazon S3 Snowflake バケット URI: s3://frostyfridaychallenges/challenge_3/ keywords.csv
week3_data1.csv week3_data2.csv データベース DB_WEEK3 スキーマ SCHEMA_WEEK3 ウェアハウス COMPUTE_WH 外部ステージ STAGE_WEEK3 参照 テーブル TABLE_SEARCH_WEEK3 COPY INTO ①ウェアハウス利用権限割当 ②データベース作成 ③スキーマ作成 ④外部ステージ作成 ⑤ファイルフォーマット作成 ⑥テーブル作成 ⑦データロード (COPY INTO) ⑧検索(CONTAINSを利用) ファイルフォーマット FILE_FORMAT_WEEK3 テーブル TABLE_KEYWORD_WEEK3 COPY INTO week3_data3.csv week3_data4.csv -
勉強会で 勉強会で 分からないことがあれば・・ 分からないことがあれば・・ #snowflake-rookies-camp #snowflake-rookies-camp チャンネル チャンネル で是非質問してくください!! で是非質問してくください!!
初歩的な質問でもなんでも聞けるチャンネルに 初歩的な質問でもなんでも聞けるチャンネルに したいと思っています! したいと思っています! 勉強会で 分からないことがあれば・・ #snowflake-rookies-camp チャンネル で是非質問してくください!! 初歩的な質問でもなんでも聞けるチャンネルに したいと思っています! -
Snowflake Rookies Camp Snowflake Rookies Camp を一緒盛り立ててくれる方を随時募集します! を一緒盛り立ててくれる方を随時募集します! #snowflake-rookies-camp #snowflake-rookies-camp
に@m.fujitaにメンションください! に@m.fujitaにメンションください! どしどしご応募おまちしております! どしどしご応募おまちしております! Snowflake Rookies Camp を一緒盛り立ててくれる方を随時募集します! #snowflake-rookies-camp に@m.fujitaにメンションください! どしどしご応募おまちしております! 一緒に盛り上げてくれる人 一緒に盛り上げてくれる人 募集します!! 募集します!! 一緒に盛り上げてくれる人 募集します!! -
[Snowflake女子会企画 -#4-] 東京×大阪ライブ中継!資格も絆もゲットしよう! 4/11 18:30-20:30 SnowPro試験のノウハウが聞けちゃう お得な勉強会です。 fujita/yokozawaも東京会場に参加し ますので ぜひお会いしましょう。
QRコードはこちら!! Snowflakeユーザー会 Snowflakeユーザー会 イベントのご案内 イベントのご案内 Snowflakeユーザー会 イベントのご案内 -
[SnowVillage Unconference #5 – 初心者大歓迎!聞き専/飛入登壇, ご自由なスタイルで! 4/25 19:00-21:00 当日に登壇希望者を募集する方式だそ うです。話したい方も聞きたい方も積
極的にご参加ください。 QRコードはこちら!! Snowflakeユーザー会 Snowflakeユーザー会 イベントのご案内 イベントのご案内 Snowflakeユーザー会 イベントのご案内 -
QRコードはこちら!! イベントのご案内(fujitaより) イベントのご案内(fujitaより) イベントのご案内(fujitaより) 4/24 PODBユーザー会を初開催しま す。 truestarオフィスに行ってみたいなと いう方も大歓迎! オープンデータ、PODBについてざっ
くばらんにお話しませんか? fujitaも参加しますので是非来てくだ さい。お待ちしています!