Tweet
Tweet

Slide 1

Slide 1 text

©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田 朝彰 @sonoda_mj Snowflake 九州ユーザー会

Slide 2

Slide 2 text

©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級） コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic

Slide 3

Slide 3 text

©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた 3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ

Slide 4

Slide 4 text

©Fusic Co., Ltd. 4 背景 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 • ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント（https://docs.snowflake.com/ja） • エンジニアのためのデータ分析基盤入門（本） • Snowflakeに関する入門記事

Slide 6

Slide 6 text

©Fusic Co., Ltd. 6 Snowflake入門してみた 2

Slide 7

Slide 7 text

©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録

Slide 8

Slide 8 text

©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる

Slide 9

Slide 9 text

©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete Query Test 約5000行

Slide 10

Slide 10 text

©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query Test（実行結果）

Slide 11

Slide 11 text

©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query Test（実行結果）

Slide 12

Slide 12 text

©Fusic Co., Ltd. 12 Snowflake導入してみた 3

Slide 13

Slide 13 text

©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他

Slide 14

Slide 14 text

©Fusic Co., Ltd. 14 構成図

Slide 15

Slide 15 text

©Fusic Co., Ltd. 15 構成図

Slide 16

Slide 16 text

©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)

Slide 17

Slide 17 text

©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration

Slide 18

Slide 18 text

©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成 （どのS3を使用するか定義する） テーブル作成 ファイルフォーマット作成 （CSVファイルを読み込むための形式を定義する）

Slide 19

Slide 19 text

©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration

Slide 20

Slide 20 text

©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その１

Slide 21

Slide 21 text

©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その２

Slide 22

Slide 22 text

©Fusic Co., Ltd. 22 メッセージの長さ（文字数）を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3

Slide 23

Slide 23 text

©Fusic Co., Ltd. 23 初心者から見たSnowflake 4

Slide 24

Slide 24 text

©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい • スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある

Slide 25

Slide 25 text

©Fusic Co., Ltd. 25 画面が見やすく、使いやすい

Slide 26

Slide 26 text

©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる（設定で外せる）。 課金体系がいい 使用してないので、勝手に停止してくれている

Slide 27

Slide 27 text

©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単

Slide 28

Slide 28 text

©Fusic Co., Ltd. 28 Snowflake Cortex：Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用：https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/ Snowflake Copilot 自然言語でSQLを 生成できる

Slide 29

Slide 29 text

©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point 02

Slide 30

Slide 30 text

©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴ありがとうございました！