Snowflake未経験の人がSnowflakeに挑戦してみた

【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介！未導入の方も大歓迎！
https://techplay.jp/event/963152

Transcript

1. ©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田 朝彰 @sonoda_mj Snowflake 九州ユーザー会
2. ©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級） コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
3. ©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた 3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
4. ©Fusic Co., Ltd. 4 背景 1
5. ©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 • ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント（https://docs.snowflake.com/ja） • エンジニアのためのデータ分析基盤入門（本） • Snowflakeに関する入門記事
6. ©Fusic Co., Ltd. 6 Snowflake入門してみた 2
7. ©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
8. ©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
9. ©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete Query Test 約5000行
10. ©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query Test（実行結果）
11. ©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query Test（実行結果）
12. ©Fusic Co., Ltd. 12 Snowflake導入してみた 3
13. ©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
14. ©Fusic Co., Ltd. 14 構成図
15. ©Fusic Co., Ltd. 15 構成図
16. ©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
17. ©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
18. ©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成 （どのS3を使用するか定義する） テーブル作成 ファイルフォーマット作成 （CSVファイルを読み込むための形式を定義する）
19. ©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用：https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
20. ©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その１
21. ©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その２
22. ©Fusic Co., Ltd. 22 メッセージの長さ（文字数）を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
23. ©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
24. ©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい • スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
25. ©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
26. ©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる（設定で外せる）。 課金体系がいい 使用してないので、勝手に停止してくれている
27. ©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
28. ©Fusic Co., Ltd. 28 Snowflake Cortex：Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用：https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/ Snowflake Copilot 自然言語でSQLを 生成できる
29. ©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point 02
30. ©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴ありがとうございました！