Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake未経験の人がSnowflakeに挑戦してみた
Search
そのだ
November 22, 2024
Technology
1
39
Snowflake未経験の人がSnowflakeに挑戦してみた
【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介!未導入の方も大歓迎!
https://techplay.jp/event/963152
そのだ
November 22, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
140
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
300
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
390
AWSでRAGを作る方法
sonoda_mj
1
390
緑一色アーキテクチャ
sonoda_mj
2
220
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
740
検索拡張生成(RAG)をAWSで作る方法
sonoda_mj
1
480
BedrockのToo Many Request解決してみた
sonoda_mj
2
2.8k
AmazonBedrockを使用した自作RAGの作り方
sonoda_mj
1
1k
Other Decks in Technology
See All in Technology
2025年の挑戦 コーポレートエンジニアの技術広報/techpr5
nishiuma
0
110
AWSの生成AIサービス Amazon Bedrock入門!(2025年1月版)
minorun365
PRO
7
410
20250116_JAWS_Osaka
takuyay0ne
2
160
能動的ドメイン名ライフサイクル管理のすゝめ / Practice on Active Domain Name Lifecycle Management
nttcom
0
340
comilioとCloudflare、そして未来へと向けて
oliver_diary
5
400
大規模言語モデルとそのソフトウェア開発に向けた応用 (2024年版)
kazato
2
510
2025年のARグラスの潮流
kotauchisunsun
0
740
スケールし続ける事業とサービスを支える組織とアーキテクチャの生き残り戦略 / The survival strategy for Money Forward’s engineering.
moneyforward
0
250
SpiderPlus & Co. エンジニア向け会社紹介資料
spiderplus_cb
0
680
デジタルアイデンティティ技術 認可・ID連携・認証 応用 / 20250114-OIDF-J-EduWG-TechSWG
oidfj
2
480
MasterMemory v3 最速確認会
yucchiy
0
340
ソフトウェア開発における「パーフェクトな意思決定」/Perfect Decision-Making in Software Development
yayoi_dd
2
2.7k
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
62
7.6k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
How STYLIGHT went responsive
nonsquared
96
5.3k
Into the Great Unknown - MozCon
thekraken
34
1.6k
A Philosophy of Restraint
colly
203
16k
Building an army of robots
kneath
302
44k
Measuring & Analyzing Core Web Vitals
bluesmoon
5
200
Git: the NoSQL Database
bkeepers
PRO
427
64k
Gamification - CAS2011
davidbonilla
80
5.1k
GitHub's CSS Performance
jonrohan
1030
460k
For a Future-Friendly Web
brad_frost
176
9.5k
Statistics for Hackers
jakevdp
797
220k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田
朝彰 @sonoda_mj Snowflake 九州ユーザー会
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級) コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた
3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 •
ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント(https://docs.snowflake.com/ja) • エンジニアのためのデータ分析基盤入門(本) • Snowflakeに関する入門記事
©Fusic Co., Ltd. 6 Snowflake入門してみた 2
©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query
Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete
Query Test 約5000行
©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 12 Snowflake導入してみた 3
©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 14 構成図
©Fusic Co., Ltd. 15 構成図
©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成
(どのS3を使用するか定義する) テーブル作成 ファイルフォーマット作成 (CSVファイルを読み込むための形式を定義する)
©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その1
©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その2
©Fusic Co., Ltd. 22 メッセージの長さ(文字数)を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい •
スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる(設定で外せる)。 課金体系がいい 使用してないので、勝手に停止してくれている
©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
©Fusic Co., Ltd. 28 Snowflake Cortex:Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用:https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/
Snowflake Copilot 自然言語でSQLを 生成できる
©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point
02
©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!