Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake未経験の人がSnowflakeに挑戦してみた
Search
そのだ
November 22, 2024
Technology
1
130
Snowflake未経験の人がSnowflakeに挑戦してみた
【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介!未導入の方も大歓迎!
https://techplay.jp/event/963152
そのだ
November 22, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
790
Amazon Bedrock Knowledge Basesに Data Autometionを導入してみた
sonoda_mj
1
74
Amazon Bedrock Knowledge basesにLangfuse導入してみた
sonoda_mj
2
770
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
240
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
460
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
440
AWSでRAGを作る方法
sonoda_mj
1
550
緑一色アーキテクチャ
sonoda_mj
2
280
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
940
Other Decks in Technology
See All in Technology
オフィスビルを監視しよう:フィジカル×デジタルにまたがるSLI/SLO設計と運用の難しさ / Monitoring Office Buildings: The Challenge of Physical-Digital SLI/SLO Design & Operation
bitkey
1
350
「Chatwork」のEKS環境を支えるhelmfileを使用したマニフェスト管理術
hanayo04
1
240
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
640
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
450
AIエージェントが書くのなら直接CloudFormationを書かせればいいじゃないですか何故AWS CDKを使う必要があるのさ
watany
18
7k
話題の MCP と巡る OCI RAG ソリューションの旅 - Select AI with RAG と Generative AI Agents ディープダイブ
oracle4engineer
PRO
5
110
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
160
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.1k
推し書籍📚 / Books and a QA Engineer
ak1210
0
120
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
230
[SRE NEXT] ARR150億円_エンジニア140名_27チーム_17プロダクトから始めるSLO.pdf
satos
5
2.1k
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
plaidtech
PRO
0
290
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.7k
YesSQL, Process and Tooling at Scale
rocio
173
14k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Become a Pro
speakerdeck
PRO
29
5.4k
Rails Girls Zürich Keynote
gr2m
95
14k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
4 Signs Your Business is Dying
shpigford
184
22k
Building an army of robots
kneath
306
45k
Designing for humans not robots
tammielis
253
25k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田
朝彰 @sonoda_mj Snowflake 九州ユーザー会
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級) コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた
3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 •
ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント(https://docs.snowflake.com/ja) • エンジニアのためのデータ分析基盤入門(本) • Snowflakeに関する入門記事
©Fusic Co., Ltd. 6 Snowflake入門してみた 2
©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query
Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete
Query Test 約5000行
©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 12 Snowflake導入してみた 3
©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 14 構成図
©Fusic Co., Ltd. 15 構成図
©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成
(どのS3を使用するか定義する) テーブル作成 ファイルフォーマット作成 (CSVファイルを読み込むための形式を定義する)
©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その1
©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その2
©Fusic Co., Ltd. 22 メッセージの長さ(文字数)を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい •
スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる(設定で外せる)。 課金体系がいい 使用してないので、勝手に停止してくれている
©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
©Fusic Co., Ltd. 28 Snowflake Cortex:Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用:https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/
Snowflake Copilot 自然言語でSQLを 生成できる
©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point
02
©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!