Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake未経験の人がSnowflakeに挑戦してみた
Search
そのだ
November 22, 2024
Technology
1
51
Snowflake未経験の人がSnowflakeに挑戦してみた
【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介!未導入の方も大歓迎!
https://techplay.jp/event/963152
そのだ
November 22, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
170
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
360
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
400
AWSでRAGを作る方法
sonoda_mj
1
430
緑一色アーキテクチャ
sonoda_mj
2
230
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
800
検索拡張生成(RAG)をAWSで作る方法
sonoda_mj
1
580
BedrockのToo Many Request解決してみた
sonoda_mj
2
3.1k
AmazonBedrockを使用した自作RAGの作り方
sonoda_mj
1
1.1k
Other Decks in Technology
See All in Technology
N=1から解き明かすAWS ソリューションアーキテクトの魅力
kiiwami
0
140
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
140
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
490
AIエージェント元年
shukob
0
120
AI エージェント開発を支える MaaS としての Azure AI Foundry
ryohtaka
6
640
ソフトウェアエンジニアと仕事するときに知っておいたほうが良いこと / Key points for working with software engineers
pinkumohikan
1
130
データマネジメントのトレードオフに立ち向かう
ikkimiyazaki
6
1.2k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
620
Classmethod AI Talks(CATs) #17 司会進行スライド(2025.02.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol17_2025-02-19
shinyaa31
0
160
生成 AI プロダクトを育てる技術 〜データ品質向上による継続的な価値創出の実践〜
icoxfog417
PRO
5
1.8k
偏光画像処理ライブラリを作った話
elerac
1
130
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
The Invisible Side of Design
smashingmag
299
50k
GraphQLとの向き合い方2022年版
quramy
44
13k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
The Cult of Friendly URLs
andyhume
78
6.2k
We Have a Design System, Now What?
morganepeng
51
7.4k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田
朝彰 @sonoda_mj Snowflake 九州ユーザー会
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級) コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた
3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 •
ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント(https://docs.snowflake.com/ja) • エンジニアのためのデータ分析基盤入門(本) • Snowflakeに関する入門記事
©Fusic Co., Ltd. 6 Snowflake入門してみた 2
©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query
Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete
Query Test 約5000行
©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 12 Snowflake導入してみた 3
©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 14 構成図
©Fusic Co., Ltd. 15 構成図
©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成
(どのS3を使用するか定義する) テーブル作成 ファイルフォーマット作成 (CSVファイルを読み込むための形式を定義する)
©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その1
©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その2
©Fusic Co., Ltd. 22 メッセージの長さ(文字数)を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい •
スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる(設定で外せる)。 課金体系がいい 使用してないので、勝手に停止してくれている
©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
©Fusic Co., Ltd. 28 Snowflake Cortex:Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用:https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/
Snowflake Copilot 自然言語でSQLを 生成できる
©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point
02
©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!