Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake未経験の人がSnowflakeに挑戦してみた
Search
そのだ
November 22, 2024
Technology
1
160
Snowflake未経験の人がSnowflakeに挑戦してみた
【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介!未導入の方も大歓迎!
https://techplay.jp/event/963152
そのだ
November 22, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
920
Amazon Bedrock Knowledge Basesに Data Autometionを導入してみた
sonoda_mj
1
90
Amazon Bedrock Knowledge basesにLangfuse導入してみた
sonoda_mj
2
870
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
260
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
500
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
460
AWSでRAGを作る方法
sonoda_mj
1
580
緑一色アーキテクチャ
sonoda_mj
2
290
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
990
Other Decks in Technology
See All in Technology
S3アクセス制御の設計ポイント
tommy0124
3
200
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
1k
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
460
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
310
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
480
プラットフォーム転換期におけるGitHub Copilot活用〜Coding agentがそれを加速するか〜 / Leveraging GitHub Copilot During Platform Transition Periods
aeonpeople
1
180
LLM時代のパフォーマンスチューニング:MongoDB運用で試したコンテキスト活用の工夫
ishikawa_pro
0
160
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.3k
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
株式会社ログラス - 会社説明資料【エンジニア】/ Loglass Engineer
loglass2019
4
65k
新アイテムをどう使っていくか?みんなであーだこーだ言ってみよう / 20250911-rpi-jam-tokyo
akkiesoft
0
300
Aurora DSQLはサーバーレスアーキテクチャの常識を変えるのか
iwatatomoya
1
1.1k
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
329
39k
How to Ace a Technical Interview
jacobian
279
23k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
How STYLIGHT went responsive
nonsquared
100
5.8k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Building Applications with DynamoDB
mza
96
6.6k
Building an army of robots
kneath
306
46k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田
朝彰 @sonoda_mj Snowflake 九州ユーザー会
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級) コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた
3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 •
ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント(https://docs.snowflake.com/ja) • エンジニアのためのデータ分析基盤入門(本) • Snowflakeに関する入門記事
©Fusic Co., Ltd. 6 Snowflake入門してみた 2
©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query
Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete
Query Test 約5000行
©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 12 Snowflake導入してみた 3
©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 14 構成図
©Fusic Co., Ltd. 15 構成図
©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成
(どのS3を使用するか定義する) テーブル作成 ファイルフォーマット作成 (CSVファイルを読み込むための形式を定義する)
©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その1
©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その2
©Fusic Co., Ltd. 22 メッセージの長さ(文字数)を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい •
スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる(設定で外せる)。 課金体系がいい 使用してないので、勝手に停止してくれている
©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
©Fusic Co., Ltd. 28 Snowflake Cortex:Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用:https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/
Snowflake Copilot 自然言語でSQLを 生成できる
©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point
02
©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!