Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake Openflow さわってみた
Search
Yuki Ishikawa
October 01, 2025
Technology
0
100
Snowflake Openflow さわってみた
2025.10.01 Snowflake 中部ユーザ会 #5
https://techplay.jp/event/985802
Yuki Ishikawa
October 01, 2025
Tweet
Share
More Decks by Yuki Ishikawa
See All by Yuki Ishikawa
第3回 Snowflake 中部ユーザ会- dbt × Snowflake ハンズオン
hoto17296
4
1k
ORM と向き合う
hoto17296
14
11k
明日業務で役立たない Web 開発 TIPS
hoto17296
0
190
クソ bot 実装ライブコーディング
hoto17296
0
230
DeepGBM 論文の紹介
hoto17296
0
590
試行錯誤のための Docker 活用術
hoto17296
4
3.1k
Hive 集計テクニック
hoto17296
0
510
データ分析と Docker / Data Analysis with Docker
hoto17296
0
370
DeepCluster 論文の紹介
hoto17296
7
2.6k
Other Decks in Technology
See All in Technology
From Natural Language to K8s Operations: The MCP Architecture and Practice of kubectl-ai
appleboy
0
170
混合雲環境整合異質工作流程工具運行關鍵業務 Job 的經驗分享
yaosiang
0
170
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
380
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
330
プレイドのユニークな技術とインターンのリアル
plaidtech
PRO
1
300
知覚とデザイン
rinchoku
1
480
コンパウンド組織のCRE #cre_meetup
layerx
PRO
1
250
AWS DMS で SQL Server を移行してみた/aws-dms-sql-server-migration
emiki
0
170
もう外には出ない。より快適なフルリモート環境を目指して
mottyzzz
13
9.6k
AIとともに歩んでいくデザイナーの役割の変化
lycorptech_jp
PRO
0
840
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
12
81k
ハノーファーメッセ2025で見た生成AI活用ユースケース.pdf
hamadakoji
0
420
Featured
See All Featured
KATA
mclloyd
PRO
32
15k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Building Better People: How to give real-time feedback that sticks.
wjessup
369
20k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
630
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
The Invisible Side of Design
smashingmag
302
51k
RailsConf 2023
tenderlove
30
1.3k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Docker and Python
trallard
46
3.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Transcript
Snowflake Openflow さわってみた 2025.10.01 Snowflake 中部ユーザ会 #5 Yuki Ishikawa /
@hoto17296
注意事項 この資料のコンテンツは2025年8月に作られたものであり 2025年10月の時点でも既にちょっと情報が古いので お気をつけください
AGENDA 1. Openflow 概要 2. Openflow を試しに動かす (環境構築編) 3. Openflow
を試しに動かす (データ取り込み編) 4. 所感
Openflow 概要
Snowflake Openflow の概念 2025年6月に発表された新機能 あらゆる場所から Snowflake にデータを集約するための ETL ツール
Snowflake Openflow の実体 • Apache NiFi (ニーフィー) • データフローオーケストレーションツール •
SaaS とかのデータを「コネクタ」でとりにいったり、ワークフローを組んだり • 動作するインフラ • 現時点では AWS 上での Bring Your Own Cloud (BYOC) 版のみサポートされている • Kubernetes クラスタを自分で用意しないといけない • 公式ドキュメントの手順に従ってつくると Amazon EKS が作成される • 使用する VPC は「Openflow 用 (managed) を作る」か「既存の VPC に載せる」か選べる • 今後 Snowpark Container Services (SPCS) 版も出る予定らしい? Snowflake Openflow の実体は Kubernetes 上で動く Apache NiFi
イメージ図 Snowflake とは別のところに Kubernetes クラスタがいて、そこで ETL 処理が実行される Kubernetes クラスタ (=
Deloyment) Snowflake Runtime 他の Runtime Manager Connector • 外部リソースへの接続情報 • その他、各種設定 外部リソース User / Role Openflow 利用ユーザ • Type = PERSON • Openflow に関する権限をつける Openflow Runtime 用ユーザ • Type = SERVICE • 実行したいタスクに必要な権限をつける Database / Schema / Table • データの取り込み先 API
Openflow を試しに動かす (環境構築編)
開始! まずは Openflow 管理用のページにアクセスする Snowsight 上に管理画面があるわけではなく Openflow 管理用の別サイトに飛ばされる (なんで?)
Deployment 作成 K8s クラスタを動かす場所を選ぶ (いまはまだ AWS しか選べない) VPC どうするか選ぶ Managed
のほうが簡単 Openflow 管理者に割り当てる Role を指定する (作っておく) PrivateLink もできる
EKS クラスタ作成 (1/2) AWS Cloud Formation の スタックテンプレートが生成される スタックテンプレートを使用して リソースを作成する
(まだ EKS 作られない) スタックテンプレートの パラメータはほとんど いじらなかった
EKS クラスタ作成 (2/2) EC2 インスタンス内で OpenTofu (≒ Terraform) が 動いて
EKS クラスタが作られる 1時間くらいかかる…
Deployment が正常かどうか確認 (おそらく) EKS クラスタ内の Manager ノードが 「この Deployment は起動しているぞ」と
ping を送ってきている (それが確認できると Active になる)
Runtime を作成する Deployment さえできてしまえば Runtime の作成は超簡単
Runtime の Canvas 画面を開く (たぶん) Runtime 側が OAuth クライアントになっていて Snowflake
アカウントを使用して OAuth 認証している この Canvas 画面が開けたなら 環境構築は完了ってことで良さそう
Openflow を試しに動かす (データ取り込み編)
今回やりたいこと Google Sheets の内容を Snowflake のテーブルに取り込む 本当は「Drive 全部を Cortex Search
に取り込んで RAG チャットボット」 をやりたかったけど挫折した
使用するコネクタの公式ドキュメント https://docs.snowflake.com/en/user-guide/data-integration/openflow/connectors/google-sheets/setup
Google Cloud でプロジェクトとサービスアカウントを作成する
サービスアカウントのキー (JSON) を生成する このキーを使用することで Openflow の Runtime は サービスアカウントの権限で Google
Cloud にアクセスできる
サービスアカウントにファイルの閲覧権限を付与
Google Sheets コネクタを Runtime に追加 この中から「Google Sheets」コネクタを 選択して Runtime に追加する
※ スクショ撮り忘れた
コネクタがキャンバスに追加された
コネクタの各種パラメータを設定する 設定項目いろいろある • Google Cloud にアクセスするサービスアカウントの認証情報 • 取り込む対象ファイルの ID •
Snowflake にアクセスするユーザの認証情報 • 取り込み先のデータベース情報
いざ起動 まずは全ての コントローラサービスを 有効化する コネクタを起動
うわあああああああああああ 右上の赤いところにマウスオーバーすると エラー詳細が出る これは 「Google Sheets API が使えない」 というエラーっぽい
プロジェクトで Google Sheets API を使用できるようにする この手順、公式ドキュメントに書いてなかった ※ 2025年8月時点
もろもろ割愛 このあと2時間くらい さまざまなエラーと格闘
なんか動いているっぽい!
きたああああああああ
所感
所感 • 競合製品 (Trocco とか) との比較はできない、もうしわけない… • 「試しに動かしてみる」までのハードルまぁまぁ高い • SPCS
版はやく出てほしい、マジで • 外部サービス連携するツールなのだからコネクタ設定周りが複雑なのはもう仕方ない、頑張るしかない • 一度仕組みを作ってしまえばあとは簡単で便利なのかもしれない 今回「データを取り込む」だけならプログラムは一切書かずに済んだ • EKS クラスタを数日放置しただけでまぁまぁかかった… ($) • 動かしっぱなしだと月10万円以上かかりそう • EKS は「リソースを止めておく」のも手間なので、趣味で遊ぶにはちょっときびしい • SPCS 版はやく出てほしい、マジで (料金体系どうなるかしらんけど) 便利っぽいんだけど導入ハードルが高いので SPCS 版はやく出てほしい!! 「まぁまぁかかった」の様子
ところが…?
SPCS 対応きました ※ 2日前