Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake Openflow さわってみた
Search
Yuki Ishikawa
October 01, 2025
Technology
0
55
Snowflake Openflow さわってみた
2025.10.01 Snowflake 中部ユーザ会 #5
https://techplay.jp/event/985802
Yuki Ishikawa
October 01, 2025
Tweet
Share
More Decks by Yuki Ishikawa
See All by Yuki Ishikawa
第3回 Snowflake 中部ユーザ会- dbt × Snowflake ハンズオン
hoto17296
4
970
ORM と向き合う
hoto17296
14
11k
明日業務で役立たない Web 開発 TIPS
hoto17296
0
190
クソ bot 実装ライブコーディング
hoto17296
0
220
DeepGBM 論文の紹介
hoto17296
0
590
試行錯誤のための Docker 活用術
hoto17296
4
3k
Hive 集計テクニック
hoto17296
0
500
データ分析と Docker / Data Analysis with Docker
hoto17296
0
370
DeepCluster 論文の紹介
hoto17296
7
2.5k
Other Decks in Technology
See All in Technology
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
190
タスクって今どうなってるの?3.14の新機能 asyncio ps と pstree でasyncioのデバッグを (PyCon JP 2025)
jrfk
1
230
神回のメカニズムと再現方法/Mechanisms and Playbook for Kamikai scrumat2025
moriyuya
4
330
生成AIを活用したZennの取り組み事例
ryosukeigarashi
0
190
"複雑なデータ処理 × 静的サイト" を両立させる、楽をするRails運用 / A low-effort Rails workflow that combines “Complex Data Processing × Static Sites”
hogelog
3
1.7k
analysis パッケージの仕組みの上でMulti linter with configを実現する / Go Conference 2025
k1low
1
260
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
250
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
120
Geospatialの世界最前線を探る [2025年版]
dayjournal
3
470
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
11
77k
Windows で省エネ
murachiakira
0
160
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
9k
Featured
See All Featured
Embracing the Ebb and Flow
colly
88
4.8k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Visualization
eitanlees
148
16k
Documentation Writing (for coders)
carmenintech
75
5k
BBQ
matthewcrist
89
9.8k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
KATA
mclloyd
32
14k
Agile that works and the tools we love
rasmusluckow
331
21k
Transcript
Snowflake Openflow さわってみた 2025.10.01 Snowflake 中部ユーザ会 #5 Yuki Ishikawa /
@hoto17296
注意事項 この資料のコンテンツは2025年8月に作られたものであり 2025年10月の時点でも既にちょっと情報が古いので お気をつけください
AGENDA 1. Openflow 概要 2. Openflow を試しに動かす (環境構築編) 3. Openflow
を試しに動かす (データ取り込み編) 4. 所感
Openflow 概要
Snowflake Openflow の概念 2025年6月に発表された新機能 あらゆる場所から Snowflake にデータを集約するための ETL ツール
Snowflake Openflow の実体 • Apache NiFi (ニーフィー) • データフローオーケストレーションツール •
SaaS とかのデータを「コネクタ」でとりにいったり、ワークフローを組んだり • 動作するインフラ • 現時点では AWS 上での Bring Your Own Cloud (BYOC) 版のみサポートされている • Kubernetes クラスタを自分で用意しないといけない • 公式ドキュメントの手順に従ってつくると Amazon EKS が作成される • 使用する VPC は「Openflow 用 (managed) を作る」か「既存の VPC に載せる」か選べる • 今後 Snowpark Container Services (SPCS) 版も出る予定らしい? Snowflake Openflow の実体は Kubernetes 上で動く Apache NiFi
イメージ図 Snowflake とは別のところに Kubernetes クラスタがいて、そこで ETL 処理が実行される Kubernetes クラスタ (=
Deloyment) Snowflake Runtime 他の Runtime Manager Connector • 外部リソースへの接続情報 • その他、各種設定 外部リソース User / Role Openflow 利用ユーザ • Type = PERSON • Openflow に関する権限をつける Openflow Runtime 用ユーザ • Type = SERVICE • 実行したいタスクに必要な権限をつける Database / Schema / Table • データの取り込み先 API
Openflow を試しに動かす (環境構築編)
開始! まずは Openflow 管理用のページにアクセスする Snowsight 上に管理画面があるわけではなく Openflow 管理用の別サイトに飛ばされる (なんで?)
Deployment 作成 K8s クラスタを動かす場所を選ぶ (いまはまだ AWS しか選べない) VPC どうするか選ぶ Managed
のほうが簡単 Openflow 管理者に割り当てる Role を指定する (作っておく) PrivateLink もできる
EKS クラスタ作成 (1/2) AWS Cloud Formation の スタックテンプレートが生成される スタックテンプレートを使用して リソースを作成する
(まだ EKS 作られない) スタックテンプレートの パラメータはほとんど いじらなかった
EKS クラスタ作成 (2/2) EC2 インスタンス内で OpenTofu (≒ Terraform) が 動いて
EKS クラスタが作られる 1時間くらいかかる…
Deployment が正常かどうか確認 (おそらく) EKS クラスタ内の Manager ノードが 「この Deployment は起動しているぞ」と
ping を送ってきている (それが確認できると Active になる)
Runtime を作成する Deployment さえできてしまえば Runtime の作成は超簡単
Runtime の Canvas 画面を開く (たぶん) Runtime 側が OAuth クライアントになっていて Snowflake
アカウントを使用して OAuth 認証している この Canvas 画面が開けたなら 環境構築は完了ってことで良さそう
Openflow を試しに動かす (データ取り込み編)
今回やりたいこと Google Sheets の内容を Snowflake のテーブルに取り込む 本当は「Drive 全部を Cortex Search
に取り込んで RAG チャットボット」 をやりたかったけど挫折した
使用するコネクタの公式ドキュメント https://docs.snowflake.com/en/user-guide/data-integration/openflow/connectors/google-sheets/setup
Google Cloud でプロジェクトとサービスアカウントを作成する
サービスアカウントのキー (JSON) を生成する このキーを使用することで Openflow の Runtime は サービスアカウントの権限で Google
Cloud にアクセスできる
サービスアカウントにファイルの閲覧権限を付与
Google Sheets コネクタを Runtime に追加 この中から「Google Sheets」コネクタを 選択して Runtime に追加する
※ スクショ撮り忘れた
コネクタがキャンバスに追加された
コネクタの各種パラメータを設定する 設定項目いろいろある • Google Cloud にアクセスするサービスアカウントの認証情報 • 取り込む対象ファイルの ID •
Snowflake にアクセスするユーザの認証情報 • 取り込み先のデータベース情報
いざ起動 まずは全ての コントローラサービスを 有効化する コネクタを起動
うわあああああああああああ 右上の赤いところにマウスオーバーすると エラー詳細が出る これは 「Google Sheets API が使えない」 というエラーっぽい
プロジェクトで Google Sheets API を使用できるようにする この手順、公式ドキュメントに書いてなかった ※ 2025年8月時点
もろもろ割愛 このあと2時間くらい さまざまなエラーと格闘
なんか動いているっぽい!
きたああああああああ
所感
所感 • 競合製品 (Trocco とか) との比較はできない、もうしわけない… • 「試しに動かしてみる」までのハードルまぁまぁ高い • SPCS
版はやく出てほしい、マジで • 外部サービス連携するツールなのだからコネクタ設定周りが複雑なのはもう仕方ない、頑張るしかない • 一度仕組みを作ってしまえばあとは簡単で便利なのかもしれない 今回「データを取り込む」だけならプログラムは一切書かずに済んだ • EKS クラスタを数日放置しただけでまぁまぁかかった… ($) • 動かしっぱなしだと月10万円以上かかりそう • EKS は「リソースを止めておく」のも手間なので、趣味で遊ぶにはちょっときびしい • SPCS 版はやく出てほしい、マジで (料金体系どうなるかしらんけど) 便利っぽいんだけど導入ハードルが高いので SPCS 版はやく出てほしい!! 「まぁまぁかかった」の様子
ところが…?
SPCS 対応きました ※ 2日前