Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Snowflake Openflow さわってみた

Snowflake Openflow さわってみた

2025.10.01 Snowflake 中部ユーザ会 #5
https://techplay.jp/event/985802

Avatar for Yuki Ishikawa

Yuki Ishikawa

October 01, 2025
Tweet

More Decks by Yuki Ishikawa

Other Decks in Technology

Transcript

  1. AGENDA 1. Openflow 概要 2. Openflow を試しに動かす (環境構築編) 3. Openflow

    を試しに動かす (データ取り込み編) 4. 所感
  2. Snowflake Openflow の実体 • Apache NiFi (ニーフィー) • データフローオーケストレーションツール •

    SaaS とかのデータを「コネクタ」でとりにいったり、ワークフローを組んだり • 動作するインフラ • 現時点では AWS 上での Bring Your Own Cloud (BYOC) 版のみサポートされている • Kubernetes クラスタを自分で用意しないといけない • 公式ドキュメントの手順に従ってつくると Amazon EKS が作成される • 使用する VPC は「Openflow 用 (managed) を作る」か「既存の VPC に載せる」か選べる • 今後 Snowpark Container Services (SPCS) 版も出る予定らしい? Snowflake Openflow の実体は Kubernetes 上で動く Apache NiFi
  3. イメージ図 Snowflake とは別のところに Kubernetes クラスタがいて、そこで ETL 処理が実行される Kubernetes クラスタ (=

    Deloyment) Snowflake Runtime 他の Runtime Manager Connector • 外部リソースへの接続情報 • その他、各種設定 外部リソース User / Role Openflow 利用ユーザ • Type = PERSON • Openflow に関する権限をつける Openflow Runtime 用ユーザ • Type = SERVICE • 実行したいタスクに必要な権限をつける Database / Schema / Table • データの取り込み先 API
  4. Deployment 作成 K8s クラスタを動かす場所を選ぶ (いまはまだ AWS しか選べない) VPC どうするか選ぶ Managed

    のほうが簡単 Openflow 管理者に割り当てる Role を指定する (作っておく) PrivateLink もできる
  5. EKS クラスタ作成 (1/2) AWS Cloud Formation の スタックテンプレートが生成される スタックテンプレートを使用して リソースを作成する

    (まだ EKS 作られない) スタックテンプレートの パラメータはほとんど いじらなかった
  6. Runtime の Canvas 画面を開く (たぶん) Runtime 側が OAuth クライアントになっていて Snowflake

    アカウントを使用して OAuth 認証している この Canvas 画面が開けたなら 環境構築は完了ってことで良さそう
  7. 今回やりたいこと Google Sheets の内容を Snowflake のテーブルに取り込む 本当は「Drive 全部を Cortex Search

    に取り込んで RAG チャットボット」 をやりたかったけど挫折した
  8. 所感 • 競合製品 (Trocco とか) との比較はできない、もうしわけない… • 「試しに動かしてみる」までのハードルまぁまぁ高い • SPCS

    版はやく出てほしい、マジで • 外部サービス連携するツールなのだからコネクタ設定周りが複雑なのはもう仕方ない、頑張るしかない • 一度仕組みを作ってしまえばあとは簡単で便利なのかもしれない 今回「データを取り込む」だけならプログラムは一切書かずに済んだ • EKS クラスタを数日放置しただけでまぁまぁかかった… ($) • 動かしっぱなしだと月10万円以上かかりそう • EKS は「リソースを止めておく」のも手間なので、趣味で遊ぶにはちょっときびしい • SPCS 版はやく出てほしい、マジで (料金体系どうなるかしらんけど) 便利っぽいんだけど導入ハードルが高いので SPCS 版はやく出てほしい!! 「まぁまぁかかった」の様子