Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
Search
Miyamotok
September 22, 2022
Technology
0
410
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
2022/9/22 JAWS-UG TOHOKU
Miyamotok
September 22, 2022
Tweet
Share
More Decks by Miyamotok
See All by Miyamotok
[ELTツール×BigQuery] どのAPI使ってる?それぞれのAPIについて調べてみた / elttool-bigquery-which-api
miyamotok
0
460
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
miyamotok
0
320
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
miyamotok
0
4.8k
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
miyamotok
0
1.7k
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt-datacollect-task
miyamotok
1
2.5k
_CDataSync_SaaSデータのバックアップ_.pdf
miyamotok
0
1k
Other Decks in Technology
See All in Technology
MySQLのロックの種類とその競合
yoku0825
6
1.6k
Classmethod Odyssey 登壇資料
yamahiro
0
390
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
AIエージェントを現場に導入する目線とは
masahiro_nishimi
1
1.5k
データベース研修 分析向けSQL入門【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
110
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
950
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
AWS IAMのアンチパターン/AWSが考える最低権限実現へのアプローチ概略(JAWS-UG朝会#59資料改修20分版)
htan
0
330
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
325
21k
Facilitating Awesome Meetings
lara
46
5.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
No one is an island. Learnings from fostering a developers community.
thoeni
17
2.8k
Happy Clients
brianwarren
94
6.6k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
It's Worth the Effort
3n
181
27k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
26
2.1k
Building Your Own Lightsaber
phodgson
101
5.9k
Transcript
Amazon Appflow で Salesforce to Snowflake へのデータ ローディング(EL)をやってみた JAWS-UG TOHOKU
- 東北で働くエンジニアでAWSを語る会 #jawsugtohoku 2022/09/22 CData Software Japan 宮本
Amazon Appflow で Salesforce to Snowflake へのデータ ローディング(EL)をやってみた が出来なかった話💦 JAWS-UG
TOHOKU - 東北で働くエンジニアでAWSを語る会 #jawsugtohoku 2022/09/22 CData Software Japan 宮本
先にお伝えします Salesforce の取引先情報をAppflowの簡単な設定でSnowflake にデータローディングするはずが、 Appflow側の設定か何かで出来ませんでした m(__)m
自己紹介 宮本 航太(@miyamon44) CData Software Japan 合同会社 →主にSaaSのAPIにSQLでアクセスできるコネクタや アプリケーションを開発・提供 プロダクトチーム
→データパイプライン関連の問い合わせやサポートを中心に日々 従事。他にはAWSなどのクラウドサービスと自社製品での検証 や技術ブログ、たまにコネクタ開発など色々
なぜAppflow でSalesforce → Snowflake連携を 試そうとしたのか?
仕事柄、こんな問い合わせを受けることがよくあるので・・ その1 「部門毎で管理してるデータ(SaaS,etc)を横断的に可視化したいです!」 「ごりごりのデータ分析基盤構築までは考えてないです!!」 ELTでCloudDWHとかに加工無しデータを持ってくるところからで良さそ うかなーー
仕事柄、こんな問い合わせを受けることがよくあります その2 「GAやFBAdsなどのマーケティング関連のデータを分析したいので、そろそろデータ分 析基盤を置きたいと考えています!」 「けど開発したくないしサーバーとかも管理したくないです!!」 SaaS 系のETLもしくはELTサービスが欲しいんだなーー
仕事柄、こんな問い合わせを受けることがよくあります その3 「Salesforce とかMarketo から顧客・リードデータをDWH上(Snowflake)で分析した いっす!」 「けどアドホックで良いのでなるべくお金を掛けないで実現したいっす!!」 API経由のデータだけどアドホックに簡単に取得できるサービスが欲しい のかな
振り返ると・・・ ELTでCloudDWHとかに加工無しデータを持ってくるところからで良さそ うかなーー SaaS 系のETLもしくはELTサービスが欲しいんだなーー API経由のデータだけどアドホックに簡単に取得できるサービスが欲しい のかな
Amazon Appflow でも良いんじゃない?
Amazon Appflow
Amazon Appflow is なに? SaaS データを中心としたデータ連携(転送?)サービス
データソースコネクタ 結構ニーズがありそうなコネクタが揃っている! (個人的には汎用系コネクタあるとなお嬉しかった)
ディスティネーションコネクタ SaaS → S3 というパターンから、 SaaS → Cloud DWH SaaS
→ SaaS までもできる 例えば、、、 Zendesk でチャット対応したユーザーの情報をSalesforce に 書き込む 例えば、、、 Salesforce、Marketo のユーザー情報をSnowflake で統合すると か
Amazon Appflow is ETLか? ELTか?
Amazon Appflow is ETLか? ELTか? ## ETL
Amazon Appflow is ETLか? ELTか? ## ELT
Amazon Appflow is ETLか? ELTか? ## ELT
Amazon Appflow is ETLか? ELTか? Appflow内で行える変換機能 - データソースと同期先のフィールドマッピング - 取込みデータの妥当性
- フィルター条件 - 追加フィールドの取込み - 値のマスキング、文字列の切り捨て設定 ※Salesforceの場合は削除レコードの扱いを設定できた 基本的にはデータをそのまま送信先に転送するELTサービス
Salesforce → Snowflake を試してみた (冒頭でもお伝えしましたが) Salesforce の取引先情報をSnowflake に変換なしでそのまま連携。 構成はこんなシンプルな感じに自動連携を。
Salesforce → Snowflake を試してみた ちなみにAppflow のSnowflake への接続設定を確認すると、間に外部ステージとして S3 を挟むこ とがわかった
Salesforce の接続設定 OAuth での認証で接続
Snowflake の接続設定 Snowflake 側から参照するS3へのパスを設定したときのステージ名を 入力する <DB>.<スキーマ名>.<ステージ名>
接続エラー Snowflake からはCOPYコマンドでデータを取得することはできてるものの、 Appflow からはいろいろ試したもの の接続できず、、、 頼みの綱のログも出なかったので万事休す、、、 誰かこのエラーの対処方法わかる方いたら教えてホシイデス・・・_ | ̄|◦
仕切り直しで構成変更 (ノーコード感は薄くなるが…) Salesforce から S3 にデータをCSV出力し、それを定期的に Snowflake の COPYコマンドで取得 する方法に切り替え
S3 への接続設定 オンデマンド、スケジュール実行が選べ る
Appflow のフローが作成完了
Appflow の実行 Appflow のフローが正常終了 - S3にフロー名のフォルダが作成される - 実行単位でフォルダが分けられる - 実行日時付きのファイルが作成される
Snowflake 側からS3 のデータを取りに行く Snowflake 側でやること - 連携用テーブル作成 - COPYコマンドを実行 -
COPYコマンドを実行するタスクをスケジューリング化
ようやく Snowflake 側にSalesforce のデータを定期的に取得することができました! ちなみに1度ロードしたS3のファイルは次回からは読まないようになってたのは 個人的な発見でした
まとめ - (色々ありましたが)ELTのデータローディング部分ではAppflow は手軽に試せる! 特にAPIを意識しているビジネスサイドの方におすすめ - Appflow のSnowflake 連携はきっと簡単なはず! しかし世の中の数人くらいは同じエラーに遭遇するかも?
- HTTPリクエストを指定できる汎用系コネクタか、DB系コネクタがあると嬉しい - ログ系がもう少し簡単に確認できると更に嬉しい 特にデータソースへの生のリクエストとレスポンスなど見れると安心
最後に エンジニアメンバー募集中です!! ビビッときた方!まずは気軽に話でもしてみませんか?? https://www.wantedly.com/companies/cd ata2/projects
Thank you!!