Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
Search
Miyamotok
April 14, 2021
Technology
0
4.8k
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
2021/4/14 JAWS-UG TOHOKU
Miyamotok
April 14, 2021
Tweet
Share
More Decks by Miyamotok
See All by Miyamotok
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
miyamotok
0
410
[ELTツール×BigQuery] どのAPI使ってる?それぞれのAPIについて調べてみた / elttool-bigquery-which-api
miyamotok
0
460
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
miyamotok
0
320
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
miyamotok
0
1.7k
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt-datacollect-task
miyamotok
1
2.5k
_CDataSync_SaaSデータのバックアップ_.pdf
miyamotok
0
1k
Other Decks in Technology
See All in Technology
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
データベース研修 分析向けSQL入門【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
110
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
730
AutomatedLabを使って内部ペンテストを勉強しよう! -やられ社内ネットワークの自動構築-
n_etupirka
1
610
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
MySQLのロックの種類とその競合
yoku0825
6
1.6k
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
BBQ
matthewcrist
82
9k
How to train your dragon (web standard)
notwaldorf
79
5.5k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
129
32k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
44
4.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Producing Creativity
orderedlist
PRO
340
39k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
34
1.9k
GraphQLとの向き合い方2022年版
quramy
36
13k
5 minutes of I Can Smell Your CMS
philhawksworth
200
19k
Transcript
Amazon AppFlow で SaaS データ取込みを自動化して QuickSightで可視化してみた JAWS-UG TOHOKU 2021/04/14 CData
Software Japan 宮本
Amazon AppFlow で SaaS データ取込みを自動化して QuickSightで可視化 Crawler AWS Glue Data
Catalog Amazon S3 Athena QuickSight AWS Glue 連携データ BackUp Amazon AppFlow
Me • CData Software Japan のエンジニア • 宮本 航太(@miyamon44) •
CData Sync (ELTツール) を年中触ってる人 • テクニカルサポート、開発、他社サービスとの検証も • ETL/ELT、データ仮想化というワードをウォッチ中 最近はAWS Glue、Athenaのカスタムコネクタ、S3Lambda あた りが気になってる
ノーコードデータ連携 Glue Studio Azure Data Factory Google Cloud Data Fusion
・ 海外、国内問わず GUI 上で完結できる(ノーコード)データ連携サービス・ツールは多くなってきてる ・ 最近では ELT と呼ばれるデータ転送を主とした方式がフォーカスされている ノーコード=アプリ開発というイメージが強いけど
データ連携:ETLのケース SaaS DB/S3 など データ抽出 変換 ロード DB
データ連携:ELTのケース SaaS データ抽出 変換 DB/S3 など ロード DB DWH:Redshift, BigQuery,
Snowflake, etc… データレイク(クラウドストレージ):S3、GCS, etc… 取得したデータを ほぼそのままロード ロード後に必要で あれば変換
データ連携:ELTのケース SaaS データ抽出 変換 DB/S3 など ロード DB DWH:Redshift, BigQuery,
Snowflake, etc… データレイク(クラウドストレージ):S3、GCS, etc… 取得したデータを ほぼそのままロード ロード後に必要で あれば変換
Amazon AppFlow
Amazon AppFlowでそれが簡単にできる https://aws.amazon.com/jp/appflow/faqs/ 公式サイトにて
いろいろなパターンの連携が可能 データ抽出 変換 ロード ・ 面倒なAPI仕様もあまり気にしなくても使える ・ SaaS → DWH/S3、
SaaS/File → SaaS がすぐできる Amazon Redshift Amazon AppFlow
この連携をやってみた データ抽出 変換 ロード SaaS to DWH、S3への転送に加え、SaaS to SaaS もできる!
Amazon Redshift
AppFlowで連携後の構成 Crawler AWS Glue Data Catalog Amazon S3 Athena QuickSight
AWS Glue テーブル作成するだけな ので初回だけ実行 連携データ BackUp Amazon AppFlow
Salesforce to S3 データソース、送信先の設定は選択形式 Salesforce ではイベントドリブンでジョブを実行できる 例)商談データが変更された、リードデータが変更されたなど
Salesforce to S3 (トリガー) 取込みを自動化したいのでスケジュール実行
Salesforce to S3 (変換) • データソースと同期先のフィールドマッピング • 取込みデータの妥当性 • フィルター条件
• 追加フィールドの取込み • 値のマスキング、文字列の切り捨て設定 ※Salesforceの場合は削除レコードの扱いを設定できた 以上で設定完了。すぐに始められる。 言い換えると、複雑なデータパイプラインは作成できない。
AWS Glue クローラー Glue でS3に格納したファイルをもとに推論でスキーマ情報をデータカタログに作成してくれる
AWS Glue クローラー こっちもGUI 上で選択するだけ。1回の実行でOK
AWS Glue クローラー 実行後、スキーマ情報を編集できる
Athena で連携データにクエリ これでAthena上でクエリできる。 →CTASで複数データソース(Salesforce と Marketoなど)を結合したテーブルを作成できる
スケジュール実行の場合、古いファイルは退避 複数回の連携でファイルの中身が重複してしまうので、既存ファイルはどこかに退避すると良い。 (AWS Batchなどで)
QuickSightで可視化 データソースにAthenaのテーブルを選択するだけ
QuickSightで可視化 データは準備できたので可視化するだけ
マルチデータソースでも同じ構成で可視化できる Crawler AWS Glue Data Catalog Amazon S3 Athena QuickSight
AWS Glue Amazon AppFlow
まとめ 1.SaaS APIのエンドポイントを熟知しなくても簡単にデータを抜き出せる 2.AppFlow + Glue クローラー + Athena +
QuickSight で、 SaaS データを可視化できる 3.データソースが変わっても同じ手法で利用できる α.SaaS への連携もできる!(CSV → Salesforce など)
Thank you!