Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視...

Miyamotok
April 14, 2021

Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight

2021/4/14 JAWS-UG TOHOKU

Miyamotok

April 14, 2021
Tweet

More Decks by Miyamotok

Other Decks in Technology

Transcript

  1. Amazon AppFlow で SaaS データ取込みを自動化して QuickSightで可視化 Crawler AWS Glue Data

    Catalog Amazon S3 Athena QuickSight AWS Glue 連携データ BackUp Amazon AppFlow
  2. Me • CData Software Japan のエンジニア • 宮本 航太(@miyamon44) •

    CData Sync (ELTツール) を年中触ってる人 • テクニカルサポート、開発、他社サービスとの検証も • ETL/ELT、データ仮想化というワードをウォッチ中 最近はAWS Glue、Athenaのカスタムコネクタ、S3Lambda あた りが気になってる
  3. ノーコードデータ連携 Glue Studio Azure Data Factory Google Cloud Data Fusion

    ・ 海外、国内問わず GUI 上で完結できる(ノーコード)データ連携サービス・ツールは多くなってきてる ・ 最近では ELT と呼ばれるデータ転送を主とした方式がフォーカスされている ノーコード=アプリ開発というイメージが強いけど
  4. データ連携:ELTのケース SaaS データ抽出 変換 DB/S3 など ロード DB DWH:Redshift, BigQuery,

    Snowflake, etc… データレイク(クラウドストレージ):S3、GCS, etc… 取得したデータを ほぼそのままロード ロード後に必要で あれば変換
  5. データ連携:ELTのケース SaaS データ抽出 変換 DB/S3 など ロード DB DWH:Redshift, BigQuery,

    Snowflake, etc… データレイク(クラウドストレージ):S3、GCS, etc… 取得したデータを ほぼそのままロード ロード後に必要で あれば変換
  6. AppFlowで連携後の構成 Crawler AWS Glue Data Catalog Amazon S3 Athena QuickSight

    AWS Glue テーブル作成するだけな ので初回だけ実行 連携データ BackUp Amazon AppFlow
  7. Salesforce to S3 (変換) • データソースと同期先のフィールドマッピング • 取込みデータの妥当性 • フィルター条件

    • 追加フィールドの取込み • 値のマスキング、文字列の切り捨て設定 ※Salesforceの場合は削除レコードの扱いを設定できた 以上で設定完了。すぐに始められる。 言い換えると、複雑なデータパイプラインは作成できない。
  8. まとめ 1.SaaS APIのエンドポイントを熟知しなくても簡単にデータを抜き出せる 2.AppFlow + Glue クローラー + Athena +

    QuickSight で、 SaaS データを可視化できる 3.データソースが変わっても同じ手法で利用できる α.SaaS への連携もできる!(CSV → Salesforce など)