Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Amazon Appflow で Salesforce to Snowflake へのデータロ...

Miyamotok
September 22, 2022

Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading

2022/9/22 JAWS-UG TOHOKU

Miyamotok

September 22, 2022
Tweet

More Decks by Miyamotok

Other Decks in Technology

Transcript

  1. Amazon Appflow で Salesforce to Snowflake へのデータ ローディング(EL)をやってみた JAWS-UG TOHOKU

    - 東北で働くエンジニアでAWSを語る会 #jawsugtohoku 2022/09/22 CData Software Japan 宮本
  2. Amazon Appflow で Salesforce to Snowflake へのデータ ローディング(EL)をやってみた が出来なかった話💦 JAWS-UG

    TOHOKU - 東北で働くエンジニアでAWSを語る会 #jawsugtohoku 2022/09/22 CData Software Japan 宮本
  3. 自己紹介 宮本 航太(@miyamon44) CData Software Japan 合同会社 →主にSaaSのAPIにSQLでアクセスできるコネクタや アプリケーションを開発・提供 プロダクトチーム

    →データパイプライン関連の問い合わせやサポートを中心に日々 従事。他にはAWSなどのクラウドサービスと自社製品での検証 や技術ブログ、たまにコネクタ開発など色々
  4. ディスティネーションコネクタ SaaS → S3 というパターンから、 SaaS → Cloud DWH SaaS

    → SaaS までもできる 例えば、、、 Zendesk でチャット対応したユーザーの情報をSalesforce に 書き込む 例えば、、、 Salesforce、Marketo のユーザー情報をSnowflake で統合すると か
  5. Amazon Appflow is ETLか? ELTか? Appflow内で行える変換機能 - データソースと同期先のフィールドマッピング - 取込みデータの妥当性

    - フィルター条件 - 追加フィールドの取込み - 値のマスキング、文字列の切り捨て設定 ※Salesforceの場合は削除レコードの扱いを設定できた 基本的にはデータをそのまま送信先に転送するELTサービス
  6. まとめ - (色々ありましたが)ELTのデータローディング部分ではAppflow は手軽に試せる! 特にAPIを意識しているビジネスサイドの方におすすめ - Appflow のSnowflake 連携はきっと簡単なはず! しかし世の中の数人くらいは同じエラーに遭遇するかも?

    - HTTPリクエストを指定できる汎用系コネクタか、DB系コネクタがあると嬉しい - ログ系がもう少し簡単に確認できると更に嬉しい 特にデータソースへの生のリクエストとレスポンスなど見れると安心