AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector

AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと JAWS-UG TOHOKU 2021/02/24 CData Software
Japan 宮本

自己紹介宮本航太（@miyamon44） CData Software Japan 合同会社 CData Syncを年中触ってる人普段は製品サポートを中心に、開発、他社サービスと
の検証これからAWSと仲良しになりたいので、今はお気に入りになりそうなサービスを調査中

CData Glue Connectors Release!!

リリースするのは知っていたけど・・・ぐるー？名前は聞いたことあるけど？

ちょっと調べてみた公式ページより、  ‘‘分析、機械学習、アプリケーション開発のためのデータの検出、準備、結合を簡単に行える、サーバーレスデータ統合サービス’’ AWS上のETLサービス  データパイプラインの作成が可能 

ざっくりこんなイメージ店舗ごとの売上データデータレイクデータマート変換売上分析

データパイプラインの作成の前に・・ AWS Glue Studio というのがなんか新機能っぽいぞ実際にやってみる

‘‘AWS Glue Studio は、AWS Glue で抽出、変換、およびロード (ETL) ジョブの作成、実行、監視を容易にする新しいグラフィカルインターフェイスです。’’ AWS
Glue Studio

キャンバス上でポチポチデータパイプラインを作成するなら「Blank graph」を選択する Jobの作成

＋でNodeを追加 ▪対応データソース S3、Kinesis、Kafka、JDBC、Redshift ▪変換処理データマージやマッピングなどカスタムで定義可 ▪連携先 S3、AWS Glue Data
Catalog Jobの作成

フローを定義するとコード（Python）が生成される

実行

ここでちょっと思ったお、GUIでデータパイプラインの定義ができるのはよさげ。けど、ETLならSaaS のデータも取得したいんだけどなぁ。自分で実装するのは辛し。

データソース DB DB DB DWH ETLおさらい（従来のETL）変換ロード社内システム毎に保持してるデータ

データソース DB DB DB DWH ETLおさらい変換ロード ETL：Extract Transform
Load の略データを抽出して → 変換して → ターゲットDBにロードするという構成のこと

データソース最近よくみるETLツール・サービスはこんな感じ変換ロード

ざっくりこんなイメージ（SaaSデータ版） SaaS データマート変換 SaaSを横断したデータ活用コードを書かずGUIだけでこの構成を作りたい！

どうやってSaaSに接続するのか？最近の話⇒ コネクタをサブスクライブ！以上！

コネクタをサブスクライブしたら例えば CData AWS Glue Connector for Salesforce を登録したら、Node
type に表示され選択できる

Salesforce から S3 へ S3を軸に、これまで以上に色んなサービスやツールでのデータ活用が活性化される DB

・Glue でカスタムコネクタというものが提供開始されてた・SaaS をソースとしたデータパイプライン作成が容易・S3を軸としたデータ活用が更に活性化されそうまとめ Thank you!

Miyamotok