Tweet
Tweet

Slide 1

Slide 1 text

AWS Glue を試してみたら、カ スタムコネクタのありがたさを 感じたこと JAWS-UG TOHOKU 2021/02/24 CData Software Japan 宮本

Slide 2

Slide 2 text

自己紹介 宮本 航太（@miyamon44） CData Software Japan 合同会社 CData Syncを年中触ってる人 普段は製品サポートを中心に、開発、他社サービスと の検証 これからAWSと仲良しになりたいので、 今はお気に入りになりそうなサービスを調査中

Slide 3

Slide 3 text

CData Glue Connectors Release!!

Slide 4

Slide 4 text

リリースするのは知っていたけど・・・ ぐるー？ 名前は聞いたこと あるけど？

Slide 5

Slide 5 text

ちょっと調べてみた 公式ページより、
 ‘‘分析、機械学習、アプリケーション開発のためのデータの検出、準備、結 合を簡単に行える、サーバーレスデータ統合サービス’’ AWS上のETLサービス
 データパイプラインの作成が可能


Slide 6

Slide 6 text

ざっくりこんなイメージ 店舗ごとの売上デー タ データレイク データマート 変換 売上分析

Slide 7

Slide 7 text

データパイプラインの作成の前に・・ AWS Glue Studio というのがなんか 新機能っぽいぞ 実際にやってみる

Slide 8

Slide 8 text

‘‘AWS Glue Studio は、AWS Glue で抽出、変換、およびロード (ETL) ジョブの作成、実行、 監視を容易にする新しいグラフィカルインターフェイスです。’’ AWS Glue Studio

Slide 9

Slide 9 text

キャンバス上でポチポチデータパイプラインを作成するなら 「Blank graph」を選択する Jobの作成

Slide 10

Slide 10 text

＋でNodeを追加 ■対応データソース S3、Kinesis、Kafka、JDBC、Redshift ■変換処理 データマージやマッピングなど カスタムで定義可 ■連携先 S3、AWS Glue Data Catalog Jobの作成

Slide 11

Slide 11 text

フローを定義するとコード（Python）が生成される

Slide 12

Slide 12 text

実行

Slide 13

Slide 13 text

ここでちょっと思った お、GUIでデータパイプラインの定義 ができるのはよさげ。 けど、ETLならSaaS のデータも取得し たいんだけどなぁ。 自分で実装するのは辛し。

Slide 14

Slide 14 text

データソース DB DB DB DWH ETLおさらい（従来のETL） 変換 ロード 社内システム毎に保持 してるデータ

Slide 15

Slide 15 text

データソース DB DB DB DWH ETLおさらい 変換 ロード ETL：Extract Transform Load の略 データを抽出して → 変換して → ターゲットDBにロードする という構成のこと

Slide 16

Slide 16 text

データソース 最近よくみるETLツール・サービスはこんな感じ 変換 ロード

Slide 17

Slide 17 text

ざっくりこんなイメージ（SaaSデータ版） SaaS データマート 変換 SaaSを横断したデー タ活用 コードを書かずGUIだけでこの構成を作りたい！

Slide 18

Slide 18 text

どうやってSaaSに接続するのか？ 最近の話⇒ コネクタをサブスクライブ！ 以上！

Slide 19

Slide 19 text

コネクタをサブスクライブしたら 例えば CData AWS Glue Connector for Salesforce を 登録したら、Node type に表示 され選択できる

Slide 20

Slide 20 text

Salesforce から S3 へ S3を軸に、これまで以上に色んなサービ スやツールでのデータ活用が活性化さ れる DB

Slide 21

Slide 21 text

・Glue でカスタムコネクタというものが提供開始されてた ・SaaS をソースとしたデータパイプライン作成が容易 ・S3を軸としたデータ活用が更に活性化されそう まとめ Thank you!