AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector

2021/2/24 JAWS-UG TOHOKU

Transcript

1. AWS Glue を試してみたら、カ
   スタムコネクタのありがたさを
   感じたこと
   JAWS-UG TOHOKU
   2021/02/24
   CData Software Japan
   宮本
   

   View Slide

2. 自己紹介
   宮本 航太（@miyamon44）
   CData Software Japan 合同会社
   CData Syncを年中触ってる人
   普段は製品サポートを中心に、開発、他社サービスと
   の検証
   これからAWSと仲良しになりたいので、
   今はお気に入りになりそうなサービスを調査中
   

   View Slide

3. CData Glue Connectors Release!!
   

   View Slide

4. リリースするのは知っていたけど・・・
   ぐるー？
   名前は聞いたこと
   あるけど？
   

   View Slide

5. ちょっと調べてみた
   公式ページより、

   ‘‘分析、機械学習、アプリケーション開発のためのデータの検出、準備、結
   合を簡単に行える、サーバーレスデータ統合サービス’’
   AWS上のETLサービス

   データパイプラインの作成が可能

   

   View Slide

6. ざっくりこんなイメージ
   店舗ごとの売上デー
   タ
   データレイク データマート
   変換
   売上分析
   

   View Slide

7. データパイプラインの作成の前に・・
   AWS Glue Studio というのがなんか
   新機能っぽいぞ
   実際にやってみる
   

   View Slide

8. ‘‘AWS Glue Studio は、AWS Glue で抽出、変換、およびロード (ETL) ジョブの作成、実行、
   監視を容易にする新しいグラフィカルインターフェイスです。’’
   AWS Glue Studio
   

   View Slide

9. キャンバス上でポチポチデータパイプラインを作成するなら
   「Blank graph」を選択する
   Jobの作成
   

   View Slide

10. ＋でNodeを追加
    ■対応データソース
    S3、Kinesis、Kafka、JDBC、Redshift
    ■変換処理
    データマージやマッピングなど
    カスタムで定義可
    ■連携先
    S3、AWS Glue Data Catalog
    Jobの作成
    

    View Slide

11. フローを定義するとコード（Python）が生成される
    

    View Slide

12. 実行
    

    View Slide

13. ここでちょっと思った
    お、GUIでデータパイプラインの定義
    ができるのはよさげ。
    けど、ETLならSaaS のデータも取得し
    たいんだけどなぁ。
    自分で実装するのは辛し。
    

    View Slide

14. データソース
    DB
    DB
    DB
    DWH
    ETLおさらい（従来のETL）
    変換 ロード
    社内システム毎に保持
    してるデータ
    

    View Slide

15. データソース
    DB
    DB
    DB
    DWH
    ETLおさらい
    変換 ロード
    ETL：Extract Transform Load の略
    データを抽出して → 変換して → ターゲットDBにロードする
    という構成のこと
    

    View Slide

16. データソース
    最近よくみるETLツール・サービスはこんな感じ
    変換 ロード
    

    View Slide

17. ざっくりこんなイメージ（SaaSデータ版）
    SaaS
    データマート
    変換
    SaaSを横断したデー
    タ活用
    コードを書かずGUIだけでこの構成を作りたい！
    

    View Slide

18. どうやってSaaSに接続するのか？
    最近の話⇒
    コネクタをサブスクライブ！
    以上！
    

    View Slide

19. コネクタをサブスクライブしたら
    例えば CData AWS Glue
    Connector for Salesforce を
    登録したら、Node type に表示
    され選択できる
    

    View Slide

20. Salesforce から S3 へ
    S3を軸に、これまで以上に色んなサービ
    スやツールでのデータ活用が活性化さ
    れる
    DB
    

    View Slide

21. ・Glue でカスタムコネクタというものが提供開始されてた
    ・SaaS をソースとしたデータパイプライン作成が容易
    ・S3を軸としたデータ活用が更に活性化されそう
    まとめ
    Thank you!
    

    View Slide