Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
Search
Miyamotok
February 24, 2021
Technology
0
1.5k
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
2021/2/24 JAWS-UG TOHOKU
Miyamotok
February 24, 2021
Tweet
Share
More Decks by Miyamotok
See All by Miyamotok
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
miyamotok
0
350
[ELTツール×BigQuery] どのAPI使ってる?それぞれのAPIについて調べてみた / elttool-bigquery-which-api
miyamotok
0
440
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
miyamotok
0
310
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
miyamotok
0
4.3k
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt-datacollect-task
miyamotok
1
2.4k
_CDataSync_SaaSデータのバックアップ_.pdf
miyamotok
0
1k
Other Decks in Technology
See All in Technology
Pedestrian-Centric大規模交通安全映像解析向けWoven Traffic Safety (WTS) データセットの紹介
kbuster
0
140
コードを書く隙間を見つけて生きていく技術/Findy 思考の現在地
fujiwara3
22
4.4k
スタートアップの技術顧問を3年間続けて発生した事と気付き
biwakonbu
0
150
Databricks におけるデータエンジニアリング
databricksjapan
0
360
Hands-on / Kaname Frusawa / Cloud Compare Users Meetup 2024 at University of Tokyo on April 17
paraworld
2
450
**強い**エンジニアのなり方 - フィードバックサイクルを勝ち取る / grow one day each day
soudai
58
17k
Let's get started with Ruby && Rails Tips
sinsoku
0
190
社内勉強会運営のコツ
senoo
6
1.1k
シン・Kafka / shin-kafka
oracle4engineer
PRO
6
2.7k
o11y入門_外形監視を利用したWebアプリケーションへの最適なモニタリング_TechBrew
k5k
2
100
Four keys改善の取り組み事例紹介
sansantech
PRO
2
220
Data and AI Governance: Existing Challenges and Emerging Trends
scotthsieh825
0
130
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
645
57k
Teambox: Starting and Learning
jrom
127
8.4k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
103
6.6k
Designing for humans not robots
tammielis
247
25k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
319
20k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.4k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
272
12k
Six Lessons from altMBA
skipperchong
19
3k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
12
1.5k
The Mythical Team-Month
searls
214
42k
Transcript
AWS Glue を試してみたら、カ スタムコネクタのありがたさを 感じたこと JAWS-UG TOHOKU 2021/02/24 CData Software
Japan 宮本
自己紹介 宮本 航太(@miyamon44) CData Software Japan 合同会社 CData Syncを年中触ってる人 普段は製品サポートを中心に、開発、他社サービスと
の検証 これからAWSと仲良しになりたいので、 今はお気に入りになりそうなサービスを調査中
CData Glue Connectors Release!!
リリースするのは知っていたけど・・・ ぐるー? 名前は聞いたこと あるけど?
ちょっと調べてみた 公式ページより、 ‘‘分析、機械学習、アプリケーション開発のためのデータの検出、準備、結 合を簡単に行える、サーバーレスデータ統合サービス’’ AWS上のETLサービス データパイプラインの作成が可能
ざっくりこんなイメージ 店舗ごとの売上デー タ データレイク データマート 変換 売上分析
データパイプラインの作成の前に・・ AWS Glue Studio というのがなんか 新機能っぽいぞ 実際にやってみる
‘‘AWS Glue Studio は、AWS Glue で抽出、変換、およびロード (ETL) ジョブの作成、実行、 監視を容易にする新しいグラフィカルインターフェイスです。’’ AWS
Glue Studio
キャンバス上でポチポチデータパイプラインを作成するなら 「Blank graph」を選択する Jobの作成
+でNodeを追加 ▪対応データソース S3、Kinesis、Kafka、JDBC、Redshift ▪変換処理 データマージやマッピングなど カスタムで定義可 ▪連携先 S3、AWS Glue Data
Catalog Jobの作成
フローを定義するとコード(Python)が生成される
実行
ここでちょっと思った お、GUIでデータパイプラインの定義 ができるのはよさげ。 けど、ETLならSaaS のデータも取得し たいんだけどなぁ。 自分で実装するのは辛し。
データソース DB DB DB DWH ETLおさらい(従来のETL) 変換 ロード 社内システム毎に保持 してるデータ
データソース DB DB DB DWH ETLおさらい 変換 ロード ETL:Extract Transform
Load の略 データを抽出して → 変換して → ターゲットDBにロードする という構成のこと
データソース 最近よくみるETLツール・サービスはこんな感じ 変換 ロード
ざっくりこんなイメージ(SaaSデータ版) SaaS データマート 変換 SaaSを横断したデー タ活用 コードを書かずGUIだけでこの構成を作りたい!
どうやってSaaSに接続するのか? 最近の話⇒ コネクタをサブスクライブ! 以上!
コネクタをサブスクライブしたら 例えば CData AWS Glue Connector for Salesforce を 登録したら、Node
type に表示 され選択できる
Salesforce から S3 へ S3を軸に、これまで以上に色んなサービ スやツールでのデータ活用が活性化さ れる DB
・Glue でカスタムコネクタというものが提供開始されてた ・SaaS をソースとしたデータパイプライン作成が容易 ・S3を軸としたデータ活用が更に活性化されそう まとめ Thank you!