Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue...
Search
Miyamotok
February 24, 2021
Technology
0
1.7k
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
2021/2/24 JAWS-UG TOHOKU
Miyamotok
February 24, 2021
Tweet
Share
More Decks by Miyamotok
See All by Miyamotok
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
miyamotok
0
460
[ELTツール×BigQuery] どのAPI使ってる?それぞれのAPIについて調べてみた / elttool-bigquery-which-api
miyamotok
0
490
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
miyamotok
0
340
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
miyamotok
0
5.1k
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt-datacollect-task
miyamotok
1
2.7k
_CDataSync_SaaSデータのバックアップ_.pdf
miyamotok
0
1.1k
Other Decks in Technology
See All in Technology
Nix入門パラダイム編
asa1984
2
190
visionOSでの空間表現実装とImmersive Video表示について / ai-immersive-visionos
cyberagentdevelopers
PRO
1
100
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
5
740
Aurora_BlueGreenDeploymentsやってみた
tsukasa_ishimaru
1
120
Product Engineer Night #6プロダクトエンジニアを育む仕組み・施策
hacomono
PRO
1
320
端末が簡単にリモートから操作されるデモを通じて ソフトウェアサプライチェーン攻撃対策の重要性を理解しよう
kitaji0306
0
170
Emacs x Nostr
hakkadaikon
1
140
Shift-from-React-to-Vue
calm1205
1
1.1k
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
240
物価高なラスベガスでの過ごし方
zakky
0
260
とあるユーザー企業におけるリスクベースで考えるセキュリティ業務のお話し
4su_para
2
300
LLMアプリをRagasで評価して、Langfuseで可視化しよう!
minorun365
PRO
2
280
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
How to train your dragon (web standard)
notwaldorf
88
5.7k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Testing 201, or: Great Expectations
jmmastey
38
7k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Making Projects Easy
brettharned
115
5.9k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Writing Fast Ruby
sferik
626
60k
Statistics for Hackers
jakevdp
796
220k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
AWS Glue を試してみたら、カ スタムコネクタのありがたさを 感じたこと JAWS-UG TOHOKU 2021/02/24 CData Software
Japan 宮本
自己紹介 宮本 航太(@miyamon44) CData Software Japan 合同会社 CData Syncを年中触ってる人 普段は製品サポートを中心に、開発、他社サービスと
の検証 これからAWSと仲良しになりたいので、 今はお気に入りになりそうなサービスを調査中
CData Glue Connectors Release!!
リリースするのは知っていたけど・・・ ぐるー? 名前は聞いたこと あるけど?
ちょっと調べてみた 公式ページより、 ‘‘分析、機械学習、アプリケーション開発のためのデータの検出、準備、結 合を簡単に行える、サーバーレスデータ統合サービス’’ AWS上のETLサービス データパイプラインの作成が可能
ざっくりこんなイメージ 店舗ごとの売上デー タ データレイク データマート 変換 売上分析
データパイプラインの作成の前に・・ AWS Glue Studio というのがなんか 新機能っぽいぞ 実際にやってみる
‘‘AWS Glue Studio は、AWS Glue で抽出、変換、およびロード (ETL) ジョブの作成、実行、 監視を容易にする新しいグラフィカルインターフェイスです。’’ AWS
Glue Studio
キャンバス上でポチポチデータパイプラインを作成するなら 「Blank graph」を選択する Jobの作成
+でNodeを追加 ▪対応データソース S3、Kinesis、Kafka、JDBC、Redshift ▪変換処理 データマージやマッピングなど カスタムで定義可 ▪連携先 S3、AWS Glue Data
Catalog Jobの作成
フローを定義するとコード(Python)が生成される
実行
ここでちょっと思った お、GUIでデータパイプラインの定義 ができるのはよさげ。 けど、ETLならSaaS のデータも取得し たいんだけどなぁ。 自分で実装するのは辛し。
データソース DB DB DB DWH ETLおさらい(従来のETL) 変換 ロード 社内システム毎に保持 してるデータ
データソース DB DB DB DWH ETLおさらい 変換 ロード ETL:Extract Transform
Load の略 データを抽出して → 変換して → ターゲットDBにロードする という構成のこと
データソース 最近よくみるETLツール・サービスはこんな感じ 変換 ロード
ざっくりこんなイメージ(SaaSデータ版) SaaS データマート 変換 SaaSを横断したデー タ活用 コードを書かずGUIだけでこの構成を作りたい!
どうやってSaaSに接続するのか? 最近の話⇒ コネクタをサブスクライブ! 以上!
コネクタをサブスクライブしたら 例えば CData AWS Glue Connector for Salesforce を 登録したら、Node
type に表示 され選択できる
Salesforce から S3 へ S3を軸に、これまで以上に色んなサービ スやツールでのデータ活用が活性化さ れる DB
・Glue でカスタムコネクタというものが提供開始されてた ・SaaS をソースとしたデータパイプライン作成が容易 ・S3を軸としたデータ活用が更に活性化されそう まとめ Thank you!