Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt...
Search
Miyamotok
September 24, 2020
Technology
1
2.7k
最近使ったETL、ELTサービス(ツール)でデータ収集タスクについて考える / etl-elt-datacollect-task
2020/9/24 #前向きデータ整備人
Miyamotok
September 24, 2020
Tweet
Share
More Decks by Miyamotok
See All by Miyamotok
Amazon Appflow で Salesforce to Snowflake へのデータローディング(EL)をやってみた / appflow-salesforce-snowflake-dataloading
miyamotok
0
480
[ELTツール×BigQuery] どのAPI使ってる?それぞれのAPIについて調べてみた / elttool-bigquery-which-api
miyamotok
0
500
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
miyamotok
0
340
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
miyamotok
0
5.2k
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
miyamotok
0
1.8k
_CDataSync_SaaSデータのバックアップ_.pdf
miyamotok
0
1.1k
Other Decks in Technology
See All in Technology
ARRが3年で10倍になったプロダクト開発とAI活用の軌跡
akiroom
0
210
お悩みハンドブック紹介資料
grafferhandbook
0
500
Advancing the 3D Geospatial Ecosystem in Japan via Global Collaborations
osgeojp
0
130
Reliability Engineering at Studist
katsuhisa91
PRO
0
110
Remix SPAモードのファイルベースルーティングで進めるフロントエンド構築
ryochike
0
140
Will multimodal language processing change the world?
keio_smilab
PRO
2
280
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
1
4.7k
LangChainとSupabaseを活用して、RAGを実装してみた
atsushii
0
120
店舗向けSaaSにおける 顧客要望活用の実践アプローチ(20241205_pmconf)
yujirooo
0
1.6k
日本全国・都市3D化プロジェクト「PLATEAU」とデータ変換OSS「PLATEAU GIS Converter」の公開
nokonoko1203
4
330
Autonomous Database サービス・アップデート (FY25)
oracle4engineer
PRO
0
220
ゆるSRE勉強会 #8 組織的にSREが始まる中で意識したこと
abnoumaru
2
930
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
For a Future-Friendly Web
brad_frost
175
9.4k
[RailsConf 2023] Rails as a piece of cake
palkan
52
5k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Building Applications with DynamoDB
mza
91
6.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Speed Design
sergeychernyshev
25
650
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
How GitHub (no longer) Works
holman
310
140k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.9k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Transcript
© 2020 CData Software Japan, LLC | www.cdata.com/jp 最近使ったETL、ELTサービス(ツール)で データ収集タスクについて考える
2020/09/24 CData Software Japan 宮本 #前向きデータ整備人
© 2020 CData Software Japan, LLC | www.cdata.com/jp 自己紹介 CData
Software Japan 合同会社 宮本 航太(@miyamon44) エンジニア ・主に製品サポートと開発、他社サービスとの検証 さまざまなクラウドサービス向けのODBCドライバーやJDBCド ライバーなどを提供してます。 この製品でドライバーが使える!?などあればまずはご連絡いた だけると嬉しいです!
© 2020 CData Software Japan, LLC | www.cdata.com/jp 本日お話すること 1.
データ収集・整備でコストが掛かる理由 2. ETL/ELTのそれぞれの役割について振り返る 3. 最近使ったすぐに使えるETL/ELTについて
© 2020 CData Software Japan, LLC | www.cdata.com/jp データ活用に対する理想と現実 データは次世代の石油と呼ばれたり
宝の山と呼ばれたり・・・ 理想 現実 ゴミになることが多かったり・・・
© 2020 CData Software Japan, LLC | www.cdata.com/jp 宝は掘らないと出てこない データは使えるようにしないとインサイトは出てこない
出てくる宝の価値<掘るコスト
© 2020 CData Software Japan, LLC | www.cdata.com/jp なんで掘るコストの方が大きいの?
© 2020 CData Software Japan, LLC | www.cdata.com/jp 「データ準備80%、データ分析20%」と言われている →全体の中でもデータ整備人のタスクの比率が多いのが現状
データを分析・活用するまでが長い データ整備の人のタスク
© 2020 CData Software Japan, LLC | www.cdata.com/jp なんでデータ収集と加工で コストが掛かるの?
© 2020 CData Software Japan, LLC | www.cdata.com/jp コスト要因(データ量とデータソース数) ←
データ量が単純に増加 世界のデータ量は2018年の33ゼタバイトか ら2025年に175ゼタバイトに! 1企業で考えても扱うデータ量は増加してい る。 データ量が年々爆発的に増加しすぎて、デー タ整備に時間が掛かる 1企業で利用するSaaSの数 → USでの2017年時の1企業におけるSaaS利用数。 SaaSが提供してるAPIを理解して接続して・・・を利用中のSaaSの数分 だけ対応・・・ APIごとにRESTとかSOAPとか接続規格違うし、集計とかページングと かバルク処理とか、一から調べてくのエンジニアでも大変すぎる。 データ整備人が手組でここまでやり始めたら高負荷間違いなし
© 2020 CData Software Japan, LLC | www.cdata.com/jp コスト要因(半・非構造化データの増加) 「非(半)構造化データは企業データの80%以上を占めており、
年間55%および65%の割合で成長している」 構造化データ、半構造化データ、非 構造化データとか・・・えっ? データ形式がバラバラなので、結局 はデータ整備やデータ収集で多くの 時間を割いてしまう
© 2020 CData Software Japan, LLC | www.cdata.com/jp データ収集って必要な作業だけど目的ではない データドリブンな意思決定のためにデータを活用している
収集・加工部分の作業にコストが掛かって大変なら、 迷わずETL、ELTサービス・ツールを試してみる
© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL/ELTってなんだっけ?
© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL(Extract Transform
Load)
© 2020 CData Software Japan, LLC | www.cdata.com/jp ELT(Extract Load
Transform)
© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL と
ELT の比較 ETL ELT 処理方式 元データの変換をETL起動インスタンスで実 行し、変換したデータをDWHに転送 ターゲットDBで必要があれば変換。 元データはそのままDWHに転送 集計 データ量が増えると複雑な集計等は時間が掛 かる。事前のクレンジングなどをGUIで調整 できるのは◎ ターゲットの能力次第で大量データでも迅速 に処理が可能(BigQueryとか)。 SQLで集計や変換を行う。 ハード要件 オンサイトETLではハード面に費用が掛かり がち 受け取ったデータをそのまま流すので特別な ハードは不用。SaaS型が多かったり。 ⇒クラウドベースだと処理速度やハード面の 不安がクリアできそう ⇒複雑な変換処理を必要とする場合は不向き。 けどDBにまず連携したい場合は◎
© 2020 CData Software Japan, LLC | www.cdata.com/jp データ連携ツール選定時のポイント:接続先>データ加工 https://consult.nikkeibp.co.jp/info/news/2019/0902df/
データ加工= ETL/ELTのT(変換部分)
© 2020 CData Software Japan, LLC | www.cdata.com/jp とは言え、 現実はツールを試すまでにも時間が
掛かって導入までいかない・・・
© 2020 CData Software Japan, LLC | www.cdata.com/jp ”最近使った” すぐ始められるETL/ELT
サービス・ツール ELT:Sticth ETL:Google Cloud Data Fusion ELT:CDataSync
© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL:Google Cloud
Data Fusion • GCPのフルマネージドなETLサービス • GUI で全て設定可能 • $1.80 / 1時間。毎月120Hは無料 けどインスタンス停止中でも課金されます とりあえずで試す場合はインスタンスの放置は厳禁・・ ➢ ETLなので変換や接続部分のコネクタが豊富 (Speech to Text とかもある) ➢ GUI で設定が完結するので、アドホックに試す 分にはお手軽な感じ ➢ サードパーティのJDBCを利用できるのでCData JDBC Driver も使えた!
© 2020 CData Software Japan, LLC | www.cdata.com/jp • SaaS
型のELTサービスですぐに連携ジ ョブを実行できる • GUI で全て設定可能 • 500万件まで無料 有料になってました・・・ 100ドル/月 (500万件まで) ELT:Stitch ➢ SaaS 型なのでアカウントさえ作ってしまえばす ぐに使える ➢ データソースからまるっとロードするタイプ。 覚えることが少なく始めるまでの障壁が少ない ➢ データソースが豊富
© 2020 CData Software Japan, LLC | www.cdata.com/jp • インストール型(AWS
AMIあり) • オンプレでもクラウド上でも利用可能 • FREEプランあり※条件付き (AirTable,SendGrid,ZohoCRM,GShee tなど) ELT:CDataSync ➢ WEBサーバが同梱されてるので、インストール 直後からすぐに使える ➢ オンプレ内での閉じた環境内でも利用可能 ➢ データソースに加えて連携先も主要RDBやS3、 Accessなど充実
© 2020 CData Software Japan, LLC | www.cdata.com/jp Sync+ BigQuery
を使った ELT モデルのデータ分析基盤
© 2020 CData Software Japan, LLC | www.cdata.com/jp • エンジニアやデータ整備人の負荷を軽減させるなら、
ツールやサービスを利用するのは全然あり • データ分析基盤のアーキテクチャを考える際、ETL、ELTどっちの方式 (どこで変換させるか)を採用するかもポイント • 検討しすぎるよりはまずはツールやサービスを使って、さくっとデー タ連携から可視化までをミニマムで試してみるのは◎ まとめ
© 2020 CData Software Japan, LLC | www.cdata.com/jp • CDataSync
ハンズオン 今日紹介したELTツールのCDataSync のハン ズオンを、クラウドエースさん主催の「OPEN DX 2020」というイベントで明日9/25 15:00-16:00で開催します。 無料でご参加いただけます! 宣伝
© 2020 CData Software Japan, LLC | www.cdata.com/jp Thank you!!