最近使ったETL、ELTサービス（ツール）でデータ収集タスクについて考える / etl-elt-datacollect-task

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp 自己紹介 CData Software Japan 合同会社宮本航太（@miyamon44）エンジニア・主に製品サポートと開発、他社サービスとの検証さまざまなクラウドサービス向けのODBCドライバーやJDBCドライバーなどを提供してます。この製品でドライバーが使える！？などあればまずはご連絡いただけると嬉しいです！

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp コスト要因（データ量とデータソース数） ← データ量が単純に増加世界のデータ量は2018年の33ゼタバイトから2025年に175ゼタバイトに！ 1企業で考えても扱うデータ量は増加している。データ量が年々爆発的に増加しすぎて、データ整備に時間が掛かる１企業で利用するSaaSの数 → USでの2017年時の１企業におけるSaaS利用数。 SaaSが提供してるAPIを理解して接続して・・・を利用中のSaaSの数分だけ対応・・・ APIごとにRESTとかSOAPとか接続規格違うし、集計とかページングとかバルク処理とか、一から調べてくのエンジニアでも大変すぎる。データ整備人が手組でここまでやり始めたら高負荷間違いなし

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL と ELT の比較 ETL ELT 処理方式元データの変換をETL起動インスタンスで実行し、変換したデータをDWHに転送ターゲットDBで必要があれば変換。元データはそのままDWHに転送集計データ量が増えると複雑な集計等は時間が掛かる。事前のクレンジングなどをGUIで調整できるのは◎ ターゲットの能力次第で大量データでも迅速に処理が可能（BigQueryとか）。 SQLで集計や変換を行う。ハード要件オンサイトETLではハード面に費用が掛かりがち受け取ったデータをそのまま流すので特別なハードは不用。SaaS型が多かったり。 ⇒クラウドベースだと処理速度やハード面の不安がクリアできそう ⇒複雑な変換処理を必要とする場合は不向き。けどDBにまず連携したい場合は◎

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp ETL：Google Cloud Data Fusion • GCPのフルマネージドなETLサービス • GUI で全て設定可能 • $1.80 / 1時間。毎月120Hは無料けどインスタンス停止中でも課金されますとりあえずで試す場合はインスタンスの放置は厳禁・・ ➢ ETLなので変換や接続部分のコネクタが豊富（Speech to Text とかもある） ➢ GUI で設定が完結するので、アドホックに試す分にはお手軽な感じ ➢ サードパーティのJDBCを利用できるのでCData JDBC Driver も使えた！

Slide 20

Slide 20 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp • SaaS 型のELTサービスですぐに連携ジョブを実行できる • GUI で全て設定可能 • 500万件まで無料有料になってました・・・ 100ドル／月（500万件まで） ELT：Stitch ➢ SaaS 型なのでアカウントさえ作ってしまえばすぐに使える ➢ データソースからまるっとロードするタイプ。覚えることが少なく始めるまでの障壁が少ない ➢ データソースが豊富

Slide 21

Slide 21 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp • インストール型（AWS AMIあり） • オンプレでもクラウド上でも利用可能 • FREEプランあり※条件付き（AirTable,SendGrid,ZohoCRM,GShee tなど） ELT：CDataSync ➢ WEBサーバが同梱されてるので、インストール直後からすぐに使える ➢ オンプレ内での閉じた環境内でも利用可能 ➢ データソースに加えて連携先も主要RDBやS3、 Accessなど充実

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2020 CData Software Japan, LLC | www.cdata.com/jp • エンジニアやデータ整備人の負荷を軽減させるなら、ツールやサービスを利用するのは全然あり • データ分析基盤のアーキテクチャを考える際、ETL、ELTどっちの方式（どこで変換させるか）を採用するかもポイント • 検討しすぎるよりはまずはツールやサービスを使って、さくっとデータ連携から可視化までをミニマムで試してみるのは◎ まとめ

Slide 24

Slide 24 text

Slide 25

Slide 25 text