SaaS データを繋ぐノーコードで作る統合データ基盤とは？

© 2023 CData Software Japan, LLC | www.cdata.com/jp
1. About CData Software
SaaS データを繋ぐ
ノーコードで作る統合データ基盤とは？
2023/05/25
CData Software Japan Lead Engineer / Kazuya Sugimoto

View Slide

CData Software Japan の Lead Engineer
これまで300種類以上のAPIを見たり触ったりしている
API中毒な人。
Twitter：@sugimomoto
Facebook：sugimomoto
Blog：https://www.cdatablog.jp/
About Speaker
API 特集の第1章「Web APIの目的と技術
要素
利用者／提供者の利点や技術的なしくみをひ
も解く」を執筆
https://gihyo.jp/magazine/SD/archiv
e/2022/202208

View Slide

EMPLOYEES
200+
ACTIVE CUSTOMERS
9,000+
OEM PARTNERS
100+
© 2023 CData Software Inc. | www.cdata.com
CData Software
CData Software, Inc.
• 本社：US(NC州), オフィス：日本/欧州/インド/中国
• データコネクティビティテクノロジーのリーダー
CData Software Japan, LLC
• 宮城県仙台市
• 2016/06 〜

View Slide

本日のセッションでお伝えしたいこと

View Slide

「データ分析」「データ活用」が進まない
背景を理解する
「データ分析」「データ活用」をよりスムーズに進めるための
アプローチを知ってもらう

View Slide

なぜデータ活用は進まないの？

View Slide

みなさん、データはうまく使えていますか？

View Slide

データ分析基盤
データソース収集蓄積
（同期先）
加工分析・可視化
データの発生源
（オンプレミス・クラウド）
用途別などに
加工
加工データを
利活用
データをためる
データを集める
（プログラム・ツール）
分散データを横断的に分析・可視化する一つの方法

View Slide

でも、なかなかうまく活用できていない・・・
（もしくは、構築が大変そう・・・）

View Slide

「分析やってます」の大半は処理
https://www.itmedia.co.jp/news/articles/2001/31/news013.html

View Slide

データは「分析・活用」するまでの準備作業が長い
「データ準備80％、データ分析20％」と言われており、データ分析前段階作業に
時間を取られている。
この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき
データ
収集
データ
加工
データ
分析
データ
活用

View Slide

なぜデータの準備にそこまで時間がかかるのか？

View Slide

企業で使うSaaS の数は急増
# of SaaS Apps used in Corporate is increasing
• 1企業で使うSaaS 種類の平均が110種類
• アメリカのトレンドに日本も追従し、現在は１社
10種類程度のSaaS 利用でも、数年後に数十
種類になるのではないか
https://stateofsaasops.bettercloud.com/

View Slide


View Slide

例えば「売上を前年よりXX%アップする」という目標
この顧客は
どのキャンペ
ーンを
見たのか？
この顧客はど
う流入してき
たのか？
この顧客は
どの製品から
発生している
のか？
売上の
顧客構成は
どうなってい
るのか？
売上は
どうなってい
るのか？

View Slide

私達のデータはどこにある？
オンプレミス（ローカル）も
クラウドもごちゃ混ぜ！
複数のSaaS・ソフトウェアやファイルにデータが分散している！

View Slide

ビジネスの全体像が見渡せるダッシュボードが作りたい
インサイトを得るためのデータソースは一つじゃない
CRM
ERP
MA
WEB
AD

View Slide

例えば「売上を前年よりXX%アップする」という目標
この顧客は
どのキャンペ
ーンを
見たのか？
（WEB）
この顧客はど
う流入してき
たのか？
（MA）
この顧客は
どの製品から
発生している
のか？
（CRM）
売上の
顧客構成は
どうなってい
るのか？
（ERP）
売上は
どうなってい
るのか？
意思決定や判断に様々なデータへのドリルダウンが必須

View Slide

私たちはビジネスデータを活用するために
これだけのサービスを相手にしなければいけない
そこで「API」が重要な技術要素として存在する

View Slide

「API=簡単に連携できる」という誤解
API が公開されているんだからデータ基盤にも
BIツールにも簡単に連携できるよね。
ソースAPI へ
のアクセス
スキーマ付与、
テーブル化
適切なクエリの
実装
相手先API
へのアクセス
相手先へのマ
ッピング
連携ジョブの
起動
ビジネス側の考える「API でできる連携」
実際にAPI でできること実は開発しないといけない部分

View Slide

600種類以上にわたるSaaS一つ一つのAPI提供状況を
調べ上げて見えてきた個々のWeb API 仕様の違い
https://www.cdata.com/jp/blog/horizontalsaasapi

View Slide

調査の中で最も注目するべき点は「API仕様の多様性」
RESTが多いが
詳しく見てみると多種多様
国産SaaSはそもそも
API仕様すらわからない

View Slide

インターフェースそれぞれの特性を
考慮しなければいけない
Protocols Data Model
Metadata Authentication Capabilities
SOAP
REST
OData
Static
Dynamics
Hybrid
Relational
NoSQL
Raw Stores
Basic
API Token
OAuth
Filter
Aggregations
Joins

View Slide

それぞれ手組みしていたら
時間もコストもいくらあっても足りない

View Slide

私達のゴールはAPI連携やデータの準備ではない
データを活用し、ビジネスに活かすこと
BI 導入のプロジェクトやBIシステムの構築プロジェクトは、単にBI ツー
ルを導入することを目的にしてはいけません。このループを仕組みとして
作り上げることを目的にするべきです。
でも、データの準備・API連携がうまく
いかないと
分析に行き着く前に止まってしまう
清水優吾. Microsoft Power BI入門 BI使いになる！Excel脳からの脱却 (Kindle の位置No.608-
610). 株式会社翔泳社. Kindle 版.

View Slide

「API連携」や「データの準備」を圧縮し
「データ分析」「データ活用」に割く時間を増やすには
専用ツールの活用がポイント

View Slide

View Slide

CData Sync とは？
SaaS やファイル、データベースにあるデータを
ノーコードで別のDWH やRDB に複製（レプリケーション）できるツール
（例）
データソース同期先

View Slide

CData Sync を使用するメリット
データ収集・蓄積にかかる作業時間を圧倒的に削減！
データ分析基盤
データソース収集蓄積
（同期先）
加工分析・可視化
データの発生源
用途別などに
加工
加工データを
利活用
データをためる
データを集める
（プログラム・ツール）

View Slide

４００超のデータソースに対応！
上記は一例

View Slide

人気の国産SaaS にも対応！
※上記は一例

View Slide

主要なデータストアを同期先にできる！
（DB・DWH・Data Lake）

View Slide

同期後の変換・データマート作成もサポー
ト！
（データ変換・dbt連携）

View Slide

CData Sync の特徴
2
1
4
3
シンプルな設定
ノーコード＆３ステップでデータ分析基盤を構築できます
柔軟なジョブ管理
スケジューリング機能、フィルター機能、マッピング機能、データ変換（SQL）が
簡単に行えます
高度な差分更新
高度な差分更新メカニズム(CDCなど)を搭載、転送量を抑止し転送時間を短縮できます
マルチプラットフォーム対応
オンプレミス・クラウドどちらのプラットフォームにもホスティング可能
Amazon Web Services（AWS）Marketplace からも利用可能です

View Slide

特長｜１．シンプルな設定
かんたん、３ステップ！
1. データソースと接続 2. 同期先と接続 3. 複製ジョブの設定＆実行
• 管理コンソールにログインし、
400を超えるクラウドアプリケーション、
データベース、データウェアハウスなどの
データソースを選択
• 接続したいデータソースへの接続は通常、
データソースのWeb インターフェースへの
ログインだけで完了！
• データをレプリケーションする同期先
(データレイク・データベース・
データウェアハウス)を選択
• 同期先への接続は通常、
データソースと同様Web インターフェースへの
ログインだけで完了！
• 同期ジョブの設定にてオブジェクト
（テーブルや項目）、処理方式（洗い替え or
差分など）や条件（一部のレコードのみ）を
指定
• 作成したジョブの実行スケジュール
（日次・月次など）を設定＆実行！

View Slide

特長｜２．柔軟なジョブ管理
スケジューリング、フィルター、マッピング、データ変換（SQL）が簡単に行える
HASHBYTES(‘MD5’,[メールアドレス])
AS メールアドレス

View Slide

特長｜３．高度な差分更新
差分更新で通信量を抑え、スピーディーな同期を実現！
• SaaS 系は最終更新日時を、RDB 系は変更履歴（Change Data Capture）を使用して
変更のあったレコード（差分）のみを更新！
１回目は”全件” ２回目以降は”差分”
レコード
レコード
レコード
レコード
レコード
レコード
レコード
レコード
更新
レコード
レコード
更新
レコードレコード
レコード
レコード
レコード
データ量が減って
スピードアップ！
API コール数を
削減！

View Slide

オンプレ・クラウド OS・実行基盤提供形態
特長｜４．マルチプラットフォーム対応
オンプレミスもクラウドも、どちらのプラットフォームにもホスティング可能
• オンプレミス
• クラウド
AWS / GCP / Azure etc.
• OS
Windows / Linux / macOS
• 実行基盤
Desktop / Server/ VM /
Container
• インストーラ
• Amazon Web Services
（AWS）Marketplace からも
利用可能

View Slide

導入事例｜グロービス経営大学院様
• リーダー育成のビジネス
スクールを展開
• Adobe Marketo Engage(MA)と
Salesforce(CRM)のデータを
CData SyncでAmazon Redshift
に統合
• 経営・スタッフ全員がダッシュ
ボードによるデータ分析を実現
データ分析基盤を再構築し、経営・スタッフ全員がダッシュボードによるデータ分析を実現

View Slide

おわりに

View Slide

データは「分析・活用」するまでの準備作業が長い
「データ準備80％、データ分析20％」と言われており、データ分析前段階作業に
時間を取られている。
この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき
データ
収集
データ
加工
データ
分析
データ
活用

View Slide

私達のゴールはAPI連携やデータの準備ではない
データを活用し、ビジネスに活かすこと
BI 導入のプロジェクトやBIシステムの構築プロジェクトは、単にBI ツー
ルを導入することを目的にしてはいけません。このループを仕組みとして
作り上げることを目的にするべきです。
でも、データの準備・API連携がうまく
いかないと
分析に行き着く前に止まってしまう
清水優吾. Microsoft Power BI入門 BI使いになる！Excel脳からの脱却 (Kindle の位置No.608-
610). 株式会社翔泳社. Kindle 版.

View Slide


View Slide

SaaS データを繋ぐノーコードで作る統合データ基盤とは？

SaaS データを繋ぐノーコードで作る統合データ基盤とは？

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript

SaaS データを繋ぐ ノーコードで作る統合データ基盤とは？

SaaS データを繋ぐ ノーコードで作る統合データ基盤とは？

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript

SaaS データを繋ぐノーコードで作る統合データ基盤とは？

SaaS データを繋ぐノーコードで作る統合データ基盤とは？