SaaS データを繋ぐ ノーコードで作る統合データ基盤とは？

CDP導入2社から考える、散らばったデータをどのように分析したのか？〜SaaSデータを繋ぐ、ノーコードで作る統合データ基盤解説セミナー〜
https://techplay.jp/event/900840

■このセミナーで学べること
・CDPとは？
・データ連携の活用法
・CDP導入企業の事例

■こんな方におすすめです
・データソースが多く管理できていない方
・既存自社データ基盤が活用できていない方
・Saasによってデータが分断され、収集に時間がかかっている方

■統合が可能なSaas/DBの例（CData Syncを活用した場合）
・CRM：Salesforce、Dynamics 365、HubSpot、Zoho CRM、Senses
・MA：Adobe Marketo Engage、Salesforce Marketing Cloud Account Engagement（旧Pardot）、Oracle Eloqua
・EC & POS：Amazon マーケットプレイス、Shopify、スマレジ、Stripe、Yahoo!ショッピング、GMO MakeShop、Zuora、B カート

Transcript

1. © 2023 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software SaaS データを繋ぐ ノーコードで作る統合データ基盤とは？ 2023/05/25 CData Software Japan Lead Engineer / Kazuya Sugimoto
2. © 2023 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan の Lead Engineer これまで300種類以上のAPIを見たり触ったりしている API中毒な人。 Twitter：@sugimomoto Facebook：sugimomoto Blog：https://www.cdatablog.jp/ About Speaker API 特集 の第1章「Web APIの目的と技術 要素 利用者／提供者の利点や技術的なしくみをひ も解く」を執筆 https://gihyo.jp/magazine/SD/archiv e/2022/202208
3. EMPLOYEES 200+ ACTIVE CUSTOMERS 9,000+ OEM PARTNERS 100+ © 2023 CData Software Inc. | www.cdata.com CData Software CData Software, Inc. • 本社：US(NC州), オフィス：日本/欧州/インド/中国 • データコネクティビティ テクノロジーのリーダー CData Software Japan, LLC • 宮城県仙台市 • 2016/06 〜
4. © 2023 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 本日のセッションでお伝えしたいこと
5. © 2023 CData Software Japan, LLC | www.cdata.com/jp 「データ分析」「データ活用」が進まない 背景を理解する 「データ分析」「データ活用」をよりスムーズに進めるための アプローチを知ってもらう
6. © 2023 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software なぜデータ活用は進まないの？
7. © 2023 CData Software Japan, LLC | www.cdata.com/jp みなさん、データはうまく使えていますか？
8. © 2023 CData Software Japan, LLC | www.cdata.com/jp データ分析基盤 データソース 収集 蓄積 （同期先） 加工 分析・可視化 データの発生源 （オンプレミス・クラウド） 用途別などに 加工 加工データを 利活用 データをためる （オンプレミス・クラウド） データを集める （プログラム・ツール） 分散データを横断的に分析・可視化する一つの方法
9. © 2023 CData Software Japan, LLC | www.cdata.com/jp でも、なかなかうまく活用できていない・・・ （もしくは、構築が大変そう・・・）
10. © 2023 CData Software Japan, LLC | www.cdata.com/jp 「分析やってます」の大半は処理 https://www.itmedia.co.jp/news/articles/2001/31/news013.html
11. © 2023 CData Software Japan, LLC | www.cdata.com/jp データは「分析・活用」するまでの準備作業が長い 「データ準備80％、データ分析20％」と言われており、データ分析前段階作業に 時間を取られている。 この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき データ 収集 データ 加工 データ 分析 データ 活用
12. © 2023 CData Software Japan, LLC | www.cdata.com/jp なぜデータの準備にそこまで時間がかかるのか？
13. © 2023 CData Software Japan, LLC | www.cdata.com/jp 企業で使うSaaS の数は急増 # of SaaS Apps used in Corporate is increasing • 1企業で使うSaaS 種類の平均が110種類 • アメリカのトレンドに日本も追従し、現在は１社 10種類程度のSaaS 利用でも、数年後に数十 種類になるのではないか https://stateofsaasops.bettercloud.com/
14. © 2023 CData Software Japan, LLC | www.cdata.com/jp
15. © 2023 CData Software Japan, LLC | www.cdata.com/jp 例えば「売上を前年よりXX%アップする」という目標 この顧客は どのキャンペ ーンを 見たのか？ この顧客はど う流入してき たのか？ この顧客は どの製品から 発生している のか？ 売上の 顧客構成は どうなってい るのか？ 売上は どうなってい るのか？
16. © 2023 CData Software Japan, LLC | www.cdata.com/jp 私達のデータはどこにある？ オンプレミス（ローカル）も クラウドもごちゃ混ぜ！ 複数のSaaS・ソフトウェアやファイルにデータが分散している！
17. © 2023 CData Software Japan, LLC | www.cdata.com/jp ビジネスの全体像が見渡せるダッシュボードが作りたい インサイトを得るためのデータソースは一つじゃない CRM ERP MA WEB AD
18. © 2023 CData Software Japan, LLC | www.cdata.com/jp 例えば「売上を前年よりXX%アップする」という目標 この顧客は どのキャンペ ーンを 見たのか？ （WEB） この顧客はど う流入してき たのか？ （MA） この顧客は どの製品から 発生している のか？ （CRM） 売上の 顧客構成は どうなってい るのか？ （ERP） 売上は どうなってい るのか？ 意思決定や判断に様々なデータへのドリルダウンが必須
19. © 2023 CData Software Japan, LLC | www.cdata.com/jp 私たちはビジネスデータを活用するために これだけのサービスを相手にしなければいけない そこで「API」が重要な技術要素として存在する
20. © 2023 CData Software Japan, LLC | www.cdata.com/jp 「API=簡単に連携できる」という誤解 API が公開されているんだからデータ基盤にも BIツールにも簡単に連携できるよね。 ソースAPI へ のアクセス スキーマ付与、 テーブル化 適切なクエリの 実装 相手先API へのアクセス 相手先へのマ ッピング 連携ジョブの 起動 ビジネス側の考える「API でできる連携」 実際にAPI でできること 実は開発しないといけない部分
21. © 2023 CData Software Japan, LLC | www.cdata.com/jp 600種類以上にわたるSaaS一つ一つのAPI提供状況を 調べ上げて見えてきた個々のWeb API 仕様の違い https://www.cdata.com/jp/blog/horizontalsaasapi
22. © 2023 CData Software Japan, LLC | www.cdata.com/jp 調査の中で最も注目するべき点は「API仕様の多様性」 RESTが多いが 詳しく見てみると多種多様 国産SaaSはそもそも API仕様すらわからない
23. © 2023 CData Software Japan, LLC | www.cdata.com/jp インターフェースそれぞれの特性を 考慮しなければいけない Protocols Data Model Metadata Authentication Capabilities SOAP REST OData Static Dynamics Hybrid Relational NoSQL Raw Stores Basic API Token OAuth Filter Aggregations Joins
24. © 2023 CData Software Japan, LLC | www.cdata.com/jp それぞれ手組みしていたら 時間もコストもいくらあっても足りない
25. © 2023 CData Software Japan, LLC | www.cdata.com/jp 私達のゴールはAPI連携やデータの準備ではない データを活用し、ビジネスに活かすこと BI 導入のプロジェクトやBIシステムの構築プロジェクトは、 単にBI ツー ル を導入することを目的にしてはいけません。このループを仕組みとして 作り上げることを目的にするべきです。 でも、データの準備・API連携がうまく いかないと 分析に行き着く前に止まってしまう 清水 優吾. Microsoft Power BI入門 BI使いになる！Excel脳からの脱却 (Kindle の位置No.608- 610). 株式会社 翔泳社. Kindle 版.
26. © 2023 CData Software Japan, LLC | www.cdata.com/jp 「API連携」や「データの準備」を圧縮し 「データ分析」「データ活用」に割く時間を増やすには 専用ツールの活用がポイント
28. © 2023 CData Software Japan, LLC | www.cdata.com/jp CData Sync とは？ SaaS やファイル、データベースにあるデータを ノーコードで別のDWH やRDB に複製（レプリケーション）できるツール （例） データソース 同期先
29. © 2023 CData Software Japan, LLC | www.cdata.com/jp CData Sync を使用するメリット データ収集・蓄積にかかる作業時間を圧倒的に削減！ データ分析基盤 データソース 収集 蓄積 （同期先） 加工 分析・可視化 データの発生源 （オンプレミス・クラウド） 用途別などに 加工 加工データを 利活用 データをためる （オンプレミス・クラウド） データを集める （プログラム・ツール）
30. © 2023 CData Software Japan, LLC | www.cdata.com/jp ４００超のデータソースに対応！ 上記は一例
31. © 2023 CData Software Japan, LLC | www.cdata.com/jp 人気の国産SaaS にも対応！ ※上記は一例
32. © 2023 CData Software Japan, LLC | www.cdata.com/jp 主要なデータストアを同期先にできる！ （DB・DWH・Data Lake）
33. © 2023 CData Software Japan, LLC | www.cdata.com/jp 同期後の変換・データマート作成もサポー ト！ （データ変換・dbt連携）
34. © 2023 CData Software Japan, LLC | www.cdata.com/jp CData Sync の特徴 2 1 4 3 シンプルな設定 ノーコード＆３ステップでデータ分析基盤を構築できます 柔軟なジョブ管理 スケジューリング機能、フィルター機能、マッピング機能、データ変換（SQL）が 簡単に行えます 高度な差分更新 高度な差分更新メカニズム(CDCなど)を搭載、転送量を抑止し転送時間を短縮できます マルチプラットフォーム対応 オンプレミス・クラウドどちらのプラットフォームにもホスティング可能 Amazon Web Services（AWS）Marketplace からも利用可能です
35. © 2023 CData Software Japan, LLC | www.cdata.com/jp 特長｜１．シンプルな設定 かんたん、３ステップ！ 1. データソースと接続 2. 同期先と接続 3. 複製ジョブの設定＆実行 • 管理コンソールにログインし、 400を超えるクラウドアプリケーション、 データベース、データウェアハウスなどの データソースを選択 • 接続したいデータソースへの接続は通常、 データソースのWeb インターフェースへの ログインだけで完了！ • データをレプリケーションする同期先 (データレイク・データベース・ データウェアハウス)を選択 • 同期先への接続は通常、 データソースと同様Web インターフェースへの ログインだけで完了！ • 同期ジョブの設定にてオブジェクト （テーブルや項目）、処理方式（洗い替え or 差分など）や条件（一部のレコードのみ）を 指定 • 作成したジョブの実行スケジュール （日次・月次など）を設定＆実行！
36. © 2023 CData Software Japan, LLC | www.cdata.com/jp 特長｜２．柔軟なジョブ管理 スケジューリング、フィルター、マッピング、データ変換（SQL）が簡単に行える HASHBYTES(‘MD5’,[メールアドレス]) AS メールアドレス
37. © 2023 CData Software Japan, LLC | www.cdata.com/jp 特長｜３．高度な差分更新 差分更新で通信量を抑え、スピーディーな同期を実現！ • SaaS 系は最終更新日時を、RDB 系は変更履歴（Change Data Capture）を使用して 変更のあったレコード（差分）のみを更新！ １回目は”全件” ２回目以降は”差分” レコード レコード レコード レコード レコード レコード レコード レコード 更新 レコード レコード 更新 レコード レコード レコード レコード レコード レコード レコード レコード レコード データ量が減って スピードアップ！ API コール数を 削減！
38. © 2023 CData Software Japan, LLC | www.cdata.com/jp オンプレ・クラウド OS・実行基盤 提供形態 特長｜４．マルチプラットフォーム対応 オンプレミスもクラウドも、どちらのプラットフォームにもホスティング可能 • オンプレミス • クラウド AWS / GCP / Azure etc. • OS Windows / Linux / macOS • 実行基盤 Desktop / Server/ VM / Container • インストーラ • Amazon Web Services （AWS）Marketplace からも 利用可能
39. © 2023 CData Software Japan, LLC | www.cdata.com/jp 導入事例｜グロービス経営大学院 様 • リーダー育成のビジネス スクールを展開 • Adobe Marketo Engage(MA)と Salesforce(CRM)のデータを CData SyncでAmazon Redshift に統合 • 経営・スタッフ全員がダッシュ ボードによるデータ分析を実現 データ分析基盤を再構築し、経営・スタッフ全員がダッシュボードによるデータ分析を実現
40. © 2023 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software おわりに
41. © 2023 CData Software Japan, LLC | www.cdata.com/jp データは「分析・活用」するまでの準備作業が長い 「データ準備80％、データ分析20％」と言われており、データ分析前段階作業に 時間を取られている。 この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき データ 収集 データ 加工 データ 分析 データ 活用
42. © 2023 CData Software Japan, LLC | www.cdata.com/jp 私達のゴールはAPI連携やデータの準備ではない データを活用し、ビジネスに活かすこと BI 導入のプロジェクトやBIシステムの構築プロジェクトは、 単にBI ツー ル を導入することを目的にしてはいけません。このループを仕組みとして 作り上げることを目的にするべきです。 でも、データの準備・API連携がうまく いかないと 分析に行き着く前に止まってしまう 清水 優吾. Microsoft Power BI入門 BI使いになる！Excel脳からの脱却 (Kindle の位置No.608- 610). 株式会社 翔泳社. Kindle 版.
43. © 2023 CData Software Japan, LLC | www.cdata.com/jp