$30 off During Our Annual Pro Sale. View Details »

SaaS データを繋ぐ ノーコードで作る統合データ基盤とは?

SaaS データを繋ぐ ノーコードで作る統合データ基盤とは?

CDP導入2社から考える、散らばったデータをどのように分析したのか?〜SaaSデータを繋ぐ、ノーコードで作る統合データ基盤解説セミナー〜
https://techplay.jp/event/900840

■このセミナーで学べること
・CDPとは?
・データ連携の活用法
・CDP導入企業の事例

■こんな方におすすめです
・データソースが多く管理できていない方
・既存自社データ基盤が活用できていない方
・Saasによってデータが分断され、収集に時間がかかっている方

■統合が可能なSaas/DBの例(CData Syncを活用した場合)
・CRM:Salesforce、Dynamics 365、HubSpot、Zoho CRM、Senses
・MA:Adobe Marketo Engage、Salesforce Marketing Cloud Account Engagement(旧Pardot)、Oracle Eloqua
・EC & POS:Amazon マーケットプレイス、Shopify、スマレジ、Stripe、Yahoo!ショッピング、GMO MakeShop、Zuora、B カート

CData Software Japan

May 25, 2023
Tweet

More Decks by CData Software Japan

Other Decks in Technology

Transcript

  1. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    1. About CData Software
    SaaS データを繋ぐ
    ノーコードで作る統合データ基盤とは?
    2023/05/25
    CData Software Japan Lead Engineer / Kazuya Sugimoto

    View Slide

  2. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    CData Software Japan の Lead Engineer
    これまで300種類以上のAPIを見たり触ったりしている
    API中毒な人。
    Twitter:@sugimomoto
    Facebook:sugimomoto
    Blog:https://www.cdatablog.jp/
    About Speaker
    API 特集 の第1章「Web APIの目的と技術
    要素
    利用者/提供者の利点や技術的なしくみをひ
    も解く」を執筆
    https://gihyo.jp/magazine/SD/archiv
    e/2022/202208

    View Slide

  3. EMPLOYEES
    200+
    ACTIVE CUSTOMERS
    9,000+
    OEM PARTNERS
    100+
    © 2023 CData Software Inc. | www.cdata.com
    CData Software
    CData Software, Inc.
    • 本社:US(NC州), オフィス:日本/欧州/インド/中国
    • データコネクティビティ テクノロジーのリーダー
    CData Software Japan, LLC
    • 宮城県仙台市
    • 2016/06 〜

    View Slide

  4. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    1. About CData Software
    本日のセッションでお伝えしたいこと

    View Slide

  5. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    「データ分析」「データ活用」が進まない
    背景を理解する
    「データ分析」「データ活用」をよりスムーズに進めるための
    アプローチを知ってもらう

    View Slide

  6. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    1. About CData Software
    なぜデータ活用は進まないの?

    View Slide

  7. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    みなさん、データはうまく使えていますか?

    View Slide

  8. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    データ分析基盤
    データソース 収集 蓄積
    (同期先)
    加工 分析・可視化
    データの発生源
    (オンプレミス・クラウド)
    用途別などに
    加工
    加工データを
    利活用
    データをためる
    (オンプレミス・クラウド)
    データを集める
    (プログラム・ツール)
    分散データを横断的に分析・可視化する一つの方法

    View Slide

  9. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    でも、なかなかうまく活用できていない・・・
    (もしくは、構築が大変そう・・・)

    View Slide

  10. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    「分析やってます」の大半は処理
    https://www.itmedia.co.jp/news/articles/2001/31/news013.html

    View Slide

  11. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    データは「分析・活用」するまでの準備作業が長い
    「データ準備80%、データ分析20%」と言われており、データ分析前段階作業に
    時間を取られている。
    この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき
    データ
    収集
    データ
    加工
    データ
    分析
    データ
    活用

    View Slide

  12. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    なぜデータの準備にそこまで時間がかかるのか?

    View Slide

  13. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    企業で使うSaaS の数は急増
    # of SaaS Apps used in Corporate is increasing
    • 1企業で使うSaaS 種類の平均が110種類
    • アメリカのトレンドに日本も追従し、現在は1社
    10種類程度のSaaS 利用でも、数年後に数十
    種類になるのではないか
    https://stateofsaasops.bettercloud.com/

    View Slide

  14. © 2023 CData Software Japan, LLC | www.cdata.com/jp

    View Slide

  15. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    例えば「売上を前年よりXX%アップする」という目標
    この顧客は
    どのキャンペ
    ーンを
    見たのか?
    この顧客はど
    う流入してき
    たのか?
    この顧客は
    どの製品から
    発生している
    のか?
    売上の
    顧客構成は
    どうなってい
    るのか?
    売上は
    どうなってい
    るのか?

    View Slide

  16. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    私達のデータはどこにある?
    オンプレミス(ローカル)も
    クラウドもごちゃ混ぜ!
    複数のSaaS・ソフトウェアやファイルにデータが分散している!

    View Slide

  17. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    ビジネスの全体像が見渡せるダッシュボードが作りたい
    インサイトを得るためのデータソースは一つじゃない
    CRM
    ERP
    MA
    WEB
    AD

    View Slide

  18. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    例えば「売上を前年よりXX%アップする」という目標
    この顧客は
    どのキャンペ
    ーンを
    見たのか?
    (WEB)
    この顧客はど
    う流入してき
    たのか?
    (MA)
    この顧客は
    どの製品から
    発生している
    のか?
    (CRM)
    売上の
    顧客構成は
    どうなってい
    るのか?
    (ERP)
    売上は
    どうなってい
    るのか?
    意思決定や判断に様々なデータへのドリルダウンが必須

    View Slide

  19. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    私たちはビジネスデータを活用するために
    これだけのサービスを相手にしなければいけない
    そこで「API」が重要な技術要素として存在する

    View Slide

  20. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    「API=簡単に連携できる」という誤解
    API が公開されているんだからデータ基盤にも
    BIツールにも簡単に連携できるよね。
    ソースAPI へ
    のアクセス
    スキーマ付与、
    テーブル化
    適切なクエリの
    実装
    相手先API
    へのアクセス
    相手先へのマ
    ッピング
    連携ジョブの
    起動
    ビジネス側の考える「API でできる連携」
    実際にAPI でできること 実は開発しないといけない部分

    View Slide

  21. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    600種類以上にわたるSaaS一つ一つのAPI提供状況を
    調べ上げて見えてきた個々のWeb API 仕様の違い
    https://www.cdata.com/jp/blog/horizontalsaasapi

    View Slide

  22. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    調査の中で最も注目するべき点は「API仕様の多様性」
    RESTが多いが
    詳しく見てみると多種多様
    国産SaaSはそもそも
    API仕様すらわからない

    View Slide

  23. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    インターフェースそれぞれの特性を
    考慮しなければいけない
    Protocols Data Model
    Metadata Authentication Capabilities
    SOAP
    REST
    OData
    Static
    Dynamics
    Hybrid
    Relational
    NoSQL
    Raw Stores
    Basic
    API Token
    OAuth
    Filter
    Aggregations
    Joins

    View Slide

  24. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    それぞれ手組みしていたら
    時間もコストもいくらあっても足りない

    View Slide

  25. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    私達のゴールはAPI連携やデータの準備ではない
    データを活用し、ビジネスに活かすこと
    BI 導入のプロジェクトやBIシステムの構築プロジェクトは、 単にBI ツー
    ル を導入することを目的にしてはいけません。このループを仕組みとして
    作り上げることを目的にするべきです。
    でも、データの準備・API連携がうまく
    いかないと
    分析に行き着く前に止まってしまう
    清水 優吾. Microsoft Power BI入門 BI使いになる!Excel脳からの脱却 (Kindle の位置No.608-
    610). 株式会社 翔泳社. Kindle 版.

    View Slide

  26. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    「API連携」や「データの準備」を圧縮し
    「データ分析」「データ活用」に割く時間を増やすには
    専用ツールの活用がポイント

    View Slide

  27. View Slide

  28. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    CData Sync とは?
    SaaS やファイル、データベースにあるデータを
    ノーコードで別のDWH やRDB に複製(レプリケーション)できるツール
    (例)
    データソース 同期先

    View Slide

  29. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    CData Sync を使用するメリット
    データ収集・蓄積にかかる作業時間を圧倒的に削減!
    データ分析基盤
    データソース 収集 蓄積
    (同期先)
    加工 分析・可視化
    データの発生源
    (オンプレミス・クラウド)
    用途別などに
    加工
    加工データを
    利活用
    データをためる
    (オンプレミス・クラウド)
    データを集める
    (プログラム・ツール)

    View Slide

  30. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    400超のデータソースに対応!
    上記は一例

    View Slide

  31. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    人気の国産SaaS にも対応!
    ※上記は一例

    View Slide

  32. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    主要なデータストアを同期先にできる!
    (DB・DWH・Data Lake)

    View Slide

  33. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    同期後の変換・データマート作成もサポー
    ト!
    (データ変換・dbt連携)

    View Slide

  34. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    CData Sync の特徴
    2
    1
    4
    3
    シンプルな設定
    ノーコード&3ステップでデータ分析基盤を構築できます
    柔軟なジョブ管理
    スケジューリング機能、フィルター機能、マッピング機能、データ変換(SQL)が
    簡単に行えます
    高度な差分更新
    高度な差分更新メカニズム(CDCなど)を搭載、転送量を抑止し転送時間を短縮できます
    マルチプラットフォーム対応
    オンプレミス・クラウドどちらのプラットフォームにもホスティング可能
    Amazon Web Services(AWS)Marketplace からも利用可能です

    View Slide

  35. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    特長|1.シンプルな設定
    かんたん、3ステップ!
    1. データソースと接続 2. 同期先と接続 3. 複製ジョブの設定&実行
    • 管理コンソールにログインし、
    400を超えるクラウドアプリケーション、
    データベース、データウェアハウスなどの
    データソースを選択
    • 接続したいデータソースへの接続は通常、
    データソースのWeb インターフェースへの
    ログインだけで完了!
    • データをレプリケーションする同期先
    (データレイク・データベース・
    データウェアハウス)を選択
    • 同期先への接続は通常、
    データソースと同様Web インターフェースへの
    ログインだけで完了!
    • 同期ジョブの設定にてオブジェクト
    (テーブルや項目)、処理方式(洗い替え or
    差分など)や条件(一部のレコードのみ)を
    指定
    • 作成したジョブの実行スケジュール
    (日次・月次など)を設定&実行!

    View Slide

  36. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    特長|2.柔軟なジョブ管理
    スケジューリング、フィルター、マッピング、データ変換(SQL)が簡単に行える
    HASHBYTES(‘MD5’,[メールアドレス])
    AS メールアドレス

    View Slide

  37. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    特長|3.高度な差分更新
    差分更新で通信量を抑え、スピーディーな同期を実現!
    • SaaS 系は最終更新日時を、RDB 系は変更履歴(Change Data Capture)を使用して
    変更のあったレコード(差分)のみを更新!
    1回目は”全件” 2回目以降は”差分”
    レコード
    レコード
    レコード
    レコード
    レコード
    レコード
    レコード
    レコード
    更新
    レコード
    レコード
    更新
    レコード レコード
    レコード レコード
    レコード
    レコード
    レコード
    レコード レコード
    データ量が減って
    スピードアップ!
    API コール数を
    削減!

    View Slide

  38. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    オンプレ・クラウド OS・実行基盤 提供形態
    特長|4.マルチプラットフォーム対応
    オンプレミスもクラウドも、どちらのプラットフォームにもホスティング可能
    • オンプレミス
    • クラウド
    AWS / GCP / Azure etc.
    • OS
    Windows / Linux / macOS
    • 実行基盤
    Desktop / Server/ VM /
    Container
    • インストーラ
    • Amazon Web Services
    (AWS)Marketplace からも
    利用可能

    View Slide

  39. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    導入事例|グロービス経営大学院 様
    • リーダー育成のビジネス
    スクールを展開
    • Adobe Marketo Engage(MA)と
    Salesforce(CRM)のデータを
    CData SyncでAmazon Redshift
    に統合
    • 経営・スタッフ全員がダッシュ
    ボードによるデータ分析を実現
    データ分析基盤を再構築し、経営・スタッフ全員がダッシュボードによるデータ分析を実現

    View Slide

  40. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    1. About CData Software
    おわりに

    View Slide

  41. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    データは「分析・活用」するまでの準備作業が長い
    「データ準備80%、データ分析20%」と言われており、データ分析前段階作業に
    時間を取られている。
    この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき
    データ
    収集
    データ
    加工
    データ
    分析
    データ
    活用

    View Slide

  42. © 2023 CData Software Japan, LLC | www.cdata.com/jp
    私達のゴールはAPI連携やデータの準備ではない
    データを活用し、ビジネスに活かすこと
    BI 導入のプロジェクトやBIシステムの構築プロジェクトは、 単にBI ツー
    ル を導入することを目的にしてはいけません。このループを仕組みとして
    作り上げることを目的にするべきです。
    でも、データの準備・API連携がうまく
    いかないと
    分析に行き着く前に止まってしまう
    清水 優吾. Microsoft Power BI入門 BI使いになる!Excel脳からの脱却 (Kindle の位置No.608-
    610). 株式会社 翔泳社. Kindle 版.

    View Slide

  43. © 2023 CData Software Japan, LLC | www.cdata.com/jp

    View Slide