なぜデータ連携が大切なのか？データ連携が求められる背景と課題、その対策

© 2023 CData Software Japan, LLC | www.cdata.com/jp
1. About CData Software
なぜデータ連携が大切なのか？
データ連携が求められる背景と課題、その対策
2023/06/01
CData Software Japan Lead Engineer / Kazuya Sugimoto

View Slide

CData Software Japan の Lead Engineer
これまで300種類以上のAPIを見たり触ったりしている
API中毒な人。
Twitter：@sugimomoto
Facebook：sugimomoto
Blog：https://www.cdatablog.jp/
About Speaker
Software Design 2022年8月号 Web API
特集の第1章「Web APIの目的と技術要素
利用者／提供者の利点や技術的なしくみをひも
解く」を執筆
https://gihyo.jp/magazine/SD/archive
/2022/202208

View Slide

本日のセッションでお伝えしたいこと

View Slide

データ連携が求められる背景と課題、その対策
データ連携・活用の鍵は
「自動化ツール」と「コネクティビティ」

View Slide

なぜデータ連携が求められているのか？

View Slide

• 自社の業務データ、顧客データの分析
からのデータドリブンな意思決定
• 業務プロセスのオートメーション
• ノーコード/ローコードの活用による
システム開発高速化
DX の最初の一歩はデータ活用
自社業務のデジタル化
デジタルな競争力へのシフト
DX を継続する組織

View Slide

でも、なかなかうまく活用できていない・・・
なにがボトルネックになっているのか？

View Slide

データのサイロ化がキーワード
組織的なデータのサイロ化システム的なデータのサイロ化アナログ的なデータのサイロ化
・組織・部署間で使っているシステ
ムが分散している状態
・同じ営業部隊でも片方は
Access、片方はSFAを使って見積
もりを作っている等
・SFA・CRM・ERPなど複数の
SaaS利用でデータが分散
・会社の合併により、使っている
SaaS・システムがバラバラに
・紙ベースで管理されており、電子
化以前もしくは、PDFベースでデー
タ化されていない
・請求書、見積書が紙で処理して
おり、基幹システムなどに手入力さ
れている

View Slide

なんでこんなにサイロ化が進んでいるの？

View Slide

企業で使うSaaS の数は急増
# of SaaS Apps used in Corporate is increasing
• 1企業で使うSaaS 種類の平均が110種類
• アメリカのトレンドに日本も追従し、現在は１社
10種類程度のSaaS 利用でも、数年後に数十
種類になるのではないか
https://stateofsaasops.bettercloud.com/

View Slide


View Slide

SaaSの勃興により、
組織的・システム的なデータのサイロ化が
著しく大きくなっている
「部分最適」にはなるが、「全体最適」にはなっていない

View Slide

私達のビジネスデータはどこにある？
オンプレミス（ローカル）も
クラウドもごちゃ混ぜ！
複数のSaaS・ソフトウェアやファイルにデータが分散している！

View Slide

サイロ化すると何が問題になるんだっけ？

View Slide

サイロ化に伴い、データに関する課題が発生する
システム間連携時の手入力の
発生といった業務プロセス上の
「データ処理自動化の課題」
システム間での顧客や商品など
のデータ重複による
「データ信頼性の課題」
データ分析・活用時に必要な
データを収集するのが困難な
「データ分析の課題」

View Slide

例えば、バックオフィスの業務フローを見てみる
数多くのSaaS が絡み合いながら業務プロセスが成り立っている
引用元：バックオフィス向けSaaS活用MAPテンプレート
https://note.com/iitsuki/n/nda1b369fa083

View Slide

社内システムデータのミスマッチ
顧客データはMA、受注データはSFA/CRM、売上データは販売管理、
請求データは会計システムにそれぞれ存在することで
「データ」が重複・一致せずデータ活用のボトルネックに
顧客見込見積受注契約売上
MA
SFA / CRM
販売管理 / 契約管理 / 会計
請求

View Slide

データは「分析・活用」するまでの準備作業が長い
「データ準備80％、データ分析20％」と言われており、データ分析前段階作業に
時間を取られている。
この部分の割合を逆転させ、分析や活用に割り当てられるようにするべき
データ
収集
データ
加工
データ
分析
データ
活用

View Slide

例えば「売上を前年よりXX%アップする」という目標
この顧客は
どのキャン
ペーンを
見たのか？
（WEB）
この顧客はど
う流入してき
たのか？
（MA）
この顧客は
どの製品から
発生している
のか？
（CRM）
売上の
顧客構成は
どうなってい
るのか？
（ERP）
売上は
どうなってい
るのか？
意思決定や判断に様々なデータへのドリルダウンが必須

View Slide

私たちはビジネスデータを活用するために
これだけのSaaS・クラウドサービスと
上手にお付き合いしなければいけない
データ連携ツールを用いたフレキシブルな自動化の実現が鍵

View Slide

データ連携ツールを活用するために
意識するべきポイントは２つ
ロジックインターフェース

View Slide

ロジックは機能は普遍的だが
それぞれのツールで使い勝手・描き方が異なる
条件分岐ループ処理演算・計算判定変数・代入

View Slide

データ連携にはそれぞれのインターフェースの考慮が必要
GUI Web API
用途
SaaS・デスクトップアプリケーション・
ウェブサイトのスクレイピングアクセス
SaaS・PaaS・オープンデータへのア
クセス
メリット
・マウス操作などが自動化できる
・APIが無いシステムも自動化可能
・安定性やセキュリティ、パフォーマン
スが良い
・UIの変更やページ遷移などを考慮
する必要が無い
デメリット
・操作が難しいUIも存在
・UIの変更で動かなくなることがある
・Web APIが無いシステムは連携で
きない
SaaSの勃興により、Web API連携の重要性が増している
これらをうまく組み合わせながら、データ連携を検討するのがポイント

View Slide

Web API のキャッチアップって大変じゃないですか？

View Slide

「API=簡単に連携できる」という誤解
API が公開されているんだからCRMにもBIツー
ルにも簡単に連携できるよね。
ソースAPI へのア
クセス
スキーマ付与、
テーブル化
適切なクエリの
実装
相手先API への
アクセス
相手先への
マッピング
連携ジョブの
起動
ビジネス側の考える「API でできる連携」
実際にAPI でできること実は開発しないといけない部分

View Slide

600種類以上にわたるSaaS一つ一つのAPI提供状況を
調べ上げて見えてきた個々のWeb API 仕様の違い

View Slide

調査の中で最も注目するべき点は「API仕様の多様性」
RESTが多いが
詳しく見てみると多種多様
国産SaaSはそもそも
API仕様すらわからない

View Slide

例えば「Salesforce」の「REST API」
実体はSOQLというSalesforce内部での
独自規格のSQLを発行するAPI

View Slide

インターフェースそれぞれの特性を理解し、
キャッチアップしなければデータ活用に到達できない
Protocols Data Model
Metadata Authentication Capabilities
SOAP
REST
OData
Static
Dynamics
Hybrid
Relational
NoSQL
Raw Stores
Basic
API Token
OAuth
Filter
Aggregations
Joins

View Slide

?
各種ツール・サービスから Web API に接続するには
それぞれの仕様に合わせた開発が必要
REST
API
HTTP
JSON
カラムは？型は？
桁数は？
何個テーブルがあるの？
どんなテーブルがあるの？
フィルターやページングはどうすれ
ばいいの？
どんなHTTPリクエストを
すればいいの？
GET? POST? 認証方式は？
APIs

View Slide

それぞれ手組みしていたら
時間もコストもいくらあっても足りない

View Slide

データ活用を推進するには
「自動化ツール」はもちろん「コネクティビティ」もポイント

View Slide

BizRobo! からノーコードで
SaaS データを含む自動化を実現
JDBC

View Slide

次のセッションへ

View Slide

EMPLOYEES
200+
ACTIVE CUSTOMERS
9,000+
OEM PARTNERS
100+
© 2023 CData Software Inc. | www.cdata.com
CData Software
CData Software, Inc.
• 本社：US(NC州), オフィス：日本/欧州/インド/中国
• データコネクティビティテクノロジーのリーダー
CData Software Japan, LLC
• 宮城県仙台市
• 2016/06 〜

View Slide

CData Drivers
標準SQLで250を超えるデータソースにアクセスできるライブラリ製品
CData Drivers
テーブル
標準SQL
HTTPリクエスト
Web API
ツール / プログラム言語 /
フレームワーク
データソース
テーブル化標準SQLクエリエンジン標準インタフェース認証・ネットワーキング
SELECT
INSERT
UPDATE
DELETE
• JSON/XMLデータを
テーブル構造にマッピング
• 非構造化データから
スキーマを自動検出
• 標準SQLでのデータアクセス
• フルCRUD
• JOIN / フィルタリング / 集計 /
関数にも対応(ANSI SQL92準拠)
• ODBC / JDBC / ADO.NET /Python
DBI などの標準データアクセスコン
ポーネント
• ExcelやBI (Tableau, Power
BI),ETL(SSIS)などの専用コネクタ
• API毎に異なる認証(OAuth、 APIKeyな
ど)を統一UIで提供
• F/W, Proxy, TLS通信などエンタープラ
イズでのネットワーキングに対応

View Slide

Any Data Source
業界最多級の250を超える様々なデータソースへ接続
Marketing
CRM & ERP
File & API
Accounting
Big Data & NoSQL
Collaboration
E-Commerce RDBMS

View Slide

2016年：50 データソースで日本ビジネスを開始

View Slide

250+ 業界最多級のデータソース
Drivers for NoSQL, Big Data, & SaaS Connectivity
CRMおよびマーケティング自動化
会計システム
コラボレーションおよびERP
オンプレミスおよびクラウドDB
ドキュメントおよびファイル形式
ソーシャルネットワーキング
ネットワーキングおよび認証
電子商取引
その他

View Slide

国産データソースの拡充

View Slide

250種類のWeb APIが
すべて同じSaaSアダプタ・手順で接続が可能

View Slide

利用できるデータモデルや機能はドキュメントや
メタデータから参照可能

View Slide

各ドライバーで多様な認証スキームをサポート
また、ファイアウォールやプロキシの設定機能もサポート

View Slide

ユーザーはすでにデータモデリングがされたものから
自身が扱いたいデータを選択し、マッピングに繋げることが可能

View Slide

JSONやXMLではなく、データモデリングされた結果を
そのままツール側で活用可能
さらにページネーションやフィルタリングな
ども自動的に行なってくれる。

View Slide

API アップデートへの追従はチョー大変

View Slide

CData Driver V22 API Update & 機能追加概要
Components 説明
Salesforce Pardot API v5のサポート
Google Analytics GA4のサポート
Elasticsearch OpenSearch 2.0のサポート
NetSuite API 2022.1のサポート
Twitter Ads API v11のサポート
Salesforce API v54のサポート
Facebook Ads API 13.0のサポート
Facebook API 13.0のサポート
Amazon Athena IMDSv2のサポート
Google Ads API v10のサポート
データソース内容
kintone フィールドコードをカラム名として使用
Salesforce メタデータの取得とデプロイ
GoogleSheets テーブル名としてシート上のレンジを指定
スプレッドシートID、シートIDをテーブル名として使用
Folderプロパティに指定したフォルダの下階層にあるスプレッドシートの探索
Marketo ProgramMembersビューをテーブルに変更
StaticListsの取得
Google BigQuery ALTER TABLE文のサポート
MERGE文のサポート
CSV 指定した条件に合致するファイルをアクセス対象から除外
Box メタデータインスタンスの取得
Storage Source (CSVなど) SharePoint オンプレミスのサポート
Storage Source (CSVなど) 一部クラウドストレージのファイルに対するCUD操作
REST CSVのサポート
Core Code SQL文にネイティブクエリを記述
Wrappers - SSIS ディスティネーションのテーブル作成
Core Code ストアドのインプットとしてStreamオブジェクトを指定
Core Code クラウドストレージにアクセスする際に対象をプロパティで選択

View Slide

おわりに

View Slide

私達のゴールはAPI 連携ではない
データを活用し、ビジネスに活かすこと
データ活用を推進するには
「自動化ツール」はもちろん「コネクティビティ」もポイント

View Slide

BizRobo! からノーコードで
SaaS データを含む自動化を実現
JDBC

View Slide

なぜデータ連携が大切なのか？データ連携が求められる背景と課題、その対策

なぜデータ連携が大切なのか？データ連携が求められる背景と課題、その対策

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript

なぜデータ連携が大切なのか？ データ連携が求められる背景と課題、その対策

なぜデータ連携が大切なのか？ データ連携が求められる背景と課題、その対策

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript

なぜデータ連携が大切なのか？データ連携が求められる背景と課題、その対策

なぜデータ連携が大切なのか？データ連携が求められる背景と課題、その対策