クラウド時代のデータアクセス仮想化とは？ #burikaigi 2021

© 2021 CData Software Japan, LLC | www.cdata.com/jp
2021/01/30：Burikaigi Online
CData Software Japan
Kazuya Sugimoto
クラウド時代の
データアクセス仮想化とは？

View Slide

About Speaker

View Slide

CRMおよびマーケティング自動化
会計システム
コラボレーションおよびERP
オンプレミスおよびクラウドDB
ドキュメントおよびファイル形式
ソーシャルネットワーキング
ネットワーキングおよび認証
電子商取引
その他
CData Software は様々なツール・サービスの接続先を
拡張するドライバー・コネクター製品を扱っている会社
https://www.cdata.com/jp/drivers/

View Slide

1. About CData Software
今日のお話

View Slide

今日のお話
このセッションでは「データアクセス仮想化」とは何か？
を通じて「プロトコルの持つ、エコシステムの価値」を解説

View Slide

その前に

View Slide

みなさんの「仮想化」ってどんなイメージ？

View Slide

「ブレードサーバー？」
https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AC%E3%83%BC%E3%83%89%E3%82%B5%E3%83%BC%E3%83%90

View Slide

「CLR：共通言語ランタイム？」
https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0

View Slide

仮想化と一口に言っても色々ある
https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0

View Slide

仮想化は大きく2種類のアプローチがある
プラットフォーム仮想化リソース仮想化
https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96
コンピューター全体やAPI・アプリケー
ション単体のシュミレーションやエミュ
レーション
補助記憶装置のボリューム、名前空間、
ネットワークリソースといった特定のシ
ステムリソースの集約/連結/結合
根底にある実装を隠蔽した外部インタフェースを生成する

View Slide

仮想化は大きく2種類のアプローチがある
プラットフォーム仮想化リソース仮想化
https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96
コンピューター全体やAPI・アプリケー
ション単体のシュミレーションやエミュ
レーション
補助記憶装置のボリューム、名前空間、
ネットワークリソースといった特定のシ
ステムリソースの集約/連結/結合
根底にある実装を隠蔽した外部インタフェースを生成する
今回はプラットフォーム仮想化の中でも上位レイ
ヤーにあたる、アプリケーションレベルの仮想化

View Slide

データアクセス仮想化とは何か？

View Slide

詳しく解説する前に実例

View Slide

デモ

View Slide

データアクセスの仮想化とは？
ユーザー・ツールが利用している"言語"を
即座に翻訳してくれるインターフェース
SELECT * FROM
Tweets
HTTP
GET /tweet
JSON
{“Text”:”Hello”}
Dataset
| Text |
| Hello |

View Slide

最近のトピック

View Slide

Babelfish for Aurora PostgreSQL
https://www.publickey1.jp/blog/20/aurora_postgresqlsql_serverbabelfish_for_aurora_postgresqlaws_reinvent_2021.html
Amazon Aurora PostgreSQL に SQL Server の互換レイヤーを提供
PostgreSQLに対してTDSプロトコルのサポートおよびT-SQLでのクエリが可能

View Slide

もう少し噛み砕いて言えば
ネイティブなAPIに直接アクセスするのではなく
異なるプロトコル・仕様のレイヤーを通じて
それらのAPIにアクセスする技術

View Slide

一般的なデータアクセスの考え方
通常、私達は「なにかのデータを扱いたい」
「このサービスのデータにアクセスしたい」といった場合、
・CSVやXML・JSONといったファイルフォーマットの仕様
・TCP/IP・HTTP・REST・SOAP・といったプロトコルの仕様
・それぞれのプロトコル・APIの処理プロセス
そのAPIやプロトコルに専用のライブラリがあれば、それを使って実装
無ければ自分でライブラリを作るか、ネイティブに実装するのが一般的

View Slide

仮想化されたデータアクセスの考え方
既存のプロトコルの資産を活用できるようになる。
例えばT-SQL over TDSであれば、既存のライブラリ資産（EntityFramework等）や
SQL Serverに接続できるツール・アプリケーションがそのまま利用できる

View Slide

データアクセス仮想化のメリット

View Slide

プロトコルが持つエコシステムが最大限利用できる
Excel は TDSプロト
コルをサポート
PowerApps は TDSプ
ロトコルをサポート
Google Data Portal はMySQL
Wireプロトコルをサポート

View Slide

データアクセス仮想化はなぜ求められているの？

View Slide

企業データの種類が多様化し、サイロ化
Specialized & Emerging Tech
Smartsheet, Reckon, ExactOnline, MailChimp
Relational / RDBMS
MySQL, SQL, PostgreSQL
Universal SaaS & Cloud Storage
Salesforce, SAP, Dynamics, BigQuery, MongoDB
Vertical Apps & Services
Marketo, Eloqua, Splunk, ServiceNow, HubSpot

View Slide

インターフェースそれぞれの特性を
考慮しなければいけない
Protocols Data Model
Metadata Authentication Capabilities
SOAP
REST
OData
Static
Dynamics
Hybrid
Relational
NoSQL
Raw Stores
Basic
API Token
OAuth
Filter
Aggregations
Joins

View Slide

使いたいツールやサービスはどんどん増える
Office
BI
Analytics
ETL
ESB
No-Code
Low-Code
IDE
Google Cloud
Dataflow
AWS
Glue
IntelliJ
Netbean
s
Programing
Language
pyodb
c
Ruby-
odbc
php-odbc go-odbc

View Slide

でも、実はそれぞれのサービスは
既に接続できるプロトコルが存在する！

View Slide

データアクセス仮想化関連サービス

View Slide

クラウドベンダー系（Microsoft）
PolyBase Azure Synapse Link for
Azure Cosmos DB
Dynamics 365
Virtual Entities
https://docs.microsoft.com/ja-jp/sql/relational-
databases/polybase/polybase-guide
https://docs.microsoft.com/ja-jp/azure/cosmos-
db/synapse-link
https://docs.microsoft.com/en-
us/powerapps/developer/data-platform/virtual-
entities/get-started-ve
外部データソースからデータを
読み取る Transact-SQL クエリ
を SQL Server インスタンスで
処理。
Azure Cosmos DB のオペレー
ショナルデータに対してリアル
タイムに近い分析をAzure
SynapseからL実行可能。
外部システムに存在するデータを
Dynamics 365 内のエンティ
ティとしてシームレスに表すこと
で、データの重複なしに、外部シ
ステムに存在するデータの統合。

View Slide

クラウドベンダー系（AWS・GCP）
Babelfish for
Aurora PostgreSQL
Google BigQuery Omni
Amazon Athena
https://aws.amazon.com/jp/rds/aurora/babelfish/ https://aws.amazon.com/jp/athena/
https://cloud.google.com/blog/products/data-
analytics/introducing-bigquery-omni
Aurora PostgreSQLにSQL
Server互換レイヤを実装。
インタラクティブなクエリサービ
スで、Amazon S3 内のデータを
標準 SQL を使用して簡単に分析
「BigQueryエンジン」を、AWS
やAzure上で動かし、複数のクラ
ウドにあるデータを分析可能に。

View Slide

独立ベンダー系
CData Connect Denodo
TIBCO
Data virtualization
https://www.cdata.com/jp/connect/ https://www.tibco.com/products/data-virtualization https://www.denodo.com/ja
各種API をクラウド上の仮想
RDB エンドポイントにし、
TDS・MySQLプロトコルで接続
を可能に。
分散データへの一元的なアクセス
ポイントを提供する仮想データ
ウェアハウス。
多種多様なデータ・ソースに接続
し、事業部門で使いやすい形式に
データを組み合わせて複数のユー
ザーに配信。

View Slide

オープンソース
SparkSQL Presto
http://hive.apache.org/
https://spark.apache.org/
構造化データを処理するための
Spark モジュールであり、分散
SQL エンジンとして機能。
Hive
Hadoopの上に構築されたデータ
ウェアハウス構築環境であり、
データの集約・問い合わせ・分析
を行う。
Hadoop、AWS S3、Alluxio、
MySQL、Cassandra、Kafka、
MongoDB、Teradataなどのさま
ざまなデータソースをクエリでき
る分散SQLクエリエンジン。
https://prestodb.io/

View Slide

データアクセス仮想化は何をしているの？

View Slide

データアクセス仮想化は何をしているの？
プロトコルの擬態
内部プロセスの隠蔽

View Slide

プロトコルの擬態
TDS/MySQLプロトコル等に擬態して
・リクエストを受け取り
・レスポンスを返却する
それぞれのプロトコル仕様書で書かれている
プロセスを網羅して、TCP/IP上で
やり取りできる実装を提供
https://docs.microsoft.com/en-us/openspecs/sql_server_protocols/ms-sstds/26d043af-8ece-450b-a1db-d9c114f7c16a

View Slide

内部プロセスの隠蔽
インターフェース側の仕様と帳尻を合わせるため
のネイティブAPI側とのやり取りを行う
・プロトコル側のレスポンスのパース
・ネイティブAPI側へのリクエストの組み立て
・API処理のハンドリング（時にはジョブの実行
状態チェック等も）
・レスポンス処理のパース
・プロトコル側への返却値としての組み立て
（ただし製品による。ビッグデータ処理系等）

View Slide

データアクセス仮想化の注意点

View Slide

ネイティブ実装との差
ネイティブ実装
ライブラリ
カスタムコネクタ
データアクセス仮想化
実装の自由度
パフォーマンスチューニング
移行・実装の安易さ
学習コストの軽減

View Slide

実際の活用方法

View Slide

CData Connect
SQL as a Service - クラウド上の仮想SQL エンドポイントであらゆるSaaS データにアクセス
CData Connect
OData/SQLServer/MySQL

View Slide

各種API をクラウド上の仮想RDB エンドポイントに
Enable real-time data integration with hundreds of applications, databases, and Web APIs
CDATA CONNECT
SaaS 提供
ホスティング不要
CData Connect
OData/MySQL/MySQL

View Slide

CData Connect によるクラウドSQL エンドポイント
Give schema like RDB, enable standard SQL, give enterprise level security features
• JSON/XMLなどのデータを
テーブル構造にマッピング
• 非構造化データからスキーマ
を自動検出
• 標準SQLでのデータアクセス
を可能に
• フルCRUDを実現
• JOIN / フィルタリングや集計
関数にも対応
• MySQL、SQL Server
wire protocol＋OData
• アプリ/ツールの対応インター
フェースとして接続
• ファイアウォールやプロキシなど
のネットワーク機能に標準対
応
• 各種認証・ログ管理等のエン
タープライズレベルの要求をす
べて統一UIで提供
テーブル化
（スキーマ付与）
標準SQL
クエリエンジン
統一インターフェース
認証 /
管理機能
CDATA CONNECT

View Slide

3ステップで接続設定
データソースを選択して、
コネクション設定
データにアクセスするユーザー
を設定し、トークンを発行
好みのクラウドツールから
CData Connect 経由でSaaS
にアクセス
CDATA CONNECT

View Slide

まとめ

View Slide

データアクセスの仮想化とは？
ユーザー・ツールが利用している"言語"を
即座に翻訳してくれるインターフェース
SELECT * FROM
Tweets
HTTP
GET /tweet
JSON
{“Text”:”Hello”}
Dataset
| Text |
| Hello |

View Slide

プロトコルが持つエコシステムが最大限利用できる
Excel は TDSプロト
コルをサポート
PowerApps は TDSプ
ロトコルをサポート
Google Data Portal はMySQL
Wireプロトコルをサポート

View Slide

最後に

View Slide

CData Software Japan では
業務拡大につき新しいメンバーを絶賛募集中！
https://www.wantedly.com/companies/cdata2

View Slide

クラウド時代のデータアクセス仮想化とは？ #burikaigi 2021

クラウド時代のデータアクセス仮想化とは？ #burikaigi 2021

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript