クラウド時代のデータアクセス仮想化とは？ #burikaigi 2021

by CData Software Japan

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp CRMおよびマーケティング自動化会計システムコラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式ソーシャルネットワーキングネットワーキングおよび認証電子商取引その他 CData Software は様々なツール・サービスの接続先を拡張するドライバー・コネクター製品を扱っている会社 https://www.cdata.com/jp/drivers/

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化は大きく2種類のアプローチがあるプラットフォーム仮想化リソース仮想化 https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96 コンピューター全体やAPI・アプリケーション単体のシュミレーションやエミュレーション補助記憶装置のボリューム、名前空間、ネットワークリソースといった特定のシステムリソースの集約/連結/結合根底にある実装を隠蔽した外部インタフェースを生成する

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp Babelfish for Aurora PostgreSQL https://www.publickey1.jp/blog/20/aurora_postgresqlsql_serverbabelfish_for_aurora_postgresqlaws_reinvent_2021.html Amazon Aurora PostgreSQL に SQL Server の互換レイヤーを提供 PostgreSQLに対してTDSプロトコルのサポートおよびT-SQLでのクエリが可能

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 一般的なデータアクセスの考え方通常、私達は「なにかのデータを扱いたい」「このサービスのデータにアクセスしたい」といった場合、・CSVやXML・JSONといったファイルフォーマットの仕様・TCP/IP・HTTP・REST・SOAP・といったプロトコルの仕様・それぞれのプロトコル・APIの処理プロセスそのAPIやプロトコルに専用のライブラリがあれば、それを使って実装無ければ自分でライブラリを作るか、ネイティブに実装するのが一般的

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 企業データの種類が多様化し、サイロ化 Specialized & Emerging Tech Smartsheet, Reckon, ExactOnline, MailChimp Relational / RDBMS MySQL, SQL, PostgreSQL Universal SaaS & Cloud Storage Salesforce, SAP, Dynamics, BigQuery, MongoDB Vertical Apps & Services Marketo, Eloqua, Splunk, ServiceNow, HubSpot

Slide 26

Slide 26 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp インターフェースそれぞれの特性を考慮しなければいけない Protocols Data Model Metadata Authentication Capabilities SOAP REST OData Static Dynamics Hybrid Relational NoSQL Raw Stores Basic API Token OAuth Filter Aggregations Joins

Slide 27

Slide 27 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 使いたいツールやサービスはどんどん増える Office BI Analytics ETL ESB No-Code Low-Code IDE Google Cloud Dataflow AWS Glue IntelliJ Netbean s Programing Language pyodb c Ruby- odbc php-odbc go-odbc

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系（Microsoft） PolyBase Azure Synapse Link for Azure Cosmos DB Dynamics 365 Virtual Entities https://docs.microsoft.com/ja-jp/sql/relational- databases/polybase/polybase-guide https://docs.microsoft.com/ja-jp/azure/cosmos- db/synapse-link https://docs.microsoft.com/en- us/powerapps/developer/data-platform/virtual- entities/get-started-ve 外部データソースからデータを読み取る Transact-SQL クエリを SQL Server インスタンスで処理。 Azure Cosmos DB のオペレーショナルデータに対してリアルタイムに近い分析をAzure SynapseからL実行可能。外部システムに存在するデータを Dynamics 365 内のエンティティとしてシームレスに表すことで、データの重複なしに、外部システムに存在するデータの統合。

Slide 31

Slide 31 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系（AWS・GCP） Babelfish for Aurora PostgreSQL Google BigQuery Omni Amazon Athena https://aws.amazon.com/jp/rds/aurora/babelfish/ https://aws.amazon.com/jp/athena/ https://cloud.google.com/blog/products/data- analytics/introducing-bigquery-omni Aurora PostgreSQLにSQL Server互換レイヤを実装。インタラクティブなクエリサービスで、Amazon S3 内のデータを標準 SQL を使用して簡単に分析「BigQueryエンジン」を、AWS やAzure上で動かし、複数のクラウドにあるデータを分析可能に。

Slide 32

Slide 32 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 独立ベンダー系 CData Connect Denodo TIBCO Data virtualization https://www.cdata.com/jp/connect/ https://www.tibco.com/products/data-virtualization https://www.denodo.com/ja 各種API をクラウド上の仮想 RDB エンドポイントにし、 TDS・MySQLプロトコルで接続を可能に。分散データへの一元的なアクセスポイントを提供する仮想データウェアハウス。多種多様なデータ・ソースに接続し、事業部門で使いやすい形式にデータを組み合わせて複数のユーザーに配信。

Slide 33

Slide 33 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp オープンソース SparkSQL Presto http://hive.apache.org/ https://spark.apache.org/ 構造化データを処理するための Spark モジュールであり、分散 SQL エンジンとして機能。 Hive Hadoopの上に構築されたデータウェアハウス構築環境であり、データの集約・問い合わせ・分析を行う。 Hadoop、AWS S3、Alluxio、 MySQL、Cassandra、Kafka、 MongoDB、Teradataなどのさまざまなデータソースをクエリできる分散SQLクエリエンジン。 https://prestodb.io/

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルの擬態 TDS/MySQLプロトコル等に擬態して・リクエストを受け取り・レスポンスを返却するそれぞれのプロトコル仕様書で書かれているプロセスを網羅して、TCP/IP上でやり取りできる実装を提供 https://docs.microsoft.com/en-us/openspecs/sql_server_protocols/ms-sstds/26d043af-8ece-450b-a1db-d9c114f7c16a

Slide 37

Slide 37 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 内部プロセスの隠蔽インターフェース側の仕様と帳尻を合わせるためのネイティブAPI側とのやり取りを行う・プロトコル側のレスポンスのパース・ネイティブAPI側へのリクエストの組み立て・API処理のハンドリング（時にはジョブの実行状態チェック等も）・レスポンス処理のパース・プロトコル側への返却値としての組み立て（ただし製品による。ビッグデータ処理系等）

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 各種API をクラウド上の仮想RDB エンドポイントに Enable real-time data integration with hundreds of applications, databases, and Web APIs CDATA CONNECT SaaS 提供ホスティング不要 CData Connect OData/MySQL/MySQL

Slide 43

Slide 43 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp CData Connect によるクラウドSQL エンドポイント Give schema like RDB, enable standard SQL, give enterprise level security features • JSON/XMLなどのデータをテーブル構造にマッピング • 非構造化データからスキーマを自動検出 • 標準SQLでのデータアクセスを可能に • フルCRUDを実現 • JOIN / フィルタリングや集計関数にも対応 • MySQL、SQL Server wire protocol＋OData • アプリ/ツールの対応インターフェースとして接続 • ファイアウォールやプロキシなどのネットワーク機能に標準対応 • 各種認証・ログ管理等のエンタープライズレベルの要求をすべて統一UIで提供テーブル化（スキーマ付与）標準SQL クエリエンジン統一インターフェース認証 / 管理機能 CDATA CONNECT