クラウド時代のデータアクセス仮想化とは？ #burikaigi 2021

このセッションでは「データアクセス仮想化」とは何か？
を通じて「プロトコルの持つ、エコシステムの価値」を解説します。

# CData Connect
https://www.cdata.com/jp/connect/

# Burikaigi 2021
https://toyama-eng.connpass.com/event/198500/

Transcript

1. © 2021 CData Software Japan, LLC | www.cdata.com/jp 2021/01/30：Burikaigi Online CData Software Japan Kazuya Sugimoto クラウド時代の データアクセス仮想化とは？
2. © 2021 CData Software Japan, LLC | www.cdata.com/jp About Speaker
3. © 2021 CData Software Japan, LLC | www.cdata.com/jp CRMおよびマーケティング自動化 会計システム コラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式 ソーシャルネットワーキング ネットワーキングおよび認証 電子商取引 その他 CData Software は様々なツール・サービスの接続先を 拡張するドライバー・コネクター製品を扱っている会社 https://www.cdata.com/jp/drivers/
4. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 今日のお話
5. © 2021 CData Software Japan, LLC | www.cdata.com/jp 今日のお話 このセッションでは「データアクセス仮想化」とは何か？ を通じて「プロトコルの持つ、エコシステムの価値」を解説
6. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software その前に
7. © 2021 CData Software Japan, LLC | www.cdata.com/jp みなさんの「仮想化」ってどんなイメージ？
8. © 2021 CData Software Japan, LLC | www.cdata.com/jp 「ブレードサーバー？」 https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AC%E3%83%BC%E3%83%89%E3%82%B5%E3%83%BC%E3%83%90
9. © 2021 CData Software Japan, LLC | www.cdata.com/jp 「CLR：共通言語ランタイム？」 https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0
10. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化と一口に言っても色々ある https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0
11. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化は大きく2種類のアプローチがある プラットフォーム仮想化 リソース仮想化 https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96 コンピューター全体やAPI・アプリケー ション単体のシュミレーションやエミュ レーション 補助記憶装置のボリューム、名前空間、 ネットワークリソースといった特定のシ ステムリソースの集約/連結/結合 根底にある実装を隠蔽した外部インタフェースを生成する
12. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化は大きく2種類のアプローチがある プラットフォーム仮想化 リソース仮想化 https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96 コンピューター全体やAPI・アプリケー ション単体のシュミレーションやエミュ レーション 補助記憶装置のボリューム、名前空間、 ネットワークリソースといった特定のシ ステムリソースの集約/連結/結合 根底にある実装を隠蔽した外部インタフェースを生成する 今回はプラットフォーム仮想化の中でも上位レイ ヤーにあたる、アプリケーションレベルの仮想化
13. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化とは何か？
14. © 2021 CData Software Japan, LLC | www.cdata.com/jp 詳しく解説する前に実例
15. © 2021 CData Software Japan, LLC | www.cdata.com/jp デモ
16. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセスの仮想化とは？ ユーザー・ツールが利用している"言語"を 即座に翻訳してくれるインターフェース SELECT * FROM Tweets HTTP GET /tweet JSON {“Text”:”Hello”} Dataset | Text | | Hello |
17. © 2021 CData Software Japan, LLC | www.cdata.com/jp 最近のトピック
18. © 2021 CData Software Japan, LLC | www.cdata.com/jp Babelfish for Aurora PostgreSQL https://www.publickey1.jp/blog/20/aurora_postgresqlsql_serverbabelfish_for_aurora_postgresqlaws_reinvent_2021.html Amazon Aurora PostgreSQL に SQL Server の互換レイヤーを提供 PostgreSQLに対してTDSプロトコルのサポートおよびT-SQLでのクエリが可能
19. © 2021 CData Software Japan, LLC | www.cdata.com/jp もう少し噛み砕いて言えば ネイティブなAPIに直接アクセスするのではなく 異なるプロトコル・仕様のレイヤーを通じて それらのAPIにアクセスする技術
20. © 2021 CData Software Japan, LLC | www.cdata.com/jp 一般的なデータアクセスの考え方 通常、私達は「なにかのデータを扱いたい」 「このサービスのデータにアクセスしたい」といった場合、 ・CSVやXML・JSONといったファイルフォーマットの仕様 ・TCP/IP・HTTP・REST・SOAP・といったプロトコルの仕様 ・それぞれのプロトコル・APIの処理プロセス そのAPIやプロトコルに専用のライブラリがあれば、それを使って実装 無ければ自分でライブラリを作るか、ネイティブに実装するのが一般的
21. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化されたデータアクセスの考え方 既存のプロトコルの資産を活用できるようになる。 例えばT-SQL over TDSであれば、既存のライブラリ資産（EntityFramework等）や SQL Serverに接続できるツール・アプリケーションがそのまま利用できる
22. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化のメリット
23. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルが持つエコシステムが最大限利用できる Excel は TDSプロト コルをサポート PowerApps は TDSプ ロトコルをサポート Google Data Portal はMySQL Wireプロトコルをサポート
24. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化はなぜ求められているの？
25. © 2021 CData Software Japan, LLC | www.cdata.com/jp 企業データの種類が多様化し、サイロ化 Specialized & Emerging Tech Smartsheet, Reckon, ExactOnline, MailChimp Relational / RDBMS MySQL, SQL, PostgreSQL Universal SaaS & Cloud Storage Salesforce, SAP, Dynamics, BigQuery, MongoDB Vertical Apps & Services Marketo, Eloqua, Splunk, ServiceNow, HubSpot
26. © 2021 CData Software Japan, LLC | www.cdata.com/jp インターフェースそれぞれの特性を 考慮しなければいけない Protocols Data Model Metadata Authentication Capabilities SOAP REST OData Static Dynamics Hybrid Relational NoSQL Raw Stores Basic API Token OAuth Filter Aggregations Joins
27. © 2021 CData Software Japan, LLC | www.cdata.com/jp 使いたいツールやサービスはどんどん増える Office BI Analytics ETL ESB No-Code Low-Code IDE Google Cloud Dataflow AWS Glue IntelliJ Netbean s Programing Language pyodb c Ruby- odbc php-odbc go-odbc
28. © 2021 CData Software Japan, LLC | www.cdata.com/jp でも、実はそれぞれのサービスは 既に接続できるプロトコルが存在する！
29. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化関連サービス
30. © 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系（Microsoft） PolyBase Azure Synapse Link for Azure Cosmos DB Dynamics 365 Virtual Entities https://docs.microsoft.com/ja-jp/sql/relational- databases/polybase/polybase-guide https://docs.microsoft.com/ja-jp/azure/cosmos- db/synapse-link https://docs.microsoft.com/en- us/powerapps/developer/data-platform/virtual- entities/get-started-ve 外部データ ソースからデータを 読み取る Transact-SQL クエリ を SQL Server インスタンスで 処理。 Azure Cosmos DB のオペレー ショナル データに対してリアル タイムに近い分析をAzure SynapseからL実行可能。 外部システムに存在するデータを Dynamics 365 内のエンティ ティとしてシームレスに表すこと で、データの重複なしに、外部シ ステムに存在するデータの統合。
31. © 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系（AWS・GCP） Babelfish for Aurora PostgreSQL Google BigQuery Omni Amazon Athena https://aws.amazon.com/jp/rds/aurora/babelfish/ https://aws.amazon.com/jp/athena/ https://cloud.google.com/blog/products/data- analytics/introducing-bigquery-omni Aurora PostgreSQLにSQL Server互換レイヤを実装。 インタラクティブなクエリサービ スで、Amazon S3 内のデータを 標準 SQL を使用して簡単に分析 「BigQueryエンジン」を、AWS やAzure上で動かし、複数のクラ ウドにあるデータを分析可能に。
32. © 2021 CData Software Japan, LLC | www.cdata.com/jp 独立ベンダー系 CData Connect Denodo TIBCO Data virtualization https://www.cdata.com/jp/connect/ https://www.tibco.com/products/data-virtualization https://www.denodo.com/ja 各種API をクラウド上の仮想 RDB エンドポイントにし、 TDS・MySQLプロトコルで接続 を可能に。 分散データへの一元的なアクセス ポイントを提供する仮想データ ウェアハウス。 多種多様なデータ・ソースに接続 し、事業部門で使いやすい形式に データを組み合わせて複数のユー ザーに配信。
33. © 2021 CData Software Japan, LLC | www.cdata.com/jp オープンソース SparkSQL Presto http://hive.apache.org/ https://spark.apache.org/ 構造化データを処理するための Spark モジュールであり、分散 SQL エンジンとして機能。 Hive Hadoopの上に構築されたデータ ウェアハウス 構築環境であり、 データの集約・問い合わせ・分析 を行う。 Hadoop、AWS S3、Alluxio、 MySQL、Cassandra、Kafka、 MongoDB、Teradataなどのさま ざまなデータソースをクエリでき る分散SQLクエリエンジン。 https://prestodb.io/
34. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化は何をしているの？
35. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセス仮想化は何をしているの？ プロトコルの擬態 内部プロセスの隠蔽
36. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルの擬態 TDS/MySQLプロトコル等に擬態して ・リクエストを受け取り ・レスポンスを返却する それぞれのプロトコル仕様書で書かれている プロセスを網羅して、TCP/IP上で やり取りできる実装を提供 https://docs.microsoft.com/en-us/openspecs/sql_server_protocols/ms-sstds/26d043af-8ece-450b-a1db-d9c114f7c16a
37. © 2021 CData Software Japan, LLC | www.cdata.com/jp 内部プロセスの隠蔽 インターフェース側の仕様と帳尻を合わせるため のネイティブAPI側とのやり取りを行う ・プロトコル側のレスポンスのパース ・ネイティブAPI側へのリクエストの組み立て ・API処理のハンドリング（時にはジョブの実行 状態チェック等も） ・レスポンス処理のパース ・プロトコル側への返却値としての組み立て （ただし製品による。ビッグデータ処理系等）
38. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software データアクセス仮想化の注意点
39. © 2021 CData Software Japan, LLC | www.cdata.com/jp ネイティブ実装との差 ネイティブ実装 ライブラリ カスタムコネクタ データアクセス仮想化 実装の自由度 パフォーマンスチューニング 移行・実装の安易さ 学習コストの軽減
40. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 実際の活用方法
41. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Connect SQL as a Service - クラウド上の仮想SQL エンドポイントであらゆるSaaS データにアクセス CData Connect OData/SQLServer/MySQL
42. © 2021 CData Software Japan, LLC | www.cdata.com/jp 各種API をクラウド上の仮想RDB エンドポイントに Enable real-time data integration with hundreds of applications, databases, and Web APIs CDATA CONNECT SaaS 提供 ホスティング不要 CData Connect OData/MySQL/MySQL
43. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Connect によるクラウドSQL エンドポイント Give schema like RDB, enable standard SQL, give enterprise level security features • JSON/XMLなどのデータを テーブル構造にマッピング • 非構造化データからスキーマ を自動検出 • 標準SQLでのデータアクセス を可能に • フルCRUDを実現 • JOIN / フィルタリングや集計 関数にも対応 • MySQL、SQL Server wire protocol＋OData • アプリ/ツールの対応インター フェースとして接続 • ファイアウォールやプロキシなど のネットワーク機能に標準対 応 • 各種認証・ログ管理等のエン タープライズレベルの要求をす べて統一UIで提供 テーブル化 （スキーマ付与） 標準SQL クエリエンジン 統一インターフェース 認証 / 管理機能 CDATA CONNECT
44. © 2021 CData Software Japan, LLC | www.cdata.com/jp 3ステップで接続設定 データソースを選択して、 コネクション設定 データにアクセスするユーザー を設定し、トークンを発行 好みのクラウドツールから CData Connect 経由でSaaS にアクセス CDATA CONNECT
45. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software まとめ
46. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセスの仮想化とは？ ユーザー・ツールが利用している"言語"を 即座に翻訳してくれるインターフェース SELECT * FROM Tweets HTTP GET /tweet JSON {“Text”:”Hello”} Dataset | Text | | Hello |
47. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルが持つエコシステムが最大限利用できる Excel は TDSプロト コルをサポート PowerApps は TDSプ ロトコルをサポート Google Data Portal はMySQL Wireプロトコルをサポート
48. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 最後に
49. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan では 業務拡大につき新しいメンバーを絶賛募集中！ https://www.wantedly.com/companies/cdata2