Upgrade to Pro — share decks privately, control downloads, hide ads and more …

クラウド時代のデータアクセス仮想化とは? #burikaigi 2021

クラウド時代のデータアクセス仮想化とは? #burikaigi 2021

このセッションでは「データアクセス仮想化」とは何か?
を通じて「プロトコルの持つ、エコシステムの価値」を解説します。

# CData Connect
https://www.cdata.com/jp/connect/

# Burikaigi 2021
https://toyama-eng.connpass.com/event/198500/

244963b5eab1dd775692490daea81a7f?s=128

CData Software Japan

January 30, 2021
Tweet

Transcript

  1. © 2021 CData Software Japan, LLC | www.cdata.com/jp 2021/01/30:Burikaigi Online

    CData Software Japan Kazuya Sugimoto クラウド時代の データアクセス仮想化とは?
  2. © 2021 CData Software Japan, LLC | www.cdata.com/jp About Speaker

  3. © 2021 CData Software Japan, LLC | www.cdata.com/jp CRMおよびマーケティング自動化 会計システム

    コラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式 ソーシャルネットワーキング ネットワーキングおよび認証 電子商取引 その他 CData Software は様々なツール・サービスの接続先を 拡張するドライバー・コネクター製品を扱っている会社 https://www.cdata.com/jp/drivers/
  4. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software 今日のお話
  5. © 2021 CData Software Japan, LLC | www.cdata.com/jp 今日のお話 このセッションでは「データアクセス仮想化」とは何か?

    を通じて「プロトコルの持つ、エコシステムの価値」を解説
  6. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software その前に
  7. © 2021 CData Software Japan, LLC | www.cdata.com/jp みなさんの「仮想化」ってどんなイメージ?

  8. © 2021 CData Software Japan, LLC | www.cdata.com/jp 「ブレードサーバー?」 https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AC%E3%83%BC%E3%83%89%E3%82%B5%E3%83%BC%E3%83%90

  9. © 2021 CData Software Japan, LLC | www.cdata.com/jp 「CLR:共通言語ランタイム?」 https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0

  10. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化と一口に言っても色々ある https://ja.wikipedia.org/wiki/%E5%85%B1%E9%80%9A%E8%A8%80%E8%AA%9E%E3%83%A9%E3%83%B3%E3%82%BF%E3%82%A4%E3%83%A0

  11. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化は大きく2種類のアプローチがある プラットフォーム仮想化

    リソース仮想化 https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96 コンピューター全体やAPI・アプリケー ション単体のシュミレーションやエミュ レーション 補助記憶装置のボリューム、名前空間、 ネットワークリソースといった特定のシ ステムリソースの集約/連結/結合 根底にある実装を隠蔽した外部インタフェースを生成する
  12. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化は大きく2種類のアプローチがある プラットフォーム仮想化

    リソース仮想化 https://ja.wikipedia.org/wiki/%E4%BB%AE%E6%83%B3%E5%8C%96 コンピューター全体やAPI・アプリケー ション単体のシュミレーションやエミュ レーション 補助記憶装置のボリューム、名前空間、 ネットワークリソースといった特定のシ ステムリソースの集約/連結/結合 根底にある実装を隠蔽した外部インタフェースを生成する 今回はプラットフォーム仮想化の中でも上位レイ ヤーにあたる、アプリケーションレベルの仮想化
  13. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化とは何か?
  14. © 2021 CData Software Japan, LLC | www.cdata.com/jp 詳しく解説する前に実例

  15. © 2021 CData Software Japan, LLC | www.cdata.com/jp デモ

  16. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセスの仮想化とは? ユーザー・ツールが利用している"言語"を

    即座に翻訳してくれるインターフェース SELECT * FROM Tweets HTTP GET /tweet JSON {“Text”:”Hello”} Dataset | Text | | Hello |
  17. © 2021 CData Software Japan, LLC | www.cdata.com/jp 最近のトピック

  18. © 2021 CData Software Japan, LLC | www.cdata.com/jp Babelfish for

    Aurora PostgreSQL https://www.publickey1.jp/blog/20/aurora_postgresqlsql_serverbabelfish_for_aurora_postgresqlaws_reinvent_2021.html Amazon Aurora PostgreSQL に SQL Server の互換レイヤーを提供 PostgreSQLに対してTDSプロトコルのサポートおよびT-SQLでのクエリが可能
  19. © 2021 CData Software Japan, LLC | www.cdata.com/jp もう少し噛み砕いて言えば ネイティブなAPIに直接アクセスするのではなく

    異なるプロトコル・仕様のレイヤーを通じて それらのAPIにアクセスする技術
  20. © 2021 CData Software Japan, LLC | www.cdata.com/jp 一般的なデータアクセスの考え方 通常、私達は「なにかのデータを扱いたい」

    「このサービスのデータにアクセスしたい」といった場合、 ・CSVやXML・JSONといったファイルフォーマットの仕様 ・TCP/IP・HTTP・REST・SOAP・といったプロトコルの仕様 ・それぞれのプロトコル・APIの処理プロセス そのAPIやプロトコルに専用のライブラリがあれば、それを使って実装 無ければ自分でライブラリを作るか、ネイティブに実装するのが一般的
  21. © 2021 CData Software Japan, LLC | www.cdata.com/jp 仮想化されたデータアクセスの考え方 既存のプロトコルの資産を活用できるようになる。

    例えばT-SQL over TDSであれば、既存のライブラリ資産(EntityFramework等)や SQL Serverに接続できるツール・アプリケーションがそのまま利用できる
  22. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化のメリット
  23. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルが持つエコシステムが最大限利用できる Excel

    は TDSプロト コルをサポート PowerApps は TDSプ ロトコルをサポート Google Data Portal はMySQL Wireプロトコルをサポート
  24. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化はなぜ求められているの?
  25. © 2021 CData Software Japan, LLC | www.cdata.com/jp 企業データの種類が多様化し、サイロ化 Specialized

    & Emerging Tech Smartsheet, Reckon, ExactOnline, MailChimp Relational / RDBMS MySQL, SQL, PostgreSQL Universal SaaS & Cloud Storage Salesforce, SAP, Dynamics, BigQuery, MongoDB Vertical Apps & Services Marketo, Eloqua, Splunk, ServiceNow, HubSpot
  26. © 2021 CData Software Japan, LLC | www.cdata.com/jp インターフェースそれぞれの特性を 考慮しなければいけない

    Protocols Data Model Metadata Authentication Capabilities SOAP REST OData Static Dynamics Hybrid Relational NoSQL Raw Stores Basic API Token OAuth Filter Aggregations Joins
  27. © 2021 CData Software Japan, LLC | www.cdata.com/jp 使いたいツールやサービスはどんどん増える Office

    BI Analytics ETL ESB No-Code Low-Code IDE Google Cloud Dataflow AWS Glue IntelliJ Netbean s Programing Language pyodb c Ruby- odbc php-odbc go-odbc
  28. © 2021 CData Software Japan, LLC | www.cdata.com/jp でも、実はそれぞれのサービスは 既に接続できるプロトコルが存在する!

  29. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化関連サービス
  30. © 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系(Microsoft) PolyBase

    Azure Synapse Link for Azure Cosmos DB Dynamics 365 Virtual Entities https://docs.microsoft.com/ja-jp/sql/relational- databases/polybase/polybase-guide https://docs.microsoft.com/ja-jp/azure/cosmos- db/synapse-link https://docs.microsoft.com/en- us/powerapps/developer/data-platform/virtual- entities/get-started-ve 外部データ ソースからデータを 読み取る Transact-SQL クエリ を SQL Server インスタンスで 処理。 Azure Cosmos DB のオペレー ショナル データに対してリアル タイムに近い分析をAzure SynapseからL実行可能。 外部システムに存在するデータを Dynamics 365 内のエンティ ティとしてシームレスに表すこと で、データの重複なしに、外部シ ステムに存在するデータの統合。
  31. © 2021 CData Software Japan, LLC | www.cdata.com/jp クラウドベンダー系(AWS・GCP) Babelfish

    for Aurora PostgreSQL Google BigQuery Omni Amazon Athena https://aws.amazon.com/jp/rds/aurora/babelfish/ https://aws.amazon.com/jp/athena/ https://cloud.google.com/blog/products/data- analytics/introducing-bigquery-omni Aurora PostgreSQLにSQL Server互換レイヤを実装。 インタラクティブなクエリサービ スで、Amazon S3 内のデータを 標準 SQL を使用して簡単に分析 「BigQueryエンジン」を、AWS やAzure上で動かし、複数のクラ ウドにあるデータを分析可能に。
  32. © 2021 CData Software Japan, LLC | www.cdata.com/jp 独立ベンダー系 CData

    Connect Denodo TIBCO Data virtualization https://www.cdata.com/jp/connect/ https://www.tibco.com/products/data-virtualization https://www.denodo.com/ja 各種API をクラウド上の仮想 RDB エンドポイントにし、 TDS・MySQLプロトコルで接続 を可能に。 分散データへの一元的なアクセス ポイントを提供する仮想データ ウェアハウス。 多種多様なデータ・ソースに接続 し、事業部門で使いやすい形式に データを組み合わせて複数のユー ザーに配信。
  33. © 2021 CData Software Japan, LLC | www.cdata.com/jp オープンソース SparkSQL

    Presto http://hive.apache.org/ https://spark.apache.org/ 構造化データを処理するための Spark モジュールであり、分散 SQL エンジンとして機能。 Hive Hadoopの上に構築されたデータ ウェアハウス 構築環境であり、 データの集約・問い合わせ・分析 を行う。 Hadoop、AWS S3、Alluxio、 MySQL、Cassandra、Kafka、 MongoDB、Teradataなどのさま ざまなデータソースをクエリでき る分散SQLクエリエンジン。 https://prestodb.io/
  34. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化は何をしているの?
  35. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセス仮想化は何をしているの? プロトコルの擬態

    内部プロセスの隠蔽
  36. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルの擬態 TDS/MySQLプロトコル等に擬態して

    ・リクエストを受け取り ・レスポンスを返却する それぞれのプロトコル仕様書で書かれている プロセスを網羅して、TCP/IP上で やり取りできる実装を提供 https://docs.microsoft.com/en-us/openspecs/sql_server_protocols/ms-sstds/26d043af-8ece-450b-a1db-d9c114f7c16a
  37. © 2021 CData Software Japan, LLC | www.cdata.com/jp 内部プロセスの隠蔽 インターフェース側の仕様と帳尻を合わせるため

    のネイティブAPI側とのやり取りを行う ・プロトコル側のレスポンスのパース ・ネイティブAPI側へのリクエストの組み立て ・API処理のハンドリング(時にはジョブの実行 状態チェック等も) ・レスポンス処理のパース ・プロトコル側への返却値としての組み立て (ただし製品による。ビッグデータ処理系等)
  38. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software データアクセス仮想化の注意点
  39. © 2021 CData Software Japan, LLC | www.cdata.com/jp ネイティブ実装との差 ネイティブ実装

    ライブラリ カスタムコネクタ データアクセス仮想化 実装の自由度 パフォーマンスチューニング 移行・実装の安易さ 学習コストの軽減
  40. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software 実際の活用方法
  41. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Connect

    SQL as a Service - クラウド上の仮想SQL エンドポイントであらゆるSaaS データにアクセス CData Connect OData/SQLServer/MySQL
  42. © 2021 CData Software Japan, LLC | www.cdata.com/jp 各種API をクラウド上の仮想RDB

    エンドポイントに Enable real-time data integration with hundreds of applications, databases, and Web APIs CDATA CONNECT SaaS 提供 ホスティング不要 CData Connect OData/MySQL/MySQL
  43. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Connect

    によるクラウドSQL エンドポイント Give schema like RDB, enable standard SQL, give enterprise level security features • JSON/XMLなどのデータを テーブル構造にマッピング • 非構造化データからスキーマ を自動検出 • 標準SQLでのデータアクセス を可能に • フルCRUDを実現 • JOIN / フィルタリングや集計 関数にも対応 • MySQL、SQL Server wire protocol+OData • アプリ/ツールの対応インター フェースとして接続 • ファイアウォールやプロキシなど のネットワーク機能に標準対 応 • 各種認証・ログ管理等のエン タープライズレベルの要求をす べて統一UIで提供 テーブル化 (スキーマ付与) 標準SQL クエリエンジン 統一インターフェース 認証 / 管理機能 CDATA CONNECT
  44. © 2021 CData Software Japan, LLC | www.cdata.com/jp 3ステップで接続設定 データソースを選択して、

    コネクション設定 データにアクセスするユーザー を設定し、トークンを発行 好みのクラウドツールから CData Connect 経由でSaaS にアクセス CDATA CONNECT
  45. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software まとめ
  46. © 2021 CData Software Japan, LLC | www.cdata.com/jp データアクセスの仮想化とは? ユーザー・ツールが利用している"言語"を

    即座に翻訳してくれるインターフェース SELECT * FROM Tweets HTTP GET /tweet JSON {“Text”:”Hello”} Dataset | Text | | Hello |
  47. © 2021 CData Software Japan, LLC | www.cdata.com/jp プロトコルが持つエコシステムが最大限利用できる Excel

    は TDSプロト コルをサポート PowerApps は TDSプ ロトコルをサポート Google Data Portal はMySQL Wireプロトコルをサポート
  48. © 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About

    CData Software 最後に
  49. © 2021 CData Software Japan, LLC | www.cdata.com/jp CData Software

    Japan では 業務拡大につき新しいメンバーを絶賛募集中! https://www.wantedly.com/companies/cdata2