400種類のWeb APIをサポートしているデータパイプラインツールにおけるWeb APIとの共存戦略

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan の Lead Engineer これまで300種類以上のAPIを見たり触ったりしている API中毒な人。 Twitter：@sugimomoto Facebook：sugimomoto Blog：https://www.cdatablog.jp/ About Speaker Software Design 2022年8月号 Web API 特集の第1章「Web APIの目的と技術要素利用者／提供者の利点や技術的なしくみをひも解く」を執筆 https://gihyo.jp/magazine/SD/archive /2022/202208

Slide 3

Slide 3 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp EMPLOYEES 200+ ACTIVE CUSTOMERS 9,000+ OEM PARTNERS 100+ © 2022 CData Software Inc. | www.cdata.com CData Software CData Software, Inc. • 本社：US(NC州), オフィス：日本 / 欧州 / インド / 中国 • データコネクティビティテクノロジーのリーダー CData Software Japan, LLC • 宮城県仙台市 • 2016/06 〜

Slide 4

Slide 4 text

© 2022 CData Software Inc. | www.cdata.com SaaSを中心とする400(API Profile含む)を超えるデータソース主要なデータレイク・データベース・データウェアハウス CData Sync 400を超えるデータソースのデータをノーコードでデータベースにレプリケーションシンプルな設定 ETL/ELT 方式高度な差分更新柔軟なジョブ管理ノーコード、3ステップでデータ統合基盤を構築標準SQLによるデータ抽出時での変換、もしくは、データウェアハウスへの取り込み後の変換どちらにも対応 CDC(ChangeDataCapture)などの高度な差分更新メカニズムを搭載処理負荷を軽減し、日々のジョブ実行時間の短縮を実現オブジェクト（テーブルや項目）、処理方式（洗い替えor差分など）や条件（一部のレコードのみ）を指定したジョブ作成が可能作成したジョブはスケジュール、および、Web APIやコマンドラインで実行可能

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp スケールを阻害する要因は「密結合」密結合とは、細分化された個々のコンポーネント同士が密接に結びついている状態のことである。密結合状態のシステムでは、緊密で高速な動作が可能となっているが、一方のコンポーネントが異常をきたすと、他方のコンポーネントがその影響を受けてしまう。そのため密結合のシステムでは、保守や部品の交換などに際して密接な連携を顧慮する必要がある。密結合はマルチプロセッサシステムのようなハードウェア的なものから、アプリケーションソフトのようなソフトウェア的なものまで、幅広く見られる状態である。 https://japan.zdnet.com/glossary/exp/%E5%AF%86%E7%B5%90%E5%90%88/?s=4 APIへの追従に他のモジュールが影響を受けやすいとメンテナンスコストの増加→スケールを阻害

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp JDBC JDBC（Java Database Connectivity）とは、Javaプログラムからデータベースにアクセスするための標準インターフェース（API）の一つ。データベースの違いによらず同じ手順で接続し、データを読み書きすることができる。 https://e-words.jp/w/JDBC.html

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp Web API を REST たらしめる“原則“（≠規約） • Stateless：ステートレスなクライアント/サーバプロトコル • Uniform Interface：すべての情報（リソース）に適用できるHTTPメソッドの定義 • Addressability：リソースを一意に識別する「汎用的な構文（URL）」の定義 • Connectability：アプリケーションの情報と状態遷移の両方を扱うことができる「ハイパーメディア（リソースリンク）の使用」上記の原則に従っているアーキテクチャを REST ful と言ったりするがあくまで “原則“ であり ”規約” ではない！

Slide 23

Slide 23 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp 例えば「Salesforce」の「REST API」実体はSOQLというSalesforce内部での独自規格のSQLを発行するAPI https://developer.salesforce.com/docs/atlas.ja-jp.api_rest.meta/api_rest/resources_query.htm

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp 認証方法・クエリパラメータデザインレスポンスフォーマット含め全面刷新 POST /Orders/2013-09- 01/?AWSAccessKeyId=AKIAIKW5JHOTOOWSF43A&Action=List Orders&LastUpdatedAfter=1969-12- 31T15%3A00%3A00Z&MWSAuthToken=amzn.mws.XXX&Marke tplaceId.Id.1=A1VC38T7YXB528&SellerId=A1WD8M4EQL9XVH& Signature=XXXXX&SignatureMethod=HmacSHA256&Signatur eVersion=2&Timestamp=2020-10- 02T00%3A27%3A20Z&Version=2013-09-01 HTTP/1.1 Host: mws.amazonservices.jp Accept: application/xml Content-Type: application/xml 2018-08- 17T14:59:59Z StandardOrder 2018-08- 15T09:59:55.270Z GET /orders/v0/orders?MarketplaceIds=A1VC38T7YXB528& CreatedAfter=2021-08-09 HTTP/1.1 Host: sellingpartnerapi-fe.amazon.com Accept: application/json Authorization:****** x-amz-access-token: XXXXX x-amz-date: 20210809T073105Z x-amz-security-token: XXXXX { "payload": { "Orders": [ { "NumberOfItemsUnshipped": 0, "BuyerInfo": {}, "IsReplacementOrder": "false", "IsSoldByAB": false, "AmazonOrderId": "503-9993250-1405404", "LatestShipDate": "2018-08-17T14:59:59Z", "EarliestShipDate": "2018-08-15T15:00:00Z MWS API Selling Partner API

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp 例えば、Interfaceクラスにどのようなメソッドを定義するのか？ interface SampleInterface { void Create(Parameter param); void Update(String id, Parameter param); void Delete(String id); Record GetRecord(String id); List GetRecords(Query query); } 返り値・引数のデザインはどうする？変更した場合、API全部の実装に手を入れ直さないといけないの？どこまで機能をサポートする？

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp JDBC を採用している理由（デモ） • RESTのようなゆるい規格ではない。スタンダードかつ認識の齟齬が発生しない、手続きがきまっている規格である。 • クライアント側は汎用的な JDBC API の仕様のみを意識して実装できる。使い慣れたクエリ言語、接続定義が利用できる。 • 「APIの振る舞いを読み取るためのAPIの存在」つまり「Metadata」を定義でき、扱うことができる。 • 独立した利用・動作確認が安易かつ横断的なテスタビリティを確保しやすい。 • CData Sync という表形式なデータを扱う製品に向いている。

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp クライアントはAPIの複雑性・不安定性を意識しない APIとのやり取りをJDBCに一任し、データセットを受け取るビジネスロジックレイヤーは JDBCを通じて SQLをリクエストするだけ JDBCレイヤーが APIリクエスト・レスポンスの解析を担う SELECT [Id],[Name] FROM [Customers] GET /customers? $select=id,name Authorization: Basic XXXX Accept: application/json { [“id”:1,”name”:”Hello”], [“id”:2,”name”:”World”] } Id Name 1 Hello 2 World

Slide 39

Slide 39 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp ? Web API HTTP JSON カラムは？型は？桁数は？何個リソースがあるの？どんなリソースがあるの？フィルターやページングはどうすればいいの？どんなHTTPリクエストをすればいいの？ GET? POST? 認証方式は？ Metadataが無いとクライアントはどうやって APIの多様さを解釈すればいいかわからない Service

Slide 40

Slide 40 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp Metadataがあることでクライアントは APIの仕様の違いを意識せずAPIを扱うことができるテーブル定義としてリソースをリストアップ。ユーザーが動的にアクセスしたいリソースを選択できるプロパティ、型、桁数がMetadata から読み取れるため、マッピングやバリデーションが行いやすい認証に必要なアプローチ、プロパティ、必須条件を提供しAPI個別の認証方式の違いを抽象化

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp プラグインA 担当プラグインB 担当プラグインC 担当 Sync チームビジネスロジックチームと各プラグインチームが独立して開発・ビルド・テスト・リリース Sync Logic Module Plugin A Module Plugin B Module Plugin C Module Sync Main Module ※実際にはもうちょっと細分化してます。

Slide 43

Slide 43 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp CData Sync 本体・プラグインは個別にデイリービルド独立してオフライン・オンラインテストも実施 Sync Logic Module Plugin A Module Plugin B Module Plugin C Module Sync Main Module プラグインでのテストの大まかな区分け・単体テスト：クラス・メソッド単位のテスト・結合テスト：API Request Builder の振る舞いのテスト・インターフェーステスト：JDBC API（SQL）を通じて生成されるAPIリクエストのテスト・オンラインテスト：実際にAPIを実行して正常性確認を行うテスト

Slide 44

Slide 44 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp 内部のインターフェーステストの一例 JDBCとAPIリクエスト検証ファイルの組み合わせ @Test public void SampleTest() throws Exception { Class.forName("cdata.jdbc.kintone.KintoneDriver"); String testFile = "requestCheckFile.txt"; Connection conn = DriverManager.getConnection( "jdbc:kintone:User=myuseraccount;Password=mypassword;Url=http: //subdomain.domain.com;" + testFile ); Statement stat = conn.createStatement(); boolean ret = stat.execute( "SELECT RecordId,Revision FROM [顧客管理（営業支援パック）] " ); int row = 0; if (ret) { ResultSet rs = pstmt.getResultSet(); while (rs.next()) { if (row == 0) { assertEquals("3", resultSet.getString("RecordId")); assertEquals("10", resultSet.getString("Revision")); } } row++; } assertEquals(10, row); } RequestLines=3,11 | ValidateRequest=JSON | ResponseLines=16,16 | NextData=18 | ValidateUrl=https://XXXX.kintone.com/k/v1/apps.json | RequestHeaders=3,11 Host: XXXX.kintone.com Authorization: Basic XXXXXXXXX== Accept: application/json Accept-Encoding: gzip, deflate User-Agent: CData Data Provider Engine - www.cdata.com - Accepts: gzip Content-Type: application/json Content-Length: 13 X-Cybozu-Authorization: XXXXXXXXXX== X-HTTP-Method-Override: GET {"limit":100} {"apps":[{"appId":"3","code":"","name":“TimeCard","description":"

勤務時間を記録するアプリです。

","createdAt":"2016-10- 26T10:12:04.000Z","creator":{"code":"Administrator","name":"Administrato r"},"modifiedAt":"2017-01-29T10:50:44.000Z","modifier":{"code … リクエストのダミーファイルを作成しビジネスロジックを通じて生成される想定のSQL とAPIリクエストの整合性をチェックレスポンスの結果もResultSetとして検証

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© 2023 CData Software Japan, LLC | www.cdata.com/jp 不安定かつ多様なAPIと連携しなければいけないでは、どのようにプロダクト・サービスとしてサポート・スケールするのか？ API追従の衝撃をビジネスロジック側に影響させないアーキテクチャ疎結合の「アーキテクチャ」それを実現し、かつAPIの変更・追従を隠蔽する「インターフェース」が鍵 CData では「JDBC」を活用各チームが独立して機能追加・アップデート・ビルド・テスト・リリースが行える体制

Slide 48

Slide 48 text