400種類以上のAPI連携を開発・サポートしているデータパイプラインツール CData Sync の中身

Slide 1

Slide 1 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 400種類以上のAPI連携を開発・サポートしているデータパイプラインツール CData Sync の中身 2021/11/21：JJUG CCC 2021 Fall CData Software Japan Lead Engineer / Kazuya Sugimoto

Slide 2

Slide 2 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan の API holic 担当年100種類以上のAPIを見たり触ったりしています。 Twitter：@sugimomoto Facebook：sugimomoto Blog：http://kageura.hatenadiary.jp/ About Speaker Horizontal SaaS 647種類のAPI提供状況を調査：そこから見えてきた国産 SaaS APIの今 https://www.cdatablog.jp/entry/horizontalsaasapi

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp And more… Salesforce Facebook Gmail Twitter Stripe Google Adwords Dynamics 365 JSON Google Analytics Jira GitHub Twilio kintone Office 365 Quick Books Zoho HubSpot Sugar CRM SharePoint Eloqua Marketo NetSuite Dynamics CRM YouTube Analytics Google Spreadsheets SendGrid SAP Active Driectory Google Contacts XML CData Sync Data Sources 現在「400種類」以上のサービスに対応

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp アプリ側のAPI連携ニーズも拡大 HubSpotアプリマーケットプレイスへの公式連携アプリ登録数が500件突破 freeeアプリストアの掲載アプリ数が 100を突破連携アプリケーション掲載数はリリースから約2年で4倍に https://prtimes.jp/main/html/rd/p/000000622.000006428.html https://www.hubspot.jp/company-news/hubspot-grows-platform-ecosystem-to-500-apps-20200728

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp スケールを阻害する要因は「密結合」密結合とは、細分化された個々のコンポーネント同士が密接に結びついている状態のことである。密結合状態のシステムでは、緊密で高速な動作が可能となっているが、一方のコンポーネントが異常をきたすと、他方のコンポーネントがその影響を受けてしまう。そのため密結合のシステムでは、保守や部品の交換などに際して密接な連携を顧慮する必要がある。密結合はマルチプロセッサシステムのようなハードウェア的なものから、アプリケーションソフトのようなソフトウェア的なものまで、幅広く見られる状態である。 https://japan.zdnet.com/glossary/exp/%E5%AF%86%E7%B5%90%E5%90%88/?s=4 APIへの追従に他のモジュールが影響を受けやすいとメンテナンスコストの増加→スケールを阻害

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp プラグインA 担当プラグインB 担当プラグインC 担当 Sync チームビジネスロジックチームと各プラグインチームが独立して開発・ビルド・テスト・リリース Sync Logic Module Plugin A Module Plugin B Module Plugin C Module Sync Main Module ※実際にはもうちょっと細分化してます。

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 改めて REST ってなんだっけ？ REST = Representational State Transfer ＞Representational State Transfer (REST) は、ウェブのような分散ハイパーメディアシステムのためのソフトウェアアーキテクチャのスタイルのひとつである。引用元：Wikipedia REST（https://ja.wikipedia.org/wiki/REST）

Slide 28

Slide 28 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp Web API を REST たらしめる“原則“（≠規約） • Stateless：ステートレスなクライアント/サーバプロトコル • Uniform Interface：すべての情報（リソース）に適用できるHTTPメソッドの定義 • Addressability：リソースを一意に識別する「汎用的な構文（URL）」の定義 • Connectability：アプリケーションの情報と状態遷移の両方を扱うことができる「ハイパーメディア（リソースリンク）の使用」上記の原則に従っているアーキテクチャを REST ful と言ったりするがあくまで “原則“ であり ”規約” ではない！

Slide 29

Slide 29 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 例えば「Salesforce」の「REST API」実体はSOQLというSalesforce内部での独自規格のSQLを発行するAPI https://developer.salesforce.com/docs/atlas.ja-jp.api_rest.meta/api_rest/resources_query.htm

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 同じ OAuth 2.0 でも例えば Refresh Token の扱いが違ったり POST /{tenant}/oauth2/v2.0/token HTTP/1.1 Host: https://login.microsoftonline.com Content-Type: application/x-www-form-urlencoded client_id=XXXX &scope=https%3A%2F%2Fgraph.microsoft.com%2Fmail.read &refresh_token=OAAABXXXX... &grant_type=refresh_token &client_secret=sampleCredentia1s { "access_token": "XXXXX...", "token_type": "Bearer", "expires_in": 3599, "scope": "https%3A%2F%2Fgraph.microsoft.com%2Fmail.read", "refresh_token": "XXXX...", "id_token": "XXXXX.XXX...", } POST /token HTTP/1.1 Host: oauth2.googleapis.com Content-Type: application/x-www-form-urlencoded client_id=your_client_id& client_secret=your_client_secret& refresh_token=refresh_token& grant_type=refresh_token { "access_token": "1/fFAGRNJru1FTz70BzhT3Zg", "expires_in": 3920, "scope": "https://www.googleapis.com/auth/drive.metadata.readonly", "token_type": "Bearer" } https://docs.microsoft.com/ja-jp/azure/active-directory/develop/v2- oauth2-auth-code-flow#refresh-the-access-token https://developers.google.com/identity/protocols/oauth2/web- server#offline Azure AD OAuth 2.0 Google Cloud Platform OAuth 2.0

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 認証方法・クエリパラメータデザインレスポンスフォーマット含め全面刷新 POST /Orders/2013-09- 01/?AWSAccessKeyId=AKIAIKW5JHOTOOWSF43A&Action=List Orders&LastUpdatedAfter=1969-12- 31T15%3A00%3A00Z&MWSAuthToken=amzn.mws.XXX&Marke tplaceId.Id.1=A1VC38T7YXB528&SellerId=A1WD8M4EQL9XVH& Signature=XXXXX&SignatureMethod=HmacSHA256&Signatur eVersion=2&Timestamp=2020-10- 02T00%3A27%3A20Z&Version=2013-09-01 HTTP/1.1 Host: mws.amazonservices.jp Accept: application/xml Content-Type: application/xml 2018-08- 17T14:59:59Z StandardOrder 2018-08- 15T09:59:55.270Z GET /orders/v0/orders?MarketplaceIds=A1VC38T7YXB528& CreatedAfter=2021-08-09 HTTP/1.1 Host: sellingpartnerapi-fe.amazon.com Accept: application/json Authorization:****** x-amz-access-token: XXXXX x-amz-date: 20210809T073105Z x-amz-security-token: XXXXX { "payload": { "Orders": [ { "NumberOfItemsUnshipped": 0, "BuyerInfo": {}, "IsReplacementOrder": "false", "IsSoldByAB": false, "AmazonOrderId": "503-9993250-1405404", "LatestShipDate": "2018-08-17T14:59:59Z", "EarliestShipDate": "2018-08-15T15:00:00Z MWS API Selling Partner API

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 例えば、Interfaceクラスにどのようなメソッドを定義するのか？ interface SampleInterface { void Create(Parameter param); void Update(String id, Parameter param); void Delete(String id); Record GetRecord(String id); List GetRecords(Query query); } 返り値・引数のデザインはどうする？変更した場合、API全部の実装に手を入れ直さないといけないの？どこまで機能をサポートする？

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp JDBCを採用している理由 • RESTのようなゆるい規格ではない。スタンダードかつ認識の齟齬が発生しない、手続きがきまっている規格である。 • クライアント側は汎用的な JDBC API の仕様のみを意識して実装できる。使い慣れたクエリ言語、接続定義が利用できる。 • 「APIの振る舞いを読み取るためのAPIの存在」つまり「Metadata」を定義でき、扱うことができる。 • 独立した利用・動作確認が安易かつ横断的なテスタビリティを確保しやすい。 • CData Sync というRDBライクなデータを扱う製品に向いている。

Slide 52

Slide 52 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp クライアントはAPIの複雑性・不安定性を意識しない APIとのやり取りをJDBCに一任し、データセットを受け取るビジネスロジックレイヤーは JDBCを通じて SQLをリクエストするだけ JDBCレイヤーが APIリクエスト・レスポンスの解析を担う SELECT [Id],[Name] FROM [Customers] GET /customers? $select=id,name Authorization: Basic XXXX Accept: application/json { [“id”:1,”name”:”Hello”], [“id”:2,”name”:”World”] } Id Name 1 Hello 2 World

Slide 53

Slide 53 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp ? Web API HTTP JSON カラムは？型は？桁数は？何個リソースがあるの？どんなリソースがあるの？フィルターやページングはどうすればいいの？どんなHTTPリクエストをすればいいの？ GET? POST? 認証方式は？ Metadataが無いとクライアントはどうやって APIの多様さを解釈すればいいかわからない Service

Slide 54

Slide 54 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp Metadataがあることでクライアントは APIの仕様の違いを意識せずAPIを扱うことができるテーブル定義としてリソースをリストアップ。ユーザーが動的にアクセスしたいリソースを選択できるプロパティ、型、桁数がMetadata から読み取れるため、マッピングやバリデーションが行いやすい認証に必要なアプローチ、プロパティ、必須条件を提供しAPI個別の認証方式の違いを抽象化

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp CData Sync 本体・プラグインは個別にデイリービルド独立してオフライン・オンラインテストも実施 Sync Logic Module Plugin A Module Plugin B Module Plugin C Module Sync Main Module プラグインでのテストの大まかな区分け・単体テスト：クラス・メソッド単位のテスト・結合テスト：API Request Builder の振る舞いのテスト・インターフェーステスト：JDBC API（SQL）を通じて生成されるAPIリクエストのテスト・オンラインテスト：実際にAPIを実行して正常性確認を行うテスト

Slide 57

Slide 57 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 内部のインターフェーステストの一例 JDBCとAPIリクエスト検証ファイルの組み合わせ @Test public void SampleTest() throws Exception { Class.forName("cdata.jdbc.kintone.KintoneDriver"); String testFile = "requestCheckFile.txt"; Connection conn = DriverManager.getConnection( "jdbc:kintone:User=myuseraccount;Password=mypassword;Url=http: //subdomain.domain.com;" + testFile ); Statement stat = conn.createStatement(); boolean ret = stat.execute( "SELECT RecordId,Revision FROM [顧客管理（営業支援パック）] " ); int row = 0; if (ret) { ResultSet rs = pstmt.getResultSet(); while (rs.next()) { if (row == 0) { assertEquals("3", resultSet.getString("RecordId")); assertEquals("10", resultSet.getString("Revision")); } } row++; } assertEquals(10, row); } RequestLines=3,11 | ValidateRequest=JSON | ResponseLines=16,16 | NextData=18 | ValidateUrl=https://XXXX.kintone.com/k/v1/apps.json | RequestHeaders=3,11 Host: XXXX.kintone.com Authorization: Basic XXXXXXXXX== Accept: application/json Accept-Encoding: gzip, deflate User-Agent: CData Data Provider Engine - www.cdata.com - Accepts: gzip Content-Type: application/json Content-Length: 13 X-Cybozu-Authorization: XXXXXXXXXX== X-HTTP-Method-Override: GET {"limit":100} {"apps":[{"appId":"3","code":"","name":“TimeCard","description":"

勤務時間を記録するアプリです。

","createdAt":"2016-10- 26T10:12:04.000Z","creator":{"code":"Administrator","name":"Administrato r"},"modifiedAt":"2017-01-29T10:50:44.000Z","modifier":{"code … リクエストのダミーファイルを作成しビジネスロジックを通じて生成される想定のSQL とAPIリクエストの整合性をチェックレスポンスの結果もResultSetとして検証

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp データ型はどうしようか毎回悩む・そもそもAPI仕様書に型情報が載っていないものが多い・通貨フィールドが数値型ではなく、円マーク付きで返ってくるので文字列になってしまうものも例：var x = “¥1,000,000”; ・データとしては数値的に扱いたいニーズがあるので、プラグインサイドで通貨マークの調整処理が必要

Slide 61

Slide 61 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp エラーハンドリングはどこまでインターフェース側でカバーするべきか・Error Code 404 のはずなのに 200 でエラーが返ってくることがあった。成功なのに失敗？・API Limit Error は待機するべきかリトライするべきか・ページネーションの最後がエラーになるがクライアントにとってはエラーにしないほうがいいものがあったり

Slide 62

Slide 62 text

Slide 63

Slide 63 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 実はリリース当初は密結合だった CData Sync ・基本的な製品思想は同じだがAPI側プラグインとロジックサイドが密結合・ユーザーは使いたいAPIの数だけソフトウェアをインストールする必要があった・ビジネスロジックサイドに修正が入ると、全データソース分のビルドを作り直し・各開発チームの担当レイヤーが入り乱れ

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

© 2021 CData Software Japan, LLC | www.cdata.com/jp 不安定かつ多様なAPIと連携しなければいけないでは、どのようにプロダクト・サービスとしてサポート・スケールするのか？ API追従の衝撃をビジネスロジック側に影響させないアーキテクチャ疎結合の「アーキテクチャ」それを実現し、かつAPIの変更・追従を隠蔽する「インターフェース」が鍵その一つのアプローチとして「JDBC」が活用できる各チームが独立して機能追加・アップデート・ビルド・テスト・リリースが行える体制

Slide 67

Slide 67 text

Slide 68

Slide 68 text