マイクロサービスにおけるテスト自動化 with Karate / Microservices-Testing-Automation-with-Karate

1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
マイクロサービスにおけるテスト自動化 with Karate 2018/12/08 Acroquest Technology Co., Ltd. 鈴木貴典システムテスト自動化カンファレンス 2018

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
自己紹介 ◼ 所属 • Acroquest Technology Co., Ltd. ◼ 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ ◼ バックグラウンド • エンタープライズ／ミッションクリティカル • SEPG／開発／マネジメント • Java／Python 鈴木貴典シニアテクニカルアーキテクト Acro = 先端を quest = 探究する

Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3 テクノロジストチームとしてビジネスの革新的価値創出に挑戦するビジョン Acroquestの創り出す技術で地球を感動で進化させるミッション

「働きがいのある会社(GPTW)」ランキング(従業員25～99人部門) 1位を 3回受賞１位１位１位

はじめに Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 ◦：マイクロサービス × ：マイクロサービシズ ◦：Microservices × ：Microservice システムアーキテクチャのひとつで、ソフトウェアアプリケーションを独立して配置可能な小さなサービスとして開発し、それらを組み合わせて、ひとつのシステムを実現する手法。もしくは、そうして開発されたシステム自体のこと。

アジェンダ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6 ① What is Karate? ② なぜ Karate を導入することに至ったか？ ③ Karateを採用したポイント ④ Karate の高い利便性

What is Karate?

空手？

出典：BABYMETAL - KARATE (OFFICIAL) - YouTube KARATE？

Karate Web-Services Testing Made Simple.

Karate Web-Services Testing Made Simple. • WebサービスAPIのテストを自動化するオープンソースのテストフレームワーク • BDD（Behavior Driven Development）に属するもので、シナリオテストが可能 • Cucumberを元にしており、JavaVM上で実行できるようにしたもの（v0.9より、Cucmber依存はなくなっている） • Garkin記法で、テストシナリオを記述

Karate テストシナリオ

なぜ Karate を導入することに至ったか？

世の中は API-First の時代へ Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 14 • マルチデバイス対応へのニーズ増加 • バックエンド側は、 REST-APIで呼び出すアーキテクチャが当たり前になってきた

世の中は API-First の時代へ Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 15 • マイクロサービスアーキテクチャ採用増加 • システム間連携も REST-APIで実現 • API自体がサービスの仕様であり重要性が高まってきた

マイクロサービスは開発も大変だが、テストも大変出典：A Netflix Guide to Microservices

課題だったこと Copyright © Acroquest Technology Co., Ltd. All rights reserved.
17 テストは自動化もしてパスしていたのにシナリオテストしたら、エラーが多発サービスの依存関係が多くテストを自動化するのが困難テストエンジニアがテスト自動化するのは結構大変

課題だったこと（①APIのシナリオテスト） Copyright © Acroquest Technology Co., Ltd. All rights reserved.
18 ◦：API単体のテストはPASS テスト対象サービス A ×：シナリオで実行するとERROR テスト対象サービス A B

課題だったこと（②サービスの依存関係） Copyright © Acroquest Technology Co., Ltd. All rights reserved.
19 テスト対象サービスこれは簡単テスト対象サービスサービスA サービスB サービスC 実際はこうなる（大変）

課題だったこと（③テスト自動化エンジニア不足） Copyright © Acroquest Technology Co., Ltd. All rights reserved.
20 テストスキルも開発スキルもある人ってそうはいないですよね？

APIの整合性を保つのって、大変！

Karateを知ったキッカケ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
22

Karateを採用したポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved.
23 ③学習コストが低い • 直観的なテストケース記述 • テスト実行／エラー確認の容易性 • 新人でもハマらず導入 ①シナリオテストが可能 • 連続したテストケース • APIの応答値の利用 ②DSLで記述できる • プログラマでなくても作成できる • データとテストの分離

Karate の高い利便性

HTTP関連の標準対応負荷テストとの連携シンプルなテストケース記述テストダブル End-to-End テストプログラミング言語拡張

①シンプルなテストケース記述～シナリオの基本構成～ Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 26 Feature: sample karate test script Background: * url 'https://jsonplaceholder.typicode.com' Scenario: get all users and then get the first user by id Given path 'users' When method get Then status 200 And assert response.size() === 10 And assert response[0].id == 1 And match response[0] contains { id: 1, name: "Leanne Graham" } https://jsonplaceholder.typicode.com/users に対して GETメソッドでコールして HTTPステータス 200 であることをテストレスポンスの内容をテスト

①シンプルなテストケース記述～テスト実行結果レポート～ Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 27 ステップごとに実行結果が分かる実行時のデータの内容も分かる

①シンプルなテストケース記述～データ記述～ Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 28 # MultilineでのJSON指定 * def jsonData = """ [ {name: 'Bob‘, age: 2}, {name: 'Wild', age: 4}, {name: 'Nyan', age: 3} ] """ * match jsonData == [ {name:'Bob', age:2}, {name:'Wild', age:4}, {name:'Nyan', age:3}] # table指定 * table jsonAsTable | name | age | | 'Bob' | 2 | | 'Wild' | 4 | | 'Nyan' | 3 | * match jsonAsTable == [ {name:'Bob', age:2}, {name:'Wild', age:4}, {name:'Nyan', age:3}] Java開発者がうれしいヤツ一目で分かりやすい

①シンプルなテストケース記述～Fuzzy Matching～ Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 29 # present / notpresent * def test = {id: '001’, name: 'Bob'} * match test == {id: '001’, name: '#present’, age: '#notpresent'} # number * def test = {foo: 1} * match test == {foo: '#number'} # string * def test = {foo: 'test'} * match test == {foo: '#string'} # boolean * def test = {foo: true} * match test == {foo: '#boolean'} パラメータの有無判定パラメータの型判定

②HTTP関連の標準対応 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
30 対象コマンド HTTP url Path method status Request param header cookie form multipart Response responseStatus responseHeaders responseCookies responseTime responseTimeStamp responseBytes HTTP（REST）のテストで必要となる要素にはほとんど標準で対応しているテストケース作成の効率が良い！ * header Authorization = ‘xxxxxxxxxx’ Given path 'headers', token

③プログラミング言語拡張 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
31 * def greeter = function(name){ return 'hello ' + name } * assert greeter('Bob') == 'hello Bob' JavaScript が使える！何か複雑な処理や判定が必要になる場合でも独自関数で対応することが可能になる

③プログラミング言語拡張 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
32 * def dateStringToLong = """ function(s) { var SimpleDateFormat = Java.type('java.text.SimpleDateFormat'); var sdf = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSZ"); return sdf.parse(s).time; } """ * assert dateStringToLong("2016-12-24T03:39:21.081+0000") == 1482550761081 Java のクラスも実行できる！プロダクトコード／テストコードのクラスなどもテストで使うことができ、効率が上がる

34 テスト対象サービス解決できます。そう、Karateならね。テスト対象のAPI こうできるんです！（テストダブル）

35 @ignore Feature: Background: * def uuid = function(){ return java.util.UUID.randomUUID() + '' } Scenario: pathMatches('/v1/cats') * def responseStatus = 201 * def response = { id: '#(uuid())', name: 'Billie' } Scenario: pathMatches('/v1/cats/{uuid}') * def response = { id: '#(uuid())', name: 'Billie' } Scenario: pathMatches('/v1/dogs') * def responseStatus = 201 * def response = { id: '#(uuid())', name: 'Dummy' } Scenario: pathMatches('/v1/dogs/{uuid}') * def response = { id: '#(uuid())', name: 'Dummy' } テストダブルとして動作させる場合のKarateシナリオ

36 Cunsumer： APIを呼び出す側 Provider： APIを呼び出される側 Karateが、これらの代替、もしくは、間に入って、実行することができる

⑥E2E（End-to-End）テストでの利用 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
38 https://twitter.com/ptrthomas/status/1046459965668388866 WebDriverを利用してのブラウザ実行も可能（Se◦◦nium!?）シナリオを Karateの形式で記述 v0.9.0 New

さらに・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
39 ①REST-API／JSON 以外にも対応 • GraphQL • gRPC • WebSocket • バイナリリクエスト／レスポンス ②Karate UI • GUIで、ステップ実行／デバッグ可能 ③JUnit5サポート ④Dynamic Scenario Outline v0.9.0 New

一緒に先端を追及する仲間を募集しています！

マイクロサービスにおけるテスト自動化 with Karate / Microservices-...

マイクロサービスにおけるテスト自動化 with Karate / Microservices-Testing-Automation-with-Karate

More Decks by Takanori Suzuki

Other Decks in Technology

Featured

Transcript