ChatGPTとKarateで実現するシン・BDD / Realizing New BDD through ChatGPT and Karate

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

「働きがいのある会社(GPTW)」ランキング(従業員25～99人部門) 1位を 3回受賞１位１位１位

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Karateによるテスト実行＋実行結果 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 java -jar karate.jar my-test.feature java -jar karate.jar some/folder https://karatelabs.github.io/karate/karate-netty/#standalone-jar テスト実行結果のHTMLレポートも分かりやすい単一のバイナリだけで実行可能単一のKarateシナリオを実行複数のKarateシナリオをまとめて実行

Slide 9

Slide 9 text

Karate を選択したポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 ① テスト対象のカバーの広さ ⚫ 様々なAPIに対応 • REST-API JSON, YAML, XML, Text, CSV, Bytes • GraphQL • WebSockets • gRPC ⚫ APIモック（テストダブル） ⚫ 性能テスト ⚫ UIテスト ② 柔軟なDSLでのテストシナリオ ⚫ API単発ではなくシナリオテストが可能 ⚫ シナリオを分割して再利用なども可能 ⚫ Request／Response、 Assert処理に対する豊富な機能群 ⚫ Java／JavaScriptとの連係 ③ 学習コストが低い ⚫ 直感的なテストケースの記述 • 新人でもハマらず導入できている事例多数 ⚫ プログラマでなくても作成できる ⚫ デバッグ可能 ⚫ 分かりやすい実行結果レポート

Slide 10

Slide 10 text

Karateの主な機能 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 ① シンプルなテストケース記述 ② ローコードスキーマ ③ データ駆動テスト対応 ④ プログラミング言語拡張 ⑤ テストダブル ⑥ IDEサポート • シナリオ定義／シナリオ再利用 • 分かりやすいテスト実行結果レポート • HTTP標準サポート • Assertion • Fuzzy Matching • テストデータとテストシナリオの分離 • Loop処理 • JavaScript関数の呼び出し • Javaコードの呼び出し • APIのモック化 • VS Code プラグイン • IntelliJ プラグイン • デバッグなども可能

Slide 11

Slide 11 text

①シンプルなテストケース記述 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 Feature: cats end-point Background: * url demoBaseUrl * configure logPrettyRequest = true * configure logPrettyResponse = true Scenario: create and retrieve a cat # create a new cat Given path 'cats’ And request { name: 'Billie' } When method post Then status 200 And match response == {id:'#number', name:'Billie'} * def id = response.id シナリオの開始リクエストの定義（Given）＋送信（When）レスポンスの確認（Then） →Assert処理

Slide 12

Slide 12 text

①シンプルなテストケース記述 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 Feature: cats end-point Background: * url demoBaseUrl * configure logPrettyRequest = true * configure logPrettyResponse = true Scenario: create and retrieve a cat # create a new cat Given path 'cats’ And request { name: 'Billie' } When method post Then status 200 And match response == {id:'#number', name:'Billie'} * def id = response.id # get by id Given path 'cats’, id When method get Then status 200 And match response == {id:’#(id)', name:'Billie'} リクエストやレスポンスの内容を利用して、連続したAPIの呼び出しができる

Slide 13

Slide 13 text

②ローコード・スキーマ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 # match（一致） * match myJson == {a:'1', b:2} # match contains（含む） * def foo = {bar:1, baz:'hello', ban:'world'} * match foo contains {bar: 1} # パラメータの有無 * def test = {id:'001’, name:'Bob'} • match test == {id:'001’, name:'#present’, age:'#notpresent’} # 範囲 * def date = {month:3} • match date == {month:'#? _ > 0 && _ < 13’} # データの型 * def test = {foo:1, bar:‘baz’} * match test == {foo:'#number’, bar:’#string’} リクエストやレスポンス、アサーションの処理で必要となるスキーマの処理を、標準で多数サポートアサーション Fuzzy Matching

Slide 14

Slide 14 text

Slide 15

Slide 15 text

④プログラミング言語拡張 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 * def greeter = function(name){ return 'hello ' + name } * assert greeter('Bob') == 'hello Bob' JavaScript が使える！ * def dateStringToLong = """ function(s) { var SimpleDateFormat = Java.type('java.text.SimpleDateFormat'); var sdf = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSZ"); return sdf.parse(s).time; } """ * assert dateStringToLong("2016-12-24T03:39:21.081+0000") == 1482550761081 Java のクラスも実行できる！何か複雑な処理や判定が必要になる場合でも、独自関数で対応可能

Slide 16

Slide 16 text

Slide 17

Slide 17 text

⑥IDEサポート Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 VS Code IntelliJ ※ Karate Labs 公式プラグイン（一部有償） https://www.karatelabs.io/vs-code https://www.karatelabs.io/intellij IDEのプラグインを利用することで、効率的なテストケース作成が可能

Slide 18

Slide 18 text

Karate利用事例：SBペイメントサービス様 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 ■課題 ⚫ 40以上の決済サービスと連係しており、機能追加などを行う度に、繰り返しテストが必要なため、多大な手間がかかっていた。 ⚫ 自動化するためには、Web画面とAPIとを連携した試験が必要であった。 ■Karate導入効果 ⚫ 複数の決済サービスに対して常に自動テストを実行することができるようになった。 ⚫ Web画面とAPIを連携させるテストシナリオを実現することができた。 100以上のテストシナリオを自動化

Slide 19

Slide 19 text

Slide 20

Slide 20 text

ChatGPTでKarateのテストシナリオが作成できたら便利！ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 あなたは、Test Automation Tool の Karate を利用するテストエキスパートです。 Karateで、以下を行うテストシナリオを生成してください。 # Given - HTTPリクエストを送信する。 - BodyはJSON形式とする。 # When - POSTで送信する。 # Then - HTTPステータス200であること。 - レスポンスに、データが10件あること。 - レスポンスで、ID = 100 のデータが含まれること。 ChatGPT プロンプト

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text