Tweet
Tweet

Slide 1

Slide 1 text

All rights reserved by Postman Inc テストを手で書いてるヒマ はない💢 そんなあなたに AIテスト生成「Postbot」 草薙 昭彦 テクノロジーエバンジェリスト #PostmanMeetup

Slide 2

Slide 2 text

テクノロジーエバンジェリスト Postman 株式会社 草薙 昭彦 @nagix @postman_japan

Slide 3

Slide 3 text

API テスト担当者の悩み @postman_japan ● 複数の実装チームとのコミュニケーション ● ドキュメントの不足 ● テストツール、環境の整備 ● テストのバリエーション ○ ユニットテスト、統合テスト、シナリオテスト、 性能テスト、負荷テスト、… ● カバレッジの不足 ● テスト要員の不足

Slide 4

Slide 4 text

API テスト担当者の悩み @postman_japan プロダクト の品質 テストにかけた労力（＝コスト） 人手の作業

Slide 5

Slide 5 text

API テスト担当者の悩み @postman_japan プロダクト の品質 テストにかけた労力（＝コスト） AI の支援 人手の作業

Slide 6

Slide 6 text

Postbot とは @postman_japan 生成 AI (Generative AI) ● 簡単に利用できる API のおかげで、ここ数ヶ月の間で非常に多くの注目を集めている ● AI にはたくさんのユニークな使い道があり、 Postman の開発チームでもしばらくの 間、その活用方法が検討されてきた Postbot ● Postman ワークスペースにおける AI コンパニオン ● API のデバッグと理解、テストの迅速な記述、大量のデータの意味を理解する手助け をしてくれる

Slide 7

Slide 7 text

Postbot の主な使い方 @postman_japan ● テストの生成を支援 ● レスポンスを可視化 ● コレクションのテストをまとめて生成

Slide 8

Slide 8 text

準備 @postman_japan ● Postman の検索窓で 「Postman Japan Workshop」 を検索 ● 「Tokyo Meetup 2023.8」 コレクションを選択して、 「･･･」メニューから 「Create a fork」を選ぶ

Slide 9

Slide 9 text

準備 @postman_japan ● Fork collectionページで「Fork label」にフォークの名前、「 Workspace」にフォーク先のワークスペー スを指定して「Fork Collection」ボタンを押す

Slide 10

Slide 10 text

テストの生成を支援 @postman_japan 「図書館」API リクエストの「Tests」を選択

Slide 11

Slide 11 text

テストの生成を支援 @postman_japan 「Add tests to this request」というサンプルのプロンプトをクリック

Slide 12

Slide 12 text

テストの生成を支援 @postman_japan 生成されたテストを確認

Slide 13

Slide 13 text

テストの生成を支援 @postman_japan レスポンスの「Test Results」欄を確認

Slide 14

Slide 14 text

テストの生成を支援 @postman_japan プロンプトを工夫してテストを追加してみましょう

Slide 15

Slide 15 text

レスポンスを可視化 @postman_japan 「Visualize response...」というサンプルのプロンプトをクリック

Slide 16

Slide 16 text

レスポンスを可視化 @postman_japan リクエストの「Send」ボタンを押し、レスポンスの「 Body」欄の「Visualize」の項目を確認

Slide 17

Slide 17 text

レスポンスを可視化 @postman_japan 「気温」API リクエストの「Tests」欄に移動して「Visualize response...」サンプルを選び、さらに「 ...as line chart」というプロンプトを追加

Slide 18

Slide 18 text

レスポンスを可視化 @postman_japan リクエストの「Send」ボタンを押し、レスポンスの「 Body」欄の「Visualize」の項目を確認

Slide 19

Slide 19 text

コレクションのテストをまとめて生成 @postman_japan コレクション一覧から「 Tokyo Meetup 2023.8」コレクションを右クリックし、「 Generate tests」を選択

Slide 20

Slide 20 text

コレクションのテストをまとめて生成 @postman_japan 右上の「Generate Tests」ボタンを押すと、AIがコレクション全体のテストを一括生成

Slide 21

Slide 21 text

コレクションのテストをまとめて生成 @postman_japan テストスクリプトとテスト結果を確認

Slide 22

Slide 22 text

日本語は使えるの？ @postman_japan

Slide 23

Slide 23 text

テストの追加 (1) @postman_japan 「レスポンスの配列の長さが10より大きいことを確認するテストを追加。」 pm.test("Response array length is greater than 10", function () { var jsonData = pm.response.json(); pm.expect(jsonData).to.be.an('array').that.has.length.above(10); });

Slide 24

Slide 24 text

テストの追加 (2) @postman_japan 「レスポンスの配列の長さが10より大きいことを確認するテストを追加。説明は日本語で。」 pm.test("レスポンスの配列の長さが10より大きいことを確認する", function () { var jsonData = pm.response.json(); pm.expect(jsonData).to.be.an('array').that.has.length.above(10); });

Slide 25

Slide 25 text

チャートの表示 @postman_japan 「Visualize response as line chart. 最高気温と最低気温を表示。華氏を摂氏に変換。 日本語で表示。」

Slide 26

Slide 26 text

ダウンロードして無料でスタート！ https://www.postman.com/downloads/ デスクトップアプリ ● Windows ● Mac ● Linux Web アプリ ● アカウント登録で同 じ機能をブラウザで も利用できる @postman_japan

Slide 27

Slide 27 text

ありがとうございました @postman_japan