Slide 1
Slide 1 text
All rights reserved by Postman Inc
テストを手で書いてるヒマ
はない💢 そんなあなたに
AIテスト生成「Postbot」
草薙 昭彦
テクノロジーエバンジェリスト
#PostmanMeetup
Slide 2
Slide 2 text
テクノロジーエバンジェリスト
Postman 株式会社
草薙 昭彦
@nagix
@postman_japan
Slide 3
Slide 3 text
API テスト担当者の悩み
@postman_japan
● 複数の実装チームとのコミュニケーション
● ドキュメントの不足
● テストツール、環境の整備
● テストのバリエーション
○ ユニットテスト、統合テスト、シナリオテスト、
性能テスト、負荷テスト、…
● カバレッジの不足
● テスト要員の不足
Slide 4
Slide 4 text
API テスト担当者の悩み
@postman_japan
プロダクト
の品質
テストにかけた労力（＝コスト）
人手の作業
Slide 5
Slide 5 text
API テスト担当者の悩み
@postman_japan
プロダクト
の品質
テストにかけた労力（＝コスト）
AI の支援
人手の作業
Slide 6
Slide 6 text
Postbot とは
@postman_japan
生成 AI (Generative AI)
● 簡単に利用できる API のおかげで、ここ数ヶ月の間で非常に多くの注目を集めている
● AI にはたくさんのユニークな使い道があり、
Postman の開発チームでもしばらくの
間、その活用方法が検討されてきた
Postbot
● Postman ワークスペースにおける AI コンパニオン
● API のデバッグと理解、テストの迅速な記述、大量のデータの意味を理解する手助け
をしてくれる
Slide 7
Slide 7 text
Postbot の主な使い方
@postman_japan
● テストの生成を支援
● レスポンスを可視化
● コレクションのテストをまとめて生成
Slide 8
Slide 8 text
準備
@postman_japan
● Postman の検索窓で
「Postman Japan Workshop」
を検索
● 「Tokyo Meetup 2023.8」
コレクションを選択して、
「･･･」メニューから
「Create a fork」を選ぶ
Slide 9
Slide 9 text
準備
@postman_japan
● Fork collectionページで「Fork label」にフォークの名前、「 Workspace」にフォーク先のワークスペー
スを指定して「Fork Collection」ボタンを押す
Slide 10
Slide 10 text
テストの生成を支援
@postman_japan
「図書館」API リクエストの「Tests」を選択
Slide 11
Slide 11 text
テストの生成を支援
@postman_japan
「Add tests to this request」というサンプルのプロンプトをクリック
Slide 12
Slide 12 text
テストの生成を支援
@postman_japan
生成されたテストを確認
Slide 13
Slide 13 text
テストの生成を支援
@postman_japan
レスポンスの「Test Results」欄を確認
Slide 14
Slide 14 text
テストの生成を支援
@postman_japan
プロンプトを工夫してテストを追加してみましょう
Slide 15
Slide 15 text
レスポンスを可視化
@postman_japan
「Visualize response...」というサンプルのプロンプトをクリック
Slide 16
Slide 16 text
レスポンスを可視化
@postman_japan
リクエストの「Send」ボタンを押し、レスポンスの「 Body」欄の「Visualize」の項目を確認
Slide 17
Slide 17 text
レスポンスを可視化
@postman_japan
「気温」API リクエストの「Tests」欄に移動して「Visualize response...」サンプルを選び、さらに「 ...as
line chart」というプロンプトを追加
Slide 18
Slide 18 text
レスポンスを可視化
@postman_japan
リクエストの「Send」ボタンを押し、レスポンスの「 Body」欄の「Visualize」の項目を確認
Slide 19
Slide 19 text
コレクションのテストをまとめて生成
@postman_japan
コレクション一覧から「 Tokyo Meetup 2023.8」コレクションを右クリックし、「 Generate tests」を選択
Slide 20
Slide 20 text
コレクションのテストをまとめて生成
@postman_japan
右上の「Generate Tests」ボタンを押すと、AIがコレクション全体のテストを一括生成
Slide 21
Slide 21 text
コレクションのテストをまとめて生成
@postman_japan
テストスクリプトとテスト結果を確認
Slide 22
Slide 22 text
日本語は使えるの？
@postman_japan
Slide 23
Slide 23 text
テストの追加 (1)
@postman_japan
「レスポンスの配列の長さが10より大きいことを確認するテストを追加。」
pm.test("Response array length is greater than 10", function () {
var jsonData = pm.response.json();
pm.expect(jsonData).to.be.an('array').that.has.length.above(10);
});
Slide 24
Slide 24 text
テストの追加 (2)
@postman_japan
「レスポンスの配列の長さが10より大きいことを確認するテストを追加。説明は日本語で。」
pm.test("レスポンスの配列の長さが10より大きいことを確認する", function () {
var jsonData = pm.response.json();
pm.expect(jsonData).to.be.an('array').that.has.length.above(10);
});
Slide 25
Slide 25 text
チャートの表示
@postman_japan
「Visualize response as line chart. 最高気温と最低気温を表示。華氏を摂氏に変換。
日本語で表示。」
Slide 26
Slide 26 text
ダウンロードして無料でスタート！
https://www.postman.com/downloads/
デスクトップアプリ
● Windows
● Mac
● Linux
Web アプリ
● アカウント登録で同
じ機能をブラウザで
も利用できる
@postman_japan
Slide 27
Slide 27 text
ありがとうございました
@postman_japan