生成AIを活用して、openapi ベースで設計したAPIを効率よくテストする手法を考えてみた/I thought of a method to efficiently test APIs designed based on OpenAPI by using generative AI

Slide 1

Slide 1 text

生成AIを活用して、openapi ベースで設計したAPI を効率よくテストする手法を考えてみた 2024/06/07　株式会社ワンキャリア高根沢光輔

Slide 2

Slide 2 text

ONE CAREER Inc . Copyright © ONE CAREER Inc. All Rights Reserved. 自己紹介 Career 趣味ひとこと 2 高根沢光輔 ONE CAREER for Engineer 開発チームテックリード 14年間のエンジニア活動を経て、ワンキャリアに新卒入社個人開発サービスの安定運用(k8s)、コスト最適化 (GCP)プログラミング、ゲーム(MMO/FPS) フルスタックにひたすらコード書く人間です。 *12,641 contributions in 2023(p0x0q)

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © ONE CAREER Inc. All Rights Reserved. 全体構成 10 2. プロンプトを構成方針：既存コードをベースに追加の　　　テストケースを追加してもらう・参照させるコードはトークン制約の都合で、「openapi-generatorのreq/resモデル」と「既存Integrationテストコード」のみに限定・token数は276k程度なのでgeminiに投げる　(gpt-4o = 128k limit, gemini= 1M limit)

Slide 11

Slide 11 text

Copyright © ONE CAREER Inc. All Rights Reserved. 全体構成 11 方針：既存コードをベースに追加の　　　テストケースを追加してもらう・参照させるコードはトークン制約の都合で、「openapi-generatorのreq/resモデル」と「既存Integrationテストコード」のみに限定・token数は276k程度なのでgeminiに投げる　(gpt-4o = 128k limit, gemini= 1M limit) 2. プロンプトを構成

Slide 12

Slide 12 text

Copyright © ONE CAREER Inc. All Rights Reserved. 全体構成 12 4. レスポンスを整形して_test.go ファイルを生成・gpt-4o、geminiともにJSONレスポンスに対応している。・geminiの場合は「Using this JSON schema: xxx Return a …」を使えばJSON 形式が内部的に強制されるよう。 ref: https://ai.google.dev/gemini-api/docs/ api-overview?hl=ja#json

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © ONE CAREER Inc. All Rights Reserved. 課題③：最適化 20 全てのコードを含めようとすると、2.5M tokensほどになるので省いている。無駄が多い＆品質が落ちてしまっている※1 今後の展望：Reranking API を使って関連のあるファイルのみフィルターしてみる ※1 実際に関連するファイルに絞ったら精度が良くなった（少なくとも型エラーは起きなくなった）