Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テストデータ生成支援ツールをChatGPTで作った話+@
Search
kazuhiro-togo
October 09, 2024
Programming
0
55
テストデータ生成支援ツールをChatGPTで作った話+@
トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究
kazuhiro-togo
October 09, 2024
Tweet
Share
More Decks by kazuhiro-togo
See All by kazuhiro-togo
PostmanでAPIレスポンスを見やすく!Visualize機能とPostbotの活用術
kazuhiro_togo
0
110
Postmanを活用して業務プロセスを改善するアイデアを紹介します!
kazuhiro_togo
0
340
ChatGPT x Postmanを活用してAPI定義〜テストワークフロー化までを5分で紹介してみる
kazuhiro_togo
2
310
Other Decks in Programming
See All in Programming
童醫院敏捷轉型的實踐經驗
cclai999
0
210
なぜ「共通化」を考え、失敗を繰り返すのか
rinchoku
1
630
PostgreSQLのRow Level SecurityをPHPのORMで扱う Eloquent vs Doctrine #phpcon #track2
77web
2
500
Result型で“失敗”を型にするPHPコードの書き方
kajitack
5
580
スタートアップの急成長を支えるプラットフォームエンジニアリングと組織戦略
sutochin26
0
2.3k
なんとなくわかった気になるブロックテーマ入門/contents.nagoya 2025 6.28
chiilog
1
260
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
120
Porting a visionOS App to Android XR
akkeylab
0
240
システム成長を止めない!本番無停止テーブル移行の全貌
sakawe_ee
1
160
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
2
140
ふつうの技術スタックでアート作品を作ってみる
akira888
0
400
LINEヤフー データグループ紹介
lycorp_recruit_jp
0
1.9k
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Site-Speed That Sticks
csswizardry
10
680
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Into the Great Unknown - MozCon
thekraken
39
1.9k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Transcript
date: テストデータ生成支援ツール をChatGPTで作った話+@ トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究 2024/09/30 東郷
性能改善したSQLの動作確認どうやってますか? 背景 • 確認準備の難しさ ◦ 元のSQLからテストパターンを網羅的に出す ▪ 生成AI使えば、まぁまぁいけそう ◦ 網羅的に出したテストパターンのデータの準備
▪ それっぽい大量のデータ準備 ▪ 様々なデータパターンのデータ準備 ▪ 関連テーブルの関係を保ったデータの準備 🧐 テストデータの準備めっちゃ大変やん!
テストデータ生成言語を作って大量のデータを簡単に生成できるようにする コンセプト
• ChatGPTにPythonコードをJavaに置き換える依頼する ◦ コードが期待通りに動かない ◦ プロンプトに期待値を入れる ▪ 正しく期待値を理解した様子 • もう一度お願いする
◦ コードが期待通りに動かない ◦ 理由を説明させたところ原因は理解している • もう一度お願いする ◦ コードが期待通りに動かない。。ループ Python->Javaの移植で問題発生 🧐
• もしかして理解はできるけど期待するコードを生成する能力 が足りていない?? • GPT-4oモデルの能力の限界感、、 ◦ そんな時OpenAIから新しいモデルの発表 Python->Javaの移植で問題発生
o1の紹介文
使ってみる コンセプト実装だけに集中。実装はo1-previewにおまかせ!
完成間近で問題発生 o1-preview の場合は週 50 クエリまで \(^o^)/オワタ
o1-miniの紹介文 とりあえず使ってみる
できたもの https://github.com/kazuhiro-togo/test-data-generator
ChatGPT o1-preview, o1-mini 結論:コーディングにはo1-mini使うで良さそう 利用制限 o1-preview:週50回 o1-mini:1日50回 https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/ o1-miniとo1-previewとGPT-4oのコーディング能力比較
• 実際のテーブルに対してDSL書こうとするとDDL見ながら書くので単調で辛い ◦ 対応案:生成AI使ってDDL読ませてそれに合うDSLを出力してもらうとか • どこまでランダムなデータにするかサジ加減に悩む ◦ 実際にあり得るデータとあり得そうなデータは違う ◦ テストデータの準備は通常の機能を通して作る必要があるのか
番外編:作った後の課題 ランダムなデータの扱いめっちゃ悩むやん! 🧐
プロパティベーステスト
プロパティベーステスト https://speakerdeck.com/twada/intro-to-property-based-testing
まとめ(個人的に生成AIを使って開発するときの良い点と注意点) 良い点 • アイデアを形にしやすい • コンセプトに注力できる • 動くものがすぐできるのでモチベーションが維持しやすい • 失敗してもコンセプトは他で活かせることもある
注意点 • 「理解した」ように見えるけど「作れない」があり得る ◦ プロンプトで先に期待値を確認した後コード出力させても異なる 結果になる場合がある。 ▪ 理解能力が高くても生成能力が伴わない場合がある