Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テストデータ生成支援ツールをChatGPTで作った話+@
Search
kazuhiro-togo
October 09, 2024
Programming
0
56
テストデータ生成支援ツールをChatGPTで作った話+@
トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究
kazuhiro-togo
October 09, 2024
Tweet
Share
More Decks by kazuhiro-togo
See All by kazuhiro-togo
PostmanでAPIレスポンスを見やすく!Visualize機能とPostbotの活用術
kazuhiro_togo
0
110
Postmanを活用して業務プロセスを改善するアイデアを紹介します!
kazuhiro_togo
0
340
ChatGPT x Postmanを活用してAPI定義〜テストワークフロー化までを5分で紹介してみる
kazuhiro_togo
2
310
Other Decks in Programming
See All in Programming
AI時代のソフトウェア開発を考える(2025/07版) / Agentic Software Engineering Findy 2025-07 Edition
twada
PRO
68
21k
来たるべき 8.0 に備えて React 19 新機能と React Router 固有機能の取捨選択とすり合わせを考える
oukayuka
2
910
「Cursor/Devin全社導入の理想と現実」のその後
saitoryc
0
770
iOS 26にアップデートすると実機でのHot Reloadができない?
umigishiaoi
0
120
今ならAmazon ECSのサービス間通信をどう選ぶか / Selection of ECS Interservice Communication 2025
tkikuc
21
3.9k
設計やレビューに悩んでいるPHPerに贈る、クリーンなオブジェクト設計の指針たち
panda_program
6
1.9k
初学者でも今すぐできる、Claude Codeの生産性を10倍上げるTips
s4yuba
16
10k
VS Code Update for GitHub Copilot
74th
2
620
GraphRAGの仕組みまるわかり
tosuri13
8
530
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
480
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
2
140
Flutterで備える!Accessibility Nutrition Labels完全ガイド
yuukiw00w
0
150
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
4 Signs Your Business is Dying
shpigford
184
22k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Faster Mobile Websites
deanohume
307
31k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Visualization
eitanlees
146
16k
Transcript
date: テストデータ生成支援ツール をChatGPTで作った話+@ トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究 2024/09/30 東郷
性能改善したSQLの動作確認どうやってますか? 背景 • 確認準備の難しさ ◦ 元のSQLからテストパターンを網羅的に出す ▪ 生成AI使えば、まぁまぁいけそう ◦ 網羅的に出したテストパターンのデータの準備
▪ それっぽい大量のデータ準備 ▪ 様々なデータパターンのデータ準備 ▪ 関連テーブルの関係を保ったデータの準備 🧐 テストデータの準備めっちゃ大変やん!
テストデータ生成言語を作って大量のデータを簡単に生成できるようにする コンセプト
• ChatGPTにPythonコードをJavaに置き換える依頼する ◦ コードが期待通りに動かない ◦ プロンプトに期待値を入れる ▪ 正しく期待値を理解した様子 • もう一度お願いする
◦ コードが期待通りに動かない ◦ 理由を説明させたところ原因は理解している • もう一度お願いする ◦ コードが期待通りに動かない。。ループ Python->Javaの移植で問題発生 🧐
• もしかして理解はできるけど期待するコードを生成する能力 が足りていない?? • GPT-4oモデルの能力の限界感、、 ◦ そんな時OpenAIから新しいモデルの発表 Python->Javaの移植で問題発生
o1の紹介文
使ってみる コンセプト実装だけに集中。実装はo1-previewにおまかせ!
完成間近で問題発生 o1-preview の場合は週 50 クエリまで \(^o^)/オワタ
o1-miniの紹介文 とりあえず使ってみる
できたもの https://github.com/kazuhiro-togo/test-data-generator
ChatGPT o1-preview, o1-mini 結論:コーディングにはo1-mini使うで良さそう 利用制限 o1-preview:週50回 o1-mini:1日50回 https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/ o1-miniとo1-previewとGPT-4oのコーディング能力比較
• 実際のテーブルに対してDSL書こうとするとDDL見ながら書くので単調で辛い ◦ 対応案:生成AI使ってDDL読ませてそれに合うDSLを出力してもらうとか • どこまでランダムなデータにするかサジ加減に悩む ◦ 実際にあり得るデータとあり得そうなデータは違う ◦ テストデータの準備は通常の機能を通して作る必要があるのか
番外編:作った後の課題 ランダムなデータの扱いめっちゃ悩むやん! 🧐
プロパティベーステスト
プロパティベーステスト https://speakerdeck.com/twada/intro-to-property-based-testing
まとめ(個人的に生成AIを使って開発するときの良い点と注意点) 良い点 • アイデアを形にしやすい • コンセプトに注力できる • 動くものがすぐできるのでモチベーションが維持しやすい • 失敗してもコンセプトは他で活かせることもある
注意点 • 「理解した」ように見えるけど「作れない」があり得る ◦ プロンプトで先に期待値を確認した後コード出力させても異なる 結果になる場合がある。 ▪ 理解能力が高くても生成能力が伴わない場合がある