Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テストデータ生成支援ツールをChatGPTで作った話+@
Search
kazuhiro-togo
October 09, 2024
Programming
0
59
テストデータ生成支援ツールをChatGPTで作った話+@
トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究
kazuhiro-togo
October 09, 2024
Tweet
Share
More Decks by kazuhiro-togo
See All by kazuhiro-togo
PostmanでAPIレスポンスを見やすく!Visualize機能とPostbotの活用術
kazuhiro_togo
0
110
Postmanを活用して業務プロセスを改善するアイデアを紹介します!
kazuhiro_togo
0
350
ChatGPT x Postmanを活用してAPI定義〜テストワークフロー化までを5分で紹介してみる
kazuhiro_togo
2
310
Other Decks in Programming
See All in Programming
Amazon RDS 向けに提供されている MCP Server と仕組みを調べてみた/jawsug-okayama-2025-aurora-mcp
takahashiikki
1
130
プロパティベーステストによるUIテスト: LLMによるプロパティ定義生成でエッジケースを捉える
tetta_pdnt
0
5k
@Environment(\.keyPath)那么好我不允许你们不知道! / atEnvironment keyPath is so good and you should know it!
lovee
0
130
知っているようで知らない"rails new"の世界 / The World of "rails new" You Think You Know but Don't
luccafort
PRO
1
190
より安全で効率的な Go コードへ: Protocol Buffers Opaque API の導入
shwatanap
3
830
プロポーザル駆動学習 / Proposal-Driven Learning
mackey0225
2
1.3k
そのAPI、誰のため? Androidライブラリ設計における利用者目線の実践テクニック
mkeeda
2
3.5k
Swift Updates - Learn Languages 2025
koher
2
520
機能追加とリーダー業務の類似性
rinchoku
2
1.4k
HTMLの品質ってなんだっけ? “HTMLクライテリア”の設計と実践
unachang113
4
3k
Platformに“ちょうどいい”責務ってどこ? 関心の熱さにあわせて考える、責務分担のプラクティス
estie
1
230
個人開発で徳島大学生60%以上の心を掴んだアプリ、そして手放した話
akidon0000
1
160
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Balancing Empowerment & Direction
lara
3
630
Unsuck your backbone
ammeep
671
58k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Thoughts on Productivity
jonyablonski
70
4.8k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
date: テストデータ生成支援ツール をChatGPTで作った話+@ トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究 2024/09/30 東郷
性能改善したSQLの動作確認どうやってますか? 背景 • 確認準備の難しさ ◦ 元のSQLからテストパターンを網羅的に出す ▪ 生成AI使えば、まぁまぁいけそう ◦ 網羅的に出したテストパターンのデータの準備
▪ それっぽい大量のデータ準備 ▪ 様々なデータパターンのデータ準備 ▪ 関連テーブルの関係を保ったデータの準備 🧐 テストデータの準備めっちゃ大変やん!
テストデータ生成言語を作って大量のデータを簡単に生成できるようにする コンセプト
• ChatGPTにPythonコードをJavaに置き換える依頼する ◦ コードが期待通りに動かない ◦ プロンプトに期待値を入れる ▪ 正しく期待値を理解した様子 • もう一度お願いする
◦ コードが期待通りに動かない ◦ 理由を説明させたところ原因は理解している • もう一度お願いする ◦ コードが期待通りに動かない。。ループ Python->Javaの移植で問題発生 🧐
• もしかして理解はできるけど期待するコードを生成する能力 が足りていない?? • GPT-4oモデルの能力の限界感、、 ◦ そんな時OpenAIから新しいモデルの発表 Python->Javaの移植で問題発生
o1の紹介文
使ってみる コンセプト実装だけに集中。実装はo1-previewにおまかせ!
完成間近で問題発生 o1-preview の場合は週 50 クエリまで \(^o^)/オワタ
o1-miniの紹介文 とりあえず使ってみる
できたもの https://github.com/kazuhiro-togo/test-data-generator
ChatGPT o1-preview, o1-mini 結論:コーディングにはo1-mini使うで良さそう 利用制限 o1-preview:週50回 o1-mini:1日50回 https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/ o1-miniとo1-previewとGPT-4oのコーディング能力比較
• 実際のテーブルに対してDSL書こうとするとDDL見ながら書くので単調で辛い ◦ 対応案:生成AI使ってDDL読ませてそれに合うDSLを出力してもらうとか • どこまでランダムなデータにするかサジ加減に悩む ◦ 実際にあり得るデータとあり得そうなデータは違う ◦ テストデータの準備は通常の機能を通して作る必要があるのか
番外編:作った後の課題 ランダムなデータの扱いめっちゃ悩むやん! 🧐
プロパティベーステスト
プロパティベーステスト https://speakerdeck.com/twada/intro-to-property-based-testing
まとめ(個人的に生成AIを使って開発するときの良い点と注意点) 良い点 • アイデアを形にしやすい • コンセプトに注力できる • 動くものがすぐできるのでモチベーションが維持しやすい • 失敗してもコンセプトは他で活かせることもある
注意点 • 「理解した」ように見えるけど「作れない」があり得る ◦ プロンプトで先に期待値を確認した後コード出力させても異なる 結果になる場合がある。 ▪ 理解能力が高くても生成能力が伴わない場合がある