Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テストデータ生成支援ツールをChatGPTで作った話+@
Search
kazuhiro-togo
October 09, 2024
Programming
0
59
テストデータ生成支援ツールをChatGPTで作った話+@
トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究
kazuhiro-togo
October 09, 2024
Tweet
Share
More Decks by kazuhiro-togo
See All by kazuhiro-togo
PostmanでAPIレスポンスを見やすく!Visualize機能とPostbotの活用術
kazuhiro_togo
0
110
Postmanを活用して業務プロセスを改善するアイデアを紹介します!
kazuhiro_togo
0
350
ChatGPT x Postmanを活用してAPI定義〜テストワークフロー化までを5分で紹介してみる
kazuhiro_togo
2
310
Other Decks in Programming
See All in Programming
アプリの "かわいい" を支えるアニメーションツールRiveについて
uetyo
0
280
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
430
もうちょっといいRubyプロファイラを作りたい (2025)
osyoyu
1
460
CJK and Unicode From a PHP Committer
youkidearitai
PRO
0
110
🔨 小さなビルドシステムを作る
momeemt
4
690
ProxyによるWindow間RPC機構の構築
syumai
3
1.2k
テストカバレッジ100%を10年続けて得られた学びと品質
mottyzzz
2
610
AI Coding Agentのセキュリティリスク:PRの自己承認とメルカリの対策
s3h
0
240
Flutter with Dart MCP: All You Need - 박제창 2025 I/O Extended Busan
itsmedreamwalker
0
150
testingを眺める
matumoto
1
140
アセットのコンパイルについて
ojun9
0
130
Updates on MLS on Ruby (and maybe more)
sylph01
1
180
Featured
See All Featured
Unsuck your backbone
ammeep
671
58k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
A Tale of Four Properties
chriscoyier
160
23k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Six Lessons from altMBA
skipperchong
28
4k
Speed Design
sergeychernyshev
32
1.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
For a Future-Friendly Web
brad_frost
180
9.9k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
Automating Front-end Workflow
addyosmani
1370
200k
Transcript
date: テストデータ生成支援ツール をChatGPTで作った話+@ トピック:SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究 2024/09/30 東郷
性能改善したSQLの動作確認どうやってますか? 背景 • 確認準備の難しさ ◦ 元のSQLからテストパターンを網羅的に出す ▪ 生成AI使えば、まぁまぁいけそう ◦ 網羅的に出したテストパターンのデータの準備
▪ それっぽい大量のデータ準備 ▪ 様々なデータパターンのデータ準備 ▪ 関連テーブルの関係を保ったデータの準備 🧐 テストデータの準備めっちゃ大変やん!
テストデータ生成言語を作って大量のデータを簡単に生成できるようにする コンセプト
• ChatGPTにPythonコードをJavaに置き換える依頼する ◦ コードが期待通りに動かない ◦ プロンプトに期待値を入れる ▪ 正しく期待値を理解した様子 • もう一度お願いする
◦ コードが期待通りに動かない ◦ 理由を説明させたところ原因は理解している • もう一度お願いする ◦ コードが期待通りに動かない。。ループ Python->Javaの移植で問題発生 🧐
• もしかして理解はできるけど期待するコードを生成する能力 が足りていない?? • GPT-4oモデルの能力の限界感、、 ◦ そんな時OpenAIから新しいモデルの発表 Python->Javaの移植で問題発生
o1の紹介文
使ってみる コンセプト実装だけに集中。実装はo1-previewにおまかせ!
完成間近で問題発生 o1-preview の場合は週 50 クエリまで \(^o^)/オワタ
o1-miniの紹介文 とりあえず使ってみる
できたもの https://github.com/kazuhiro-togo/test-data-generator
ChatGPT o1-preview, o1-mini 結論:コーディングにはo1-mini使うで良さそう 利用制限 o1-preview:週50回 o1-mini:1日50回 https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/ o1-miniとo1-previewとGPT-4oのコーディング能力比較
• 実際のテーブルに対してDSL書こうとするとDDL見ながら書くので単調で辛い ◦ 対応案:生成AI使ってDDL読ませてそれに合うDSLを出力してもらうとか • どこまでランダムなデータにするかサジ加減に悩む ◦ 実際にあり得るデータとあり得そうなデータは違う ◦ テストデータの準備は通常の機能を通して作る必要があるのか
番外編:作った後の課題 ランダムなデータの扱いめっちゃ悩むやん! 🧐
プロパティベーステスト
プロパティベーステスト https://speakerdeck.com/twada/intro-to-property-based-testing
まとめ(個人的に生成AIを使って開発するときの良い点と注意点) 良い点 • アイデアを形にしやすい • コンセプトに注力できる • 動くものがすぐできるのでモチベーションが維持しやすい • 失敗してもコンセプトは他で活かせることもある
注意点 • 「理解した」ように見えるけど「作れない」があり得る ◦ プロンプトで先に期待値を確認した後コード出力させても異なる 結果になる場合がある。 ▪ 理解能力が高くても生成能力が伴わない場合がある