テストデータ生成支援ツールをChatGPTで作った話＋＠

トピック：SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究

Transcript

1. date: テストデータ生成支援ツール をChatGPTで作った話＋＠ 
 トピック：SQL性能改善、テストデータ生成、プロパティベーステスト、o1-mini、自由研究 
 2024/09/30 東郷

2. 性能改善したSQLの動作確認どうやってますか？ 背景
 • 確認準備の難しさ ◦ 元のSQLからテストパターンを網羅的に出す ▪ 生成AI使えば、まぁまぁいけそう ◦ 網羅的に出したテストパターンのデータの準備 ▪ それっぽい大量のデータ準備 ▪ 様々なデータパターンのデータ準備 ▪ 関連テーブルの関係を保ったデータの準備 🧐 テストデータの準備めっちゃ大変やん！
3. テストデータ生成言語を作って大量のデータを簡単に生成できるようにする コンセプト

4. • ChatGPTにPythonコードをJavaに置き換える依頼する ◦ コードが期待通りに動かない ◦ プロンプトに期待値を入れる ▪ 正しく期待値を理解した様子 • もう一度お願いする ◦ コードが期待通りに動かない ◦ 理由を説明させたところ原因は理解している • もう一度お願いする ◦ コードが期待通りに動かない。。ループ Python->Javaの移植で問題発生
 🧐
5. • もしかして理解はできるけど期待するコードを生成する能力 が足りていない？？ • GPT-4oモデルの能力の限界感、、 ◦ そんな時OpenAIから新しいモデルの発表 Python->Javaの移植で問題発生

6. o1の紹介文

7. 使ってみる
 コンセプト実装だけに集中。実装はo1-previewにおまかせ！
8. 完成間近で問題発生
 o1-preview の場合は週 50 クエリまで ＼(^o^)／オワタ
9. o1-miniの紹介文
 とりあえず使ってみる
10. できたもの
 https://github.com/kazuhiro-togo/test-data-generator
11. ChatGPT o1-preview, o1-mini
 結論：コーディングにはo1-mini使うで良さそう 利用制限 o1-preview：週50回 o1-mini：1日50回 https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/ o1-miniとo1-previewとGPT-4oのコーディング能力比較
12. • 実際のテーブルに対してDSL書こうとするとDDL見ながら書くので単調で辛い ◦ 対応案：生成AI使ってDDL読ませてそれに合うDSLを出力してもらうとか • どこまでランダムなデータにするかサジ加減に悩む ◦ 実際にあり得るデータとあり得そうなデータは違う ◦ テストデータの準備は通常の機能を通して作る必要があるのか 番外編：作った後の課題
 ランダムなデータの扱いめっちゃ悩むやん！ 🧐
13. プロパティベーステスト

14. プロパティベーステスト
 https://speakerdeck.com/twada/intro-to-property-based-testing
15. まとめ（個人的に生成AIを使って開発するときの良い点と注意点）
 良い点 • アイデアを形にしやすい • コンセプトに注力できる • 動くものがすぐできるのでモチベーションが維持しやすい • 失敗してもコンセプトは他で活かせることもある 注意点 • 「理解した」ように見えるけど「作れない」があり得る ◦ プロンプトで先に期待値を確認した後コード出力させても異なる 結果になる場合がある。 ▪ 理解能力が高くても生成能力が伴わない場合がある