Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTでAutoML作ってみたかった
Search
yuki
June 25, 2023
Technology
0
910
ChatGPTでAutoML作ってみたかった
yuki
June 25, 2023
Tweet
Share
More Decks by yuki
See All by yuki
yukiCup 2023 Summer 開催報告
yururoi
0
2.1k
NLF 9th place solution
yururoi
0
760
鳥蛙コンペ - Team Exodia
yururoi
3
750
Other Decks in Technology
See All in Technology
AI駆動開発 with MixLeap Study【大阪支部 #3】
lycorptech_jp
PRO
0
280
alecthomas/kong はいいぞ
fujiwara3
6
1.2k
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
LLM開発を支えるエヌビディアの生成AIエコシステム
acceleratedmu3n
0
350
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
140
テキストからの実世界知能の実現に向けて
sumoai
0
110
完璧を目指さない小さく始める信頼性向上
kakehashi
PRO
0
120
FAST導入1年間のふりかえり〜現実を直視し、さらなる進化を求めて〜 / Review of the first year of FAST implementation
wooootack
1
210
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
2k
[MIRU25] NaiLIA: Multimodal Retrieval of Nail Designs Based on Dense Intent Descriptions
keio_smilab
PRO
1
160
みんなのSRE 〜チーム全員でのSRE活動にするための4つの取り組み〜
kakehashi
PRO
2
110
【CEDEC2025】現場を理解して実現!ゲーム開発を効率化するWebサービスの開発と、利用促進のための継続的な改善
cygames
PRO
0
510
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
72
4.9k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Six Lessons from altMBA
skipperchong
28
3.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
400
Docker and Python
trallard
45
3.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
The Language of Interfaces
destraynor
158
25k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Transcript
GPT4でAutoML作ってみたかった
自己紹介 yuki • 趣味 ◦ Kaggle ◦ バイク ◦ ステッカー配り
@yuki93753711
GPT4すごいですよね GPT4がリリースされすぐに、GPT4と一緒に簡単なWebアプリ作ってみました 簡単なWebアプリですが、企画、設計、実装、デプロイまでGPT4と一緒に作成し、コード に関しては1行も書かずに作成できました
GPT4とアプリを作る過程はこんな感じ コードは書いてくれるけど一度ではうまくいかないことが多いので、エラーを伝えて直してもらう のを繰り返す作業がほとんど エラー出てるよ! (コピペ) エラー直したよ コードコピペ エラー出力 ちゃんと動くコード 書いてくれや
これって人いらなくね? 人はChatGPTと実行環境それぞれの出力をコピペでつないでいるだけ。コードが期待する 動作をするようになるまでひたすらにコピペする作業。ChatGPTよりも単純労働 期待する動作さえ定義できれば人は必要ない! テストコードを事前に書いておいてテスト通るまで改善を繰り返させればいい コピペ コピペ
機械学習にも応用できない? アプリケーションの場合は期待する動作をするまで改善し続けたけど、評価関数がよくなる ように改善させつづけるということをやれば、人がやっている改善のサイクルをGPT4に任せら れないか? この実験やって 実験結果フィードバック モデルの評価方法を人が定義すれば GPT-4がモデルの精度改善を続けてくれるのでは?
ってことはkaggleにも応用できない? GPT4をディスカッションや公開notebook、類似コンペのディスカッションにアクセスさせれば 最強モデル作れないか? この実験やって 実験結果フィードバック ディスカッション 公開notebook これで、ゴールドメダル荒稼ぎできますわ!ガハハハ 参照
ためしにChatGPT使ってコンペやってみる いきなりGPT4のAPI使って実装するのも大変なので、ChatGPT(Web UI)でうまくい くかやってみる Playgroundコンペで試してみる
まずはsub作ってもらう コンペの概要、データセットの説明、データの先頭5行を与えてモデルを作るようにおねがい してみたところ、ちゃんとコード書いてくれた 一発でsub通るコード書いてきた GPT4 ちょろw
改善のサイクルまわさせてみる 予測モデルを改善してと繰り返し伝える。予測モデルを作る以外にも、データを確認するコ ードを書くこともできると伝える まかせとけや GPT4 実験結果を踏まえてより精度の良い モデルを作って! Submitファイル作るだけじゃなくて、 データ見ることもできるよ!
結果はイマイチ、、 以下の3パターンをひたすら繰り返すのみ。データの中身を見ることなく、同じことを何度も 繰り返す。実験結果を次の改善につなげているというより、少ない引き出しを全部ためして いる感じ アルゴリズム変えてみよう • LightGBM • XGBoost •
RandomForest • LogisticRegression 特徴量エンジニアリングしよう ハイパラ探索しよう! とにかくハイパラ探索や!! GPT4
少し工夫してみる 少しプロンプトを工夫してみたが結果はいつも同じ • 自らデータを見ようとしないので、最初に統計量や相関行列など、データが把握で きる情報をこちらから見せる データを見せる • 少ないパターンを永遠に繰り返すので、どんな手法が有効そうか最初に列挙させ て、それをためさせる 最初にとりえる手段を列挙させてみる
• 「あなたはKaggle Competitioin Grandmasterです」と伝えてみる GMであると伝える GPT4
GPT4を使ってkaggleをやるなら GPT4は実験結果をフィードバックして改善させるという使い方は厳しそう。kaggleで活用 するなら、過去のコンペのソリューション等を使いやすい形でまとめておいて、それをもとに subを作ってもらう使い方になるかな 過去の ソリューション等 蓄積 sub 本当はディスカッションを直接参照させてsub作 らせたいけど、ソリューションはハイコンテキストで
あることが多いので厳しそう GPT4 copilotや、 gpt-3.5-trubo-16k も活用できるかも?
作るところはまでたどり着かず、、、 現在動くものはできてません。。めんどくさがり屋なので、自動化できるものは全部自動化さ せたい!GPT4を使ったAutoML作りたい。(でも、似たようなものもうあってもおかしくない よな) だれか作ってこっそり教えて!