20230923_Kaggler_meetup_LT_ya9do.pdf

Transcript

1. OSSのコード生成型AutoMLを使って 20件のPlaygroundを全自動で解いてみた 2023年9月23日 © 2023 Fujitsu Limited
2. 自己紹介 ◦名前：近藤康彦 (ya9do) ◦所属：富士通株式会社 人工知能研究所 © 2023 Fujitsu Limited ビットコイン価格予測 2 コンペの解法紹介 「～やってみた」系のLTが好きです https://youtu.be/c1WdEpssND8?t=7256s https://youtu.be/8zPjm9xVWzE?t=2751
3. ◦良い感じの動くコードが早く欲しい はじめに：ベースライン作成って結構大変 3 © 2023 Fujitsu Limited AutoMLで簡単にベースラインを作れないか、やってみた # Team Score 1 team A 0.12 2 team B 0.23 … … … … … … rf_benchmark.csv 0.56 Leader Board RandomForestも あるけれど、 ◦コード生成型AutoML ◦github.com/sapientml/sapientml
4. Titanicを例にした、SapientMLの使い方 ◦データセットとタスク設定を与えると、学習と予測を行うコードを生成 © 2023 Fujitsu Limited 4 出力 コード データ セット タスク 設定 SapientMLの呼び出し Sapient ML 出力例） カテゴリ列の前処理
5. コンペIDの指定だけで予測提出まで全自動化 (*1) 出力 ユーザー 入力 (*) 前提条件：ChatGPTとKaggle APIの設定、コンペの参加許諾 5 © 2023 Fujitsu Limited 43.90 コード スコア
6. コンペIDの指定だけで予測提出まで全自動化 (*1) 出力 ユーザー 入力 (*) 前提条件：ChatGPTとKaggle APIの設定、コンペの参加許諾 6 予測 CSV © 2023 Fujitsu Limited 43.90 コード スコア ：Kaggle API、 ：Playwright、 ：ChatGPT コンペ 情報 実行 ChatGPTで タスクを抽出 Sapient ML コード タスク 設定 データ セット Submit ❶ ❷ ❸
7. ベースラインとして使えそうか？ 7 © 2023 Fujitsu Limited 評価観点 スコア 計算 時間 Public Score コード生成時間 + 生成されたコードの実行時間 比較 対象 - rf_benchmark.csv - (参考) 他参加者の1st submit コンペティション Playground Series3のEpisode 1-20 例） https://www.kaggle.com/competitions/playground-series-s3e20 種類
8. 結果 © 2023 Fujitsu Limited 8 コンペ ティション SapientML スコア順位 rf_benchmark スコア順位 SapientML 計算時間(秒) s3e1 0.607 0.705 33 s3e2 0.283 0.284 6 s3e3 0.34 0.577 8 s3e4 0.624 0.587 103 s3e5 0.522 0.582 4 s3e6 0.234 0.3 21 s3e7 0.332 0.406 9 s3e8 0.636 0.681 109 s3e9 0.782 0.383 6 s3e10 0.509 0.331 103 s3e11 0.758 0.636 180 s3e12 0.726 0.096 4 s3e13 -1 -1 -1 s3e14 0.425 0.356 13 s3e15 -1 -1 -1 s3e16 0.339 0.575 44 s3e17 0.49 0.32 24 s3e18 -1 0.197 -1 s3e19 -1 0.399 -1 s3e20 0.425 0.672 32 ◦20件中16件の自動化に成功 ◦スコアはrf_benchmark.csv と同程度 ◦最大3分でコード生成 ・スコア順位は参加者数で除算し正規化 ・自動化失敗時は-1と記載
9. スコア比較(1/2) 9 スコア順位 参加者数で順位を除算し0-1に変換 凡例 •：SapientML ▪：rf_benchmark.csv ×：参加者の1st submission © 2023 Fujitsu Limited ◦順位とスコアの可視化 ◦横軸：左に行くほど優秀 ◦縦軸：コンペ指標によって優劣の方向は異なる スコア
10. 10 © 2023 Fujitsu Limited スコア比較(2/2) 全自動化 失敗 全自動化 失敗 全自動化 失敗 全自動化 失敗 凡例 •：SapientML ▪：rf_benchmark.csv ×：参加者の1st submission
11. まとめ ◦コード生成型AutoML “SapientML”を使ってPlaygroundを解いてみた ◦３分でrf_benchmark.csvと同程度のスコアを出すコードを生成 ⇒ ベースライン作成に役立つのではないか ◦公開しています ◦GitHub ：github.com/sapientml/sapientml ◦お試し環境 ：automl.jp.fujitsu.com/ja/page/howtouse 11 © 2023 Fujitsu Limited # Team Score 1 team A 0.12 … … … rf_benchmark.csv 0.56 良い感じの ベースラインに したい！ … SapientML 0.54 Leader Board … … …
12. Thank you © 2023 Fujitsu Limited
13. © 2023 Fujitsu Limited 13
14. 14 © 2023 Fujitsu Limited スコア比較 w/ 1st sub, w/ AutoGluon 全自動化 失敗 全自動化 失敗 全自動化 失敗 全自動化 失敗 凡例 •：SapientML ▪：rf_benchmark.csv •：AutoGluon ×：参加者の1st submission
15. 15 © 2023 Fujitsu Limited スコア比較 w/ LeaderBoard, w/ AutoGluon 全自動化 失敗 全自動化 失敗 全自動化 失敗 全自動化 失敗 凡例 •：SapientML ▪：rf_benchmark.csv •：AutoGluon ×：LeaderBoard