20230923_Kaggler_meetup_LT_ya9do.pdf

by ya9do

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

○良い感じの動くコードが早く欲しいはじめに：ベースライン作成って結構大変 3 © 2023 Fujitsu Limited AutoMLで簡単にベースラインを作れないか、やってみた # Team Score 1 team A 0.12 2 team B 0.23 … … … … … … rf_benchmark.csv 0.56 Leader Board RandomForestもあるけれど、 ○コード生成型AutoML ○github.com/sapientml/sapientml

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

コンペIDの指定だけで予測提出まで全自動化 (*1) 出力ユーザー入力 (*) 前提条件：ChatGPTとKaggle APIの設定、コンペの参加許諾 6 予測 CSV © 2023 Fujitsu Limited 43.90 コードスコア：Kaggle API、：Playwright、：ChatGPT コンペ情報実行 ChatGPTでタスクを抽出 Sapient ML コードタスク設定データセット Submit ❶ ❷ ❸

Slide 7

Slide 7 text

ベースラインとして使えそうか？ 7 © 2023 Fujitsu Limited 評価観点スコア計算時間 Public Score コード生成時間 + 生成されたコードの実行時間比較対象 - rf_benchmark.csv - (参考) 他参加者の1st submit コンペティション Playground Series3のEpisode 1-20 例） https://www.kaggle.com/competitions/playground-series-s3e20 種類

Slide 8

Slide 8 text

結果 © 2023 Fujitsu Limited 8 コンペティション SapientML スコア順位 rf_benchmark スコア順位 SapientML 計算時間(秒) s3e1 0.607 0.705 33 s3e2 0.283 0.284 6 s3e3 0.34 0.577 8 s3e4 0.624 0.587 103 s3e5 0.522 0.582 4 s3e6 0.234 0.3 21 s3e7 0.332 0.406 9 s3e8 0.636 0.681 109 s3e9 0.782 0.383 6 s3e10 0.509 0.331 103 s3e11 0.758 0.636 180 s3e12 0.726 0.096 4 s3e13 -1 -1 -1 s3e14 0.425 0.356 13 s3e15 -1 -1 -1 s3e16 0.339 0.575 44 s3e17 0.49 0.32 24 s3e18 -1 0.197 -1 s3e19 -1 0.399 -1 s3e20 0.425 0.672 32 ○20件中16件の自動化に成功 ○スコアはrf_benchmark.csv と同程度 ○最大3分でコード生成・スコア順位は参加者数で除算し正規化・自動化失敗時は-1と記載

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

まとめ ○コード生成型AutoML “SapientML”を使ってPlaygroundを解いてみた ○３分でrf_benchmark.csvと同程度のスコアを出すコードを生成 ⇒ ベースライン作成に役立つのではないか ○公開しています ○GitHub ：github.com/sapientml/sapientml ○お試し環境：automl.jp.fujitsu.com/ja/page/howtouse 11 © 2023 Fujitsu Limited # Team Score 1 team A 0.12 … … … rf_benchmark.csv 0.56 良い感じのベースラインにしたい！ … SapientML 0.54 Leader Board … … …