Share
Embed
Transcript
15 slides
-
自己紹介 ◦名前:近藤康彦 (ya9do) ◦所属:富士通株式会社 人工知能研究所 © 2023 Fujitsu Limited ビットコイン価格予測
2 コンペの解法紹介 「~やってみた」系のLTが好きです https://youtu.be/c1WdEpssND8?t=7256s https://youtu.be/8zPjm9xVWzE?t=2751 -
◦良い感じの動くコードが早く欲しい はじめに:ベースライン作成って結構大変 3 © 2023 Fujitsu Limited AutoMLで簡単にベースラインを作れないか、やってみた # Team
Score 1 team A 0.12 2 team B 0.23 … … … … … … rf_benchmark.csv 0.56 Leader Board RandomForestも あるけれど、 ◦コード生成型AutoML ◦github.com/sapientml/sapientml -
Titanicを例にした、SapientMLの使い方 ◦データセットとタスク設定を与えると、学習と予測を行うコードを生成 © 2023 Fujitsu Limited 4 出力 コード データ
セット タスク 設定 SapientMLの呼び出し Sapient ML 出力例) カテゴリ列の前処理 -
コンペIDの指定だけで予測提出まで全自動化 (*1) 出力 ユーザー 入力 (*) 前提条件:ChatGPTとKaggle APIの設定、コンペの参加許諾 5 ©
2023 Fujitsu Limited 43.90 コード スコア -
コンペIDの指定だけで予測提出まで全自動化 (*1) 出力 ユーザー 入力 (*) 前提条件:ChatGPTとKaggle APIの設定、コンペの参加許諾 6 予測
CSV © 2023 Fujitsu Limited 43.90 コード スコア :Kaggle API、 :Playwright、 :ChatGPT コンペ 情報 実行 ChatGPTで タスクを抽出 Sapient ML コード タスク 設定 データ セット Submit ❶ ❷ ❸ -
ベースラインとして使えそうか? 7 © 2023 Fujitsu Limited 評価観点 スコア 計算 時間
Public Score コード生成時間 + 生成されたコードの実行時間 比較 対象 - rf_benchmark.csv - (参考) 他参加者の1st submit コンペティション Playground Series3のEpisode 1-20 例) https://www.kaggle.com/competitions/playground-series-s3e20 種類 -
結果 © 2023 Fujitsu Limited 8 コンペ ティション SapientML スコア順位
rf_benchmark スコア順位 SapientML 計算時間(秒) s3e1 0.607 0.705 33 s3e2 0.283 0.284 6 s3e3 0.34 0.577 8 s3e4 0.624 0.587 103 s3e5 0.522 0.582 4 s3e6 0.234 0.3 21 s3e7 0.332 0.406 9 s3e8 0.636 0.681 109 s3e9 0.782 0.383 6 s3e10 0.509 0.331 103 s3e11 0.758 0.636 180 s3e12 0.726 0.096 4 s3e13 -1 -1 -1 s3e14 0.425 0.356 13 s3e15 -1 -1 -1 s3e16 0.339 0.575 44 s3e17 0.49 0.32 24 s3e18 -1 0.197 -1 s3e19 -1 0.399 -1 s3e20 0.425 0.672 32 ◦20件中16件の自動化に成功 ◦スコアはrf_benchmark.csv と同程度 ◦最大3分でコード生成 ・スコア順位は参加者数で除算し正規化 ・自動化失敗時は-1と記載 -
スコア比較(1/2) 9 スコア順位 参加者数で順位を除算し0-1に変換 凡例 •:SapientML ▪:rf_benchmark.csv ×:参加者の1st submission ©
2023 Fujitsu Limited ◦順位とスコアの可視化 ◦横軸:左に行くほど優秀 ◦縦軸:コンペ指標によって優劣の方向は異なる スコア -
10 © 2023 Fujitsu Limited スコア比較(2/2) 全自動化 失敗 全自動化 失敗
全自動化 失敗 全自動化 失敗 凡例 •:SapientML ▪:rf_benchmark.csv ×:参加者の1st submission -
まとめ ◦コード生成型AutoML “SapientML”を使ってPlaygroundを解いてみた ◦3分でrf_benchmark.csvと同程度のスコアを出すコードを生成 ⇒ ベースライン作成に役立つのではないか ◦公開しています ◦GitHub :github.com/sapientml/sapientml ◦お試し環境
:automl.jp.fujitsu.com/ja/page/howtouse 11 © 2023 Fujitsu Limited # Team Score 1 team A 0.12 … … … rf_benchmark.csv 0.56 良い感じの ベースラインに したい! … SapientML 0.54 Leader Board … … … -
14 © 2023 Fujitsu Limited スコア比較 w/ 1st sub, w/
AutoGluon 全自動化 失敗 全自動化 失敗 全自動化 失敗 全自動化 失敗 凡例 •:SapientML ▪:rf_benchmark.csv •:AutoGluon ×:参加者の1st submission -
15 © 2023 Fujitsu Limited スコア比較 w/ LeaderBoard, w/ AutoGluon
全自動化 失敗 全自動化 失敗 全自動化 失敗 全自動化 失敗 凡例 •:SapientML ▪:rf_benchmark.csv •:AutoGluon ×:LeaderBoard