20230923_Kaggler_meetup_LT_ya9do.pdf

Transcript

1. OSSのコード生成型AutoMLを使って
   20件のPlaygroundを全自動で解いてみた
   2023年9月23日
   © 2023 Fujitsu Limited
   

   View Slide

2. 自己紹介
   ○名前：近藤康彦 (ya9do)
   ○所属：富士通株式会社 人工知能研究所
   © 2023 Fujitsu Limited
   ビットコイン価格予測
   2
   コンペの解法紹介
   「～やってみた」系のLTが好きです
   https://youtu.be/c1WdEpssND8?t=7256s https://youtu.be/8zPjm9xVWzE?t=2751
   

   View Slide

3. ○良い感じの動くコードが早く欲しい
   はじめに：ベースライン作成って結構大変
   3 © 2023 Fujitsu Limited
   AutoMLで簡単にベースラインを作れないか、やってみた
   # Team Score
   1 team A 0.12
   2 team B 0.23
   … … …
   … … …
   rf_benchmark.csv 0.56
   Leader Board
   RandomForestも
   あるけれど、
   ○コード生成型AutoML
   ○github.com/sapientml/sapientml
   

   View Slide

4. Titanicを例にした、SapientMLの使い方
   ○データセットとタスク設定を与えると、学習と予測を行うコードを生成
   © 2023 Fujitsu Limited
   4
   出力
   コード
   データ
   セット
   タスク
   設定
   SapientMLの呼び出し
   Sapient
   ML
   出力例）
   カテゴリ列の前処理
   

   View Slide

5. コンペIDの指定だけで予測提出まで全自動化
   (*1)
   出力
   ユーザー
   入力
   (*) 前提条件：ChatGPTとKaggle APIの設定、コンペの参加許諾
   5 © 2023 Fujitsu Limited
   43.90
   コード スコア
   

   View Slide

6. コンペIDの指定だけで予測提出まで全自動化
   (*1)
   出力
   ユーザー
   入力
   (*) 前提条件：ChatGPTとKaggle APIの設定、コンペの参加許諾
   6
   予測
   CSV
   © 2023 Fujitsu Limited
   43.90
   コード スコア
   ：Kaggle API、 ：Playwright、 ：ChatGPT
   コンペ
   情報
   実行
   ChatGPTで
   タスクを抽出
   Sapient
   ML
   コード
   タスク
   設定
   データ
   セット Submit
   ❶
   ❷
   ❸
   

   View Slide

7. ベースラインとして使えそうか？
   7 © 2023 Fujitsu Limited
   評価観点
   スコア
   計算
   時間
   Public Score
   コード生成時間 +
   生成されたコードの実行時間
   比較
   対象
   - rf_benchmark.csv
   - (参考) 他参加者の1st submit
   コンペティション
   Playground Series3のEpisode 1-20
   例）
   https://www.kaggle.com/competitions/playground-series-s3e20
   種類
   

   View Slide

8. 結果
   © 2023 Fujitsu Limited
   8
   コンペ
   ティション
   SapientML
   スコア順位
   rf_benchmark
   スコア順位
   SapientML
   計算時間(秒)
   s3e1 0.607 0.705 33
   s3e2 0.283 0.284 6
   s3e3 0.34 0.577 8
   s3e4 0.624 0.587 103
   s3e5 0.522 0.582 4
   s3e6 0.234 0.3 21
   s3e7 0.332 0.406 9
   s3e8 0.636 0.681 109
   s3e9 0.782 0.383 6
   s3e10 0.509 0.331 103
   s3e11 0.758 0.636 180
   s3e12 0.726 0.096 4
   s3e13 -1 -1 -1
   s3e14 0.425 0.356 13
   s3e15 -1 -1 -1
   s3e16 0.339 0.575 44
   s3e17 0.49 0.32 24
   s3e18 -1 0.197 -1
   s3e19 -1 0.399 -1
   s3e20 0.425 0.672 32
   ○20件中16件の自動化に成功
   ○スコアはrf_benchmark.csv
   と同程度
   ○最大3分でコード生成
   ・スコア順位は参加者数で除算し正規化
   ・自動化失敗時は-1と記載
   

   View Slide

9. スコア比較(1/2)
   9
   スコア順位
   参加者数で順位を除算し0-1に変換
   凡例
   ●：SapientML
   ■：rf_benchmark.csv
   ×：参加者の1st submission
   © 2023 Fujitsu Limited
   ○順位とスコアの可視化
   ○横軸：左に行くほど優秀
   ○縦軸：コンペ指標によって優劣の方向は異なる
   スコア
   

   View Slide

10. 10 © 2023 Fujitsu Limited
    スコア比較(2/2)
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    凡例
    ●：SapientML
    ■：rf_benchmark.csv
    ×：参加者の1st submission
    

    View Slide

11. まとめ
    ○コード生成型AutoML “SapientML”を使ってPlaygroundを解いてみた
    ○３分でrf_benchmark.csvと同程度のスコアを出すコードを生成
    ⇒ ベースライン作成に役立つのではないか
    ○公開しています
    ○GitHub ：github.com/sapientml/sapientml
    ○お試し環境 ：automl.jp.fujitsu.com/ja/page/howtouse
    11 © 2023 Fujitsu Limited
    # Team Score
    1 team A 0.12
    … … …
    rf_benchmark.csv 0.56
    良い感じの
    ベースラインに
    したい！
    … SapientML 0.54
    Leader Board
    … … …
    

    View Slide

12. Thank you
    © 2023 Fujitsu Limited
    

    View Slide

13. © 2023 Fujitsu Limited
    13
    

    View Slide

14. 14 © 2023 Fujitsu Limited
    スコア比較 w/ 1st sub, w/ AutoGluon
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    凡例
    ●：SapientML
    ■：rf_benchmark.csv
    ●：AutoGluon
    ×：参加者の1st submission
    

    View Slide

15. 15 © 2023 Fujitsu Limited
    スコア比較 w/ LeaderBoard, w/ AutoGluon
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    全自動化
    失敗
    凡例
    ●：SapientML
    ■：rf_benchmark.csv
    ●：AutoGluon
    ×：LeaderBoard
    

    View Slide