Inductive-bias Learning: 大規模言語モデルによる予測モデルの生成

NLP2024で発表した資料です．LLMを使い機械学習モデルに匹敵する予測を行うことができるモデルをプログラミングのコードとして生成する研究です．

Transcript

1. Inductive-bias Learning: The views expressed here are our own and do not necessarily reflect the views of Brainpad Inc. Any errors and inadequacies are our own. B7-5 30 (NLP2024) B7: 2024/3/13( ) 11:15-13:05
2. 2 LLM LLM Inductive-bias Learning(IBL) IBL
5. In-context Learning In-context Learning(ICL) LLM [Brown20] (※ ) 5 [Brown20]”Language Models are Few-Shot Learners”, NeurIPS 2020 ※LLM Large Language Model Input Output 5 + 8 = 13 7 + 2 = 　 9 1 + 0 = 　1 3 + 4 = 　7 5 + 9 = 14 9 + 8 = 　 LLM 17 Prompt Prediction
6. In-context Learning LLM In-context Learning “ ” “ ” “ ” LLM 本研究では、“LLMがデータからどの程度論理関係を把握し、 その知識やルールを出力できるか”を明らかにすることを目指す In-context Learning 6
7. 7 ICL [Chan22] ICL ICL [von Oswald23] Transformer ICL meta learning ICL [Garg22] 2 [Chan22]”Data Distributional Properties Drive Emergent In-Context Learning in Transformers”, NeurIPS 2022 [von Oswald23]”Transformers learn in-context by gradient descent.” ICML 2023 [Garg22]”What Can Transformers Learn In-Context? A Case Study of Simple Function Classes”, NeurIPS 2022
8. LLM ? 8 LLM LLM Inductive-bias Learning(IBL) IBL
10. Inductive-bias Learning Inductive-bias Learning(IBL) IBL LLM 10 IBLのための指示 x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　1 LLM def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y Prompt Prediction ※Inductive-bias Learning(IBL) ICL IBL ( )
11. 与えられたデータをもとにラベルの0,1の予測を行うPythonコードを出力 　　※本検証では二値分類に焦点を当てているため 機械学習モデルは使わずに，データから予測するためのロジックを出力する 予測はラベルが1となる確率を出力する ---- {データセット} ※カラム名は含めない(カラム名の影響を受ける可能性があるため) ---- Pythoコードの出力形式の指定 Inductive-bias Learning IBL 11 ※
12. In-context Learning 12 IBL Python IBLのための指示 x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　1 def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y LLM Prompt Output( ) Inductive-bias Learning (IBL) Prompt LLM 1 Output( ) In-context Learning (ICL) x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　
14. LLM gpt-4-0613 2023 6 13 gpt-4 Logistic Regression K-NN SVM Linear Kernel LLM 14 gpt-4-0613 https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo Logistic Regression https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html K-NN https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html SVM Linear Kernel https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html
15. Pseudo Dataset Moon Dataset 3 seed IBL IBL 30 ROC-AUC 15 Psuedo Datasets https://scikit-learn.org/stable/modules/generated/sklearn.datasets.make_classification.html Moon Datasets https://scikit-learn.org/stable/modules/generated/sklearn.datasets.make_moons.html Moon Dataset
17. IBL IBL ROC-AUC 17 Pseudo Dataset Moon Dataset ※IBL ※ ※ IBL ※
18. Pseudo Dataset 18 ROC-AUC 0.914 “y” Python
19. Moon Dataset 19 ROC-AUC 0.915 “y” Python ※ROC-AUC P18
21. ( ) 21 LLM LLM Inductive-bias Learning(IBL) IBL
22. 22 ( , ) IBL LLM API LLM API
23. “GPT-4 Turbo” “Gemini ”,“Claude 3” LLM IBL LLM IBL Fine Tuning Fine Tuning AI AI 23 IBL OSS GitHub https://github.com/fuyu-quant/IBLM GPT-4 Turbo https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo Gemini https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/gemini Claude3 https://www.anthropic.com/api
24. Appendix
25. IBL 16 IBLのための指示 学習データの挿入 x1　x2　y 1　3　0 2　4　1 7　1　0 ・・・ def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y LLM 10件の学習データ 20件の学習データ 300件の学習データ テストデータ ROC-AUC 30 10,20,30,40,50,100,200,300 1000 LLM seed 30
26. Inductive-bias Learning OSS https://github.com/fuyu-quant/IBLM