Inductive-bias Learning: The views expressed here are our own and do not necessarily reflect the views of Brainpad Inc. Any errors and inadequacies are our own. B7-5 30 (NLP2024) B7: 2024/3/13( ) 11:15-13:05

2 LLM LLM Inductive-bias Learning(IBL) IBL

3

4

In-context Learning In-context Learning(ICL) LLM [Brown20] (※ ) 5 [Brown20]”Language Models are Few-Shot Learners”, NeurIPS 2020 ※LLM Large Language Model Input Output 5 + 8 = 13 7 + 2 = 　 9 1 + 0 = 　1 3 + 4 = 　7 5 + 9 = 14 9 + 8 = 　 LLM 17 Prompt Prediction

In-context Learning LLM In-context Learning “ ” “ ” “ ” LLM 本研究では、“LLMがデータからどの程度論理関係を把握し、 その知識やルールを出力できるか”を明らかにすることを目指す In-context Learning 6

7 ICL [Chan22] ICL ICL [von Oswald23] Transformer ICL meta learning ICL [Garg22] 2 [Chan22]”Data Distributional Properties Drive Emergent In-Context Learning in Transformers”, NeurIPS 2022 [von Oswald23]”Transformers learn in-context by gradient descent.” ICML 2023 [Garg22]”What Can Transformers Learn In-Context? A Case Study of Simple Function Classes”, NeurIPS 2022

LLM ? 8 LLM LLM Inductive-bias Learning(IBL) IBL

9

Inductive-bias Learning Inductive-bias Learning(IBL) IBL LLM 10 IBLのための指示 x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　1 LLM def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y Prompt Prediction ※Inductive-bias Learning(IBL) ICL IBL ( )

与えられたデータをもとにラベルの0,1の予測を行うPythonコードを出力 　　※本検証では二値分類に焦点を当てているため 機械学習モデルは使わずに，データから予測するためのロジックを出力する 予測はラベルが1となる確率を出力する ---- {データセット} ※カラム名は含めない(カラム名の影響を受ける可能性があるため) ---- Pythoコードの出力形式の指定 Inductive-bias Learning IBL 11 ※

In-context Learning 12 IBL Python IBLのための指示 x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　1 def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y LLM Prompt Output( ) Inductive-bias Learning (IBL) Prompt LLM 1 Output( ) In-context Learning (ICL) x1　x2　y 1　3　0 2　4　1 7　1　0 5　2　0 8　7　1 4　9　

13

LLM gpt-4-0613 2023 6 13 gpt-4 Logistic Regression K-NN SVM Linear Kernel LLM 14 gpt-4-0613 https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo Logistic Regression https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html K-NN https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html SVM Linear Kernel https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html

Pseudo Dataset Moon Dataset 3 seed IBL IBL 30 ROC-AUC 15 Psuedo Datasets https://scikit-learn.org/stable/modules/generated/sklearn.datasets.make_classification.html Moon Datasets https://scikit-learn.org/stable/modules/generated/sklearn.datasets.make_moons.html Moon Dataset

16

IBL IBL ROC-AUC 17 Pseudo Dataset Moon Dataset ※IBL ※ ※ IBL ※

Pseudo Dataset 18 ROC-AUC 0.914 “y” Python

Moon Dataset 19 ROC-AUC 0.915 “y” Python ※ROC-AUC P18

20

( ) 21 LLM LLM Inductive-bias Learning(IBL) IBL

22 ( , ) IBL LLM API LLM API

“GPT-4 Turbo” “Gemini ”,“Claude 3” LLM IBL LLM IBL Fine Tuning Fine Tuning AI AI 23 IBL OSS GitHub https://github.com/fuyu-quant/IBLM GPT-4 Turbo https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo Gemini https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/gemini Claude3 https://www.anthropic.com/api

Appendix

IBL 16 IBLのための指示 学習データの挿入 x1　x2　y 1　3　0 2　4　1 7　1　0 ・・・ def model(x1, x2): 　　if x1 > 4: 　　　　y = 1 　　else: 　　　　y = 0 　　return y LLM 10件の学習データ 20件の学習データ 300件の学習データ テストデータ ROC-AUC 30 10,20,30,40,50,100,200,300 1000 LLM seed 30

Inductive-bias Learning OSS https://github.com/fuyu-quant/IBLM