卒論の概要スライド

卒業論文の内容を簡潔にまとめたものです。

Transcript

1. Transformer による生成に適したアルゴ リズムの定式化手法
2. c4h4kno4s@keio.jp 2 しかし、隠れた法則がアルゴリズム的なことも多い… 様々な自然数の隠れた法則を機械学習で見つけたい！ 四則演算、三角関数、指数関数で表すことは 先行研究から可能。 素数 2, 3, 5, 7, … 電子核の電子数 2, 8, 18, 32, … 原子の魔法数 2, 8, 20, 28, … 数列 フィボナッチ数列 𝟎, 𝟏, 𝟎, 𝟏, 𝟎, … 𝟎, 𝟎, 𝟎, 𝟏, 𝟐, 𝟑, 𝟒 … 数式 省略 アルゴリズム 記号が多くて 式も複雑… スッキリ！ 分かりやすい！ 例: E2E-SR[1] 数値データ 予測数式 E2E-SR 背景
3. c4h4kno4s@keio.jp 3 アルゴリズムを機械学習で生成させるのは難しい… → アルゴリズムをPRE式に直して学習させる PRE式: プログラムコードを5つの記号に変換してできる式(右表) 変換 変換前 変換記号 0 Z +1 S 配列参照 P 関数呼出 C 再帰呼出 R 変換表 プログラムコード PRE式 もし、機械学習でPRE式が生成できれば、数値データから生成アルゴリズムの特定が可能 コード化 生成規則が分かる！ 法則が分からない数列 PRE式を生成 人間が理解 アルゴリズムを式にする
4. 1. PRE式を定義 2. PRE式とその入出力のデータセットを作成 3. Transformerを学習し、性能を評価 c4h4kno4s@keio.jp 4 本研究 行ったこと 入出力値からPRE式を生成するモデルの作成 本研究の目的 研究の概要
5. c4h4kno4s@keio.jp 5 本研究の位置づけ S 自動アルゴリズム生成 数値からの法則発見 式の生成 Programing by Example This work TPSR[4] SymbolicGPT[3] AlphaDev ChatGPT Microsoft Copilot 回帰分析 E2E-SR[1] 主成分分析 統計 物理など既存の理学 可視化 Transformerにより 近年実現
6. 1.組合せ全探索 c4h4kno4s@keio.jp 6 2.ランダム生成 20万サンプルの データセットを作成 3.重複式を排除 PRE式 入力1 出力1 入力2 出力2 … (1, 2) 3 5 3 … (2, 3, 4) 5 (5, 1, 9) 8 … 12 1 45 1 … 4. 入出力値を計算 正解データ モデルへの入力 20K 学習データの生成方法
7. c4h4kno4s@keio.jp 7 評価データの1サンプルは複数の入力・出力ペアからなる。 各サンプルごとに回帰分析の評価測定を行ってサンプル全体で平均する (入力1, 出力1) (入力2, 出力2) … サンプル1 (2, 14) (3, 21) … サンプル2 ((1, 1), 2) ((1, 3), 4) … 評価に用いるデータの形式 (入力1, 出力1) (入力2, 出力2) 評価方法
8. 誤差の計算方法 c4h4kno4s@keio.jp 8 評価2 𝐴𝑐𝑐τ = 評価1 𝑅2 = 回帰分析で用いられる指標。 最大値 1.0 例: 3個の うち2個がτ以内なので 𝐴𝑐𝑐τ = 0.67 重みづけされた平均二乗誤差。 最大1.0、最小−∞ 1点1点の精度より、近い点の個数を重視 推論した関数
9. 実験1 テストセットでの評価 学習データと同様に生成したデータセットで評価を行った。 c4h4kno4s@keio.jp 9 E2E-SRと比べた本研究の生成手法の特徴 1. より多くの点の誤差小さくする傾向がある 2. 適合しない点の誤差が大きい Ours E2E-SR
10. 実験2 OEISデータの外挿 OEISデータ: 科学分野で現れる自然数列を格納したオンラインデータベース [2] c4h4kno4s@keio.jp 10 実験結果 RMSEがE2E-SRよりも悪い。 → 既存のモデルよりも現実データでの適用能力が低い 実験内容 先頭20項を与えて回帰を行い続くの5項の値を予測する。1000サンプルで行った。 Model RMSE Ours 80.87 E2E-SR 29.54 RMSE: 二乗平均平方根 誤差
11. c4h4kno4s@keio.jp 11 実験2 外挿された数列の分類 本研究モデルの生成の特徴 1. 過度に単純化した数列を生成する傾向 2. 複雑な数式の誤差が大きい サンプル数[個] RMSE of E2E-SR RMSE of Ours 1 10 100 1000 0.1 1 10 100 1000 10000 500 400 300 200 100 等差数列 定数数列 その他 本研究モデルが外挿した数列 本研究モデルが外挿した数列の種類を分類した結果
12. まとめ PRE式学習モデルと、E2E-SRモデルで自然数数列の予測性能を比較した結果 1. 学習データと同母分布データのとき良い性能 2. OEIS数列の外挿のとき悪い性能 c4h4kno4s@keio.jp 12 本研究のモデルで見られた特徴 1. 単純な列を当てはめる傾向 2. 複雑な数列の誤差が大きい Ours E2E-SR 数値データからPRE式を生成するモデルを作成することができた。
13. 今後の展望 1. データセットの複雑化 複雑な関数やモデルが苦手なサンプルを集めて再学習 2. 強化学習の利用 ここ1, 2年でSR生成モデル+強化学習による性能向上が見られる。 c4h4kno4s@keio.jp 13
14. 参考文献 c4h4kno4s@keio.jp 14 [1] Pierre-alexandre Kamienny, St´ephane d'Ascoli, Guillaume Lample, and Francois Charton. End- to-end symbolic regression with transformers. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 10269–10281. Curran Associates, Inc., 2022. [2] The on-line encyclopedia of integer sequences. https://oeis.org. Accessed: 2025-01-31. [3] Mojtaba Valipour, Bowen You, Maysum Panju, and Ali Ghodsi. Symbolicgpt: A generative trans- former model for symbolic regression. ArXiv, Vol. abs/2106.14131, , 2021. [4]Parshin Shojaee, Kazem Meidani, Amir Barati Farimani, and Chandan K. Reddy. 2023. Transformer- based planning for symbolic regression. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NIPS '23). Curran Associates Inc., Red Hook, NY, USA, Article 1990, 45907–45919.