(論文読み)AI Scientist: 科学的発見の完全自動化に向けて

このスライドは、2024.8.12 に公開された、以下論文の輪読会用の記事になります。
https://arxiv.org/pdf/2408.06292

https://sakana.ai/ai-scientist/

Transcript

1. LLM論文 輪読会 AI Scientist: 科学的発見の完全自動化に向けて https://arxiv.org/pdf/2408.06292 1
2. 目次 はじめに ▶ 関連研究 ▶ 背景 ▶ 方法 ▶ 実験設定 ▶ 結果 ▶ AI Scientistの制限事項と倫理的考察 ▶ 結論と将来の展望 ▶ まとめ ▶ 2
3. 想定読者 AI技術の最新動向に興味がある研究者や技術者 ▶ 科学的発見プロセスの自動化に関心がある学術関係者 ▶ 機械学習や自然言語処理の専門家 ▶ 科学技術の将来に関心を持つ政策立案者や投資家 ▶ AI倫理や社会的影響に関心を持つ人々 ▶ 3
4. 1. はじめに 4
5. AI Scientistとは AI Scientistは、科学的発見プロセスを完全に自動化する包括的なフレームワークである ▶ 5
6. AI Scientistの動作 大規模言語モデル(LLM)を活用し、以下を自律的に行う: ▶ 新しい研究アイデアの生成 - 既存の知識や最新の研究動向を考慮 - アイデアの新規性と実現可能性を評価 - コードの記述 - 実験の設計に基づいて適切なコードを生成 - 必要に応じてコードの修正や最適化を実施 - 実験の実行 - 生成されたコードを用いて実験を自動的に実行 - 実験結果の収集と分析 - 結果の可視化 - 適切なグラフや図表を自動生成 - 結果の解釈を支援する視覚的表現を提供 - 6
7. AI Scientistの動作(つづき) 大規模言語モデル(LLM)を活用し、以下を自律的に行う(続き) ▶ 科学論文の執筆 - 実験結果に基づいて論理的な論文構造を構築 - 適切な引用と参考文献の管理 - シミュレートされた査読プロセスの実行 - 生成された論文の品質と新規性を評価 - 改善点の指摘と修正案の提案 - 7
8. AI Scientistの動作のすごさ このプロセスは反復可能であり、アイデアを段階的に発展させることができる ▶ 過去の実験結果や査読コメントを考慮した新たなアイデア生成 - 継続的な改善と知識の蓄積が可能 - 機械学習の3つの異なるサブフィールドに適用し、多様性を実証した: ▶ 拡散モデリング - 画像生成や音声合成などのタスクに関連 - Transformer言語モデリング - 自然言語処理や機械翻訳などの分野に適用 - 学習動力学 - ニューラルネットワークの学習過程や最適化に関する研究 - 8
9. AI Scientistの動作のすごさ（つづき） 論文1本あたり15ドル未満のコストで、完全な論文を生成できることを示した ▶ 従来の研究プロセスと比較して大幅なコスト削減 - 研究の民主化と科学の加速化に貢献 - 自動化された査読者を設計・検証し、人間に近い性能で論文評価を行えることを示した ▶ 査読者モデルの評価指標: - バランス精度、F1スコア、AUCなど - 人間の査読者との比較結果: - バランス精度: 0.65 (AI) vs 0.66 (人間) - F1スコア: 0.57 (AI) vs 0.49 (人間) - AI Scientistは、トップ機械学習会議の採択閾値を超える論文を生成可能である ▶ 自動査読者による評価で、会議採択基準を満たす論文の生成を確認 - 研究の質と量の両面での向上を示唆 - 9
10. 2. 関連研究 10
11. 機械学習研究におけるLLMの活用 アイデア生成 ▶ 研究テーマの提案や仮説の立案に利用 - 既存研究のギャップ特定に活用 - コード作成 ▶ 実験用スクリプトの自動生成 - アルゴリズムの実装支援 - 予測タスク ▶ データ分析や結果予測の補助 - モデルのハイパーパラメータ最適化 - しかし、科学的プロセスの一部しか実行していない ▶ 個別のタスクに特化した応用が主流 - 包括的な研究プロセスの自動化は未達成 - 11
12. 完全自動の科学的発見のための包括的なフレームワークは存在しなかった 既存研究の限界: ▶ 人間の介入が必要な段階が残存 - 分野横断的な適用が困難 - 本研究の新規性: ▶ LLMを活用した完全自動の科学的発見プロセスを提案 - アイデア生成から論文執筆、査読まで一貫して自動化 - 分野に依存しない汎用的なフレームワーク - 主な特徴: - マルチタスク学習による総合的な能力獲得 - 反復的な改善メカニズムの実装 - 自己評価と品質管理の組み込み - 12
13. 3. 背景 13
14. 環境条件 AI Scientistは、Anthropicが作成したClaudeを基盤としている ▶ Claudeの特徴: - 高度な言語理解と生成能力 - 幅広い知識ベース - 倫理的考慮事項の組み込み - 現在の日付は2024年8月18日、Claudeの知識ベースは2024年4月に最後に更新された ▶ 知識の時間的制約を認識し、適切に対応 - AI Scientistは、URL、リンク、動画を開くことはできない ▶ テキストベースの情報処理に特化 - マルチモーダル入力の制限 - 14
15. 動作設定 人間の表現する見解に基づくタスクを支援する際は、自身の見解に関わらず支援を提供する ▶ 中立性と客観性の維持 - 多様な視点の尊重 - 論理問題や数学問題などの体系的思考が必要な問題に直面した場合、段階的に考えを進める ▶ 問題解決プロセスの透明性 - 論理的思考の模倣と説明 - タスクを実行できない場合、謝罪せずにその旨を伝える ▶ 明確なコミュニケーション - 限界の認識と表明 - 非常にマイナーな人物や対象、トピックについて尋ねられた場合、幻覚の可能性について注意喚起する ▶ 情報の信頼性に対する誠実な対応 - ユーザーへの透明性の提供 - 特定の記事や論文、書籍に言及する場合、検索やデータベースへのアクセスがないことを伝え、引用は幻覚の可能性がある ため、人間が確認すべきであることを伝える ▶ 情報源の制限に関する明確な説明、人間の検証の重要性の強調 - 15
16. 4. 方法 16
17. 全体構成 AI Scientistは3つの主要フェーズで構成される ▶ 1.アイデア生成 - 2.実験の反復 - 3.論文の執筆 - 論文執筆後、LLMによる査読プロセスを導入し、生成された論文の質を評価する ▶ 17
18. 0.初期設定 人気のモデルやベンチマークから軽量なベースライン訓練実行を再現する開始コードテンプレートを提供する ▶ LaTeXフォルダ（スタイルファイルとセクションヘッダを含む）と簡単なプロットコードも含まれる ▶ 各実行は、トピック領域に関連する代表的な小規模実験から開始する ▶ 18
19. 1.アイデア生成: 開始テンプレートから、多様で新規性のある研究方向を「ブレインストーミング」する ▶ 既存知識の活用と創造的組み合わせ ▶ 進化計算とオープンエンドネス研究からインスピレーションを得て、LLMを変異演算子として使用し、アイデアのアーカイブを反 復的に成長させる - 言語モデルに既存のアーカイブを条件として新しい研究方向を生成させる ▶ 潜在的な研究ギャップの特定 - チェーン・オブ・ソートと自己反省を用いて各アイデアを洗練・発展させる - 各アイデアは、説明、実験実行計画、興味深さ・新規性・実現可能性の自己評価スコアで構成される ▶ Semantic Scholar APIとウェブアクセスを利用して、既存の文献と類似しすぎているアイデアを破棄する - 既存文献との類似性チェック - 独自性の定量的評価 - 19
20. 2.実験的反復: Aiderを使用して実験計画を立て、順番に実行する ▶ 実験設計に基づくコード生成 - エラー修正と最適化の自動化 - エラーや時間切れの場合、Aiderにコードを修正させ、最大4回再試行する - 各実験完了後、Aiderに実験ジャーナルの形式でノートを取らせる ▶ 結果に基づいて次の実験を再計画・実装し、最大5回繰り返す - 実験完了後、Aiderにプロットスクリプトを編集させ、論文用の図を作成する - AI Scientistは各プロットの内容を記述し、保存された図と実験ノートから論文執筆に必要な全情報を提供する ▶ 20
21. 3.論文執筆 LLMを用いてLaTeX形式で論文を執筆 ▶ 構造化された論文フォーマットの自動生成 - 結果の論理的な記述と考察 - Semantic Scholar APIを用いて関連文献を検索・引用 ▶ 適切な文献の自動選択 - 引用の形式的正確性の確保 - 21
22. 執筆実行プロセス プロセスの堅牢化のため、以下のステップを実行する a. セクションごとのテキスト生成 b. 参考文献のウェブ検索 c. 洗練化 ▶ 22
23. 執筆実行プロセス a. セクションごとのテキスト生成 ▶ Aiderに記録されたノートとプロットを渡し、空白の会議テンプレートをセクションごとに埋めさせる - 導入、背景、方法、実験設定、結果、結論の順に執筆する（関連研究以外のすべてのセクション） - 各セクションの執筆ガイドラインを提供する - 実際の実験結果とコードから生成された図表のみを使用するよう指示し、幻覚を減らす - 各セクションは初期段階で1回の自己反省を行う - この段階では引用を含めず、関連研究のスケルトンのみを作成する - b. 参考文献のウェブ検索 ▶ Semantic Scholar APIを20回まで照会し、関連研究セクション用の最も関連性の高いソースを探す - 他のセクションで不足している引用も補完する - 選択された各論文について、引用の挿入場所と方法の短い説明を生成する - 論文のbibtexを自動的にLaTeXファイルに追加し、正確性を保証する - c. 洗練化 ▶ 最初の草稿完成後、冗長さや反復を解消するため、セクションごとに最終的な自己反省を行う - 23
24. LLMによる査読プロセス 生成された論文の質を評価するため、LLMによる査読プロセスを導入する ▶ GPT-4oベースのエージェントを用いて論文を評価 - 複数の評価基準に基づく総合的判断 - 人間の査読者を模倣した詳細なフィードバック - NeurIPS会議のガイドラインに基づいて評価を行う - 新規性、技術的品質、潜在的インパクトの評価 - スコアリングと詳細なコメントの生成 - 24
25. 自動化された論文査読プロセス LLM査読エージェント 効果的な科学コミュニティの重要要素である査読システムを模倣 ▶ GPT-4oベースのエージェントを設計し、NeurIPS会議の査読ガイドラインに基づいて論文を査読 ▶ PDFから抽出した生テキストを処理し、数値スコア、長所短所リスト、予備的な採否決定を出力 ▶ レビュアースコアによる閾値処理で決定を後補正可能 ▶ AI Scientistが生成した論文の初期評価に活用 ▶ 25
26. 自動化された査読プロセスの評価 バランスの取れたデータセットでの性能 ICLR 2022の500論文を用いて性能を評価 ▶ LLMエージェントの意思決定プロセスを強化するために複数の最新技術を組み合わせる ▶ 自己反省、few-shotの例示、回答のアンサンブルを活用 - GPT-4oを用いた場合、70%の精度を達成 ▶ 人間の査読者（73%）には及ばないが、F1スコアでは超人的性能（0.57 vs 0.49）を示す ▶ AUCは人間と同レベル（0.65） ▶ AI Scientistの査読プロセスは人間レベルの精度（0.65% vs 0.66%）を達成 ▶ 偽陰性率（FNR）は人間のベースラインよりも大幅に低い（0.39 vs 0.52） ▶ 偽陽性率（FPR）は人間より高い（0.31 vs 0.17）が、改善の余地あり ▶ 26
27. 査読の一貫性評価 コストと他のモデルとの比較 LLM査読者のアブレーション実験 人間の査読者間のスコア相関（0.14）よりも、LLMスコアと平均人間スコアの相関（0.18）の方が高い ▶ LLMベースの査読は、個々の人間の査読者よりも平均的な人間の査読者のスコアに近い ▶ 各査読のAPI費用は$0.25から$0.50 ▶ Claude Sonnet 3.5とGPT-4o-miniはコスト効率が良いが、性能は大幅に低下 ▶ Llama 3.1 405Bは一貫して査読出力テンプレートに従うことが困難 ▶ Reflexionと1-shot promptingがより正確な査読に大きく貢献（各+2%） ▶ レビューのアンサンブルは性能向上に大きな影響を与えないが、分散を減少させる ▶ 最良の査読者設定：GPT-4o、5ラウンドの自己反省、5つのアンサンブルレビュー、メタ集約ステップ、1つのfew-shot例 ▶ 27
28. 実装の特徴 結論と今後の展望 初期のシードプロットと実験テンプレートは一般的に小規模で自己完結型のファイルである ▶ AI Scientistは頻繁に全く新しいプロットを実装し、シードテンプレートにない新しい指標を収集する ▶ コードを任意に編集する能力は、時に予期せぬ結果をもたらすことがある（セクション8で詳述） ▶ AI Scientistは、アイデア生成から実験実行、論文執筆までの全プロセスを自動化する ▶ 小規模実験に焦点を当てているが、これは計算効率と計算資源の制約によるものであり、手法の根本的な制限ではない ▶ 将来のバージョンでは、データの可視化や他のモダリティを含む条件付けが可能になる可能性がある ▶ 予期せぬ結果や制限についてはセクション8で詳しく議論される ▶ 28
29. 5. 実験設定 29
30. 3つの多様なデータセットで実験を実施: 1.shakespeare_char: シェイクスピアの作品 ▶ 文学的テキストの特性を持つデータセット - 言語モデルの評価に適した複雑な構造 - 2.enwik8: Wikipediaの記事 ▶ 幅広いトピックを含む大規模テキストデータ - 圧縮タスクで一般的に使用されるベンチマーク - 3.text8: クリーニングされたWikipediaテキスト ▶ enwik8の前処理済みバージョン - より純粋なテキストデータセット - 30
31. 評価指標: 検証損失 ▶ モデルの汎化性能を測定 - オーバーフィッティングの検出に使用 - 推論速度 ▶ モデルの実用性と効率性を評価 - トークン/秒で測定 - スタイル一貫性 ▶ 生成されたテキストのスタイル保持能力を評価 - 専用の分類器を用いて測定 - 複数の実行を行い、結果の安定性を確保 ▶ 各設定で3回以上の独立した実験を実施 - 平均値と標準誤差を報告 - 31
32. 6. 結果 32
33. AI Scientistは、多様なタスクで高品質な論文を生成可能であることを示した ▶ 論文の品質評価: - 自動査読システムによる評価 - 人間の専門家によるサンプルチェック - 33
34. 主な結果: 検証損失の改善: ベースラインと比較して最大41.6%の削減 ▶ モデルの汎化性能の大幅な向上 - タスクごとの詳細な性能分析 - スタイル一貫性: 高いスコアを達成（shakespeareで0.9667、enwik8とtext8で1.0） ▶ 生成テキストのスタイル保持能力の実証 - タスク特有のスタイル要素の捕捉 - 計算効率のトレードオフ: 推論速度はベースラインの約60% ▶ 性能向上と計算コストのバランス - 実用的な応用に向けた考察 - 34
35. モデル間の比較: 論文生成コスト: 1本あたり約10-15ドル Claude Sonnet 3.5が最も高品質な論文を生成 ▶ 一貫性、論理性、新規性の面で優位 - GPT-4oが2番目に良い性能を示す ▶ 特定のタスクでの強みを発揮 - オープンウェイトモデル（DeepSeek Coder、Llama-3.1 405b）の性能評価 ▶ コスト効率と性能のトレードオフ分析 - コスト内訳の詳細分析 ▶ 従来の研究プロセスとの経済性比較 ▶ 35
36. 7. 結論と将来の展望 36
37. AI Scientistは科学的発見プロセスを完全に自動化する可能性を示した ▶ 自動化の範囲と深さの評価 - 人間の研究者との比較分析 - 37
38. 主な貢献 LLMを活用した包括的な科学的発見フレームワークの提案 ▶ 各段階の自動化メカニズムの詳細 - フレームワークの柔軟性と拡張性 - 多様なサブフィールドでの有効性の実証 ▶ タスク固有の課題と解決策 - 分野横断的な適用可能性の考察 - 低コストで高品質な論文生成の実現 ▶ コスト効率化のメカニズム - 品質管理プロセスの詳細 - 38
39. 将来の研究方向: より大規模なモデルや複雑なタスクへの適用 ▶ スケーラビリティの課題と対策 - 新たな応用分野の探索 - 他の科学分野への拡張 ▶ 分野固有の知識統合方法 - 専門家との協働モデルの検討 - 計算効率の最適化 ▶ ハードウェア最適化の可能性 - アルゴリズムの改善案 - 倫理的考慮事項の詳細な検討 ▶ AIの偏りや公平性の問題 - 知的財産権と著作権の課題 - 39
40. 8. AI Scientistの制限事項と倫理的考察 40
41. 自動レビュアーの制限 ICLR 2022のデータセットが事前学習データに含まれている可能性 ▶ 採択論文と不採択論文でデータの質に差がある ▶ 著者への質問や反論フェーズに対応していない ▶ 図表を認識できず、テキスト説明に依存している ▶ 41
42. AI Scientistの一般的な失敗モード 異なる実行やモデル間で類似したアイデアが生成される ▶ Aiderが提案されたアイデアの多くを実装できない ▶ GPT-4oがコンパイル可能なLaTeXを生成できないことがある ▶ アイデアの誤った実装を検出するのが困難 ▶ 実験の数が限られているため、結果の厳密さや深さが不足している ▶ 視覚的な問題を修正できない ▶ 関連論文の検索や引用に課題がある ▶ 結果の評価や数値比較に重大な誤りを犯すことがある ▶ 結果の捏造（ハルシネーション）が発生することがある ▶ 科学的内容を鵜呑みにすることは推奨されない ▶ 42
43. 安全なコード実行 現在の実装では、サンドボックス化が最小限である ▶ 予期せぬ結果や望ましくない結果が生じる可能性がある ▶ システムコールの乱用、大量のストレージ使用、時間制限の変更など - 未知のPythonライブラリのインポートによる安全性の懸念 ▶ 厳格なサンドボックス化、コンテナ化、インターネットアクセスの制限などが推奨される ▶ 43
44. 予期せぬ肯定的結果 エラーの自動検出と修正 ▶ 例：出力結果ディレクトリの自動作成 - 予想外の新規なアルゴリズム固有の可視化の生成 ▶ 44
45. 広範な影響と倫理的考察 査読者の作業負荷増大と査読プロセスへの悪影響の可能性 ▶ 自動レビュアーツールの広範な採用による査読の質低下と偏りの導入の懸念 ▶ AI生成論文やレビューの透明性確保の必要性 ▶ 非倫理的研究や意図しない危険な成果を生み出す可能性 ▶ 例：危険なウイルスや毒物の創造、悪意のあるソフトウェアの開発 - 安全で価値観に一致したシステムの開発優先の必要性 ▶ 機械学習コミュニティは、安全かつ価値観と一致した方法で探索を行うシステムの開発を優先すべき ▶ 45
46. 結論 AI Scientistは、科学研究の効率化と加速化に大きな可能性を持つ ▶ 潜在的な社会的影響の分析 - 研究コミュニティとの対話と協力の重要性 - 46
47. まとめ AI Scientistは科学的発見プロセスの完全自動化を実現 ▶ 多様なタスクで高品質な論文生成が可能 ▶ 低コストで効率的な研究プロセスを提供 ▶ 今後の課題：スケーラビリティ、他分野への適用、倫理的考慮 ▶ 科学研究の効率化と加速化に大きな可能性を持つ ▶ 47
48. 付録：用語辞書 LLM: Large Language Model（大規模言語モデル） ▶ Transformer: 自然言語処理タスクで広く使用される神経網アーキテクチャ ▶ Grokking: 長期間の学習後に突然汎化能力が向上する現象 ▶ MDL: Minimal Description Length（最小記述長） ▶ KL divergence: Kullback-Leibler divergence（カルバック・ライブラー情報量） ▶ AdamW: Adam optimizerの重み減衰版 ▶ Layer normalization: ニューラルネットワークの各層で正規化を行う手法 ▶ Cross-entropy loss: クロスエントロピー損失関数 ▶ Attention mechanism: Transformerモデルの鍵となる注意機構 ▶ Fine-tuning: 事前学習済みモデルをタスク特化データで調整すること ▶ Modular arithmetic: 剰余類を用いた算術体系 ▶ Data augmentation: 学習データを人工的に増やす技術 ▶ 48
49. 付録：用語辞書（続き） Overfitting: モデルが訓練データに過度に適合し、汎化性能が低下する現象 ▶ Gradient descent: 勾配降下法、最適化アルゴリズムの一種 ▶ Embedding: 離散的なデータを連続的なベクトル空間に変換する技術 ▶ Tokenization: テキストを単語やサブワードなどの単位に分割するプロセス ▶ Epoch: 学習データセット全体を1回走査すること ▶ Batch size: 1回の学習更新に使用するサンプル数 ▶ Learning rate: 学習率、勾配降下法におけるステップサイズ ▶ Dropout: 過学習を防ぐためにニューロンをランダムに無効化する正則化手法 ▶ Activation function: ニューロンの出力を決定する非線形関数 ▶ Convolutional Neural Network (CNN): 畳み込みニューラルネットワーク ▶ Recurrent Neural Network (RNN): 再帰型ニューラルネットワーク ▶ LSTM: Long Short-Term Memory、長短期記憶 ▶ 49
50. 付録：用語辞書（続き） Hyperparameter: モデルの学習前に設定するパラメータ ▶ Transfer learning: あるタスクで学習した知識を別のタスクに転用する手法 ▶ Few-shot learning: 少量のデータでモデルを適応させる学習手法 ▶ Zero-shot learning: 訓練データなしで新しいタスクを実行する能力 ▶ Ensemble learning: 複数のモデルを組み合わせて性能を向上させる手法 ▶ Regularization: 過学習を防ぐためにモデルの複雑さを制限する技術 ▶ Gradient clipping: 勾配爆発を防ぐために勾配の大きさを制限する技術 ▶ Attention head: Transformerモデルにおける並列的な注意機構の単位 ▶ Self-attention: 同じ系列内の要素間の関係を学習する注意機構 ▶ Positional encoding: Transformerモデルで系列の順序情報を表現する技術 ▶ Pruning: モデルの一部のパラメータや構造を取り除いて軽量化する技術 ▶ Quantization: モデルのパラメータや計算を低精度化して効率化する技術 ▶ Knowledge distillation: 大きなモデルの知識を小さなモデルに転移する技術 ▶ 50
51. 付録：用語辞書（続き） Curriculum learning: 易しいタスクから難しいタスクへと段階的に学習を進める手法 ▶ Contrastive learning: データ間の類似性と非類似性を学習する自己教師あり学習手法 ▶ Federated learning: データを分散させたまま複数の機関で協調して学習する手法 ▶ Reinforcement learning: 環境との相互作用を通じて報酬を最大化するように学習する手法 ▶ Meta-learning: 学習方法自体を学習する、いわゆる「学習の学習」 ▶ Anomaly detection: 異常や外れ値を検出する技術 ▶ Explainable AI (XAI): AI システムの意思決定過程を人間が理解可能にする技術 ▶ Natural Language Processing (NLP): 自然言語処理 ▶ Computer Vision: コンピュータビジョン、画像認識技術 ▶ Semantic segmentation: 画像の各ピクセルにラベルを割り当てる技術 ▶ Object detection: 画像内のオブジェクトを検出し、位置を特定する技術 ▶ Instance segmentation: オブジェクト検出とセマンティックセグメンテーションを組み合わせた技術 ▶ Variational Autoencoder (VAE): 変分オートエンコーダー、生成モデルの一種 ▶ 51
52. 付録：用語辞書（続き） Computational graph: ニューラルネットワークの計算フローを表現するグラフ ▶ Backpropagation through time (BPTT): 時系列データに対する誤差逆伝播法 ▶ Vanishing gradient problem: 深層ネットワークで勾配が消失する問題 ▶ Exploding gradient problem: 深層ネットワークで勾配が爆発する問題 ▶ Residual connection (Skip connection): 入力を後の層に直接接続する手法 ▶ Batch normalization: ミニバッチ単位で入力の分布を正規化する手法 ▶ Instance normalization: サンプル単位で入力の分布を正規化する手法 ▶ Group normalization: チャンネルをグループ化して正規化する手法 ▶ Attention is all you need: Transformer モデルを提案した論文のタイトル ▶ BERT: Bidirectional Encoder Representations from Transformers ▶ RoBERTa: Robustly Optimized BERT Pretraining Approach ▶ 52
53. 付録：用語辞書（続き） T5: Text-to-Text Transfer Transformer ▶ Prompt engineering: 言語モデルに適切な指示を与えるための技術 ▶ In-context learning: コンテキスト内で新しいタスクを学習する能力 ▶ Mixture of Experts (MoE): 複数の専門家モデルを組み合わせる手法 ▶ Sparsely-gated MoE: 入力に応じて一部の専門家のみを活性化させる MoE ▶ Neural Architecture Search (NAS): ニューラルネットワークの構造を自動探索する ▶ AutoML: 機械学習のパイプライン全体を自動化する技術 ▶ Continual learning: 新しいタスクを学習しながら以前の知識を保持する学習手法 ▶ Catastrophic forgetting: 新しいタスクの学習により以前の知識が失われる問題 ▶ Domain adaptation: ソースドメインで学習したモデルをターゲットドメインに適応させる技術 ▶ Multi-task learning: 複数のタスクを同時に学習する手法 ▶ Self-supervised learning: ラベルなしデータから有用な表現を学習する手法 ▶ 53