Circuits, Induction Head, Task Vector) • 文脈内学習 • AI Safety (Hallucination, Bias, Watermark, Prompt Attack, Unlearning, Copyright) • 学習データの科学、疑似データの生成 • 計算言語学との融合 • 状態空間モデル • 軽量化 • マルチモーダル, VLM • Multi-token Prediction • モデル融合 • LLMエージェント (ツール利用) • LLMの自己進化 現状のTransformer構造をベースとした大規模言 語モデルのパラダイムを打破し、より効率的で高 い性能を発揮する次世代の大規模 言語モデルの研究に挑む。 • Domain-specific Fine-tuning • 継続事前学習 • PEFT (LoRA, Prompt-tuning) • 知識ベースとの融合 • ルールの遵守 • 医療LLM 大規模言語モデルの社会実装を行う上で 重要な領域特化の研究を行う。 医療、金融等の専門領域に特化する研究、 そして特化手法自体に対する研究も行う。 [5] 大規模言語モデル キーワード例 キーワード例 キーワード例 テーマ① 動作原理の 理解と制御 テーマ③ ドメイン 特化 テーマ② Beyond Transformer