Slide 6
Slide 6 text
研究ミッション
大規模言語モデルの挙動を理解・制御し、次世代の大規模言語モデルの研究に挑む
大規模言語モデルの性能 / 進化の源泉を
理解し、その知見を使ってモデルの挙動を制
御する。
● 内部挙動の分析(Logit Lense, Circuits,
Induction Head, Task Vector)
● 文脈内学習
● AI Safety (Hallucination, Bias, Watermark,
Prompt Attack, Unlearning, Copyright)
● 学習データの科学、疑似データの生成
● 計算言語学との融合
● 状態空間モデル
● 軽量化
● マルチモーダル, VLM
● Multi-token Prediction
● モデル融合
● LLMエージェント (ツール利用)
● LLMの自己進化
現状のTransformer構造をベースとした大規模言
語モデルのパラダイムを打破し、より効率的で高
い性能を発揮する次世代の大規模
言語モデルの研究に挑む。
● Domain-specific Fine-tuning
● 継続事前学習
● PEFT (LoRA, Prompt-tuning)
● 知識ベースとの融合
● ルールの遵守
● 医療LLM
大規模言語モデルの社会実装を行う上で
重要な領域特化の研究を行う。
医療、金融等の専門領域に特化する研究、
そして特化手法自体に対する研究も行う。
[5] 大規模言語モデル
キーワード例 キーワード例 キーワード例
テーマ①
動作原理の
理解と制御
テーマ③
ドメイン
特化
テーマ②
Beyond
Transformer