SSII2023 [OS1] マルチモーダル情報処理の最前線

菅沼雅徳（東北⼤学）

Transcript

1. マルチモーダル情報処理の最前線
   2023.6.14
   菅沼 雅徳（東北⼤学）
   

   View Slide

2. 複数のモダリティを統合的に扱うこと
   • モダリティの例：画像，⾔語，⾳声，様々なメタデータ，...
   2
   マルチモーダル情報処理？
   マルチモーダル情報処理は世の中でありふれた情報処理
   プレゼン
   視覚，⾳声，テキスト...
   ソーシャルメディア
   Webページ，広告，SNS...
   ࢦࣔ
   ʢจষʣ
   ճ౴
   ʢจষʣ
   GPT-4
   https://openai.com/research/gpt-4
   

   View Slide

3. マルチモーダルだからこそわかること
   〜マルチモーダルで⼈の感性を紐解く〜
   • ⼭﨑俊彦 ⽒（東京⼤学）
   3
   マルチモーダル情報処理の最前線
   グラフィックデザインとマルチモーダル処理
   • ⼭⼝光太 ⽒（CyberAgent AI Lab）
   GPT-4とVision-and-Languageの未来
   • ⻄⽥京介 ⽒（NTT⼈間情報研究所）
   

   View Slide