$30 off During Our Annual Pro Sale. View Details »

SSII2023 [OS1] マルチモーダル情報処理の最前線

SSII2023 [OS1] マルチモーダル情報処理の最前線

菅沼雅徳(東北⼤学)

More Decks by 画像センシングシンポジウム

Other Decks in Science

Transcript

  1. マルチモーダル情報処理の最前線
    2023.6.14
    菅沼 雅徳(東北⼤学)

    View Slide

  2. 複数のモダリティを統合的に扱うこと
    • モダリティの例:画像,⾔語,⾳声,様々なメタデータ,...
    2
    マルチモーダル情報処理?
    マルチモーダル情報処理は世の中でありふれた情報処理
    プレゼン
    視覚,⾳声,テキスト...
    ソーシャルメディア
    Webページ,広告,SNS...
    ࢦࣔ
    ʢจষʣ
    ճ౴
    ʢจষʣ
    GPT-4
    https://openai.com/research/gpt-4

    View Slide

  3. マルチモーダルだからこそわかること
    〜マルチモーダルで⼈の感性を紐解く〜
    • ⼭﨑俊彦 ⽒(東京⼤学)
    3
    マルチモーダル情報処理の最前線
    グラフィックデザインとマルチモーダル処理
    • ⼭⼝光太 ⽒(CyberAgent AI Lab)
    GPT-4とVision-and-Languageの未来
    • ⻄⽥京介 ⽒(NTT⼈間情報研究所)

    View Slide