SSII2023 [OS1] マルチモーダル情報処理の最前線

菅沼雅徳（東北⼤学）

画像センシングシンポジウム PRO

June 14, 2023

More Decks by 画像センシングシンポジウム

See All by 画像センシングシンポジウム

SSII2026 [SS1] 作業動画理解〜基盤モデル時代の応用と課題〜

PRO

0

770

SSII2026 [SS2] CADにおけるAI分野の動向と製造業への実適⽤

PRO

1

1.5k

SSII2026 [TS2] 日本古典文化とAI ～データセットからアプリケーションまで～

PRO

0

540

SSII2026 [PT1] アクセラレーテッド・コンピューティングが切り拓く知能の最前線 ~生成AIからエージェンティックAI、そしてフィジカルAIへの進化~

PRO

0

680

SSII2026 [PT2] 記号創発ロボティクスとフィジカルAIの展開〜集合的予測符号化が繋ぐ言語と身体の時空間階層性〜

PRO

0

760

SSII2026 [OS1] 計算機インフラどうしてる？

PRO

0

420

SSII2026 [OS1-1] 機械学習のための計算基盤の開発

PRO

0

410

SSII2026 [OS1-2] 学術クラウド基盤mdx IIの設計と運用

PRO

0

470

SSII2026 [OS1-3] 実験室自動化を目指した計算機との試行錯誤

PRO

0

400

Other Decks in Science

See All in Science

20260820_アウトカムが二値のデータに対するCausal Impact@LINEヤフー Data Science Share #2 / Causal Impact for Binary Outcomes

3

1.4k

Cross-Media Technologies, Information Science and Human-Information Interaction

PRO

3

33k

大黒市で発生した大規模インシデントのポストモーテムから読み解く、記憶媒体消去の大切さ

0

270

因果推論と機械学習

1

1.4k

人生を変えた一冊「独学大全」のはなし / Self-study ENCYCLOPEDIA: The Book Which Change My Life #独学大全 #EM推し本

0

210

Utiliser Bitcoin sans Internet

0

370

生成AI・プレプリント時代における研究成果公開の再設計 ― トップカンファレンス文化はどこへ向かうのか / Redesigning the Dissemination of Research Outputs in the Age of Generative AI and Preprints — Where Is the Top-Conference Culture Heading?

0

30k

(CVPR2026) Back to Basics: Let Denoising Generative Models Denoise

0

340

勾配流から乖離した学習ダイナミクス

1

950

20260410_SystemsThinking

1

150

[TMLR 2026, Featured Certification] Double Bounded α-Divergence Optimization for Density Estimation

1

110

Kritische evaluatie van GenAI-output voor literatuuronderzoek

0

230

Featured

See All Featured

Why Our Code Smells

PRO

340

58k

Getting science done with accelerated Python computing platforms

2

470

Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)

PRO

0

3.7k

Neural Spatial Audio Processing for Sound Field Analysis and Control

0

490

Navigating Weather and Climate Data

0

510

Agile that works and the tools we love

331

22k

Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline

PRO

0

430

Helping Users Find Their Own Way: Creating Modern Search Experiences

31

3.4k

The Impact of AI in SEO - AI Overviews June 2024 Edition

6

1.2k

Design and Strategy: How to Deal with People Who Don’t "Get" Design

133

19k

The Power of CSS Pseudo Elements

82

6.6k

Easily Structure & Communicate Ideas using Wireframe

194

17k

Transcript

マルチモーダル情報処理の最前線 2023.6.14 菅沼雅徳（東北⼤学）
複数のモダリティを統合的に扱うこと • モダリティの例：画像，⾔語，⾳声，様々なメタデータ，... 2 マルチモーダル情報処理？マルチモーダル情報処理は世の中でありふれた情報処理プレゼン視覚，⾳声，テキスト... ソーシャルメディア Webページ，広告，SNS...
ࢦࣔ ʢจষʣ ճ౴ ʢจষʣ GPT-4 https://openai.com/research/gpt-4
マルチモーダルだからこそわかること〜マルチモーダルで⼈の感性を紐解く〜 • ⼭﨑俊彦⽒（東京⼤学） 3 マルチモーダル情報処理の最前線グラフィックデザインとマルチモーダル処理 • ⼭⼝光太
⽒（CyberAgent AI Lab） GPT-4とVision-and-Languageの未来 • ⻄⽥京介⽒（NTT⼈間情報研究所）