SSII2023 [OS1] マルチモーダルだからこそわかること ～マルチモーダルで人の感性を紐解く～

山崎 俊彦（東京大学大学院 情報理工学系研究科）

4. DNN for Presentation Analysis [Yi, BigMM19] AIに「このプレゼンはこうだった」という教師データを大量に与える 4
8. スライドデザイン [Yi, IEICE-D22] セミナー参加者による改善 8
9. https://www.presentationtrainer.jp/ 9
11. CMを流した回数✕視聴率∝CM認識率？  GRP：のべ視聴率 (CM視聴率×広告を打つ回数)  どれだけ目に触れやすいかの指標  CMの広告費用の算出に使われる  認識率：「CMを見た・見たような気がする」の割合  商品購入喚起率はもっと絶望的：相関0.19 相関:0.31! 11
15. Metadata • major business categories • broad casting pattern (7 classes) • series pattern (4 classes) • individual-wise gloss rating point (GRP) 15
17. Metadata • broad casting pattern (7 classes) 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 平 日 土 日 朝 昼 夕 夜 深夜 … broadcasting 17
18. Metadata • series pattern (4 classes) Similar story New story Same casts Series ID 1 Series ID 2 New casts Series ID 3 Series ID 4 Series ID 4 Series ID 3 Series ID 2 Series ID 1 examples) 18
19. Metadata • individual-wise gross rating point (GRP) • GRP is the sum of the viewer ratings of the ads. • Individual-wise GRP is calculated for each age and gender groups of viewers. example) Mon Tue Wed Thu Fri part1 10% 25% 20% 15% 12% part2 15% 18% 17% 21% 10% Viewer rating: male (age: 20-34) … broadcasting GRP (male, age: 30-34) = 18 + 17 + 21 = 56 Mon Tue Wed Thu Fri part1 19% 25% 20% 15% 12% part2 10% 11% 22% 25% 10% Viewer rating: female (age: 35-49) GRP (female, age: 35-49) = 11 + 22 + 25 = 58 19
27. Performance [Tao, MTAP23] 27
31. まとめ  Whatの認識からHow/Whyの認識へ  匠の技：スキル、コツ、etc.  人間の内部状態：記憶、感情、etc. • マルチモーダル処理による魅力工学 • 「魅力」の予想、解析、増強 • 刺さるプレゼン・CMでの人気獲得支援等 31