SSII2023 [OS1] マルチモーダルだからこそわかること ～マルチモーダルで人の感性を紐解く～

山崎 俊彦（東京大学大学院 情報理工学系研究科）

Transcript

1. View Slide

2. View Slide

3. View Slide

4. DNN for Presentation Analysis
   [Yi, BigMM19]
   AIに「このプレゼンはこうだった」という教師データを大量に与える
   4
   

   View Slide

5. View Slide

6. View Slide

7. View Slide

8. スライドデザイン
   [Yi, IEICE-D22]
   セミナー参加者による改善
   8
   

   View Slide

9. https://www.presentationtrainer.jp/ 9
   

   View Slide

10. View Slide

11. CMを流した回数✕視聴率∝CM認識率？
     GRP：のべ視聴率 (CM視聴率×広告を打つ回数)
     どれだけ目に触れやすいかの指標
     CMの広告費用の算出に使われる
     認識率：「CMを見た・見たような気がする」の割合
     商品購入喚起率はもっと絶望的：相関0.19
    相関:0.31!
    11
    

    View Slide

12. View Slide

13. View Slide

14. View Slide

15. Metadata
    • major business categories
    • broad casting pattern (7 classes)
    • series pattern (4 classes)
    • individual-wise gloss rating point (GRP)
    15
    

    View Slide

16. View Slide

17. Metadata
    • broad casting pattern (7 classes)
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    平
    日
    土
    日
    朝
    昼
    夕
    夜
    深夜
    … broadcasting
    17
    

    View Slide

18. Metadata
    • series pattern (4 classes)
    Similar story New story
    Same casts Series ID 1 Series ID 2
    New casts Series ID 3 Series ID 4
    Series ID 4
    Series ID 3
    Series ID 2
    Series ID 1
    examples)
    18
    

    View Slide

19. Metadata
    • individual-wise gross rating point (GRP)
    • GRP is the sum of the viewer ratings of the ads.
    • Individual-wise GRP is calculated for each
    age and gender groups of viewers.
    example)
    Mon Tue Wed Thu Fri
    part1 10% 25% 20% 15% 12%
    part2 15% 18% 17% 21% 10%
    Viewer rating: male (age: 20-34)
    … broadcasting
    GRP (male, age: 30-34) = 18 + 17 + 21 = 56
    Mon Tue Wed Thu Fri
    part1 19% 25% 20% 15% 12%
    part2 10% 11% 22% 25% 10%
    Viewer rating: female (age: 35-49)
    GRP (female, age: 35-49) = 11 + 22 + 25 = 58
    19
    

    View Slide

20. View Slide

21. View Slide

22. View Slide

23. View Slide

24. View Slide

25. View Slide

26. View Slide

27. Performance
    [Tao, MTAP23]
    27
    

    View Slide

28. View Slide

29. View Slide

30. View Slide

31. まとめ
     Whatの認識からHow/Whyの認識へ
     匠の技：スキル、コツ、etc.
     人間の内部状態：記憶、感情、etc.
    • マルチモーダル処理による魅力工学
    • 「魅力」の予想、解析、増強
    • 刺さるプレゼン・CMでの人気獲得支援等
    31
    

    View Slide