Google I/O 2023で話されたWeb MLの話を紹介したい！ / IoTLT vol.99

Transcript

1. 2023年5月23日 (火)
   IoTLT vol.99 @granica／オンライン
   豊田陽介（ ）
   @youtoy
   Google I/O 2023で話された
   Web MLの話を紹介したい！
   

   View Slide

2. 自己紹介
   豊田陽介（ ）
   @youtoy
   ・IT系イベント主催、登壇や運営なども
   ・子ども向けの活動いろいろ
   ・ Microsoft MVP（2021/10 から）
   プライベートでの活動
   ・ガジェット大好き
   ・ブラウザで動く開発環境とか、色々な
   　処理（機械学習やBLE等でのデバイス
   　操作とか）も好き
   好きなこと、他
   

   View Slide

3. 「Google I/O 2023」
   開催されましたね！
   

   View Slide

4. その中で気になったセッションの記事を書いた
   「Web ML」：ブラウザで動く機械学習の話
   

   View Slide

5. Web MLに関するセッションの動画
   

   View Slide

6. 出てきた内容を1つか2つ、
   デモも行いつつ紹介
   

   View Slide

7. MediaPipeの
   新機能
   

   View Slide

8. その中でも
   JavaScript版の話
   

   View Slide

9. MediaPipe（これまでもあった内容）
   ・Googleさん提供の機械学習を使った仕組み
   ・JavaScript用や、他に Python用、C++用などもある
   ・MediaPipe の JavaScript版（TensorFlow.jsベース）
   　・Face Mesh
   　・Face Detection
   　・Hands
   　・Holistic
   　・Pose
   　・Selfie Segmentation
   　　など...
   

   View Slide

10. 過去のこういう試作に使ってたやつ
    

    View Slide

11. JavaScript版の
    新機能
    ライブデモ
    

    View Slide

12. 先ほどデモしたもの：手のジェスチャー認識
    特定の学習済みの内容を認識してくれる
    両手同時でも大丈夫！
    ✊,
    ☝
    👍, ✌
    

    View Slide

13. モデルのカスタマイズ機能が！？
    提供はまだっぽい
    「Coming soon!」
    　という表示
    

    View Slide

14. 他に増えてたもの（一例）
    ・MediaPipe JavaScript版に追加されたもの
    ・Object Detection（物体検出）
    ・Image Classification（画像分類）
    ・Image Segmentation（画像の領域分割）関連
    　⇒ 体の複数パーツごとの分割など
    　　※ これまで人と背景の分離はあった
    ・Audio Classification（音の分類）
    　など...
    

    View Slide

15. もう1つ
    （時間があるかな...）
    

    View Slide

16. ブラウザ上での機械学習利用を
    ビジュアルプログラミングで
    

    View Slide

17. Visual Blocks for ML
    

    View Slide

18. フロー型の
    ビジュアルプログラミング
    ライブデモ
    

    View Slide

19. まだあまり
    試せてない状況
    

    View Slide

20. 詳細な話はこちらで！？
    登壇・ご参加をぜひ！ ⇒ 6/1（木）にオンライン開催
    

    View Slide

21. 終わり！
    

    View Slide