Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google I/O 2023で話されたWeb MLの話を紹介したい! / IoTLT vol.99

Google I/O 2023で話されたWeb MLの話を紹介したい! / IoTLT vol.99

you(@youtoy)

May 23, 2023
Tweet

More Decks by you(@youtoy)

Other Decks in Technology

Transcript

  1. 2023年5月23日 (火)
    IoTLT vol.99 @granica/オンライン
    豊田陽介( )
    @youtoy
    Google I/O 2023で話された
    Web MLの話を紹介したい!

    View Slide

  2. 自己紹介
    豊田陽介( )
    @youtoy
    ・IT系イベント主催、登壇や運営なども
    ・子ども向けの活動いろいろ
    ・ Microsoft MVP(2021/10 から)
    プライベートでの活動
    ・ガジェット大好き
    ・ブラウザで動く開発環境とか、色々な
     処理(機械学習やBLE等でのデバイス
     操作とか)も好き
    好きなこと、他

    View Slide

  3. 「Google I/O 2023」
    開催されましたね!

    View Slide

  4. その中で気になったセッションの記事を書いた
    「Web ML」:ブラウザで動く機械学習の話

    View Slide

  5. Web MLに関するセッションの動画

    View Slide

  6. 出てきた内容を1つか2つ、
    デモも行いつつ紹介

    View Slide

  7. MediaPipeの
    新機能

    View Slide

  8. その中でも
    JavaScript版の話

    View Slide

  9. MediaPipe(これまでもあった内容)
    ・Googleさん提供の機械学習を使った仕組み
    ・JavaScript用や、他に Python用、C++用などもある
    ・MediaPipe の JavaScript版(TensorFlow.jsベース)
     ・Face Mesh
     ・Face Detection
     ・Hands
     ・Holistic
     ・Pose
     ・Selfie Segmentation
      など...

    View Slide

  10. 過去のこういう試作に使ってたやつ

    View Slide

  11. JavaScript版の
    新機能
    ライブデモ

    View Slide

  12. 先ほどデモしたもの:手のジェスチャー認識
    特定の学習済みの内容を認識してくれる
    両手同時でも大丈夫!
    ✊,

    👍, ✌

    View Slide

  13. モデルのカスタマイズ機能が!?
    提供はまだっぽい
    「Coming soon!」
     という表示

    View Slide

  14. 他に増えてたもの(一例)
    ・MediaPipe JavaScript版に追加されたもの
    ・Object Detection(物体検出)
    ・Image Classification(画像分類)
    ・Image Segmentation(画像の領域分割)関連
     ⇒ 体の複数パーツごとの分割など
      ※ これまで人と背景の分離はあった
    ・Audio Classification(音の分類)
     など...

    View Slide

  15. もう1つ
    (時間があるかな...)

    View Slide

  16. ブラウザ上での機械学習利用を
    ビジュアルプログラミングで

    View Slide

  17. Visual Blocks for ML

    View Slide

  18. フロー型の
    ビジュアルプログラミング
    ライブデモ

    View Slide

  19. まだあまり
    試せてない状況

    View Slide

  20. 詳細な話はこちらで!?
    登壇・ご参加をぜひ! ⇒ 6/1(木)にオンライン開催

    View Slide

  21. 終わり!

    View Slide