IoTでビデオチャットを楽しくする

Transcript

1. IoTでビデオチャット を楽しくする @IoTLT vol.63

2. 自己紹介 • 名前 ◦ 松永勇太 • 出身地 ◦ 滋賀県 •

   やってること ◦ スポーツIoTLT主催 ◦ AWSを使った開発 • 昔やってたこと ◦ 鳥人間コンテスト ◦ 梅キャン勉強会主催

3. 本題の前に、

4. これはなんの略？ IoT

5. こう？ Internet of Things?

6. 違います Internet or Things

7. つまりは、 Internet or Things LTでは、 「Things」の無いLTが許されます

8. 本題に戻ります

9. 今回の発表について 少し前に書いた記事が思ったよりバズらなかったので供養のために話します

10. つくったもの 「手をかざすと魔法陣が出てくる」ようなSnap Cameraもどきを作ってみました

11. システムの流れ 手の検出 魔法陣を合成 マスキング

12. 手の検出 • OpenCVのcv2.CascadeClassifier()を使用 ◦ カスケード分類器という手法が使われている ◦ OpenCVの物体検出とかでよく用いられている ◦ 検出過程を説明している動画 •

    手の学習モデルはOpenCV公式のサンプルを使用 ◦ 自力でやると数千単位の画像を用意しないといけない（らしい） https://qiita.com/hitomatagi/items/04b1b26c1bc2e8081427

13. 合成とマスキング • 魔法陣の画像をそのまま貼ると白背景が重なる • ここの記事を参考にマスキングを実装した

14. ついでに SplitCamを使ってZoomなどに配信できるようにした

15. DEMO

16. さいごに • グーの形の検出しかできないのは微妙 • ニューラルネットワーク使うほうがもっと精度出る？ • 普通にSnapCameraで自作フィルタ作る方がいいと思った