Face recognition for Luppet, for xR Tech Nagoya #4

Transcript

1. VTuber配信システム Luppetの顔認識の工夫 @izm
2. 資料は後日アップロードします 撮影しなくて大丈夫！！！
3. 誰？ - twitter:@izm qiita,github:neon-izm - 愛知出身、元愛知の製造業R&Dエンジニア - 現SHOWROOM xR Lab エンジニア - VTuberのおたく -
5. 皆さんはどんな方？ - 現役xR ソフトウェアエンジニアの人 - その他開発の仕事の人 - デザイン系の人 - 学生の人 今日は何もなければふんわり系の話をします 数式を出しません！
6. 今日話したいこと

7. 今日話したいこと - 気軽に作ってデモしたりTwitterに動画流そう - 技術デモでも最低限の見た目に気を使おう - デモから製品レベルまでには色んな工夫を実装するこ とになる(Luppetの話はここ)
8. Luppet - バストショット特化+ワンオペ配信を前提としたPC向け バーチャルキャラクター配信ソフトウェア - ねぎぽよし(同僚)の個人製作物で、izmは顔認識周りを 実装 - 個人VTuberの方から、法人利用まで様々な採用例 (テ レ東さんとかも使ってくれた！)
10. Luppetの立ち位置 2D 3D 手軽 Facerig Luppet リッチ スタジオ収録 (MVN,Vive,Vicon) 3D配信のFacerigを目指す
11. Luppetの技術要素 - Unity製 - モデル読込…VRM - 頭の位置と目や口の認識 …WebCamera+Mic - 手の認識… LeapMotion
12. 組み合わせたら作れそう
13. 組み合わせたら作れそう は大事 - 完全なる新規は少ないので、組み合わせを考える - 組み合わせて動いた時点でSNSに公開する
14. 組み合わせてえいって作ってtwitterで動画公開する - PoC(コンセプト実証)とも言います - 面白く感じる人が多いかで、開発を進めるか判断します
15. ちょっと待った
16. ちゃんと意図が伝わる動画(PoC)になっていますか - 構成要素が過不足なく伝わる - 手抜き感を出さない - 十分に動画の尺が短い - カット編集はする
17. 手抜き感を出さない - カメラが手ぶれしてる - カメラが斜めっている - 背景がゴミゴミしてる と一気に手抜き感が出る…
19. 絵やサービスモックでも同じ - 絵は鉛筆書きでも良いから紙の色は補正しよう - スマホの影が映り込まないようにしよう - cssは最低でもtwitter bootstrapとかを当てよう - テスト文書に「あああああ」は止めよう
20. 十分に動画の尺は短いですか - 撮って出しカット編集の無音で見てくれるのは10秒まで - 初手1秒以内にキービジュが出るように - 20秒越える無言動画を見てくれるのはトップカンファの 発表デモだけ
21. せっかく撮ったデモ動画が部屋の隅に映ってたゴミの山の せいで低品質なものだと思われるとつらすぎる せっかく作ったUnityのデモがデフォルト空のせいで低品質 なものだと思われるとつらすぎる
22. ここまでの結論 - 見せ方のプロじゃなくても、最低限の見た目を整えてか ら(身内以外の)人に見せるのは大事 - （身内には適当で良いから1秒でも早く見せよう）
23. 余談：買っておこう簡単撮影機材 - 良いカメラのスマホ - デスクライト - スマホ用3脚
24. 技術デモから
 製品までの話

25. Luppetの顔認識を例に出します - 瞬きの検知 - 口の開きの検知
27. 普通のWebカメラなので - 遠くに居て目がちょっと開いてる - 近くに居て目が閉じてる →同じピクセル値が返ってくる
28. 普通のWebカメラなので - 認識結果が暴れて高速瞬きになることがある（初期の Live2D+iPhone Xのトラッキングデモなど) - 口の形は千差万別、目の大きさも人間によって異なる
29. 人の個人差を吸収する - トラッキング中、常に目の開度のリミットを更新し続ける （直近で一番長時間の目の開き具合を、目の基準値と する） - 口の開き具合（横と縦、口角の上がり角など）も同様 - 既存ライブラリには入っていないので自作
30. 目閉じ、目開き判定 カメラが認識した上瞼の画素(x,y)pixelと下瞼の画素 (x,y)pixelの間が - とある値以上だったら目は全開 - とある値以下だったら目は全閉 半目になると可愛くないので…
31. とある値(目閉じ、目開き判定のしきい値)の決め方 - 世の中には目がパッチリしてる人と目がパッチリしてい ない人がいる - 設定スライダ？？？正気？？？
32. 例：目開き判定のしきい値 の決め方 - 人類のデフォルトは目開きなので、じーっとしてたら目 が開くようにする
33. 例：目開き判定のしきい値 の決め方 目閉じや、口認識なども同じ感じ に作ってます。 半目も出来るけど、大体目閉じ と目開きはパキっとなる
34. この辺の話は - ヒステリシス制御 - AutoGainControl みたいな仕組みが古典制御であり、製造業時代の知識が 生かせました。 なんでも勉強しておくと意外と別分野で役に立ちます
35. Webカメラ性能差を吸収する - 性能が低いカメラでは検出精度が暴れる →検出した目や口の開き具合をLowPassFilterを掛けて滑 らかに補正する
36. 頭の位置と向きの補正 ガクガク移動すると可愛くないので頭の位置と向きも LowPassFilterを掛けて滑らかに移動させる
37. こんなにやるの？
38. やる
39. 現在の世の中の「製品」は高品質前提 - 小機能は許されても低品質は許されない - 低品質で出してアップデートするまでの間、ユーザは 待ってくれない - 製品は最初から高品質で出す必要がある
40. あるある - ネタが被った - 睡眠時間削って作ったのに全然バズらない - 作ってて面白さが分からなくなってきた
41. それでも作った人に残るもの - 組み合わせたら出来そう、だけじゃなくて組み合わ せて作ってコンセプト動画を出した - 面倒くさい事まで含めてゴリゴリ製品レベルまで作 りこんだ経験値
42. 経験値は裏切らない - 意識高いツイートや社会を斬ってるだけでは身につか ない筋肉が付く - CGじゃなくて動くデモを作るのは、筋肉が付く - 筋肉は裏切らない
43. 本日のまとめ3点 - 気軽に作ってデモしたりTwitterに動画流そう - 技術デモでも最低限の見た目に気を使おう - デモから製品レベルまでには色んな工夫を実装するこ とになる
44. Happy Hacking! 続きはこの後の自由セッションや（あるとしたら）二次会に
45. 余談 弊社は副業可です :)