Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ハムスター検出器を1日で作ってみた #NGK2018B

80d2fc532ffcaba52ff614bb12a30336?s=47 amay077
December 22, 2018

ハムスター検出器を1日で作ってみた #NGK2018B

80d2fc532ffcaba52ff614bb12a30336?s=128

amay077

December 22, 2018
Tweet

Transcript

  1. ハムスター検出器を 1日で作ってみた 2018.12.22 NGK2018 @amay077

  2. About Me • 奥山裕紳 - @amay077 (あめい) • 業務系プログラマ •

    愛知県東部で働くフルリモートワーカー • Android, iOS, Xamarin, C#, Kotlin, TypeScript … • … AWS, Azure, Firebase, Salesforce, Geolocation Work for is silver sponsor of NGK2018B
  3. None
  4. ハムスターかわいい ニコ生で放送されてたのを観て癒やされた ↓ 実際飼うことにした ↓ 自分も配信してみよ ↓ デビュー!

  5. None
  6. None
  7. なぜかキッズの溜まり場と化し、 広告収益が1万円/月を超えた ことも(副業:YouTuber)

  8. しかし…

  9. ハムスターは一日のほとんどを 巣穴の中で過ごす(via Wikipedia) ↓ いつ観ても寝ている ↓ 「つまらん」

  10. そこで… ↓ 「 AI画像認識」で、ハムスターが 「寝ているか起きているかを検出」 し、起きていたら 「視聴者に通知」しよう

  11. 機械学習とかよくわからないので Azure Custom Vision 使いまーす

  12. 1. 配信PCに映ってるカメラ映像を30秒ごとにスク ショ 2. 各画像に「起きてる」「寝てる」を目視でタグ 付け 3. 半分を「教師データ」に、もう半分を「検証用 データ」に 4.

    Custom Vision に教師データをアップして学習 5. 検証データで評価 起 起 起 寝 寝 寝 起 起 起 寝 寝 寝 教師データ 検証用データ 起 寝 寝 教師データ 起 起 寝 検証用データ or 起 寝
  13. 1. 配信PCに映ってるカメラ映像を30秒ごとにスク ショ 2. 各画像に「起きてる」「寝てる」を目視でタグ 付け 3. 半分を「教師データ」に、もう半分を「検証用 データ」に 4.

    Custom Vision に教師データをアップして学習 5. 検証データで評価 起 起 起 寝 寝 寝 起 起 起 寝 寝 寝 教師データ 検証用データ 起 寝 寝 教師データ 起 起 寝 検証用データ or 起 寝 Custom Vision が 4. でやってくれる っぽかったのでやめた 同上
  14. None
  15. 画像収集とタグ付け • 定期的にスクショを撮るフリーソフトで • 30秒ごと • PM6:00 ~ 翌AM9:00(15時間) •

    加工は一切なし • 計1,943枚 を目視でタグ付け • 「寝ている」 – 1,717枚 • 教師データにしたのは200枚程度(データ数均衡保持) • 「起きている」 – 226枚
  16. 結果

  17. Custom Vision の Performance によると • 本当に「起きてる」画像の94%が「起きてる」と判定された • 「起きてる」と判定された画像の69%が本当に「起きてる」画像だった 「起きているところを見逃したくない」

    というニーズならこれはヨシ!
  18. もうちょっと精度上げられないかな… 加工、してみますか

  19. 寝床に居るか居ないか だけで 判別すればいいよね? 全画像を、右上から w:500px, h:400px でトリミング ↓

  20. トリミングデータでの Performance • 本当に「起きてる」画像の100%が「起きてる」と判定された • 「起きてる」と判定された画像の94%が本当に「起きてる」画像だった

  21. これから FaaSで定期的に「起きてる判定」をして、 YouTube ライブチャットに投稿します 1. 配信PCからクラウドストレージに画像UP 2. FaaS(Azure Function)で画像Trimして 3.

    Cognitive Service API で起きてる判定して 4. 結果をYouTubeライブチャットに投稿 課題 • 掃除した後、「同じ場所を寝床にするか分から ない」
  22. タグ付けによって得た知見 ハムスターは1日(24時間)の内、 3時間しか巣外活動しておらず、 また一回の活動時間は 10分未満 が ほとんどである。 ペットはその生態に合わせて、 ムリをさせないように飼いましょう

  23. ありがとうございました @amay077 ’19/2/7 or 8、DroidKaigi2019 で X-Plat の話しますのでよろ