ハムスター検出器を1日で作ってみた #NGK2018B

Precision と Recall の理解が逆だった模様です - https://qiita.com/amay077/items/45cd7ec04f906cba2f88?utm_campaign=email&utm_content=link&utm_medium=email&utm_source=public_comment#comment-74259156df38cb2a7fc1

Transcript

1. ハムスター検出器を １日で作ってみた 2018.12.22 NGK2018 @amay077
2. About Me • 奥山裕紳 - @amay077 (あめい) • 業務系プログラマ • 愛知県東部で働くフルリモートワーカー • Android, iOS, Xamarin, C#, Kotlin, TypeScript … • … AWS, Azure, Firebase, Salesforce, Geolocation Work for is silver sponsor of NGK2018B
4. ハムスターかわいい ニコ生で放送されてたのを観て癒やされた ↓ 実際飼うことにした ↓ 自分も配信してみよ ↓ デビュー！
7. なぜかキッズの溜まり場と化し、 広告収益が１万円／月を超えた ことも(副業:YouTuber)
8. しかし…
9. ハムスターは一日のほとんどを 巣穴の中で過ごす(via Wikipedia) ↓ いつ観ても寝ている ↓ 「つまらん」
10. そこで… ↓ 「 AI画像認識」で、ハムスターが 「寝ているか起きているかを検出」 し、起きていたら 「視聴者に通知」しよう
11. 機械学習とかよくわからないので Azure Custom Vision 使いまーす
12. 1. 配信PCに映ってるカメラ映像を30秒ごとにスク ショ 2. 各画像に「起きてる」「寝てる」を目視でタグ 付け 3. 半分を「教師データ」に、もう半分を「検証用 データ」に 4. Custom Vision に教師データをアップして学習 5. 検証データで評価 起 起 起 寝 寝 寝 起 起 起 寝 寝 寝 教師データ 検証用データ 起 寝 寝 教師データ 起 起 寝 検証用データ or 起 寝
13. 1. 配信PCに映ってるカメラ映像を30秒ごとにスク ショ 2. 各画像に「起きてる」「寝てる」を目視でタグ 付け 3. 半分を「教師データ」に、もう半分を「検証用 データ」に 4. Custom Vision に教師データをアップして学習 5. 検証データで評価 起 起 起 寝 寝 寝 起 起 起 寝 寝 寝 教師データ 検証用データ 起 寝 寝 教師データ 起 起 寝 検証用データ or 起 寝 Custom Vision が 4. でやってくれる っぽかったのでやめた 同上
15. 画像収集とタグ付け • 定期的にスクショを撮るフリーソフトで • 30秒ごと • PM6:00 ～ 翌AM9:00(15時間) • 加工は一切なし • 計1,943枚 を目視でタグ付け • 「寝ている」 – 1,717枚 • 教師データにしたのは200枚程度(データ数均衡保持) • 「起きている」 – 226枚
16. 結果
17. Custom Vision の Performance によると • 本当に「起きてる」画像の94%が「起きてる」と判定された • 「起きてる」と判定された画像の69%が本当に「起きてる」画像だった 「起きているところを見逃したくない」 というニーズならこれはヨシ！
18. もうちょっと精度上げられないかな… 加工、してみますか
19. 寝床に居るか居ないか だけで 判別すればいいよね？ 全画像を、右上から w:500px, h:400px でトリミング ↓
20. トリミングデータでの Performance • 本当に「起きてる」画像の100%が「起きてる」と判定された • 「起きてる」と判定された画像の94%が本当に「起きてる」画像だった
21. これから FaaSで定期的に「起きてる判定」をして、 YouTube ライブチャットに投稿します 1. 配信PCからクラウドストレージに画像UP 2. FaaS(Azure Function)で画像Trimして 3. Cognitive Service API で起きてる判定して 4. 結果をYouTubeライブチャットに投稿 課題 • 掃除した後、「同じ場所を寝床にするか分から ない」
22. タグ付けによって得た知見 ハムスターは1日(24時間)の内、 3時間しか巣外活動しておらず、 また一回の活動時間は 10分未満 が ほとんどである。 ペットはその生態に合わせて、 ムリをさせないように飼いましょう
23. ありがとうございました @amay077 ’19/2/7 or 8、DroidKaigi2019 で X-Plat の話しますのでよろ