アイドルに感情を委ねる

アイドルに感情を委ねる team: 体力持つのは1 時間 miyachik

自己紹介 @_miyachik ウサミンサーバー側の人: Ruby/JavaScript/Golang

前回のハッカソン

デレ劇コマ割りするすごい奴

デレ劇コマ割りするすごい奴公式のデレ劇を1 コマづつに分解して保存する単体画像をリプライにつけてコミュニケーションリプライにくっつけるための画像集はいっぱいできた ( ただ、探すのがめんどくさい) 現在最新が1013
話(+1 話) なので合計5070 コマある

課題感情はあるが該当するコマはない探しても良いが手間俺達が求めてるのは :happy: => アイドルが嬉しそうな顔をしてるコマがでることだ！！！感情分類だ！！！

成果物デレ劇コマ分類器: PickerPicker 1 コマずつ出てくるコマを喜怒哀楽でラベル付してくWebApp 気合で喜怒哀楽に分類していくデレ劇以外のN+1 コマ漫画にも対応 https://github.com/miyachik/PickerPicker

実装的な話 Rails 5.2.0.beta2 ActiveStorage 使いたかった感想: まぁ便利... くらい => 懇親会で
人間用の画像認識系のAPI (Google) VisonAPI (Azure) EmotionAPI (Amazon) Rekognitio 全て無のresponse が帰ってくる( 当たり前っちゃ当たり前)

[miyachi_kenta]% ruby vison.rb { "responses": [ {} ] }

デモ

余談

感情は難しい

いろいろ喜怒哀楽の喜と楽の違いが微妙にわからない => 調べたら感情が乏しいと言われシュンとなるラベル付けされたモデルができるので適当にDeepLearning に突っ込めばいい感じになるかもしれない( なってほしい) デレ劇でなくアニメを元にやっても面白そう(
画像取ってくるのが大変) 漫画には文章があるので、Google Cloud Natural Language API とかに投げればある程度自動分類できるかも? => 現状ポジネガぐらいなので喜怒哀楽ぐらいは難しそう?

アイドルに感情を委ねる

アイドルに感情を委ねる

Kenta Miyachi

More Decks by Kenta Miyachi

Other Decks in Technology

Featured

Transcript