スニリプ全自動化への検討 / Full automated sni_rep

#スニリプ全自動化への検討たくみP 2017/12/16 www.shuukei.info

自己紹介  たくみP  担当アイドル: 喜多日菜子  Twitter: @shuukei_imas_cg 
@[email protected]  運営しているサイト・サービス https://www.shuukei.info/  モバマス-Pixiv集計所  シンデレラガールズ/ミリオンライブ!/SideM台詞判定  喜多日菜子LINE BOT  デレマスユニット推薦 2017/12/16 2

スニリプの要件/特徴  Twitterで#スニリプのハッシュタグを付けてスニッカーズのパッケージが写り込んだ写真を投稿すると、アイドルから返事が来る(ことがある)  何人かのアイドルについては、動画メッセージがくる  返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明)  返信は事前に用意されたテキスト(著作者チェック済み)の中から適当に選ばれる  従って発言パターンが少ない。写真のシチュエーションと合っているとはいえないものも多い  返事がなかなか来ない… 2017/12/16 3 自動化で解決

自動化に向けた要素技術  「スニッカーズが写っているか否か」  物体検出  写真のシチュエーションに応じたテキストの生成  日本語イメージキャプショニング 
Twitter Bot  リミットを守って正しいリプライを 2017/12/16 4

今回実現したこと  「スニッカーズが写っているか否か」  物体検出  学習済みディープラーニングモデルの後段を特徴抽出器とみなしてSVMで判定  写真のシチュエーションに応じたテキストの生成
 日本語イメージキャプショニング  画像をCNNでベクトル化→LSTMでキャプション生成  Twitter Bot  リミットを守って正しいリプライを  一般的なTwitter Botの技術 2017/12/16 5

物体検出  学習済みで配布されているディープラーニングモデルを特徴抽出器として使う  実質5行で書ける  この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する 
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6

物体検出  今回は「キーアイテム」として2種類対応  スニッカーズ:  スニリプ公式アカウントがリプライをした500ツイートの画像から125個をランダムに選定  十六茶(喜多日菜子の総合16位にちなんで):
 Google画像検索で人手で125個収集  負例:  てきとうに人手で125個収集  上記の375個で学習  正解率: 78%(???) 2017/12/16 7

イメージキャプショニング  有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく)  https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8

日本語イメージキャプショニング  MS-COCOデータセットに日本語キャプションを付けたデータセットがある  STAIR Captions  https://stair.center/archives/research/stair-captions 
164,062画像に対する820,310キャプション  英語でキャプション生成 → 日本語に翻訳の場合に較べて性能がよいとされている 2017/12/16 9

Twitter Bot  口調変換  とりあえずルールベースで  リミットを守る  30分ごとにTwitterが設定する制限がある
 具体的な数値は公言されていない  有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている  30分で50ポスト? 2017/12/16 10

デモ  Twitterアカウント: @hinako_rep  このアカウントに対し画像添付のリプライを送ると返事が来る  喜多日菜子からの返事という体で作成 2017/12/16
11

課題  物体検出の性能向上  真面目にディープラーニングモデルのファインチューニングを行う  キャプション生成精度の向上  もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメントを付けたほうがいいかも…  その場合、英語の物体検出でもよい  (複数アイドルへの対応) 2017/12/16 12

スニリプ全自動化への検討 / Full automated sni_rep

スニリプ全自動化への検討 / Full automated sni_rep

shuukei.imas_cg

More Decks by shuukei.imas_cg

Other Decks in Research

Featured

Transcript

#スニリプ全自動化への検討たくみP 2017/12/16 www.shuukei.info

自己紹介  たくみP  担当アイドル: 喜多日菜子  Twitter: @shuukei_imas_cg 

自動化に向けた要素技術  「スニッカーズが写っているか否か」  物体検出  写真のシチュエーションに応じたテキストの生成  日本語イメージキャプショニング 

今回実現したこと  「スニッカーズが写っているか否か」  物体検出  学習済みディープラーニングモデルの後段を特徴抽出器とみなしてSVMで判定  写真のシチュエーションに応じたテキストの生成

物体検出  学習済みで配布されているディープラーニングモデルを特徴抽出器として使う  実質5行で書ける  この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する 

物体検出  今回は「キーアイテム」として2種類対応  スニッカーズ:  スニリプ公式アカウントがリプライをした500ツイートの画像から125個をランダムに選定  十六茶(喜多日菜子の総合16位にちなんで):

イメージキャプショニング  有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく)  https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8

日本語イメージキャプショニング  MS-COCOデータセットに日本語キャプションを付けたデータセットがある  STAIR Captions  https://stair.center/archives/research/stair-captions 

Twitter Bot  口調変換  とりあえずルールベースで  リミットを守る  30分ごとにTwitterが設定する制限がある

デモ  Twitterアカウント: @hinako_rep  このアカウントに対し画像添付のリプライを送ると返事が来る  喜多日菜子からの返事という体で作成 2017/12/16

課題  物体検出の性能向上  真面目にディープラーニングモデルのファインチューニングを行う  キャプション生成精度の向上  もしかすると多クラスの一般物体検出を行って、見