Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スニリプ全自動化への検討 / Full automated sni_rep
Search
shuukei.imas_cg
December 16, 2017
Research
1
890
スニリプ全自動化への検討 / Full automated sni_rep
#スニリプ キャンペーンの内容を現在知られている技術で自動化するとしたらどこまでできそうか検討してみた
shuukei.imas_cg
December 16, 2017
Tweet
Share
More Decks by shuukei.imas_cg
See All by shuukei.imas_cg
idol2vec
shuukeiimascg
3
920
台詞を一行も書かずに作る全自動アイドルBotの検討 / Full automated idol's bot
shuukeiimascg
1
930
シンデレラガールズ台詞判定の開発・運用・反響について
shuukeiimascg
5
2.9k
GAE/P環境でLINE BOTを作る
shuukeiimascg
0
880
シンデレラガールズの台詞のみから「誰の台詞か」機械学習で判定する
shuukeiimascg
1
2.9k
Other Decks in Research
See All in Research
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
2.9k
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
280
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.6k
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
250
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
110
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.2k
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
500
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
340
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
3.9k
NLP2025参加報告会 LT資料
hargon24
1
330
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
120
Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction
satai
3
220
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.7k
What's in a price? How to price your products and services
michaelherold
246
12k
A designer walks into a library…
pauljervisheath
207
24k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Done Done
chrislema
184
16k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
A Modern Web Designer's Workflow
chriscoyier
695
190k
For a Future-Friendly Web
brad_frost
179
9.8k
Docker and Python
trallard
45
3.5k
Scaling GitHub
holman
460
140k
Transcript
#スニリプ 全自動化への検討 たくみP 2017/12/16 www.shuukei.info
自己紹介 たくみP 担当アイドル: 喜多日菜子 Twitter: @shuukei_imas_cg
@
[email protected]
運営しているサイト・サービス https://www.shuukei.info/ モバマス-Pixiv集計所 シンデレラガールズ/ミリオンライブ!/SideM台詞判定 喜多日菜子LINE BOT デレマスユニット推薦 2017/12/16 2
スニリプの要件/特徴 Twitterで#スニリプ のハッシュタグを付けてスニッ カーズのパッケージが写り込んだ写真を投稿すると、 アイドルから返事が来る(ことがある) 何人かのアイドルについては、動画メッセージがくる 返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明) 返信は事前に用意されたテキスト(著作者チェック済み)の 中から適当に選ばれる 従って発言パターンが少ない。写真のシチュエーションと 合っているとはいえないものも多い 返事がなかなか来ない… 2017/12/16 3 自動化で解決
自動化に向けた要素技術 「スニッカーズが写っているか否か」 物体検出 写真のシチュエーションに応じたテキストの生成 日本語イメージキャプショニング
Twitter Bot リミットを守って正しいリプライを 2017/12/16 4
今回実現したこと 「スニッカーズが写っているか否か」 物体検出 学習済みディープラーニングモデルの後段を 特徴抽出器とみなしてSVMで判定 写真のシチュエーションに応じたテキストの生成
日本語イメージキャプショニング 画像をCNNでベクトル化→LSTMでキャプション生成 Twitter Bot リミットを守って正しいリプライを 一般的なTwitter Botの技術 2017/12/16 5
物体検出 学習済みで配布されているディープラーニングモデル を特徴抽出器として使う 実質5行で書ける この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6
物体検出 今回は「キーアイテム」として2種類対応 スニッカーズ: スニリプ公式アカウントがリプライをした500ツイー トの画像から125個をランダムに選定 十六茶(喜多日菜子の総合16位にちなんで):
Google画像検索で人手で125個収集 負例: てきとうに人手で125個収集 上記の375個で学習 正解率: 78%(???) 2017/12/16 7
イメージキャプショニング 有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく) https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8
日本語イメージキャプショニング MS-COCOデータセットに日本語キャプションを付 けたデータセットがある STAIR Captions https://stair.center/archives/research/stair-captions
164,062画像に対する820,310キャプション 英語でキャプション生成 → 日本語に翻訳 の 場合に較べて性能がよいとされている 2017/12/16 9
Twitter Bot 口調変換 とりあえずルールベースで リミットを守る 30分ごとにTwitterが設定する制限がある
具体的な数値は公言されていない 有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている 30分で50ポスト? 2017/12/16 10
デモ Twitterアカウント: @hinako_rep このアカウントに対し画像添付のリプライを送る と返事が来る 喜多日菜子からの返事という体で作成 2017/12/16
11
課題 物体検出の性能向上 真面目にディープラーニングモデルのファイン チューニングを行う キャプション生成精度の向上 もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメント を付けたほうがいいかも… その場合、英語の物体検出でもよい (複数アイドルへの対応) 2017/12/16 12