Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スニリプ全自動化への検討 / Full automated sni_rep
Search
shuukei.imas_cg
December 16, 2017
Research
1
890
スニリプ全自動化への検討 / Full automated sni_rep
#スニリプ キャンペーンの内容を現在知られている技術で自動化するとしたらどこまでできそうか検討してみた
shuukei.imas_cg
December 16, 2017
Tweet
Share
More Decks by shuukei.imas_cg
See All by shuukei.imas_cg
idol2vec
shuukeiimascg
3
910
台詞を一行も書かずに作る全自動アイドルBotの検討 / Full automated idol's bot
shuukeiimascg
1
930
シンデレラガールズ台詞判定の開発・運用・反響について
shuukeiimascg
5
2.9k
GAE/P環境でLINE BOTを作る
shuukeiimascg
0
880
シンデレラガールズの台詞のみから「誰の台詞か」機械学習で判定する
shuukeiimascg
1
2.9k
Other Decks in Research
See All in Research
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
300
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.2k
最適化と機械学習による問題解決
mickey_kubo
0
140
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
12
8.3k
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
530
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.3k
Submeter-level land cover mapping of Japan
satai
3
110
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
120
数理最適化と機械学習の融合
mickey_kubo
15
8.9k
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
190
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
1.5k
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Side Projects
sachag
455
42k
Statistics for Hackers
jakevdp
799
220k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Automating Front-end Workflow
addyosmani
1370
200k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
The Invisible Side of Design
smashingmag
301
51k
Transcript
#スニリプ 全自動化への検討 たくみP 2017/12/16 www.shuukei.info
自己紹介 たくみP 担当アイドル: 喜多日菜子 Twitter: @shuukei_imas_cg
@
[email protected]
運営しているサイト・サービス https://www.shuukei.info/ モバマス-Pixiv集計所 シンデレラガールズ/ミリオンライブ!/SideM台詞判定 喜多日菜子LINE BOT デレマスユニット推薦 2017/12/16 2
スニリプの要件/特徴 Twitterで#スニリプ のハッシュタグを付けてスニッ カーズのパッケージが写り込んだ写真を投稿すると、 アイドルから返事が来る(ことがある) 何人かのアイドルについては、動画メッセージがくる 返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明) 返信は事前に用意されたテキスト(著作者チェック済み)の 中から適当に選ばれる 従って発言パターンが少ない。写真のシチュエーションと 合っているとはいえないものも多い 返事がなかなか来ない… 2017/12/16 3 自動化で解決
自動化に向けた要素技術 「スニッカーズが写っているか否か」 物体検出 写真のシチュエーションに応じたテキストの生成 日本語イメージキャプショニング
Twitter Bot リミットを守って正しいリプライを 2017/12/16 4
今回実現したこと 「スニッカーズが写っているか否か」 物体検出 学習済みディープラーニングモデルの後段を 特徴抽出器とみなしてSVMで判定 写真のシチュエーションに応じたテキストの生成
日本語イメージキャプショニング 画像をCNNでベクトル化→LSTMでキャプション生成 Twitter Bot リミットを守って正しいリプライを 一般的なTwitter Botの技術 2017/12/16 5
物体検出 学習済みで配布されているディープラーニングモデル を特徴抽出器として使う 実質5行で書ける この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6
物体検出 今回は「キーアイテム」として2種類対応 スニッカーズ: スニリプ公式アカウントがリプライをした500ツイー トの画像から125個をランダムに選定 十六茶(喜多日菜子の総合16位にちなんで):
Google画像検索で人手で125個収集 負例: てきとうに人手で125個収集 上記の375個で学習 正解率: 78%(???) 2017/12/16 7
イメージキャプショニング 有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく) https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8
日本語イメージキャプショニング MS-COCOデータセットに日本語キャプションを付 けたデータセットがある STAIR Captions https://stair.center/archives/research/stair-captions
164,062画像に対する820,310キャプション 英語でキャプション生成 → 日本語に翻訳 の 場合に較べて性能がよいとされている 2017/12/16 9
Twitter Bot 口調変換 とりあえずルールベースで リミットを守る 30分ごとにTwitterが設定する制限がある
具体的な数値は公言されていない 有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている 30分で50ポスト? 2017/12/16 10
デモ Twitterアカウント: @hinako_rep このアカウントに対し画像添付のリプライを送る と返事が来る 喜多日菜子からの返事という体で作成 2017/12/16
11
課題 物体検出の性能向上 真面目にディープラーニングモデルのファイン チューニングを行う キャプション生成精度の向上 もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメント を付けたほうがいいかも… その場合、英語の物体検出でもよい (複数アイドルへの対応) 2017/12/16 12