Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スニリプ全自動化への検討 / Full automated sni_rep
Search
shuukei.imas_cg
December 16, 2017
Research
1
890
スニリプ全自動化への検討 / Full automated sni_rep
#スニリプ キャンペーンの内容を現在知られている技術で自動化するとしたらどこまでできそうか検討してみた
shuukei.imas_cg
December 16, 2017
Tweet
Share
More Decks by shuukei.imas_cg
See All by shuukei.imas_cg
idol2vec
shuukeiimascg
3
910
台詞を一行も書かずに作る全自動アイドルBotの検討 / Full automated idol's bot
shuukeiimascg
1
930
シンデレラガールズ台詞判定の開発・運用・反響について
shuukeiimascg
5
2.9k
GAE/P環境でLINE BOTを作る
shuukeiimascg
0
880
シンデレラガールズの台詞のみから「誰の台詞か」機械学習で判定する
shuukeiimascg
1
2.9k
Other Decks in Research
See All in Research
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
380
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
230
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
420
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
6
1k
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
5.8k
NLP2025 WS Shared Task 文法誤り訂正部門 ehiMetrick
sugiyamaseiji
0
190
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
1.5k
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
220
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
390
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
250
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
260
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
530
Featured
See All Featured
A better future with KSS
kneath
239
17k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Raft: Consensus for Rubyists
vanstee
140
7k
Faster Mobile Websites
deanohume
307
31k
Agile that works and the tools we love
rasmusluckow
329
21k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
For a Future-Friendly Web
brad_frost
179
9.8k
Why Our Code Smells
bkeepers
PRO
337
57k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
#スニリプ 全自動化への検討 たくみP 2017/12/16 www.shuukei.info
自己紹介 たくみP 担当アイドル: 喜多日菜子 Twitter: @shuukei_imas_cg
@
[email protected]
運営しているサイト・サービス https://www.shuukei.info/ モバマス-Pixiv集計所 シンデレラガールズ/ミリオンライブ!/SideM台詞判定 喜多日菜子LINE BOT デレマスユニット推薦 2017/12/16 2
スニリプの要件/特徴 Twitterで#スニリプ のハッシュタグを付けてスニッ カーズのパッケージが写り込んだ写真を投稿すると、 アイドルから返事が来る(ことがある) 何人かのアイドルについては、動画メッセージがくる 返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明) 返信は事前に用意されたテキスト(著作者チェック済み)の 中から適当に選ばれる 従って発言パターンが少ない。写真のシチュエーションと 合っているとはいえないものも多い 返事がなかなか来ない… 2017/12/16 3 自動化で解決
自動化に向けた要素技術 「スニッカーズが写っているか否か」 物体検出 写真のシチュエーションに応じたテキストの生成 日本語イメージキャプショニング
Twitter Bot リミットを守って正しいリプライを 2017/12/16 4
今回実現したこと 「スニッカーズが写っているか否か」 物体検出 学習済みディープラーニングモデルの後段を 特徴抽出器とみなしてSVMで判定 写真のシチュエーションに応じたテキストの生成
日本語イメージキャプショニング 画像をCNNでベクトル化→LSTMでキャプション生成 Twitter Bot リミットを守って正しいリプライを 一般的なTwitter Botの技術 2017/12/16 5
物体検出 学習済みで配布されているディープラーニングモデル を特徴抽出器として使う 実質5行で書ける この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6
物体検出 今回は「キーアイテム」として2種類対応 スニッカーズ: スニリプ公式アカウントがリプライをした500ツイー トの画像から125個をランダムに選定 十六茶(喜多日菜子の総合16位にちなんで):
Google画像検索で人手で125個収集 負例: てきとうに人手で125個収集 上記の375個で学習 正解率: 78%(???) 2017/12/16 7
イメージキャプショニング 有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく) https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8
日本語イメージキャプショニング MS-COCOデータセットに日本語キャプションを付 けたデータセットがある STAIR Captions https://stair.center/archives/research/stair-captions
164,062画像に対する820,310キャプション 英語でキャプション生成 → 日本語に翻訳 の 場合に較べて性能がよいとされている 2017/12/16 9
Twitter Bot 口調変換 とりあえずルールベースで リミットを守る 30分ごとにTwitterが設定する制限がある
具体的な数値は公言されていない 有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている 30分で50ポスト? 2017/12/16 10
デモ Twitterアカウント: @hinako_rep このアカウントに対し画像添付のリプライを送る と返事が来る 喜多日菜子からの返事という体で作成 2017/12/16
11
課題 物体検出の性能向上 真面目にディープラーニングモデルのファイン チューニングを行う キャプション生成精度の向上 もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメント を付けたほうがいいかも… その場合、英語の物体検出でもよい (複数アイドルへの対応) 2017/12/16 12