Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スニリプ全自動化への検討 / Full automated sni_rep
Search
shuukei.imas_cg
December 16, 2017
Research
1
870
スニリプ全自動化への検討 / Full automated sni_rep
#スニリプ キャンペーンの内容を現在知られている技術で自動化するとしたらどこまでできそうか検討してみた
shuukei.imas_cg
December 16, 2017
Tweet
Share
More Decks by shuukei.imas_cg
See All by shuukei.imas_cg
idol2vec
shuukeiimascg
3
880
台詞を一行も書かずに作る全自動アイドルBotの検討 / Full automated idol's bot
shuukeiimascg
1
920
シンデレラガールズ台詞判定の開発・運用・反響について
shuukeiimascg
5
2.8k
GAE/P環境でLINE BOTを作る
shuukeiimascg
0
850
シンデレラガールズの台詞のみから「誰の台詞か」機械学習で判定する
shuukeiimascg
1
2.8k
Other Decks in Research
See All in Research
言語モデルLUKEを経済の知識に特化させたモデル「UBKE-LUKE」について
petter0201
0
160
Geospecific View Generation - Geometry-Context Aware High-resolution Ground View Inference from Satellite Views
satai
2
160
Weekly AI Agents News! 9月号 プロダクト/ニュースのアーカイブ
masatoto
2
200
セミコン地域における総合交通戦略
trafficbrain
0
110
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
380
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
240
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
10
2.4k
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
380
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
230
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
450
CoRL2024サーベイ
rpc
1
1.5k
Tiaccoon: コンテナネットワークにおいて複数トランスポート方式で統一的なアクセス制御
hiroyaonoe
0
370
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Why Our Code Smells
bkeepers
PRO
335
57k
YesSQL, Process and Tooling at Scale
rocio
171
14k
RailsConf 2023
tenderlove
29
990
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
GraphQLとの向き合い方2022年版
quramy
44
13k
Scaling GitHub
holman
459
140k
Code Review Best Practice
trishagee
66
17k
Building Applications with DynamoDB
mza
93
6.2k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
390
Being A Developer After 40
akosma
89
590k
Transcript
#スニリプ 全自動化への検討 たくみP 2017/12/16 www.shuukei.info
自己紹介 たくみP 担当アイドル: 喜多日菜子 Twitter: @shuukei_imas_cg
@
[email protected]
運営しているサイト・サービス https://www.shuukei.info/ モバマス-Pixiv集計所 シンデレラガールズ/ミリオンライブ!/SideM台詞判定 喜多日菜子LINE BOT デレマスユニット推薦 2017/12/16 2
スニリプの要件/特徴 Twitterで#スニリプ のハッシュタグを付けてスニッ カーズのパッケージが写り込んだ写真を投稿すると、 アイドルから返事が来る(ことがある) 何人かのアイドルについては、動画メッセージがくる 返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明) 返信は事前に用意されたテキスト(著作者チェック済み)の 中から適当に選ばれる 従って発言パターンが少ない。写真のシチュエーションと 合っているとはいえないものも多い 返事がなかなか来ない… 2017/12/16 3 自動化で解決
自動化に向けた要素技術 「スニッカーズが写っているか否か」 物体検出 写真のシチュエーションに応じたテキストの生成 日本語イメージキャプショニング
Twitter Bot リミットを守って正しいリプライを 2017/12/16 4
今回実現したこと 「スニッカーズが写っているか否か」 物体検出 学習済みディープラーニングモデルの後段を 特徴抽出器とみなしてSVMで判定 写真のシチュエーションに応じたテキストの生成
日本語イメージキャプショニング 画像をCNNでベクトル化→LSTMでキャプション生成 Twitter Bot リミットを守って正しいリプライを 一般的なTwitter Botの技術 2017/12/16 5
物体検出 学習済みで配布されているディープラーニングモデル を特徴抽出器として使う 実質5行で書ける この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6
物体検出 今回は「キーアイテム」として2種類対応 スニッカーズ: スニリプ公式アカウントがリプライをした500ツイー トの画像から125個をランダムに選定 十六茶(喜多日菜子の総合16位にちなんで):
Google画像検索で人手で125個収集 負例: てきとうに人手で125個収集 上記の375個で学習 正解率: 78%(???) 2017/12/16 7
イメージキャプショニング 有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく) https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8
日本語イメージキャプショニング MS-COCOデータセットに日本語キャプションを付 けたデータセットがある STAIR Captions https://stair.center/archives/research/stair-captions
164,062画像に対する820,310キャプション 英語でキャプション生成 → 日本語に翻訳 の 場合に較べて性能がよいとされている 2017/12/16 9
Twitter Bot 口調変換 とりあえずルールベースで リミットを守る 30分ごとにTwitterが設定する制限がある
具体的な数値は公言されていない 有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている 30分で50ポスト? 2017/12/16 10
デモ Twitterアカウント: @hinako_rep このアカウントに対し画像添付のリプライを送る と返事が来る 喜多日菜子からの返事という体で作成 2017/12/16
11
課題 物体検出の性能向上 真面目にディープラーニングモデルのファイン チューニングを行う キャプション生成精度の向上 もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメント を付けたほうがいいかも… その場合、英語の物体検出でもよい (複数アイドルへの対応) 2017/12/16 12