Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スニリプ全自動化への検討 / Full automated sni_rep
Search
shuukei.imas_cg
December 16, 2017
Research
1
890
スニリプ全自動化への検討 / Full automated sni_rep
#スニリプ キャンペーンの内容を現在知られている技術で自動化するとしたらどこまでできそうか検討してみた
shuukei.imas_cg
December 16, 2017
Tweet
Share
More Decks by shuukei.imas_cg
See All by shuukei.imas_cg
idol2vec
shuukeiimascg
3
920
台詞を一行も書かずに作る全自動アイドルBotの検討 / Full automated idol's bot
shuukeiimascg
1
940
シンデレラガールズ台詞判定の開発・運用・反響について
shuukeiimascg
5
2.9k
GAE/P環境でLINE BOTを作る
shuukeiimascg
0
890
シンデレラガールズの台詞のみから「誰の台詞か」機械学習で判定する
shuukeiimascg
1
2.9k
Other Decks in Research
See All in Research
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
170
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
460
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
240
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
5
1.1k
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
390
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
430
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
750
20250725-bet-ai-day
cipepser
2
390
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
3
170
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.2k
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
880
Cross-Media Information Spaces and Architectures
signer
PRO
0
230
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Art of Programming - Codeland 2020
erikaheidi
55
13k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Typedesign – Prime Four
hannesfritz
42
2.8k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
BBQ
matthewcrist
89
9.8k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
Why Our Code Smells
bkeepers
PRO
338
57k
Transcript
#スニリプ 全自動化への検討 たくみP 2017/12/16 www.shuukei.info
自己紹介 たくみP 担当アイドル: 喜多日菜子 Twitter: @shuukei_imas_cg
@
[email protected]
運営しているサイト・サービス https://www.shuukei.info/ モバマス-Pixiv集計所 シンデレラガールズ/ミリオンライブ!/SideM台詞判定 喜多日菜子LINE BOT デレマスユニット推薦 2017/12/16 2
スニリプの要件/特徴 Twitterで#スニリプ のハッシュタグを付けてスニッ カーズのパッケージが写り込んだ写真を投稿すると、 アイドルから返事が来る(ことがある) 何人かのアイドルについては、動画メッセージがくる 返事をくれるアイドルは選べず、ランダムに選択される?
(選定条件不明) 返信は事前に用意されたテキスト(著作者チェック済み)の 中から適当に選ばれる 従って発言パターンが少ない。写真のシチュエーションと 合っているとはいえないものも多い 返事がなかなか来ない… 2017/12/16 3 自動化で解決
自動化に向けた要素技術 「スニッカーズが写っているか否か」 物体検出 写真のシチュエーションに応じたテキストの生成 日本語イメージキャプショニング
Twitter Bot リミットを守って正しいリプライを 2017/12/16 4
今回実現したこと 「スニッカーズが写っているか否か」 物体検出 学習済みディープラーニングモデルの後段を 特徴抽出器とみなしてSVMで判定 写真のシチュエーションに応じたテキストの生成
日本語イメージキャプショニング 画像をCNNでベクトル化→LSTMでキャプション生成 Twitter Bot リミットを守って正しいリプライを 一般的なTwitter Botの技術 2017/12/16 5
物体検出 学習済みで配布されているディープラーニングモデル を特徴抽出器として使う 実質5行で書ける この1000次元の特徴(要素数1000個のfloat32の配列)を SVMに渡して判別する
例によってJubatus(jubaclassfier: AROW)を使う 2017/12/16 6
物体検出 今回は「キーアイテム」として2種類対応 スニッカーズ: スニリプ公式アカウントがリプライをした500ツイー トの画像から125個をランダムに選定 十六茶(喜多日菜子の総合16位にちなんで):
Google画像検索で人手で125個収集 負例: てきとうに人手で125個収集 上記の375個で学習 正解率: 78%(???) 2017/12/16 7
イメージキャプショニング 有名なShow and tell論文のChainer実装がある (ありがたく使わせていただく) https://qiita.com/dsanno/items/b237482087207d0364c3 2017/12/16 8
日本語イメージキャプショニング MS-COCOデータセットに日本語キャプションを付 けたデータセットがある STAIR Captions https://stair.center/archives/research/stair-captions
164,062画像に対する820,310キャプション 英語でキャプション生成 → 日本語に翻訳 の 場合に較べて性能がよいとされている 2017/12/16 9
Twitter Bot 口調変換 とりあえずルールベースで リミットを守る 30分ごとにTwitterが設定する制限がある
具体的な数値は公言されていない 有志の調査により、APIで投稿できるのは 1時間で100ポスト程度と言われている 30分で50ポスト? 2017/12/16 10
デモ Twitterアカウント: @hinako_rep このアカウントに対し画像添付のリプライを送る と返事が来る 喜多日菜子からの返事という体で作成 2017/12/16
11
課題 物体検出の性能向上 真面目にディープラーニングモデルのファイン チューニングを行う キャプション生成精度の向上 もしかすると多クラスの一般物体検出を行って、見
つかった物体ごとに(人手で)事前定義したコメント を付けたほうがいいかも… その場合、英語の物体検出でもよい (複数アイドルへの対応) 2017/12/16 12