Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
バカが取ったバイキングの皿を持ってきたよ!!
Search
Hayato Tsukagoshi
June 01, 2020
Programming
0
1.7k
バカが取ったバイキングの皿を持ってきたよ!!
This slide describe Twitter bot 'ujimaru', which says words like uzimaru.
Hayato Tsukagoshi
June 01, 2020
Tweet
Share
More Decks by Hayato Tsukagoshi
See All by Hayato Tsukagoshi
[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training
hpprc
3
720
[輪講資料] One Embedder, Any Task: Instruction-Finetuned Text Embeddings
hpprc
1
680
WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
hpprc
3
630
Hyena Hierarchy: Towards Larger Convolutional Language Models
hpprc
4
1.8k
[輪講資料] LoRA: Low-Rank Adaptation of Large Language Models
hpprc
44
56k
資源として見る実験プログラム
hpprc
13
3.3k
[輪講資料] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space
hpprc
0
1.4k
[輪講資料] Language-agnostic BERT Sentence Embedding
hpprc
6
2k
[輪講資料] SimCSE: Simple Contrastive Learning of Sentence Embeddings
hpprc
9
5.3k
Other Decks in Programming
See All in Programming
君たちはどうコードをレビューする (される) か / 大吉祥寺.pm
utgwkk
15
8.5k
Rubyのパフォーマンスプロファイリングの改善 / Enhancing performance profiling for Ruby
osyoyu
1
410
Google's Recipe for Scaling (Web) Security – LocoMocoSec 2024
lweichselbaum
0
170
Ruby メモリ管理 プログラミング
megmogmog1965
0
130
最近追加した型の紹介とその振り返り
aki19035vc
0
170
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
350
APIのない大学ログインWebサービスをWKWebViewとJavaScriptでアプリ化した話
akidon0000
1
330
スクラムマスターって孤独じゃないですか?
yoshitaroyoyo
1
140
CSC307 Lecture 08
javiergs
PRO
0
330
The rollercoaster of releasing an Android, iOS, and macOS app with Kotlin Multiplatform | droidcon Berlin
prof18
0
110
入社1ヶ月でここまでやった!Findy Toolsインフラ支援の最適化
rvirus0817
6
1.4k
開発部に不満を持っていたCSがエンジニアにジョブチェンしてわかった「勝手に諦めない」ことの大切さ
sakuraikotone
28
16k
Featured
See All Featured
Docker and Python
trallard
37
2.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
39
47k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
Thoughts on Productivity
jonyablonski
64
4.1k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Atom: Resistance is Futile
akmur
261
25k
In The Pink: A Labor of Love
frogandcode
139
22k
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Transcript
うじまる生誕LT会 バカが取ったバイキングの皿 を持って来たよ!! @hpp_ricecake
うじまる生誕LT会 hpp Twitter : @hpp_ricecake GitHub : hppRC
うじまる生誕LT会 作ったもの
うじまる生誕LT会 うぢまるくん
うじまる生誕LT会
うじまる生誕LT会
うじまる生誕LT会 実装内容
うじまる生誕LT会 - Ujimaru Reformer (不採用) - Ujimaru Markov Model
- Ujimaru Twitter Crawler - Ujimaru Twitter Client - Ujimaru API
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer Reformer : NLP分野でSOTAな結果を出しまくったTransformerの高効率版 - うじまるくんのツイートを収集、8000文ほどを元データに(ごめん)
- Google Colaboratory で6時間ほど訓練 - 著者実装を参考にTPU(はやいやつ)で - 訓練したモデルから文生成をする(予定だった) - 生成結果は次のページ
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer 反省点 - データが少なすぎる(最低でも100,000文くらいは欲しい...) 解決策 -
うじまるくんが1日4000ツイートくらいする - 日本語Wikiのデータを混ぜる(全然関係ないモデルに...) - データ数が少なくても大丈夫な言語モデルに変更する
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Markov Model マルコフ連鎖 : 以前に出現した系列を元に次の出力を確率的に生成する -
うじまるくんの以前のツイートを元にモデルを作成 - ライブラリとして使えるように、JSONでモデルを出力 - 他の人のツイートも同じく収集して似た傾向の語彙を増強 - PyPIに登録したので`pip install ujimaru-markov-model`して `ujimaru`をするとうじまるくんが喋ります
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Twitter Crawler
うじまる生誕LT会 Ujimaru Twitter Crawler 実装: GO - データ収集に利用 -
anacondaを使用(超便利) - Standard Search APIじゃ足りなかったので Premium Search API (無料枠)も使用 - anacondaにPremium APIを触るメソッドが生えてなかったのでforkして生や した
うじまる生誕LT会 Ujimaru Twitter Client
うじまる生誕LT会 Ujimaru Twitter Client 実装: Rust - ツイートの定期投稿に利用
- ツイートするテキストはAPIから取得 - Twitter API を叩くいい感じのライブラリがなかったので自作↓ - Kuonという名前のOSSとして公開しました(めっちゃWIP)
うじまる生誕LT会 Ujimaru API
うじまる生誕LT会 Ujimaru API 実装: Python (flask) - Cloud
Run でデプロイ (https://ujimaru-api-l3qfihnisq-an.a.run.app/tweet) - アクセスすると生成したテキストを返す - Docker imageをポイするだけなので超簡単
うじまる生誕LT会 Ujimaru API まとめ - ニューラルなモデルを使うときはデータ数に気を付ける - ソースコード
: https://github.com/hppRC/ujimaru - LTのスライドは内容を絞ろう
うじまる生誕LT会