Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
バカが取ったバイキングの皿を持ってきたよ!!
Search
Hayato Tsukagoshi
June 01, 2020
Programming
0
2.1k
バカが取ったバイキングの皿を持ってきたよ!!
This slide describe Twitter bot 'ujimaru', which says words like uzimaru.
Hayato Tsukagoshi
June 01, 2020
Tweet
Share
More Decks by Hayato Tsukagoshi
See All by Hayato Tsukagoshi
Word Embeddings Are Steers for Language Models
hpprc
1
220
NLP2024 招待論文セッション: 定義文を用いた文埋め込み構成法
hpprc
1
100
修論発表.pdf
hpprc
0
95
YANS2024: 目指せ国際会議!「あぶない国際会議」
hpprc
0
230
Isotropy, Clusters, and Classifiers
hpprc
3
850
[輪講資料] Matryoshka Representation Learning
hpprc
5
1.5k
[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training
hpprc
4
1.3k
[輪講資料] One Embedder, Any Task: Instruction-Finetuned Text Embeddings
hpprc
1
990
WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
hpprc
3
840
Other Decks in Programming
See All in Programming
0626 Findy Product Manager LT Night_高田スライド_speaker deck用
mana_takada
0
160
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
730
ruby.wasmで多人数リアルタイム通信ゲームを作ろう
lnit
3
450
Team operations that are not burdened by SRE
kazatohiei
1
310
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
480
来たるべき 8.0 に備えて React 19 新機能と React Router 固有機能の取捨選択とすり合わせを考える
oukayuka
2
920
PipeCDのプラグイン化で目指すところ
warashi
1
270
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
650
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
330
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
2
150
設計やレビューに悩んでいるPHPerに贈る、クリーンなオブジェクト設計の指針たち
panda_program
6
2k
iOS 26にアップデートすると実機でのHot Reloadができない?
umigishiaoi
0
130
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Into the Great Unknown - MozCon
thekraken
39
1.9k
How GitHub (no longer) Works
holman
314
140k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
730
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Code Reviewing Like a Champion
maltzj
524
40k
RailsConf 2023
tenderlove
30
1.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Done Done
chrislema
184
16k
A Tale of Four Properties
chriscoyier
160
23k
Transcript
うじまる生誕LT会 バカが取ったバイキングの皿 を持って来たよ!! @hpp_ricecake
うじまる生誕LT会 hpp Twitter : @hpp_ricecake GitHub : hppRC
うじまる生誕LT会 作ったもの
うじまる生誕LT会 うぢまるくん
うじまる生誕LT会
うじまる生誕LT会
うじまる生誕LT会 実装内容
うじまる生誕LT会 - Ujimaru Reformer (不採用) - Ujimaru Markov Model
- Ujimaru Twitter Crawler - Ujimaru Twitter Client - Ujimaru API
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer Reformer : NLP分野でSOTAな結果を出しまくったTransformerの高効率版 - うじまるくんのツイートを収集、8000文ほどを元データに(ごめん)
- Google Colaboratory で6時間ほど訓練 - 著者実装を参考にTPU(はやいやつ)で - 訓練したモデルから文生成をする(予定だった) - 生成結果は次のページ
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer 反省点 - データが少なすぎる(最低でも100,000文くらいは欲しい...) 解決策 -
うじまるくんが1日4000ツイートくらいする - 日本語Wikiのデータを混ぜる(全然関係ないモデルに...) - データ数が少なくても大丈夫な言語モデルに変更する
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Markov Model マルコフ連鎖 : 以前に出現した系列を元に次の出力を確率的に生成する -
うじまるくんの以前のツイートを元にモデルを作成 - ライブラリとして使えるように、JSONでモデルを出力 - 他の人のツイートも同じく収集して似た傾向の語彙を増強 - PyPIに登録したので`pip install ujimaru-markov-model`して `ujimaru`をするとうじまるくんが喋ります
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Twitter Crawler
うじまる生誕LT会 Ujimaru Twitter Crawler 実装: GO - データ収集に利用 -
anacondaを使用(超便利) - Standard Search APIじゃ足りなかったので Premium Search API (無料枠)も使用 - anacondaにPremium APIを触るメソッドが生えてなかったのでforkして生や した
うじまる生誕LT会 Ujimaru Twitter Client
うじまる生誕LT会 Ujimaru Twitter Client 実装: Rust - ツイートの定期投稿に利用
- ツイートするテキストはAPIから取得 - Twitter API を叩くいい感じのライブラリがなかったので自作↓ - Kuonという名前のOSSとして公開しました(めっちゃWIP)
うじまる生誕LT会 Ujimaru API
うじまる生誕LT会 Ujimaru API 実装: Python (flask) - Cloud
Run でデプロイ (https://ujimaru-api-l3qfihnisq-an.a.run.app/tweet) - アクセスすると生成したテキストを返す - Docker imageをポイするだけなので超簡単
うじまる生誕LT会 Ujimaru API まとめ - ニューラルなモデルを使うときはデータ数に気を付ける - ソースコード
: https://github.com/hppRC/ujimaru - LTのスライドは内容を絞ろう
うじまる生誕LT会