Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
バカが取ったバイキングの皿を持ってきたよ!!
Search
Hayato Tsukagoshi
June 01, 2020
Programming
0
2.1k
バカが取ったバイキングの皿を持ってきたよ!!
This slide describe Twitter bot 'ujimaru', which says words like uzimaru.
Hayato Tsukagoshi
June 01, 2020
Tweet
Share
More Decks by Hayato Tsukagoshi
See All by Hayato Tsukagoshi
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
670
Word Embeddings Are Steers for Language Models
hpprc
1
240
NLP2024 招待論文セッション: 定義文を用いた文埋め込み構成法
hpprc
1
130
修論発表.pdf
hpprc
0
100
YANS2024: 目指せ国際会議!「あぶない国際会議」
hpprc
0
260
Isotropy, Clusters, and Classifiers
hpprc
3
900
[輪講資料] Matryoshka Representation Learning
hpprc
5
1.8k
[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training
hpprc
4
1.4k
[輪講資料] One Embedder, Any Task: Instruction-Finetuned Text Embeddings
hpprc
1
1k
Other Decks in Programming
See All in Programming
AIを活用し、今後に備えるための技術知識 / Basic Knowledge to Utilize AI
kishida
22
5.9k
「手軽で便利」に潜む罠。 Popover API を WCAG 2.2の視点で安全に使うには
taitotnk
0
870
Testing Trophyは叫ばない
toms74209200
0
890
ファインディ株式会社におけるMCP活用とサービス開発
starfish719
0
2.1k
旅行プランAIエージェント開発の裏側
ippo012
2
930
@Environment(\.keyPath)那么好我不允许你们不知道! / atEnvironment keyPath is so good and you should know it!
lovee
0
130
楽して成果を出すためのセルフリソース管理
clipnote
0
190
請來的 AI Agent 同事們在寫程式時,怎麼用 pytest 去除各種幻想與盲點
keitheis
0
130
Swift Updates - Learn Languages 2025
koher
2
510
時間軸から考えるTerraformを使う理由と留意点
fufuhu
16
4.8k
Design Foundational Data Engineering Observability
sucitw
3
200
「待たせ上手」なスケルトンスクリーン、 そのUXの裏側
teamlab
PRO
0
570
Featured
See All Featured
Facilitating Awesome Meetings
lara
55
6.5k
We Have a Design System, Now What?
morganepeng
53
7.8k
A Modern Web Designer's Workflow
chriscoyier
696
190k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Become a Pro
speakerdeck
PRO
29
5.5k
Balancing Empowerment & Direction
lara
3
620
How to Ace a Technical Interview
jacobian
279
23k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
930
How to train your dragon (web standard)
notwaldorf
96
6.2k
Designing for Performance
lara
610
69k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Transcript
うじまる生誕LT会 バカが取ったバイキングの皿 を持って来たよ!! @hpp_ricecake
うじまる生誕LT会 hpp Twitter : @hpp_ricecake GitHub : hppRC
うじまる生誕LT会 作ったもの
うじまる生誕LT会 うぢまるくん
うじまる生誕LT会
うじまる生誕LT会
うじまる生誕LT会 実装内容
うじまる生誕LT会 - Ujimaru Reformer (不採用) - Ujimaru Markov Model
- Ujimaru Twitter Crawler - Ujimaru Twitter Client - Ujimaru API
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer Reformer : NLP分野でSOTAな結果を出しまくったTransformerの高効率版 - うじまるくんのツイートを収集、8000文ほどを元データに(ごめん)
- Google Colaboratory で6時間ほど訓練 - 著者実装を参考にTPU(はやいやつ)で - 訓練したモデルから文生成をする(予定だった) - 生成結果は次のページ
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer 反省点 - データが少なすぎる(最低でも100,000文くらいは欲しい...) 解決策 -
うじまるくんが1日4000ツイートくらいする - 日本語Wikiのデータを混ぜる(全然関係ないモデルに...) - データ数が少なくても大丈夫な言語モデルに変更する
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Markov Model マルコフ連鎖 : 以前に出現した系列を元に次の出力を確率的に生成する -
うじまるくんの以前のツイートを元にモデルを作成 - ライブラリとして使えるように、JSONでモデルを出力 - 他の人のツイートも同じく収集して似た傾向の語彙を増強 - PyPIに登録したので`pip install ujimaru-markov-model`して `ujimaru`をするとうじまるくんが喋ります
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Twitter Crawler
うじまる生誕LT会 Ujimaru Twitter Crawler 実装: GO - データ収集に利用 -
anacondaを使用(超便利) - Standard Search APIじゃ足りなかったので Premium Search API (無料枠)も使用 - anacondaにPremium APIを触るメソッドが生えてなかったのでforkして生や した
うじまる生誕LT会 Ujimaru Twitter Client
うじまる生誕LT会 Ujimaru Twitter Client 実装: Rust - ツイートの定期投稿に利用
- ツイートするテキストはAPIから取得 - Twitter API を叩くいい感じのライブラリがなかったので自作↓ - Kuonという名前のOSSとして公開しました(めっちゃWIP)
うじまる生誕LT会 Ujimaru API
うじまる生誕LT会 Ujimaru API 実装: Python (flask) - Cloud
Run でデプロイ (https://ujimaru-api-l3qfihnisq-an.a.run.app/tweet) - アクセスすると生成したテキストを返す - Docker imageをポイするだけなので超簡単
うじまる生誕LT会 Ujimaru API まとめ - ニューラルなモデルを使うときはデータ数に気を付ける - ソースコード
: https://github.com/hppRC/ujimaru - LTのスライドは内容を絞ろう
うじまる生誕LT会