Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
Search
sugakoji
October 10, 2023
Programming
0
950
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
October 10, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブにおける機械学習基盤
sugakoji
0
580
Other Decks in Programming
See All in Programming
英語
s_shimotori
1
220
Microservices rules (July 2024) : what good looks like
cer
PRO
0
1.6k
[After Kotlin Fest 2024 LT Night @ Sansan] もっともっとKotlinを好きになる!K2 Compiler Pluginで遊んでみよう!
kitakkun
2
260
スクラムマスターって孤独じゃないですか?
yoshitaroyoyo
1
140
ぼっちを避けて楽しむためのアノテコノテ / Various Tips and Tricks to Avoid Loneliness and Have Fun
nrslib
3
1.7k
Architectures with Lightweight Stores: New Rules and Options
manfredsteyer
PRO
0
100
Exploring the Gradually Lost Technical Skills in the Cloud Native Era
hwchiu
2
3.9k
I/O Extended Android in Korea 2024 ~ Whats new in Android development tools
pluu
0
250
AHC035解説
terryu16
0
710
MIERUNE BBQにおけるユーザー中心設計()
mierune
PRO
1
110
CSC307 Lecture 07
javiergs
PRO
0
220
Modern Angular: Renovation for Your Applications
manfredsteyer
PRO
0
140
Featured
See All Featured
Scaling GitHub
holman
458
140k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
A Tale of Four Properties
chriscoyier
155
22k
Designing for Performance
lara
604
67k
Automating Front-end Workflow
addyosmani
1362
200k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
325
21k
How to Think Like a Performance Engineer
csswizardry
4
590
Facilitating Awesome Meetings
lara
46
5.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
224
21k
It's Worth the Effort
3n
181
27k
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
Transcript
pixiv.inc ピクシブ 機械学習基盤 @sugasuga
Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
今日 お話しすること
話すこと
なぜ機械学習基盤が 必要か?
活用されている場面 違反検知 レコメンド 広告 3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間 レコメンド表示件数 ?
110億!!
大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
機械学習基盤 について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを 効率的に処理できるように なりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例:タグ おすすめ機能
機械学習サービスを 展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例:リソース選択が自由
効率的に開発が 行えるようになりました
全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
基盤で使われている 技術
ど ように インフラ管理を行うか?
インフラ管理 社内でノウハウあるしterraformで良さそう
どうやって認証を行うか?
認証 特定 アクセス み許可したい ?
認証 IAPぴったりじゃん!!
なんでGKEを 使っている ?
GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
ど ようにk8s マニフェストを 管理しよう?
Kubernetes 大量 yamlファイルが爆誕
Kubernetes kustomizeでDRYに環境管理!
そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI&CD設定や軽量化 •
CT(機械学習特有 継続的学習)について
運用してみて感じた メリデメ
運用してみた感じた メリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
運用してみた感じた デメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じ ています
さいごに
さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
他 取り組みについて