Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
Search
sugakoji
October 10, 2023
Programming
0
1.2k
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
October 10, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブにおける機械学習基盤
sugakoji
0
620
Other Decks in Programming
See All in Programming
イマのCSSでできる インタラクション最前線 + CSS最新情報
clockmaker
5
3.9k
テストコード文化を0から作り、変化し続けた組織
kazatohiei
2
970
As an Engineers, let's build the CRM system via LINE Official Account 2.0
clonn
1
640
聞き手から登壇者へ: RubyKaigi2024 LTでの初挑戦が 教えてくれた、可能性の星
mikik0
1
150
N.E.X.T LEVEL
pluu
2
270
tidymodelsによるtidyな生存時間解析 / Japan.R2024
dropout009
1
600
React への依存を最小にするフロントエンド設計
takonda
21
8.9k
【re:Growth 2024】 Aurora DSQL をちゃんと話します!
maroon1st
0
570
Testing Assembly: Code or Low Code - Navigating the Test Automation Options
maaretp
0
100
SymfonyCon Vienna 2025: Twig, still relevant in 2025?
fabpot
3
940
AWS認定資格を勉強した先に何があったか
satoshi256kbyte
2
190
社内活動の取り組み紹介 ~ スリーシェイクでこんな取り組みしてます ~
bells17
0
390
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
693
190k
Building Your Own Lightsaber
phodgson
103
6.1k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.7k
Typedesign – Prime Four
hannesfritz
40
2.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
A Tale of Four Properties
chriscoyier
157
23k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
Building Applications with DynamoDB
mza
91
6.1k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
The Pragmatic Product Professional
lauravandoore
32
6.3k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Transcript
pixiv.inc ピクシブ 機械学習基盤 @sugasuga
Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
今日 お話しすること
話すこと
なぜ機械学習基盤が 必要か?
活用されている場面 違反検知 レコメンド 広告 3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間 レコメンド表示件数 ?
110億!!
大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
機械学習基盤 について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを 効率的に処理できるように なりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例:タグ おすすめ機能
機械学習サービスを 展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例:リソース選択が自由
効率的に開発が 行えるようになりました
全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
基盤で使われている 技術
ど ように インフラ管理を行うか?
インフラ管理 社内でノウハウあるしterraformで良さそう
どうやって認証を行うか?
認証 特定 アクセス み許可したい ?
認証 IAPぴったりじゃん!!
なんでGKEを 使っている ?
GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
ど ようにk8s マニフェストを 管理しよう?
Kubernetes 大量 yamlファイルが爆誕
Kubernetes kustomizeでDRYに環境管理!
そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI&CD設定や軽量化 •
CT(機械学習特有 継続的学習)について
運用してみて感じた メリデメ
運用してみた感じた メリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
運用してみた感じた デメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じ ています
さいごに
さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
他 取り組みについて