Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
Search
sugakoji
October 10, 2023
Programming
0
1.4k
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
October 10, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブにおける機械学習基盤
sugakoji
0
680
Other Decks in Programming
See All in Programming
Comparing decimals in Swift Testing
417_72ki
0
100
LLMは麻雀を知らなすぎるから俺が教育してやる
po3rin
2
1.3k
202507_ADKで始めるエージェント開発の基本 〜デモを通じて紹介〜(奥田りさ)The Basics of Agent Development with ADK — A Demo-Focused Introduction
risatube
PRO
5
1.2k
20250708_JAWS_opscdk
takuyay0ne
2
150
状態遷移図を書こう / Sequence Chart vs State Diagram
orgachem
PRO
3
290
型で語るカタ
irof
1
850
「次に何を学べばいいか分からない」あなたへ──若手エンジニアのための学習地図
panda_program
3
660
階層化自動テストで開発に機動力を
ickx
1
440
Strands Agents で実現する名刺解析アーキテクチャ
omiya0555
1
110
AIともっと楽するE2Eテスト
myohei
9
3.2k
The Niche of CDK Grant オブジェクトって何者?/the-niche-of-cdk-what-isgrant-object
hassaku63
1
710
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
2
730
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Producing Creativity
orderedlist
PRO
346
40k
Building Adaptive Systems
keathley
43
2.7k
Bash Introduction
62gerente
613
210k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Visualization
eitanlees
146
16k
KATA
mclloyd
30
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Transcript
pixiv.inc ピクシブ 機械学習基盤 @sugasuga
Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
今日 お話しすること
話すこと
なぜ機械学習基盤が 必要か?
活用されている場面 違反検知 レコメンド 広告 3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間 レコメンド表示件数 ?
110億!!
大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
機械学習基盤 について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを 効率的に処理できるように なりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例:タグ おすすめ機能
機械学習サービスを 展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例:リソース選択が自由
効率的に開発が 行えるようになりました
全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
基盤で使われている 技術
ど ように インフラ管理を行うか?
インフラ管理 社内でノウハウあるしterraformで良さそう
どうやって認証を行うか?
認証 特定 アクセス み許可したい ?
認証 IAPぴったりじゃん!!
なんでGKEを 使っている ?
GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
ど ようにk8s マニフェストを 管理しよう?
Kubernetes 大量 yamlファイルが爆誕
Kubernetes kustomizeでDRYに環境管理!
そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI&CD設定や軽量化 •
CT(機械学習特有 継続的学習)について
運用してみて感じた メリデメ
運用してみた感じた メリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
運用してみた感じた デメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じ ています
さいごに
さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
他 取り組みについて