Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
Search
sugakoji
October 10, 2023
Programming
0
1.5k
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
October 10, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブにおける機械学習基盤
sugakoji
0
720
Other Decks in Programming
See All in Programming
ID管理機能開発の裏側 高速にSaaS連携を実現したチームのAI活用編
atzzcokek
0
190
非同期処理の迷宮を抜ける: 初学者がつまづく構造的な原因
pd1xx
1
580
ViewファーストなRailsアプリ開発のたのしさ
sugiwe
0
400
20 years of Symfony, what's next?
fabpot
2
310
全員アーキテクトで挑む、 巨大で高密度なドメインの紐解き方
agatan
8
18k
AIエンジニアリングのご紹介 / Introduction to AI Engineering
rkaga
2
1.1k
Microservices rules: What good looks like
cer
PRO
0
560
著者と進める!『AIと個人開発したくなったらまずCursorで要件定義だ!』
yasunacoffee
0
110
30分でDoctrineの仕組みと使い方を完全にマスターする / phpconkagawa 2025 Doctrine
ttskch
3
730
エディターってAIで操作できるんだぜ
kis9a
0
650
20251127_ぼっちのための懇親会対策会議
kokamoto01_metaps
2
400
Developing static sites with Ruby
okuramasafumi
0
100
Featured
See All Featured
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
54k
The Power of CSS Pseudo Elements
geoffreycrofte
80
6.1k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Rails Girls Zürich Keynote
gr2m
95
14k
We Have a Design System, Now What?
morganepeng
54
7.9k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
690
What's in a price? How to price your products and services
michaelherold
246
12k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
1k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.8k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Transcript
pixiv.inc ピクシブ 機械学習基盤 @sugasuga
Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
今日 お話しすること
話すこと
なぜ機械学習基盤が 必要か?
活用されている場面 違反検知 レコメンド 広告 3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間 レコメンド表示件数 ?
110億!!
大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
機械学習基盤 について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを 効率的に処理できるように なりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例:タグ おすすめ機能
機械学習サービスを 展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例:リソース選択が自由
効率的に開発が 行えるようになりました
全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
基盤で使われている 技術
ど ように インフラ管理を行うか?
インフラ管理 社内でノウハウあるしterraformで良さそう
どうやって認証を行うか?
認証 特定 アクセス み許可したい ?
認証 IAPぴったりじゃん!!
なんでGKEを 使っている ?
GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
ど ようにk8s マニフェストを 管理しよう?
Kubernetes 大量 yamlファイルが爆誕
Kubernetes kustomizeでDRYに環境管理!
そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI&CD設定や軽量化 •
CT(機械学習特有 継続的学習)について
運用してみて感じた メリデメ
運用してみた感じた メリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
運用してみた感じた デメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じ ています
さいごに
さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
他 取り組みについて