Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
Search
sugakoji
October 10, 2023
Programming
0
860
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
October 10, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブにおける機械学習基盤
sugakoji
0
550
Other Decks in Programming
See All in Programming
Docker_OSS_ホスティング入門
satokoki645
0
110
VS Code をプロダクトにどう取り込むか
onomax
1
790
Criando a Woovi em uma semana
daniloab
0
100
Folding Cheat Sheet #4
philipschwarz
PRO
0
110
Ruby on Fails - effective error handling with Rails conventions
talyssonoc
0
210
検証も兼ねて個人開発でHonoとかと向き合った話
hanetsuki
1
1.4k
ServerAction で Progressive Enhancement はどこまで頑張れるか? / progressive-enhancement-with-server-action
takefumiyoshii
6
480
AppRouter Panel Talk
yosuke_furukawa
PRO
1
500
Fragment Composition of GraphQL
quramy
13
1.6k
TypeScriptとGraphQLで実現する 型安全なAPI実装 / TSKaigi 2024
hokaccha
2
180
GraphQLサーバの構成要素を整理する #ハッカー鮨 #tsukijigraphql / graphql server technology selection
izumin5210
4
920
PHPはいつから死んでいるかの調査
chiroruxx
2
430
Featured
See All Featured
Designing the Hi-DPI Web
ddemaree
276
33k
Documentation Writing (for coders)
carmenintech
60
4k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
Git: the NoSQL Database
bkeepers
PRO
423
63k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
We Have a Design System, Now What?
morganepeng
43
6.8k
Unsuck your backbone
ammeep
664
57k
How STYLIGHT went responsive
nonsquared
92
4.8k
Scaling GitHub
holman
457
140k
GraphQLとの向き合い方2022年版
quramy
33
12k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Transcript
pixiv.inc ピクシブ 機械学習基盤 @sugasuga
Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
今日 お話しすること
話すこと
なぜ機械学習基盤が 必要か?
活用されている場面 違反検知 レコメンド 広告 3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間 レコメンド表示件数 ?
110億!!
大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
機械学習基盤 について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを 効率的に処理できるように なりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例:タグ おすすめ機能
機械学習サービスを 展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例:リソース選択が自由
効率的に開発が 行えるようになりました
全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
基盤で使われている 技術
ど ように インフラ管理を行うか?
インフラ管理 社内でノウハウあるしterraformで良さそう
どうやって認証を行うか?
認証 特定 アクセス み許可したい ?
認証 IAPぴったりじゃん!!
なんでGKEを 使っている ?
GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
ど ようにk8s マニフェストを 管理しよう?
Kubernetes 大量 yamlファイルが爆誕
Kubernetes kustomizeでDRYに環境管理!
そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI&CD設定や軽量化 •
CT(機械学習特有 継続的学習)について
運用してみて感じた メリデメ
運用してみた感じた メリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
運用してみた感じた デメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じ ています
さいごに
さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
他 取り組みについて