Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブにおける機械学習基盤
Search
sugakoji
June 13, 2023
Technology
0
680
ピクシブにおける機械学習基盤
第31回MLOps 勉強会で発表を行った「ピクシブ株式会社における機械学習基盤」の資料になります。
sugakoji
June 13, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
0
1.4k
Other Decks in Technology
See All in Technology
PO初心者が考えた ”POらしさ”
nb_rady
0
210
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
130
OPENLOGI Company Profile for engineer
hr01
1
34k
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
120
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
440
怖くない!はじめてのClaude Code
shinya337
0
390
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
510
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
300
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
150
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
310
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
120
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
How GitHub (no longer) Works
holman
314
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Transcript
ピクシブにおける 機械学習基盤 sugasuga 1
自己紹介 2
sugasuga 3 所属:ピクシブ株式会社 仕事:機械学習チームでエンジニア サブで採用・広報 趣味:最近はトレーニング
ピクシブとは? 4 • 約16サービス イラスト・マンガ・小説の SNS クリエイター支援 創作系メディア マンガ家支援 マンガサービス
EC 3Dモデル作成 イラスト勉強 ネット百科事典 グッズ作成 3Dモデル 運用広告 マンガアプリ ドローツール 画像変換 小説サービス
機械学習チームの特徴 5 • 幅広いタスクをチームで遂行
今日話す内容 6
主に3つ話します 7
伝えたいメッセージ 8
機械学習基盤の紹介 9
GCPバッチ基盤 10 • GPU・CPUリソースを必要分だけ確保して学習を行う
GCPオンライン推論基盤 11 • オンプレ環境と繋いで推論結果を返す
機械学習基盤の作成に 必要だった技術 12
インフラ管理 13 • terraformを使って各種GCPリソースの作成ができる
インフラ管理 14 • 実際のterraformファイル(一部)
インフラ管理 15 • 作成するリソースたくさんある
GKE 16 • 概念理解が必要
GKE 17 • 実際のマニフェスト (kubernetes設定ファイル)
GKE 18 • 環境管理をDRYに行えるkustomize
認証周り(推論基盤の場合) 19 • IAP(リバースプロキシ) 使って特定のアクセスのみ許可
CI整備 20 • コーディングスタイル統一・テスト・型チェック ◦ python ▪ flake8/black/isort/pytest/mypy ◦ sql
▪ sqlfluff
CD(推論基盤の場合) 21 • デプロイの大体の流れ
CT(推論基盤の場合) 22
その他 23 • ロギング • エラー通知(Sentry)・クラスタ監視(Datadog) • Docker Imageの軽量化 (マルチステージビルドやベースイメージの選定
) • CIの設定や軽量化(認証周り/キャッシュ) • 料金削減(リソースのライフサイクル設定 & コンピューティングリソースの最適化 ) けっこう大変😇
作成・運用していく中で感じた基盤のデ メリット 24
最初の構築に時間がかかる 25 • 数ヶ月かかった
アルゴリズムに割く時間が減る 26 • トレードオフとなる
オンボーディングコストが高くなる 27 • ゆっくり習得していただく想定
作成・運用していく中で感じた 基盤のメリット 28
手戻りや調整が少ない 29 • 自チーム内でプロジェクトが完結する
やれることが増える 30
やれることが増える 31 • 具体例
マネージドサービス起因の問題を踏みにくい 32 • マネージドサービスに頼りすぎていないので、自分達ではどうしようも ないという問題を「少し」避けやすい
所感 33 いろんな仕組みの変遷を経て、GCP基盤を作るに至りました。 最初の基盤は小さく作ることをおすすめします。
まとめ 34
まとめ 35
最後に 36
弊社の取り組みについて 37 その他の事例など、社内ブログpixiv insideに掲載しております
積極採用中!!! 38 MLOps人材・機械学習アルゴリズム人材を募集しています • アルバイト • 新卒 • 中途 •
副業 (夜・休日での作業可) カジュアル面談も受け付けております!
ご清聴 ありがとうございました 39