Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブにおける機械学習基盤
Search
sugakoji
June 13, 2023
Technology
0
690
ピクシブにおける機械学習基盤
第31回MLOps 勉強会で発表を行った「ピクシブ株式会社における機械学習基盤」の資料になります。
sugakoji
June 13, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
0
1.4k
Other Decks in Technology
See All in Technology
AIに頼りすぎない新人育成術
cuebic9bic
3
340
キャリアを支え組織力を高める「多層型ふりかえり」 / 20250821 Kazuki Mori
shift_evolve
PRO
2
180
20250818_KGX・One Hokkaidoコラボイベント
tohgeyukihiro
0
120
生成AIによるソフトウェア開発の収束地点 - Hack Fes 2025
vaaaaanquish
35
16k
Rethinking Incident Response: Context-Aware AI in Practice - Incident Buddy Edition -
rrreeeyyy
0
120
UDDのススメ - 拡張版 -
maguroalternative
1
630
EKS Pod Identity における推移的な session tags
z63d
1
170
【OptimizationNight】数理最適化のラストワンマイルとしてのUIUX
brainpadpr
2
560
はじめての転職講座/The Guide of First Career Change
kwappa
5
4.5k
プロジェクトマネジメントは不確実性との対話だ
hisashiwatanabe
0
170
R-SCoRe: Revisiting Scene Coordinate Regression for Robust Large-Scale Visual Localization
takmin
0
140
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
0
1.4k
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Navigating Team Friction
lara
188
15k
Visualization
eitanlees
146
16k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
The Cult of Friendly URLs
andyhume
79
6.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
560
Bash Introduction
62gerente
614
210k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
What's in a price? How to price your products and services
michaelherold
246
12k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
ピクシブにおける 機械学習基盤 sugasuga 1
自己紹介 2
sugasuga 3 所属:ピクシブ株式会社 仕事:機械学習チームでエンジニア サブで採用・広報 趣味:最近はトレーニング
ピクシブとは? 4 • 約16サービス イラスト・マンガ・小説の SNS クリエイター支援 創作系メディア マンガ家支援 マンガサービス
EC 3Dモデル作成 イラスト勉強 ネット百科事典 グッズ作成 3Dモデル 運用広告 マンガアプリ ドローツール 画像変換 小説サービス
機械学習チームの特徴 5 • 幅広いタスクをチームで遂行
今日話す内容 6
主に3つ話します 7
伝えたいメッセージ 8
機械学習基盤の紹介 9
GCPバッチ基盤 10 • GPU・CPUリソースを必要分だけ確保して学習を行う
GCPオンライン推論基盤 11 • オンプレ環境と繋いで推論結果を返す
機械学習基盤の作成に 必要だった技術 12
インフラ管理 13 • terraformを使って各種GCPリソースの作成ができる
インフラ管理 14 • 実際のterraformファイル(一部)
インフラ管理 15 • 作成するリソースたくさんある
GKE 16 • 概念理解が必要
GKE 17 • 実際のマニフェスト (kubernetes設定ファイル)
GKE 18 • 環境管理をDRYに行えるkustomize
認証周り(推論基盤の場合) 19 • IAP(リバースプロキシ) 使って特定のアクセスのみ許可
CI整備 20 • コーディングスタイル統一・テスト・型チェック ◦ python ▪ flake8/black/isort/pytest/mypy ◦ sql
▪ sqlfluff
CD(推論基盤の場合) 21 • デプロイの大体の流れ
CT(推論基盤の場合) 22
その他 23 • ロギング • エラー通知(Sentry)・クラスタ監視(Datadog) • Docker Imageの軽量化 (マルチステージビルドやベースイメージの選定
) • CIの設定や軽量化(認証周り/キャッシュ) • 料金削減(リソースのライフサイクル設定 & コンピューティングリソースの最適化 ) けっこう大変😇
作成・運用していく中で感じた基盤のデ メリット 24
最初の構築に時間がかかる 25 • 数ヶ月かかった
アルゴリズムに割く時間が減る 26 • トレードオフとなる
オンボーディングコストが高くなる 27 • ゆっくり習得していただく想定
作成・運用していく中で感じた 基盤のメリット 28
手戻りや調整が少ない 29 • 自チーム内でプロジェクトが完結する
やれることが増える 30
やれることが増える 31 • 具体例
マネージドサービス起因の問題を踏みにくい 32 • マネージドサービスに頼りすぎていないので、自分達ではどうしようも ないという問題を「少し」避けやすい
所感 33 いろんな仕組みの変遷を経て、GCP基盤を作るに至りました。 最初の基盤は小さく作ることをおすすめします。
まとめ 34
まとめ 35
最後に 36
弊社の取り組みについて 37 その他の事例など、社内ブログpixiv insideに掲載しております
積極採用中!!! 38 MLOps人材・機械学習アルゴリズム人材を募集しています • アルバイト • 新卒 • 中途 •
副業 (夜・休日での作業可) カジュアル面談も受け付けております!
ご清聴 ありがとうございました 39