Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ピクシブにおける機械学習基盤
Search
sugakoji
June 13, 2023
Technology
0
680
ピクシブにおける機械学習基盤
第31回MLOps 勉強会で発表を行った「ピクシブ株式会社における機械学習基盤」の資料になります。
sugakoji
June 13, 2023
Tweet
Share
More Decks by sugakoji
See All by sugakoji
ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)
sugakoji
0
1.3k
Other Decks in Technology
See All in Technology
OpenHands🤲にContributeしてみた
kotauchisunsun
1
480
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
1k
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
140
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
900
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.5k
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
970
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
300
WordPressから ヘッドレスCMSへ! Storyblokへの移行プロセス
nyata
0
170
A2Aのクライアントを自作する
rynsuke
1
220
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
570
JEDAI Databricks Free Editionもくもく会
taka_aki
1
110
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
260
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
RailsConf 2023
tenderlove
30
1.1k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
A designer walks into a library…
pauljervisheath
207
24k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
230
Balancing Empowerment & Direction
lara
1
380
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Thoughts on Productivity
jonyablonski
69
4.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
ピクシブにおける 機械学習基盤 sugasuga 1
自己紹介 2
sugasuga 3 所属:ピクシブ株式会社 仕事:機械学習チームでエンジニア サブで採用・広報 趣味:最近はトレーニング
ピクシブとは? 4 • 約16サービス イラスト・マンガ・小説の SNS クリエイター支援 創作系メディア マンガ家支援 マンガサービス
EC 3Dモデル作成 イラスト勉強 ネット百科事典 グッズ作成 3Dモデル 運用広告 マンガアプリ ドローツール 画像変換 小説サービス
機械学習チームの特徴 5 • 幅広いタスクをチームで遂行
今日話す内容 6
主に3つ話します 7
伝えたいメッセージ 8
機械学習基盤の紹介 9
GCPバッチ基盤 10 • GPU・CPUリソースを必要分だけ確保して学習を行う
GCPオンライン推論基盤 11 • オンプレ環境と繋いで推論結果を返す
機械学習基盤の作成に 必要だった技術 12
インフラ管理 13 • terraformを使って各種GCPリソースの作成ができる
インフラ管理 14 • 実際のterraformファイル(一部)
インフラ管理 15 • 作成するリソースたくさんある
GKE 16 • 概念理解が必要
GKE 17 • 実際のマニフェスト (kubernetes設定ファイル)
GKE 18 • 環境管理をDRYに行えるkustomize
認証周り(推論基盤の場合) 19 • IAP(リバースプロキシ) 使って特定のアクセスのみ許可
CI整備 20 • コーディングスタイル統一・テスト・型チェック ◦ python ▪ flake8/black/isort/pytest/mypy ◦ sql
▪ sqlfluff
CD(推論基盤の場合) 21 • デプロイの大体の流れ
CT(推論基盤の場合) 22
その他 23 • ロギング • エラー通知(Sentry)・クラスタ監視(Datadog) • Docker Imageの軽量化 (マルチステージビルドやベースイメージの選定
) • CIの設定や軽量化(認証周り/キャッシュ) • 料金削減(リソースのライフサイクル設定 & コンピューティングリソースの最適化 ) けっこう大変😇
作成・運用していく中で感じた基盤のデ メリット 24
最初の構築に時間がかかる 25 • 数ヶ月かかった
アルゴリズムに割く時間が減る 26 • トレードオフとなる
オンボーディングコストが高くなる 27 • ゆっくり習得していただく想定
作成・運用していく中で感じた 基盤のメリット 28
手戻りや調整が少ない 29 • 自チーム内でプロジェクトが完結する
やれることが増える 30
やれることが増える 31 • 具体例
マネージドサービス起因の問題を踏みにくい 32 • マネージドサービスに頼りすぎていないので、自分達ではどうしようも ないという問題を「少し」避けやすい
所感 33 いろんな仕組みの変遷を経て、GCP基盤を作るに至りました。 最初の基盤は小さく作ることをおすすめします。
まとめ 34
まとめ 35
最後に 36
弊社の取り組みについて 37 その他の事例など、社内ブログpixiv insideに掲載しております
積極採用中!!! 38 MLOps人材・機械学習アルゴリズム人材を募集しています • アルバイト • 新卒 • 中途 •
副業 (夜・休日での作業可) カジュアル面談も受け付けております!
ご清聴 ありがとうございました 39