Slide 1
Slide 1 text
ピクシブにおける
機械学習基盤
sugasuga
1
Slide 2
Slide 2 text
自己紹介
2
Slide 3
Slide 3 text
sugasuga
3
所属：ピクシブ株式会社
仕事：機械学習チームでエンジニア
サブで採用・広報
趣味：最近はトレーニング
Slide 4
Slide 4 text
ピクシブとは？
4
● 約16サービス
イラスト・マンガ・小説の SNS
クリエイター支援
創作系メディア
マンガ家支援
マンガサービス
EC
3Dモデル作成
イラスト勉強 ネット百科事典
グッズ作成
3Dモデル 運用広告
マンガアプリ
ドローツール
画像変換
小説サービス
Slide 5
Slide 5 text
機械学習チームの特徴
5
● 幅広いタスクをチームで遂行
Slide 6
Slide 6 text
今日話す内容
6
Slide 7
Slide 7 text
主に3つ話します
7
Slide 8
Slide 8 text
伝えたいメッセージ
8
Slide 9
Slide 9 text
機械学習基盤の紹介
9
Slide 10
Slide 10 text
GCPバッチ基盤
10
● GPU・CPUリソースを必要分だけ確保して学習を行う
Slide 11
Slide 11 text
GCPオンライン推論基盤
11
● オンプレ環境と繋いで推論結果を返す
Slide 12
Slide 12 text
機械学習基盤の作成に
必要だった技術
12
Slide 13
Slide 13 text
インフラ管理
13
● terraformを使って各種GCPリソースの作成ができる
Slide 14
Slide 14 text
インフラ管理
14
● 実際のterraformファイル（一部）
Slide 15
Slide 15 text
インフラ管理
15
● 作成するリソースたくさんある
Slide 16
Slide 16 text
GKE
16
● 概念理解が必要
Slide 17
Slide 17 text
GKE
17
● 実際のマニフェスト (kubernetes設定ファイル)
Slide 18
Slide 18 text
GKE
18
● 環境管理をDRYに行えるkustomize
Slide 19
Slide 19 text
認証周り(推論基盤の場合)
19
● IAP(リバースプロキシ) 使って特定のアクセスのみ許可
Slide 20
Slide 20 text
CI整備
20
● コーディングスタイル統一・テスト・型チェック
○ python
■ flake8/black/isort/pytest/mypy
○ sql
■ sqlfluff
Slide 21
Slide 21 text
CD(推論基盤の場合)
21
● デプロイの大体の流れ
Slide 22
Slide 22 text
CT(推論基盤の場合)
22
Slide 23
Slide 23 text
その他
23
● ロギング
● エラー通知(Sentry)・クラスタ監視(Datadog)
● Docker Imageの軽量化 (マルチステージビルドやベースイメージの選定
）
● CIの設定や軽量化(認証周り/キャッシュ）
● 料金削減(リソースのライフサイクル設定 & コンピューティングリソースの最適化
）
けっこう大変😇
Slide 24
Slide 24 text
作成・運用していく中で感じた基盤のデ
メリット
24
Slide 25
Slide 25 text
最初の構築に時間がかかる
25
● 数ヶ月かかった
Slide 26
Slide 26 text
アルゴリズムに割く時間が減る
26
● トレードオフとなる
Slide 27
Slide 27 text
オンボーディングコストが高くなる
27
● ゆっくり習得していただく想定
Slide 28
Slide 28 text
作成・運用していく中で感じた
基盤のメリット
28
Slide 29
Slide 29 text
手戻りや調整が少ない
29
● 自チーム内でプロジェクトが完結する
Slide 30
Slide 30 text
やれることが増える
30
Slide 31
Slide 31 text
やれることが増える
31
● 具体例
Slide 32
Slide 32 text
マネージドサービス起因の問題を踏みにくい
32
● マネージドサービスに頼りすぎていないので、自分達ではどうしようも
ないという問題を「少し」避けやすい
Slide 33
Slide 33 text
所感
33
いろんな仕組みの変遷を経て、GCP基盤を作るに至りました。
最初の基盤は小さく作ることをおすすめします。
Slide 34
Slide 34 text
まとめ
34
Slide 35
Slide 35 text
まとめ
35
Slide 36
Slide 36 text
最後に
36
Slide 37
Slide 37 text
弊社の取り組みについて
37
その他の事例など、社内ブログpixiv insideに掲載しております
Slide 38
Slide 38 text
積極採用中！！！
38
MLOps人材・機械学習アルゴリズム人材を募集しています
● アルバイト
● 新卒
● 中途
● 副業 (夜・休日での作業可)
カジュアル面談も受け付けております！
Slide 39
Slide 39 text
ご清聴
ありがとうございました
39