Slide 1
Slide 1 text
pixiv.inc
ピクシブ
機械学習基盤
@sugasuga
Slide 2
Slide 2 text
Profile
sugasuga
機械学習チームでエンジニア
サブで採用・広報
最近 趣味 トレーニング
Slide 3
Slide 3 text
今日
お話しすること
Slide 4
Slide 4 text
話すこと
Slide 5
Slide 5 text
なぜ機械学習基盤が
必要か？
Slide 6
Slide 6 text
活用されている場面
違反検知
レコメンド
広告
3D etc..
Slide 7
Slide 7 text
トップページ@ pixiv
Slide 8
Slide 8 text
関連作品 @ pixiv
Slide 9
Slide 9 text
レコメンド @ pixivFANBOX
Slide 10
Slide 10 text
他にも
Slide 11
Slide 11 text
1ヶ月間
レコメンド表示件数 ？
Slide 12
Slide 12 text
110億!!
Slide 13
Slide 13 text
大規模データ
投稿作品総数 1.3億件
総登録ユーザ数 9,800万人
月間レコメンド表示件数 110億件
Slide 14
Slide 14 text
課題
大規模なデータ 効率的な処理
機械学習サービス 展開 しやすさ
効率的な開発
Slide 15
Slide 15 text
機械学習基盤
について
Slide 16
Slide 16 text
1. GCPバッチ基盤
Slide 17
Slide 17 text
必要分だけリソース確保できる
Slide 18
Slide 18 text
例: レコメンドバッチ
Slide 19
Slide 19 text
大規模データを
効率的に処理できるように
なりました
Slide 20
Slide 20 text
2. リアルタイム推論基盤
Slide 21
Slide 21 text
数秒以内にレスポンスを返す
Slide 22
Slide 22 text
例：タグ おすすめ機能
Slide 23
Slide 23 text
機械学習サービスを
展開しやすくなりました
Slide 24
Slide 24 text
3. ノートブック開発環境
Slide 25
Slide 25 text
ノートブック開発環境
Slide 26
Slide 26 text
例：リソース選択が自由
Slide 27
Slide 27 text
効率的に開発が
行えるようになりました
Slide 28
Slide 28 text
全部移行したわけで ないです
紹介できていない既存 便利な仕組みも
資産として活用しています
Slide 29
Slide 29 text
基盤で使われている
技術
Slide 30
Slide 30 text
ど ように
インフラ管理を行うか？
Slide 31
Slide 31 text
インフラ管理
社内でノウハウあるしterraformで良さそう
Slide 32
Slide 32 text
どうやって認証を行うか？
Slide 33
Slide 33 text
認証
特定 アクセス み許可したい
？
Slide 34
Slide 34 text
認証
IAPぴったりじゃん！！
Slide 35
Slide 35 text
なんでGKEを
使っている ？
Slide 36
Slide 36 text
GKE 管理 大変
でも、、
ポータブルである必要があった
一部 機能がCloud Runで 使えなかった
Slide 37
Slide 37 text
ど ようにk8s
マニフェストを
管理しよう？
Slide 38
Slide 38 text
Kubernetes
大量 yamlファイルが爆誕
Slide 39
Slide 39 text
Kubernetes
kustomizeでDRYに環境管理！
Slide 40
Slide 40 text
そ 他
● ワークフローツール 選定
● エラー通知(Sentry)・クラスタ監視(Datadog)
● CI＆CD設定や軽量化
● CT（機械学習特有 継続的学習)について
Slide 41
Slide 41 text
運用してみて感じた
メリデメ
Slide 42
Slide 42 text
運用してみた感じた
メリット
Slide 43
Slide 43 text
チーム内でプロジェクトが完結
Slide 44
Slide 44 text
やれることが増える
Slide 45
Slide 45 text
マネージドサービス
固有 問題を避けやすい
マネージドサービスに頼りすぎていない で、
自分達で どうしようもないという問題を
「少し」避けやすい
Slide 46
Slide 46 text
運用してみた感じた
デメリット
Slide 47
Slide 47 text
機械学習領域に割く時間が減る
Slide 48
Slide 48 text
オンボーディングコストが高い
Slide 49
Slide 49 text
基盤を作って良かったと感じ
ています
Slide 50
Slide 50 text
さいごに
Slide 51
Slide 51 text
さいごに
現在GCPで機械学習基盤を構築しています
今後も、ユーザーやクリエイター ために、
機械学習技術/基盤を活用していきます
Slide 52
Slide 52 text
他 取り組みについて