pixiv.incピクシブ機械学習基盤@sugasuga
View Slide
Profilesugasuga機械学習チームでエンジニアサブで採用・広報最近 趣味 トレーニング
今日お話しすること
話すこと
なぜ機械学習基盤が必要か？
活用されている場面違反検知レコメンド広告3D etc..
トップページ@ pixiv
関連作品 @ pixiv
レコメンド @ pixivFANBOX
他にも
1ヶ月間レコメンド表示件数 ？
110億!!
大規模データ投稿作品総数 1.3億件総登録ユーザ数 9,800万人月間レコメンド表示件数 110億件
課題大規模なデータ 効率的な処理機械学習サービス 展開 しやすさ効率的な開発
機械学習基盤について
1. GCPバッチ基盤
必要分だけリソース確保できる
例: レコメンドバッチ
大規模データを効率的に処理できるようになりました
2. リアルタイム推論基盤
数秒以内にレスポンスを返す
例：タグ おすすめ機能
機械学習サービスを展開しやすくなりました
3. ノートブック開発環境
ノートブック開発環境
例：リソース選択が自由
効率的に開発が行えるようになりました
全部移行したわけで ないです紹介できていない既存 便利な仕組みも資産として活用しています
基盤で使われている技術
ど ようにインフラ管理を行うか？
インフラ管理社内でノウハウあるしterraformで良さそう
どうやって認証を行うか？
認証特定 アクセス み許可したい？
認証IAPぴったりじゃん！！
なんでGKEを使っている ？
GKE 管理 大変でも、、ポータブルである必要があった一部 機能がCloud Runで 使えなかった
ど ようにk8sマニフェストを管理しよう？
Kubernetes大量 yamlファイルが爆誕
KuberneteskustomizeでDRYに環境管理！
そ 他● ワークフローツール 選定● エラー通知(Sentry)・クラスタ監視(Datadog)● CI＆CD設定や軽量化● CT（機械学習特有 継続的学習)について
運用してみて感じたメリデメ
運用してみた感じたメリット
チーム内でプロジェクトが完結
やれることが増える
マネージドサービス固有 問題を避けやすいマネージドサービスに頼りすぎていない で、自分達で どうしようもないという問題を「少し」避けやすい
運用してみた感じたデメリット
機械学習領域に割く時間が減る
オンボーディングコストが高い
基盤を作って良かったと感じています
さいごに
さいごに現在GCPで機械学習基盤を構築しています今後も、ユーザーやクリエイター ために、機械学習技術/基盤を活用していきます
他 取り組みについて
sugakoji
piyoppi
niftycorp
commojun
fbei_ot
pocopota
trapezoid
codehex
yusukebe
azukiazusa1
yuhei_fujita
nrslib
masatoshiitoh
lara
skipperchong
jeffersonlam
mclloyd
maggiecrowley
paulrobertlloyd
jakevdp
smashingmag
sstephenson
philhawksworth
myddelton
quramy