ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)

Transcript

1. pixiv.inc ピクシブ 機械学習基盤 @sugasuga
2. Profile sugasuga 機械学習チームでエンジニア サブで採用・広報 最近 趣味 トレーニング
3. 今日 お話しすること
4. 話すこと
5. なぜ機械学習基盤が 必要か？
6. 活用されている場面 違反検知 レコメンド 広告 3D etc..
7. トップページ@ pixiv
8. 関連作品 @ pixiv
9. レコメンド @ pixivFANBOX
10. 他にも
11. 1ヶ月間 レコメンド表示件数 ？
12. 110億!!
13. 大規模データ 投稿作品総数 1.3億件 総登録ユーザ数 9,800万人 月間レコメンド表示件数 110億件
14. 課題 大規模なデータ 効率的な処理 機械学習サービス 展開 しやすさ 効率的な開発
15. 機械学習基盤 について
16. 1. GCPバッチ基盤
17. 必要分だけリソース確保できる
18. 例: レコメンドバッチ
19. 大規模データを 効率的に処理できるように なりました
20. 2. リアルタイム推論基盤
21. 数秒以内にレスポンスを返す
22. 例：タグ おすすめ機能
23. 機械学習サービスを 展開しやすくなりました
24. 3. ノートブック開発環境
25. ノートブック開発環境
26. 例：リソース選択が自由
27. 効率的に開発が 行えるようになりました
28. 全部移行したわけで ないです 紹介できていない既存 便利な仕組みも 資産として活用しています
29. 基盤で使われている 技術
30. ど ように インフラ管理を行うか？
31. インフラ管理 社内でノウハウあるしterraformで良さそう
32. どうやって認証を行うか？
33. 認証 特定 アクセス み許可したい ？
34. 認証 IAPぴったりじゃん！！
35. なんでGKEを 使っている ？
36. GKE 管理 大変 でも、、 ポータブルである必要があった 一部 機能がCloud Runで 使えなかった
37. ど ようにk8s マニフェストを 管理しよう？
38. Kubernetes 大量 yamlファイルが爆誕
39. Kubernetes kustomizeでDRYに環境管理！
40. そ 他 • ワークフローツール 選定 • エラー通知(Sentry)・クラスタ監視(Datadog) • CI＆CD設定や軽量化 • CT（機械学習特有 継続的学習)について
41. 運用してみて感じた メリデメ
42. 運用してみた感じた メリット
43. チーム内でプロジェクトが完結
44. やれることが増える
45. マネージドサービス 固有 問題を避けやすい マネージドサービスに頼りすぎていない で、 自分達で どうしようもないという問題を 「少し」避けやすい
46. 運用してみた感じた デメリット
47. 機械学習領域に割く時間が減る
48. オンボーディングコストが高い
49. 基盤を作って良かったと感じ ています
50. さいごに
51. さいごに 現在GCPで機械学習基盤を構築しています 今後も、ユーザーやクリエイター ために、 機械学習技術/基盤を活用していきます
52. 他 取り組みについて