ピクシブにおける機械学習基盤

第31回MLOps 勉強会で発表を行った「ピクシブ株式会社における機械学習基盤」の資料になります。

Transcript

1. ピクシブにおける 機械学習基盤 sugasuga 1
2. 自己紹介 2
3. sugasuga 3 所属：ピクシブ株式会社 仕事：機械学習チームでエンジニア サブで採用・広報 趣味：最近はトレーニング
4. ピクシブとは？ 4 • 約16サービス イラスト・マンガ・小説の SNS クリエイター支援 創作系メディア マンガ家支援 マンガサービス EC 3Dモデル作成 イラスト勉強 ネット百科事典 グッズ作成 3Dモデル 運用広告 マンガアプリ ドローツール 画像変換 小説サービス
5. 機械学習チームの特徴 5 • 幅広いタスクをチームで遂行
6. 今日話す内容 6
7. 主に3つ話します 7
8. 伝えたいメッセージ 8
9. 機械学習基盤の紹介 9
10. GCPバッチ基盤 10 • GPU・CPUリソースを必要分だけ確保して学習を行う
11. GCPオンライン推論基盤 11 • オンプレ環境と繋いで推論結果を返す
12. 機械学習基盤の作成に 必要だった技術 12
13. インフラ管理 13 • terraformを使って各種GCPリソースの作成ができる
14. インフラ管理 14 • 実際のterraformファイル（一部）
15. インフラ管理 15 • 作成するリソースたくさんある
16. GKE 16 • 概念理解が必要
17. GKE 17 • 実際のマニフェスト (kubernetes設定ファイル)
18. GKE 18 • 環境管理をDRYに行えるkustomize
19. 認証周り(推論基盤の場合) 19 • IAP(リバースプロキシ) 使って特定のアクセスのみ許可
20. CI整備 20 • コーディングスタイル統一・テスト・型チェック ◦ python ▪ flake8/black/isort/pytest/mypy ◦ sql ▪ sqlfluff
21. CD(推論基盤の場合) 21 • デプロイの大体の流れ
22. CT(推論基盤の場合) 22
23. その他 23 • ロギング • エラー通知(Sentry)・クラスタ監視(Datadog) • Docker Imageの軽量化 (マルチステージビルドやベースイメージの選定 ） • CIの設定や軽量化(認証周り/キャッシュ） • 料金削減(リソースのライフサイクル設定 & コンピューティングリソースの最適化 ） けっこう大変😇
24. 作成・運用していく中で感じた基盤のデ メリット 24
25. 最初の構築に時間がかかる 25 • 数ヶ月かかった
26. アルゴリズムに割く時間が減る 26 • トレードオフとなる
27. オンボーディングコストが高くなる 27 • ゆっくり習得していただく想定
28. 作成・運用していく中で感じた 基盤のメリット 28
29. 手戻りや調整が少ない 29 • 自チーム内でプロジェクトが完結する
30. やれることが増える 30
31. やれることが増える 31 • 具体例
32. マネージドサービス起因の問題を踏みにくい 32 • マネージドサービスに頼りすぎていないので、自分達ではどうしようも ないという問題を「少し」避けやすい
33. 所感 33 いろんな仕組みの変遷を経て、GCP基盤を作るに至りました。 最初の基盤は小さく作ることをおすすめします。
34. まとめ 34
35. まとめ 35
36. 最後に 36
37. 弊社の取り組みについて 37 その他の事例など、社内ブログpixiv insideに掲載しております
38. 積極採用中！！！ 38 MLOps人材・機械学習アルゴリズム人材を募集しています • アルバイト • 新卒 • 中途 • 副業 (夜・休日での作業可) カジュアル面談も受け付けております！
39. ご清聴 ありがとうございました 39