Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)

sugakoji
October 10, 2023

ピクシブの機械学習基盤 (PIXIV MEETUP 2023版)

sugakoji

October 10, 2023
Tweet

More Decks by sugakoji

Other Decks in Programming

Transcript

  1. pixiv.inc
    ピクシブ
    機械学習基盤
    @sugasuga

    View full-size slide

  2. Profile
    sugasuga
    機械学習チームでエンジニア
    サブで採用・広報
    最近 趣味 トレーニング

    View full-size slide

  3. 今日
    お話しすること

    View full-size slide

  4. 話すこと

    View full-size slide

  5. なぜ機械学習基盤が
    必要か?

    View full-size slide

  6. 活用されている場面
    違反検知
    レコメンド
    広告
    3D etc..

    View full-size slide

  7. トップページ@ pixiv

    View full-size slide

  8. 関連作品 @ pixiv

    View full-size slide

  9. レコメンド @ pixivFANBOX

    View full-size slide

  10. 1ヶ月間
    レコメンド表示件数 ?

    View full-size slide

  11. 大規模データ
    投稿作品総数 1.3億件
    総登録ユーザ数 9,800万人
    月間レコメンド表示件数 110億件

    View full-size slide

  12. 課題
    大規模なデータ 効率的な処理
    機械学習サービス 展開 しやすさ
    効率的な開発

    View full-size slide

  13. 機械学習基盤
    について

    View full-size slide

  14. 1. GCPバッチ基盤

    View full-size slide

  15. 必要分だけリソース確保できる

    View full-size slide

  16. 例: レコメンドバッチ

    View full-size slide

  17. 大規模データを
    効率的に処理できるように
    なりました

    View full-size slide

  18. 2. リアルタイム推論基盤

    View full-size slide

  19. 数秒以内にレスポンスを返す

    View full-size slide

  20. 例:タグ おすすめ機能

    View full-size slide

  21. 機械学習サービスを
    展開しやすくなりました

    View full-size slide

  22. 3. ノートブック開発環境

    View full-size slide

  23. ノートブック開発環境

    View full-size slide

  24. 例:リソース選択が自由

    View full-size slide

  25. 効率的に開発が
    行えるようになりました

    View full-size slide

  26. 全部移行したわけで ないです
    紹介できていない既存 便利な仕組みも
    資産として活用しています

    View full-size slide

  27. 基盤で使われている
    技術

    View full-size slide

  28. ど ように
    インフラ管理を行うか?

    View full-size slide

  29. インフラ管理
    社内でノウハウあるしterraformで良さそう

    View full-size slide

  30. どうやって認証を行うか?

    View full-size slide

  31. 認証
    特定 アクセス み許可したい

    View full-size slide

  32. 認証
    IAPぴったりじゃん!!

    View full-size slide

  33. なんでGKEを
    使っている ?

    View full-size slide

  34. GKE 管理 大変
    でも、、
    ポータブルである必要があった
    一部 機能がCloud Runで 使えなかった

    View full-size slide

  35. ど ようにk8s
    マニフェストを
    管理しよう?

    View full-size slide

  36. Kubernetes
    大量 yamlファイルが爆誕

    View full-size slide

  37. Kubernetes
    kustomizeでDRYに環境管理!

    View full-size slide

  38. そ 他
    ● ワークフローツール 選定
    ● エラー通知(Sentry)・クラスタ監視(Datadog)
    ● CI&CD設定や軽量化
    ● CT(機械学習特有 継続的学習)について

    View full-size slide

  39. 運用してみて感じた
    メリデメ

    View full-size slide

  40. 運用してみた感じた
    メリット

    View full-size slide

  41. チーム内でプロジェクトが完結

    View full-size slide

  42. やれることが増える

    View full-size slide

  43. マネージドサービス
    固有 問題を避けやすい
    マネージドサービスに頼りすぎていない で、
    自分達で どうしようもないという問題を
    「少し」避けやすい

    View full-size slide

  44. 運用してみた感じた
    デメリット

    View full-size slide

  45. 機械学習領域に割く時間が減る

    View full-size slide

  46. オンボーディングコストが高い

    View full-size slide

  47. 基盤を作って良かったと感じ
    ています

    View full-size slide

  48. さいごに

    View full-size slide

  49. さいごに
    現在GCPで機械学習基盤を構築しています
    今後も、ユーザーやクリエイター ために、
    機械学習技術/基盤を活用していきます

    View full-size slide

  50. 他 取り組みについて

    View full-size slide