メルカリの写真検索を支えるバックエンド

Transcript

1. 1 Confidential - Do Not Share メルカリの写真検索を支えるバックエンド 大規模画像検索システムの裏側

2. 2 Confidential - Do Not Share • 2017年7月入社 • 所属はSRE→今QからAI/MLチーム

   • デバイスドライバ開発からフロントエン ド開発までやる何でも屋 • Twitter: hnakagawa14 GitHub: hnakagawa 中河 宏文(hnakagawa)

3. 3 Confidential - Do Not Share 写真検索とは 所謂、画像検索機能 商品名を知らなくても画像から商 品を検索できる機能の事です

   動画リンク: https://youtu.be/kTni8EvOCgI

4. 4 Confidential - Do Not Share 基本的な写真検索の仕組み 1. Deep Neural

   Networks (DNN)を使用して商品画像から特徴ベクトルを取 得 2. 取得した特徴ベクトルをApproximate Nearest Neighbor Index(ANN Index)に追加して画像indexを構築 3. 検索時には同じく商品画像からDNNを介して特徴量ベクトルを取得し、ANN Indexから検索 ◦ ANN Indexはオンメモリの物を使用しており、そのた めコンテナ化する為にシステム上の工夫が色々ある(後 述

5. 5 Confidential - Do Not Share Architecture概要図

6. 6 Confidential - Do Not Share ML Platform Lykeion 写真検索はLykeionと呼ばれる内製の

   MLPlatform上に構築されており、以下の機 能はPlatform側の機能を使用している • Training/Serving custom resource definition controller • Container based pipeline • Serving/Training Image builder • Model repository

7. 7 Confidential - Do Not Share Indexing architecture

8. 8 Confidential - Do Not Share Creating training custom resource

9. 9 Confidential - Do Not Share Creating training custom resource

   • Training custom resourceをCronJobが作成 • CRD controllerがcustom resourceで設定された (YAMLベース)pipelineを実 行 • Batch単位としては Hourly,Daily,Montlyが存 在

10. 10 Confidential - Do Not Share Download image

11. 11 Confidential - Do Not Share Download image • Image

    store(S3)上に存在する商品画像をダウンロード • 実はPipeline上もっとも時間がかかる工程 ◦ そのため商品画像をk8sのPersistent Volume(PV) に保存し一定期間キャッシュする事によって、再インデッ クスが必要な時には素早くPipelineを回せるようにして いる

12. 12 Confidential - Do Not Share Upload assets

13. 13 Confidential - Do Not Share Upload assets • ETL

    Pipelineの成果物、写真検索では特徴ベクトルとANN indexを、 Model Repositoryと呼ばれるモデルストアにバージョン管理された状態で保 存します • Model RepositoryはGCS上に構築

14. 14 Confidential - Do Not Share Batch Execution as Custom

    Resource • 全てのbatch実行情報が CRD resourceとして k8s上に残る • batchの再実行を伴う障 害復旧作業が容易

15. 15 Confidential - Do Not Share Serving アーキテクチャ

16. 16 Confidential - Do Not Share Building container image

17. 17 Confidential - Do Not Share Building container image •

    Model RepositoryをImage Builderと呼ばれるdaemonが監視 • 新しいindexが追加されると自動でServingコンテナ・イメージをビルドし Container Registry(GCR)にプッシュ

18. 18 Confidential - Do Not Share Create serving custom resource

19. 19 Confidential - Do Not Share Create serving custom resource

    • Image Builderはコンテ ナ・イメージをビルドしたあ と、Serving custom resourceを作成 • CRD controllerは custom resourceを元 にDeployment、 Service等のk8sリソース を作成しIndex Service をdeploy

20. 20 Confidential - Do Not Share Service discovery

21. 21 Confidential - Do Not Share Service discovery • 異なる期間・粒度のIndex

    Service(Hourly, Daily, Monthly) を自動的に組 み合わせる • REST <-> Index Service間のプロトコルは gRPCを使用

22. 22 Confidential - Do Not Share まとめ • メルカリの写真検索はAWSとGCPのマルチクラウドで構築されている ◦

    Image storeにS3を使っているため ◦ k8sでインフラを抽象化する事によって、AWSとGCPの 差異を埋め各クラウド・プロバイダの良いとこ取りができ る • k8sの機能を活用し、ロバストなシステムを構築 ◦ Training/Serving CRD controller ◦ Batch Execution as Custom Resource ◦ Service discovery