Upgrade to Pro — share decks privately, control downloads, hide ads and more …

C2CマーケットプレイスにおけるNeural Architecture Searchの活用事例

C2CマーケットプレイスにおけるNeural Architecture Searchの活用事例

Presented at CCSE 2019

6db95712207f1cbd65a9516f9eee71df?s=128

Daiki Kumazawa

July 13, 2019
Tweet

Transcript

  1. 1 Confidential - Do Not Share C2Cマーケットプレイスにおける Neural Architecture Searchの活用事例

    株式会社メルカリ AI Engineering Team Software Engineer Intern 熊澤 大樹
  2. 2 Confidential - Do Not Share - 約1300万MAUに利用されるマーケットプレイス - 様々なタスクのモデリング需要が存在、負担は大きくなる一方

    → “AutoML”の様なシステムを開発してモデラーの負荷を軽減していきたい 解決すべき問題: 1) どの程度ドメイン知識を注入すべきか? (ドメイン特化→汎用性⬇だが、対象タスクに対しての性能⬆) 2) 利用可能なリソース量とのバランスをどう取るか? (数千GPUを何週間も回すわけにはいかない) スケールするビジネスとモデリング負担の増加
  3. 3 Confidential - Do Not Share 一般的な学習問題: 重み でparameterizeされるモデル: 入力を

    、出力を 、ロスを とすると解きたい最適化問題は Architecture Search問題: アーキテクチャパラメタ を含むモデル に対して、重み とアーキテクチャ 両方に対し最適化したい Architecture Search問題とは
  4. 4 Confidential - Do Not Share 問題設定:利用規約や法令に違反する出品を素早く検知・削除したい - 理想: 規約違反出品をお客様の目に触れないようにする

    - カスタマーサポートが人力で全ての出品をチェックするのは非現実的 - 機械学習エンジニアのタスクは、特定の違反に該当する出品を高い Precisionで見つけるモデルを作成すること (もし誤って正常出品を削除してしまうと、出品者のお客様体験は悪い) 課題: - 使用可能な様々なモダリティのデータを最大限活用したい - 新しいor変更のあった違反カテゴリにも柔軟に対応したい Use Case 1: 違反検知モデリング
  5. 5 Confidential - Do Not Share NASベースのモデル作成システムを構築 Image Credit: https://tech.mercari.com/entry/2019/04/26/163000

    →画像は転移学習を活用し、テキスト側のCNNアーキテクチャを探索すること で計算機リソース利用量の削減を行う
  6. 6 Confidential - Do Not Share - 各カテゴリについて旧モデルからの改善を確認 - 内製のデータETLプラットフォームに組み込むことで、データ取得から

    デプロイ可能なマイクロサービス作成までの全工程を自動化 →新タスク発生からデプロイ完了までにかかる時間を月単位→週単位に短縮 実験結果とその効果 *正(違反)クラスの閾値を0.9に設定したときのPrecisionとRecallスコア 詳細はTech blog記事を参照のこと: https://tech.mercari.com/entry/2019/04/26/163000
  7. 7 Confidential - Do Not Share 問題設定:EdgeでのNeural Network推論を行いたい タスクが存在する -

    リアルタイムに変化するUX実現のためには 厳しいLatencyの制約が存在 - デバイス・チップセットの世代や組み合わせは多種 多様であり、“One-size-fits-all”なモデルは存在し ない (See: https://arxiv.org/abs/1801.04326) → MultiobjectiveなNASを用いてレイテンシと精度の 両方について最適化されたモデルを、各デバイスに対し て発見したい Use Case 2: Neural Networkのデバイス最適化 Demo GIF
  8. 8 Confidential - Do Not Share MnasNet (RL-based) 主要なアプローチはリソース要求量が大きい FBNet

    (Differentiable) Credit: https://arxiv.org/abs/1812.03443 → “スーパーネット”は候補となるOperationをすべ て含むネットワークなので、 GPUメモリ消費量が非 常に大きい Credit: https://arxiv.org/abs/1807.11626 → RNNコントローラから数千個モデルをサンプリン グし、それぞれを数Epoch学習させる必要がある どちらの手法も計算機リソースが潤沢にないと厳しい (MnasNet: 数千GPU時間、 FBNet: 数百GPU時間ほど必要)
  9. 9 Confidential - Do Not Share 選択した手法と実験結果 Single-Path NAS Credit:

    https://arxiv.org/abs/1904.02877 → 候補Operation全てを単一Convolutionalフィル タ内に含むことで、探索コストを大きく削減することに成 功(2-3TPU hours on a TPU v2) Device SoC Generation (Snapdragon) Model ImageNet Top-1 Accuracy* Latency (ms)* A 845 SPNAS 74.48 77.90 A 845 MobileNetV2 71.80 76.36 B 808 SPNAS 73.07 113.92 B 808 MobileNetV2 71.80 162.82 C 670 SPNAS 73.15 92.14 C 670 MobileNetV2 71.80 111.85 D 801 SPNAS 71.93 84.65 D 801 MobileNetV2 71.80 120.82 *float32での結果 →MobileNetV2に比べて精度とレイテンシの バランスが優れているモデルを発見できている
  10. 10 Confidential - Do Not Share - サーチ時間の短縮・必要となる計算機リソースの削減をする 研究は活発に行われている -

    探索空間を適切に絞ること&NAS手法の選択の工夫をすることで 現実的な計算機リソース使用量に落とし込むことは可能 - ドメイン知識をどう活かすかは依然重要な課題 - Use case 1では、カテゴリによっては上手く設計された特徴量+シンプルな モデルに精度の面で劣ることも当然ある →モデラーのリソースとビジネスインパクトのトレードオフを踏まえて導入 or Notの判断 - Use case 2で用いた手法では、 MobileNet V2の構造を構成するブロックの チャネル数とカーネルサイズを探索することが候補 Op全てを単一フィルタ内 に含むことを可能にしている →低い探索コストで高いパフォーマンスが得られているのは、 モバイルデバイスで “うまくいく”構造に制限した探索に依るところが大きい? NASの事業応用と課題