C2CマーケットプレイスにおけるNeural Architecture Searchの活用事例

Presented at CCSE 2019

Transcript

1. 1 Confidential - Do Not Share C2Cマーケットプレイスにおける Neural Architecture Searchの活用事例 株式会社メルカリ AI Engineering Team Software Engineer Intern 熊澤 大樹
2. 2 Confidential - Do Not Share - 約1300万MAUに利用されるマーケットプレイス - 様々なタスクのモデリング需要が存在、負担は大きくなる一方 → “AutoML”の様なシステムを開発してモデラーの負荷を軽減していきたい 解決すべき問題： 1) どの程度ドメイン知識を注入すべきか？ （ドメイン特化→汎用性⬇だが、対象タスクに対しての性能⬆） 2) 利用可能なリソース量とのバランスをどう取るか？ （数千GPUを何週間も回すわけにはいかない） スケールするビジネスとモデリング負担の増加
3. 3 Confidential - Do Not Share 一般的な学習問題： 重み でparameterizeされるモデル： 入力を 、出力を 、ロスを とすると解きたい最適化問題は Architecture Search問題： アーキテクチャパラメタ を含むモデル に対して、重み とアーキテクチャ 両方に対し最適化したい Architecture Search問題とは
4. 4 Confidential - Do Not Share 問題設定：利用規約や法令に違反する出品を素早く検知・削除したい - 理想: 規約違反出品をお客様の目に触れないようにする - カスタマーサポートが人力で全ての出品をチェックするのは非現実的 - 機械学習エンジニアのタスクは、特定の違反に該当する出品を高い Precisionで見つけるモデルを作成すること （もし誤って正常出品を削除してしまうと、出品者のお客様体験は悪い） 課題： - 使用可能な様々なモダリティのデータを最大限活用したい - 新しいor変更のあった違反カテゴリにも柔軟に対応したい Use Case 1: 違反検知モデリング
5. 5 Confidential - Do Not Share NASベースのモデル作成システムを構築 Image Credit: https://tech.mercari.com/entry/2019/04/26/163000 →画像は転移学習を活用し、テキスト側のCNNアーキテクチャを探索すること で計算機リソース利用量の削減を行う
6. 6 Confidential - Do Not Share - 各カテゴリについて旧モデルからの改善を確認 - 内製のデータETLプラットフォームに組み込むことで、データ取得から デプロイ可能なマイクロサービス作成までの全工程を自動化 →新タスク発生からデプロイ完了までにかかる時間を月単位→週単位に短縮 実験結果とその効果 *正（違反）クラスの閾値を0.9に設定したときのPrecisionとRecallスコア 詳細はTech blog記事を参照のこと: https://tech.mercari.com/entry/2019/04/26/163000
7. 7 Confidential - Do Not Share 問題設定：EdgeでのNeural Network推論を行いたい タスクが存在する - リアルタイムに変化するUX実現のためには 厳しいLatencyの制約が存在 - デバイス・チップセットの世代や組み合わせは多種 多様であり、“One-size-fits-all”なモデルは存在し ない (See: https://arxiv.org/abs/1801.04326) → MultiobjectiveなNASを用いてレイテンシと精度の 両方について最適化されたモデルを、各デバイスに対し て発見したい Use Case 2: Neural Networkのデバイス最適化 Demo GIF
8. 8 Confidential - Do Not Share MnasNet (RL-based) 主要なアプローチはリソース要求量が大きい FBNet (Differentiable) Credit: https://arxiv.org/abs/1812.03443 → “スーパーネット”は候補となるOperationをすべ て含むネットワークなので、 GPUメモリ消費量が非 常に大きい Credit: https://arxiv.org/abs/1807.11626 → RNNコントローラから数千個モデルをサンプリン グし、それぞれを数Epoch学習させる必要がある どちらの手法も計算機リソースが潤沢にないと厳しい (MnasNet: 数千GPU時間、 FBNet: 数百GPU時間ほど必要)
9. 9 Confidential - Do Not Share 選択した手法と実験結果 Single-Path NAS Credit: https://arxiv.org/abs/1904.02877 → 候補Operation全てを単一Convolutionalフィル タ内に含むことで、探索コストを大きく削減することに成 功（2-3TPU hours on a TPU v2) Device SoC Generation (Snapdragon) Model ImageNet Top-1 Accuracy* Latency (ms)* A 845 SPNAS 74.48 77.90 A 845 MobileNetV2 71.80 76.36 B 808 SPNAS 73.07 113.92 B 808 MobileNetV2 71.80 162.82 C 670 SPNAS 73.15 92.14 C 670 MobileNetV2 71.80 111.85 D 801 SPNAS 71.93 84.65 D 801 MobileNetV2 71.80 120.82 *float32での結果 →MobileNetV2に比べて精度とレイテンシの バランスが優れているモデルを発見できている
10. 10 Confidential - Do Not Share - サーチ時間の短縮・必要となる計算機リソースの削減をする 研究は活発に行われている - 探索空間を適切に絞ること＆NAS手法の選択の工夫をすることで 現実的な計算機リソース使用量に落とし込むことは可能 - ドメイン知識をどう活かすかは依然重要な課題 - Use case 1では、カテゴリによっては上手く設計された特徴量＋シンプルな モデルに精度の面で劣ることも当然ある →モデラーのリソースとビジネスインパクトのトレードオフを踏まえて導入 or Notの判断 - Use case 2で用いた手法では、 MobileNet V2の構造を構成するブロックの チャネル数とカーネルサイズを探索することが候補 Op全てを単一フィルタ内 に含むことを可能にしている →低い探索コストで高いパフォーマンスが得られているのは、 モバイルデバイスで “うまくいく”構造に制限した探索に依るところが大きい？ NASの事業応用と課題