大規模データをAIに活かすワークフローツールの紹介 / zozotech_gcp_02

このスライドは ZOZO Technologies Meetup 〜GCPなど大規模データのZOZOテクノロジーズでの活用事例〜 で発表した登壇資料です。
https://zozotech-inc.connpass.com/event/178050/

プレゼンのスライドでは、ZOZOの「類似アイテム検索」を事例に、GCPのインフ設計、ワークフローツール紹介、ワークフロー開発のコツついて解説しています。

動画は https://www.youtube.com/watch?v=HmAbK0-p8_c で視聴できます。

Transcript

1. 大規模データをAIに活かすワークフ ローツールの紹介
 約300万画像を画像検索システムで検索可能にした事例紹介
 株式会社ZOZOテクノロジーズ
 ZOZO研究所 福岡
 渡辺 慎二郎
 
 Copyright © ZOZO Technologies, Inc.
2. © ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ
 ZOZO研究所 福岡
 研究開発エンジニア (Research Engineer) 渡辺 慎二郎
 @shikajiro
 2010年からAndroidアプリ専門のフリーランスとして活動。
 2018年からZOZO研究所 福岡に参加。バックエンドを担当。
 犬が大好き。

3. © ZOZO Technologies, Inc. 必須ツイート
 @shikajiro の話おもしろいなー
 #zozotech_gcp
 3
4. © ZOZO Technologies, Inc. 必須ツイート
 質問お待ちしてます 
 #zozotech_gcp
 4
5. 5 - 自己紹介
 - 研究開発エンジニアの役割
 - 事例
 - インフラ紹介
 - API構成
 - ワークフローの構成
 - まとめ
 - 質疑応答
 もくじ

6. © ZOZO Technologies, Inc. 6 ZOZO 親会社 ZOZOテクノロジーズ 子会社 デザイン・開発・運用・研究 ZOZO Research(研究所) 部署 研究開発
7. © ZOZO Technologies, Inc. ZOZO研究所のミッション
 ファッションを数値化する
 7 似合う服とは？素敵な組み合わせとは？
 ファッションの数理モデルの獲得と実用化の研究

8. © ZOZO Technologies, Inc. 研究開発エンジニアの役割
 MLエンジニアがMLしやすくする
 ML以外全部やる
 8
9. © ZOZO Technologies, Inc. 9
 MLエンジニアとの協働
 - 学習しやすい環境づくり
 - プロトタイプの開発と社内への提供
 - モデルをAPIとして動かす
 MLOpsチームとの協働
 - インフラの設計
 - プロダクション提供に足る性能へ引き上げる
 研究開発エンジニアの役割

10. © ZOZO Technologies, Inc. 研究開発エンジニアの役割
 BigDataを使って学習する
 BigDataに対して予測する
 10
11. © ZOZO Technologies, Inc. 11 事例

13. 13 ZOZOTOWN 類似アイテム検索
14. 14 techblog 書きました
15. 15 インフラ紹介

17. 17 [ "-0.010681696236133575", "0.7454709410667419", "0.034483518451452255", "0.8970879316329956", "-1.7511504888534546", "-1.1017072200775146", "-0.9037115573883057", "-1.2564771175384521", "0.18719010055065155", "-1.0186340808868408", "0.0976465493440628", "0.7177348136901855", "-2.279893636703491", "-2.569906711578369", "-0.3008498549461365", "-2.450741767883301", "2.5061750411987305", "0.10814519971609116", "-1.2281278371810913", "0.33197277784347534", "-0.2583741545677185", "-3.0515596866607666", "-0.18450962007045746", "-1.002745270729065", … ] 物体検出
 特徴量抽出
 近似最近傍探索

18. © ZOZO Technologies, Inc. 18
 GCPを選んだ理由
 - BigQueryが使える
 - GPU/TPUを利用する
 - k8sのマネージドサービスGKEが安定している
 推論API
 - 物体検出、特徴量抽出、近似最近傍探索を行う
 - 大量データのIndexを作る必要がある
 画像検索とGCP

19. © ZOZO Technologies, Inc. 画像検索ワークフロー紹介
 19
22. © ZOZO Technologies, Inc. 22
 ワークフローの流れ
 1. BigQueryから現在販売中の画像情報を取得する
 2. 商品画像をZOZOTOWNストレージから取得する
 3. 画像から物体検出・特徴量抽出する
 4. 特徴量から近似最近傍探索のIndexを作成する
 5. IndexをGCSに保存する
 6. 推論APIで利用する
 画像検索とワークフロー

23. © ZOZO Technologies, Inc. 23
 Composer(AirFlow)の特徴
 - タスクを依存関係で構築（DAG）
 - Pythonでパイプライン構築
 - スケジュール化
 - 監視
 - スケーラブル
 - 管理UI
 画像検索とワークフロー

24. © ZOZO Technologies, Inc. 24
25. © ZOZO Technologies, Inc. 25
26. © ZOZO Technologies, Inc. 26
 ワークフロー開発のコツ
 • １サイクルを速くして開発効率を上げる
 • 性能向上、並列化などで処理高速化
 • 開発時は少量データ
 • 重い処理はGKEに逃がす
 • 差分更新でなるべく重複処理しないように
 • Slack通知などでエラーに気づきやすいように
 画像検索とワークフロー

27. © ZOZO Technologies, Inc. 27
 ワークフローの難しいところ
 • 実行に時間がかかる
 • スケールしすぎると外部サービスに負荷をかける
 • 外部サービス起因で止まる
 • データは日々変わるため同じ動きをするとは限らない
 • Airflow, Digdag など良し悪しを見極める
 画像検索とワークフロー

29. © ZOZO Technologies, Inc. 29
 • MLサービスでワークフローは必須
 • 実装コストは想像より重い
 • 監視の仕組みが重要
 まとめ