Share
Embed
研究開発組織のエンジニアによる画像系プロダクトサポート
2021年10月8日のこちらのイベントでの発表資料です
Discovery DataScience Meet up (DsDS) #2
https://scramble.connpass.com/event/201414/
Kazuhiro Ota
October 08, 2021
Transcript
40 slides
-
研究開発組織のエンジニアによる 画像系プロダクトサポート 株式会社サイバーエージェント AI Lab 大田 和寛 Discovery DataScience Meet
up (DsDS) #2 2021/10/08 1 -
自己紹介 大田 和寛 @ciela • 医療画像処理で修士取得 ◦ 動的計画法に基づく画素マッチングを用いた心臓三尖弁3Dモデルの半自動構築 ◦ 機械学習は名前は聞いたことあったものの、OpenCVのAdaBoost顔検出で遊ぶ程度
• 2011年 サイバーエージェント入社 ◦ 約6年間サーバサイドエンジニアとしてウェブサービス開発・ミドルウェア運用 • 2017年 AI Lab異動 ◦ 機械学習およびそれを用いたコンピュータビジョンについて勉強開始 ◦ 研究したりエンジニアリングで研究者をサポートしたり 2 -
サイバーエージェント AI Lab デジタルマーケティングに関わるAI技術の研究開発組織 • 機械学習 • 計量経済学 • コンピュータビジョン
• コンピュータグラフィックス • 自然言語処理 • 音声合成・音声認識 • HCI • etc. 2021年10月現在34名所属 https://cyberagent.ai/ailab/ 4 -
サイバーエージェント AI Lab プロダクトへの研究成果還元 リサーチサイエンティストが研究に集中でき る環境の構築 デジタルマーケティング領域における課題解決 のための研究、論文執筆、国際会議への投稿 5 リサーチサイエンティスト
リサーチエンジニア ※あくまで役割に名前を付けている程度で、リサーチサイエンティストがプロダクト向けエンジニア リングまで行ったり、リサーチエンジニアが論文書いて投稿するケースもたくさんあります -
AI Lab リサーチエンジニア 研究成果最大化のための各種エンジニアリングを担当 • 提案手法の実装・比較手法のベンチマーク • 研究用データセット整備 • 実験コードの清書・公開・デモサービス作成
• AMTなどでのプログラマブルなクラウドソーシング • 社内プロダクトサポート • etc. 6 -
AI Lab リサーチエンジニア 研究成果最大化のための各種エンジニアリングを担当 • 提案手法の実装・比較手法のベンチマーク • 研究用データセット整備 • 実験コードの清書・公開・デモサービス作成
• AMTなどでのプログラマブルなクラウドソーシング • 社内プロダクトサポート • etc. 今日のお話 7 -
プロダクト所属かラボ所属か 9 プロダクトに所属していても同じような働きはできるはず ラボから関わる理由は? プロダクト所有のシステム・採 用技術に縛られない働き方 研究者と協力しやすい環境 様々なプロダクトに接すること で技術応用の知見を広げられる プロダクトの状況が把握しづら
い… サポート終了後、モデル運用に ついて心配になったり… ただ、裏を返せば… 後ほど詳しくお話します -
画像変換機能付きContent Delivery Network(CDN) • インターネットにおける画像や動画などメディアデータの効率的な配信とキャッシュ • 画像変換機能を有した CDN (Cloudinaryなど) が多数提供されており、弊社も社内基盤と
して各ウェブサービス向けの画像変換CDNを運用中 ◦ オンラインで画像編集を行いつつファイル配信可能 ◦ 解像度変更 ◦ ファイルサイズ圧縮 ◦ ファイルフォーマットの変換 1920x1272 245 KB JPG 1920x1272, 272 KB, JPG 1280x848 189 KB JPG 1280x848 145 KB WebP ファイルサイズ圧縮 (画質クオリティ低下を行う) 解像度変更 解像度・フォーマット変更 13 -
画像変換CDNの利用者(サービス提供者など)からすると • 画像の表示先に適した変換を施して配信することが求められる ◦ 配信先はウェブサイト・インターネット広告・モバイルデバイスなど多岐に渡る ◦ パラメータによって画像がどう変換されるか確認し配信先にとって最適な変換を決めたいが、 手元の画像変換ツールなどで実際に変換を試すまでわからない ◦ CDNにアップされる大量の画像に対して様々な変換を試すのは現実的ではない
1920x1272, 272 KB, JPG ? 14 ファイルサイズを 150KB以下に抑える 変換パラメータは? 実際に変換をかけずともエンコーダパラメータ による変換後画像への影響を予測したい 最低画質を保証する 変換パラメータは? 画像変換 -
既存研究: 生画像の画像圧縮予測 Hand-craftedな画像特徴量およびJPEG・WebP エンコー ダの圧縮クオリティ値を入力とした画質・ファイルサイズ 予測モデルを提案 未処理の生画像に特化したアプローチのため、 CDNのよ うに大量で様々な圧縮済みデジタル画像を入力として取り 扱う仕組みで使うのは難しい…
他にもDCT係数テーブルを用いたアプローチなども提案さ れているが、対応フォーマットはもちろんJPEGのみ… Predicting and Optimizing Image Compression [Murashko et al, MM2016] 15 -
CDNにおける利用例 各フォーマットごとに利用者側で定める最低許容画 質を下回らない圧縮パラメータを求めることができ る(ここでは画質をSSIMとしたがNIMAや独自画質 指標値など値域のある連続値で画質が取れれば何で もOK) WebP is better than
JPEG 圧縮率 90% JPEG is slightly better than WebP 指定された圧縮率(ファイルサイズ)を保ったう えでより画質の良いフォーマットを選択して配信 することができる 圧縮率 30% 17 最低画質 0.8 WebP Q=2 JPEG Q=34 -
論文化と評価 調べた限り画像変換による画質・圧縮率の トレードオフを直接推定する研究は見当た らなかったため、論文化して国内会議の MIRU 2019に投稿 査読コメント・現地での反応 • トレードオフをCNNで直接推定するというのは 新しい取り組みで興味深い
• 現実に即した問題を扱っているのが評価できる • 圧縮のみ?リサイズは? • 直接変換かけちゃったほうが正確だし、早い ケースもあるのでは? 18 -
素材画像の効果予測モデルとその精度評価 極予測AIでは広告バナーの製作を担っているクリエイターに対して、製作支援としてストックフォトサービスか ら購入した素材画像をサジェストしている(サジェストの基準はその素材画像を使って製作した際に想定される 広告効果の高さ) 素材画像の効果予測モデルも広告バナー画像で学習してあり、学習データと実際に予測する画像データのドメイ ンの不一致が出力に影響を与えていないか調べることになったが… 21 広告効果GT:
? 素材画像効果予測モデル 広告効果: Y 素材画像 精度が測れない… まずは素材画像に対する予測精度を確かめたいが、購入した素 材画像には広告効果に関するラベルなんて存在しない… 配信設定 -
PSDを介して広告効果の実績値を素材画像に付与 バナー画像の配信によって得られる広告効果の実績値を、PSDから抽出した素材画像 に紐付けることで広告効果の擬似ラベルを有する素材画像データセットを構築 26 書き出し元の PSDを参照 広告として配信 広告効果GT: Y 素材画像抽出
広告効果の擬似ラベル付き 素材画像データセット 各素材画像に対して 擬似ラベリング Y Y -
データセット整備用のDataflowを極予測AIに実装 この擬似ラベル付きデータセットを構築する下記フローを極予測AIのGCP上にDataflowパイプラインとし て実装し、素材画像に対するモデルの予測精度評価を行うためのデータ環境を整備 1. バナー画像に対応するPSDをロード 2. PSDをパースして素材画像を抽出、GCSに保存 3. バナー画像の広告効果実績値を各素材画像に対応付けてBigQueryに格納 27
広告バナーID 素材画像ファイル 広告効果実績値 img0001 img0001_a.jpg 3.512 img0001 img0001_b.png 3.512 img0001 img0001_c.jpg 3.512 img0002 img0002_a.jpg 5.468 img0002 img0002_b.png 5.468 データセットのBigQueryテーブルサンプル(値はダミーです) 課題・懸念 • PSDからの素材抽出方法 ◦ 木構造となっているレイヤ構造を探索する際の最大深度 ◦ 非可視レイヤを含めるか否か ◦ 素材として抽出するレイヤの種類(テキストやレイヤ効 果も含めるかどうか) • 広告効果の紐付け方 ◦ 全ての素材画像にそのままの実績値を等しく付与するの は少し安直では? ◦ バナーにおける素材画像の可視面積の割合などで重み付 けするとか… -
クリエイティブ 画像 CNN MLP 配信設定 クリック率 システムに最適化されているモデル実装 システムに組み込まれていると… 31 画像特徴は事前に計算してお
きキャッシュ! 各カラムに対するエンコーダ の実行はパイプラインで! TFRecordで書き出してね! 画像データは全てGCS・S3 上に保存! BigQueryからフェッチ! その他、学習ワークフローの整備、推論APIの更新 判断など、MLOps意識の高いプロダクトほどモデ ルの構成要素が各所に分散していることが多い -
システムに最適化されているモデル実装 システムに組み込まれているモデルの出力の分布分析や追加実験についてサポートすることに なったものの、プロダクトがローカル実験用の実装を保持していない場合… A. ローカルにデータを落としモデル部分のみ抽出実装して調査する ◦ 調査・分析はしやすいが、モデルの複雑度によっては実装の手間がかかる上にバグ混入の恐れ ◦ 前処理やモデル全体に関わる設定など細かいところに手を入れやすい ◦
データ取得タイミングによっては最新データとの分布乖離の懸念 B. Dev環境などの学習ワークフローを叩かせてもらいシステム実装のまま調査する ◦ 常にプロダクトによる最新実装および最新データを利用可能だが、まずシステム全体について把握する必要 ◦ 特徴量キャッシュ部分の処理に手を入れる度にキャッシュ全体更新 ◦ プロダクト外の人間が色々いじることになるので何となく気を使う MLOpsが裏目に出てしまうが、かといってプロダクトでMLOpsを諦めるわけにはいかない プロダクトにモデルの実験用実装も一緒にメンテしてもらえたらありがたいが、研究を行わない メンバーにとっては負担が大きそう 32 -
プロトタイプのままリリースされたモデル 日は流れ、以前提供したプロトタイプがその後どうシステムに導入されたのか尋ねると… 35 プロダクト + 学習済み重みファイル そういえばあれって今ど うなりました?AWSです しSageMakerとか使って る感じですか?
頂いたDockerコンテナその ままAPIとしてEC2で動かし ちゃいました…リリース早 めにしちゃいたくて… なるほど…(問題ないな らいいけど、今後の運用 大丈夫なんだろうか…) • モデルのServing方式 ◦ リアルタイムエンドポイント? ◦ バッチ推論? • フレームワーク ◦ PyTorchのままでOK? ◦ JIT化は試してみた? • 再学習のタイミングは? -
プロトタイプのままリリースされたモデル MLOpsする人が誰も居ないがリリース目標も迫っているというプロダクト状況… サポートしたのはいいが、プロトタイプの想定外の利用でその後のことが不安になることも とはいえ、ラボの役割がプロトタイプの提供までというのは互いの立場の線引きがしやすいサ ポート形態ということもあり悩ましい… 36 プロダクト プロダクトのインフラ事情などに関わらず、ドキュ メントやテストコードが充実した必要最低限の機能 の実装を提供できればOK
外部の人間の手を入れることなく、プロダクトに責 任を持つメンバーのみでシステムを運用できる プロトタイプのリファレンス実装をどの言語・FW でどうシステム化していくかも自由 -
39 A Hybrid Bandit Model with Visual Priors for Creative
Ranking in Display Advertising [Wang et al, WWW21] 表示クリエイティブ選定のためのBanditに加えて画像特 徴を活用するDeepとのハイブリッドモデル VisualTextRank: Unsupervised Graph-based Content Extraction for Automating Ad Text to Image Search [Mishra et al, KDD21] 広告テキストをもとに明示的な検索ワードの入力を省き つつ素材画像を検索 Adapting User Interfaces with Model-based Reinforcement Learning [Todi et al, CHI21] 急激なデザイン変化でユーザを戸惑わせないように強化 学習を用いて適応的にユーザインターフェイスを更新 -
おしまい AI Labリサーチエンジニアの採用ルートはまだありませんが、もし下記のような働き方について興 味ある方いればお気軽に情報交換させてください • アカデミック・プロダクト両方に関わりたい • 研究成果の最大化に貢献したい ちなみにリサーチサイエンティストや研究インターン、プロダクト配属のAI/MLエンジニア・デー タサイエンティストは鋭意採用中です
プロダクトではなく研究者に対するサポート事例もどこかで話せるといいな 40 https://cyberagent.ai/ailab/careers/