Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像認識技術が変える検索の世界

 画像認識技術が変える検索の世界

2017/11/02 数理システムユーザーコンファレンス2017での、舟木の講演資料になります

Recruit Technologies

November 20, 2017
Tweet

More Decks by Recruit Technologies

Other Decks in Technology

Transcript

  1. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 2 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  2. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 3 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  3. リクルートの事業領域 5 (C) Recruit Technologies Co.,Ltd. All rights reserved. Life

    event area Lifestyle Area Travel Lifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education 「選択」 をサポートするような情報サービスを展開
  4. リクルートテクノロジーズの立ち位置  リクルートテクノロジーズは、リクルートグループの IT・ネットマーケティング領域の技術開発を担う 6 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. Infrastructure Large project promotions UI design/SEO Big Data Technology R&D IT Promotion Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Operation Service Technical support
  5. データ解析部門の組織体制 7 (C) Recruit Technologies Co.,Ltd. All rights reserved. •

    金融データプラットフォームグループ • データサイエンスグループ • データイノベーション開発グループ • データマネジメントグループ データイノベーション推進部 データテクノロージーラボ部 • データテクノロジープロダクト開発グループ • 人材領域データテクノロジー用途開拓グループ • 販促領域データテクノロジー用途開拓グループ • データテクノロジーインフラグループ 10月から組織体制が大きく変わり新体制に
  6. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 8 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  7. A3RT Public APIのラインナップ  現在8つの機能が存在 11 (C) Recruit Technologies Co.,Ltd.

    All rights reserved. Text Classification API テキスト分類 Listing API レコメンド Proofreading API 原稿校閲 Image Influence API 画像認識 Text Suggest API テキスト生成 Talk API チャットボット Image Generate API 画像生成 Image Search API マルチモーダル検索
  8. 自分の担当 12 (C) Recruit Technologies Co.,Ltd. All rights reserved. Image

    Influence API • 画像に対する点数(影響度)を学習し予測するAPI • 多くの人に注目されやすい画像の判別に利用可能 Image Search API • 画像とテキストの関係を予測するAPI • テキストから画像を検索したり、画像から テキストを検索したりといったことが可能
  9. A3RTの社内向けプロダクトラインナップ 13 (C) Recruit Technologies Co.,Ltd. All rights reserved. 画像解析

    文字認識 マルチモーダル学習 画像生成 音声認識 文章分類 文章自動生成 文章校閲 チャットボット 文章要約 レコメンド 屋内位置測位 転移学習 個人情報マスキング バナーターゲティング 意思決定支援ツール マルチメディア系 営業支援 テキスト系 その他
  10. 自分の担当 14 (C) Recruit Technologies Co.,Ltd. All rights reserved. Image

    Paradise 画像認識技術をはじめとする 画像にまつわる様々な機能を網羅 OCR Paradise 文字認識技術を用いて、文書画像に書かれているテキ ストを文字化することができる uMean マルチモーダル学習を利用して、画像とテキストの関 係を学習し検索に利用できる
  11. A3RT活用事例パターン  コスト削減系  リクルート社内で人手でデータをチェックするなど、 作業に時間とお金がかかっているものに対して、 人をAIで置き換えることによってコスト削減を図るパターン • 例)誤字脱字自動チェック・不適切画像検出・文章自動生成 

    カスタマー体験改善系  カスタマーが目的のものを見つけることができるように助け、 コンバージョン等に繋げるパターン • 例)検索機能改善・商品レコメンデーション・チャットボット  クライアント支援系  クライアントが情報を掲載する際の負担を軽減し、 適切な入力を支援するパターン • 例)入稿自動支援 15 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  12. リクルートにおける検索 16 (C) Recruit Technologies Co.,Ltd. All rights reserved. 

    検索の目的はカスタマーをクライアントの商品に たどり着けるように助けること  リクルートのビジネスモデルの根幹をサポート カスタマー クライアント
  13. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 17 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  14. 写真と合わせて見てみる 19 (C) Recruit Technologies Co.,Ltd. All rights reserved. 先日出張でデンマークのニューハウンに行ってきました。

    運河沿いにカラフルな建物が並び、日が暮れると明かりが灯ってとても綺麗で感動しました。
  15. どんな印象を受けましたか? 20 (C) Recruit Technologies Co.,Ltd. All rights reserved. 彼女(彼氏)と行

    きたいな〜!! こんなところで ゆっくりしたい わ・・・ これは確かに 綺麗!! デンマークっ てこんなとこ ろなんだ! おしゃれで かわいい!! 直感的で 分かりや すい! 情報量が 多い!
  16. 画像の効果  画像は人にとって分かり やすい、直感的な情報  写真は得られる情報量が とても多く、詳細に状況 を把握できる  まさに

    「百聞は一見にしかず」  直感的で分かりやすいこ とは検索においてとても 重要な要素 21 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  17. 「インスタ映え」のトレンド 23 (C) Recruit Technologies Co.,Ltd. All rights reserved. Google

    Trendsでの「インスタ映え」の結果 今年の流行語になるか?
  18. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 27 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  19. リクルートにおける検索のパターン分解 28 (C) Recruit Technologies Co.,Ltd. All rights reserved. 検索

    検索結果一覧 サイト /アプリ にアクセス そもそも 探し方が 分からず 探せない うまく目的のもの にたどり着けない、 探しにくい 出ているものは 正しいのだが、 結果に納得感が ない コンバー ジョン
  20. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 30 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  21. タイプ1:「探しにくい」  検索してもうまく結果を絞れず、 目的のものにたどり着けない状態  検索ロジックを改善することにより解決 31 (C) Recruit Technologies

    Co.,Ltd. All rights reserved. 期待しているものが出 てこない・・・ 原因: 精度が低い 表示順番が悪い 絞りたい軸で探す機能がない etc.
  22. 解決策:類似ネイルレコメンデーション  閲覧しているネイルに類似した画像特徴を持つ ネイルを推薦する 34 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. 発見した 良さそうな ネイル写真 似ている ネイルを 提示する 機能 次へ次へ と遷移 できる
  23. ネイルレコメンデーションの仕組み  爪部分を切り取り、その部分に対してデザイン判別  デザインと色が似ているものをレコメンド 35 (C) Recruit Technologies Co.,Ltd.

    All rights reserved. HOG特徴量 + AdaBoost CNN ①爪箇所判別 ②デザイン抽出 ③カラー抽出 ④類似度計算 Aデザイン X本 Bデザイン Y本 ・・・ 白 X ピンク Y ・・・ RGB値 デザイン頻度vec カラー頻度vec cos類似度 ネイル DB ネイル画 像A ネイル画 像B ネイル画 像C 検索元画像
  24. ネイルレコメンデーションを導入して  難しかった点  爪以外の背景部分をいかに除外するか、という点  爪のデータセットを自前で作成しなければいけなかった点  効果 

    これまでよりもネイルを閲覧しやすくなった  クライアントがデザインに関するタグをつけなくても 画像から予測できるようになった 36 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  25. 内装色判別のロジック 40 (C) Recruit Technologies Co.,Ltd. All rights reserved. 内装画像探索

    50%画像切取 代表色抽出 1 2 3 CNNにより内装の確率 が一番高い画像を探索 ・・・ 25%削除 削除 削除 削除 K-means 切取 画像の中心の部分を 切り取り 代表色抽出 4 グループ 番号 R G B 1 0 0 0 2 225 0 3 ︙ ︙ ︙ ︙ グループ ごとの平均 ・・・ ・・・ 0, 64, 64 others 160, 0, 0 red 128, 0, 32 red 128, 32, 0 brown 96, 0, 64 others 96, 64, 0 camel 96, 32, 32 brown 64, 0, 96 others ・・・ ・・・ グループ 番号 色 1 black 2 red ・・・ ・・・ 対応表を使って 色を割り当てる K-meansを使って 色グループを抽出 これらの色を 内装色とする 内装の画像に絞り、色の分析を行う
  26. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 42 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  27. カーセンサー:目で見たものを検索できない 44 (C) Recruit Technologies Co.,Ltd. All rights reserved. こういう車に

    乗りたいな どう検索したら 見つかる??  道端や雑誌でかっこいい車を見つけても、車種名がわか らないと検索できず、機会損失となってしまう  機会損失をなくし、検索への流入にしたい
  28. 車種判別ロジック  2段階のCNNを用いて車種を分類  外装を判別してから2674車種を分類 46 (C) Recruit Technologies Co.,Ltd.

    All rights reserved. 外装画像探索 CNNによる車種判別 1 ・・・ 2 CNNにより外装の確率 が一番高い画像を探索 CNNにより車種を判別 する ・ワゴンR ・プリウス ・フィット ・フェラーリ ・エスティマ ・ミニバン ︙ 認識結果
  29. 車種判別を導入して  難しかった点  車種が多く画像を集めることが大変  あらゆる方向から撮られる可能性を考慮 してデータを収集する必要があった  効果

     Twitterで「カーセンサーチャレンジ」 がトレンド入り  App Storeでもトレンドに 47 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  30. ゼクシィにおける従来の絞込機能  結婚に対するイメージが 漠然としている場合に ユーザーが探し方がわか らず離脱してしまう 49 (C) Recruit Technologies

    Co.,Ltd. All rights reserved. すてきな 結婚式に したいな うまく見つけ られない よ・・・ 検索クエリを 入力するのは 意外と難しい。 前提知識も必要。
  31. ウェディングフォトサーチ 51 (C) Recruit Technologies Co.,Ltd. All rights reserved. 画像選択

    タグ選択 テーマ 選択 Seagull Hotel かもめホテル 二人で幸せなひとときを 緑の映えるガーデンでゲストの方との 時間が思い出になります かもめホテル 二人で幸せなひとときを 画像を選ぶと自分のイメージに 合うテーマを教えてくれる テーマ推薦 テーマに沿った 式場一覧 画像一覧
  32. 結合空間へのデータのマッピング • マルチモーダル学習は結合空間に複数の情報が関連性が高 いものを近くにマッピングするように学習する 距離が近ければ関連性が高い ・画像a x4 x1 ・画像b x2

    x3 xd ︙ ・テキストc ・テキストd 結合空間 x4 x1 x2 x3 xd ︙ ・画像b ・画像a 画像空間 x4 x1 x2 x3 xd ︙ ・テキストd ・テキストc テキスト空間
  33. Visual Semantic Embedding 内部状態 Vh をこのキャプションの表現とする。 損失関数 "Unifying Visual-Semantic Embeddings

    with Multimodal Neura Language Models" (Kiros, Salakhutdinov, Zemel. 2014). 文章情報 画像情報
  34. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 56 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  35. 事前調査  事前に検索されやすいキーワードを調査 61 (C) Recruit Technologies Co.,Ltd. All rights

    reserved. 焼肉 チーズフォンデュ サラダ しゃぶしゃぶ もつ鍋 ステーキ カラオケ 焼き鳥 個室 頻出キーワードだけで 検索の大半を網羅できることが判明 これらを画像認識でタグ付けを行う タグとして採用することに決定
  36. 画像選別ロジック 62 (C) Recruit Technologies Co.,Ltd. All rights reserved. 事前タグ付け

    店舗検索 店舗画像リスト 1 2 3 CNNにより画像に タグを付ける 店舗をキーワードに よって検索 画像選別 4 タグとクエリキーワード を比較し、マッチするも のを優先的に表示 店舗に対してタグの 付いた画像のリスト を取得 焼肉 その他 焼肉 店舗リスト 焼肉 その他 焼肉A店 焼肉 その他 焼肉 比較 一致 不一致 この画像を優先的に表示 バッチ処理 検索時
  37. aHashアルゴリズム 65 (C) Recruit Technologies Co.,Ltd. All rights reserved. 8x8ピクセルに変換

    ピクセルの輝度の 平均値を計算 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 グレースケール化 [0,0,0,…,1,1,0] ハッシュ値 ピクセル毎に平均値より 大きい場合は1 小さい場合は0 ハッシュに対して ハミング距離で近いもの 同士はかぶり画像と判定 aHashは高速に、ある程度のノイズにも耐えられる
  38. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 67 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  39. ニーズベースとシーズベース 69 (C) Recruit Technologies Co.,Ltd. All rights reserved. シーズ

    仮説 ヒ アリ ング ニーズ 技術 仮説検証 この技術はこうした 用途に使えそう!! ヒアリングは仮説がないと 「何かやりたいことないですか」 と投げやりになり話が広がらない DEMO開発 DEMOがないと イメージが伝わらない
  40. アウトライン  リクルートについて  A3RTについて  検索と画像情報の結びつき  検索における画像認識適用事例 

    タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み  タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  施策適用から得た学び  まとめ 70 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  41. まとめ  画像は人にとって直感的な情報であり、 検索と非常に親和性が高い  検索と一言で言っても様々な課題・改善方法がある  タイプ1:「探しにくい」を解決する仕組み  タイプ2:「そもそも探せない」を解決する仕組み

     タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み  画像認識技術はカスタマーの課題を解決し 検索の世界を変える非常にパワフルなもの! 71 (C) Recruit Technologies Co.,Ltd. All rights reserved.