Share
Embed
画像認識技術が変える検索の世界
2017/11/02 数理システムユーザーコンファレンス2017での、舟木の講演資料になります
Recruit Technologies
November 20, 2017
Transcript
72 slides
-
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 2 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 3 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
リクルートのビジネスモデル クライアントとカスタマーをつなぐサービスを提供 4 (C) Recruit Technologies Co.,Ltd. All rights
reserved. カスタマー クライアント -
リクルートの事業領域 5 (C) Recruit Technologies Co.,Ltd. All rights reserved. Life
event area Lifestyle Area Travel Lifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education 「選択」 をサポートするような情報サービスを展開 -
リクルートテクノロジーズの立ち位置 リクルートテクノロジーズは、リクルートグループの IT・ネットマーケティング領域の技術開発を担う 6 (C) Recruit Technologies Co.,Ltd. All
rights reserved. Infrastructure Large project promotions UI design/SEO Big Data Technology R&D IT Promotion Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Operation Service Technical support -
データ解析部門の組織体制 7 (C) Recruit Technologies Co.,Ltd. All rights reserved. •
金融データプラットフォームグループ • データサイエンスグループ • データイノベーション開発グループ • データマネジメントグループ データイノベーション推進部 データテクノロージーラボ部 • データテクノロジープロダクト開発グループ • 人材領域データテクノロジー用途開拓グループ • 販促領域データテクノロジー用途開拓グループ • データテクノロジーインフラグループ 10月から組織体制が大きく変わり新体制に -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 8 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
A3RT Public API 社内で蓄積した技術を無償で外部公開 一般ユーザの方が利用できるような技術を幾つか選出し、 外部用にチューニングした上で提供 10 (C)
Recruit Technologies Co.,Ltd. All rights reserved. https://a3rt.recruit-tech.co.jp/ -
A3RT Public APIのラインナップ 現在8つの機能が存在 11 (C) Recruit Technologies Co.,Ltd.
All rights reserved. Text Classification API テキスト分類 Listing API レコメンド Proofreading API 原稿校閲 Image Influence API 画像認識 Text Suggest API テキスト生成 Talk API チャットボット Image Generate API 画像生成 Image Search API マルチモーダル検索 -
自分の担当 12 (C) Recruit Technologies Co.,Ltd. All rights reserved. Image
Influence API • 画像に対する点数(影響度)を学習し予測するAPI • 多くの人に注目されやすい画像の判別に利用可能 Image Search API • 画像とテキストの関係を予測するAPI • テキストから画像を検索したり、画像から テキストを検索したりといったことが可能 -
A3RTの社内向けプロダクトラインナップ 13 (C) Recruit Technologies Co.,Ltd. All rights reserved. 画像解析
文字認識 マルチモーダル学習 画像生成 音声認識 文章分類 文章自動生成 文章校閲 チャットボット 文章要約 レコメンド 屋内位置測位 転移学習 個人情報マスキング バナーターゲティング 意思決定支援ツール マルチメディア系 営業支援 テキスト系 その他 -
自分の担当 14 (C) Recruit Technologies Co.,Ltd. All rights reserved. Image
Paradise 画像認識技術をはじめとする 画像にまつわる様々な機能を網羅 OCR Paradise 文字認識技術を用いて、文書画像に書かれているテキ ストを文字化することができる uMean マルチモーダル学習を利用して、画像とテキストの関 係を学習し検索に利用できる -
A3RT活用事例パターン コスト削減系 リクルート社内で人手でデータをチェックするなど、 作業に時間とお金がかかっているものに対して、 人をAIで置き換えることによってコスト削減を図るパターン • 例)誤字脱字自動チェック・不適切画像検出・文章自動生成
カスタマー体験改善系 カスタマーが目的のものを見つけることができるように助け、 コンバージョン等に繋げるパターン • 例)検索機能改善・商品レコメンデーション・チャットボット クライアント支援系 クライアントが情報を掲載する際の負担を軽減し、 適切な入力を支援するパターン • 例)入稿自動支援 15 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
リクルートにおける検索 16 (C) Recruit Technologies Co.,Ltd. All rights reserved.
検索の目的はカスタマーをクライアントの商品に たどり着けるように助けること リクルートのビジネスモデルの根幹をサポート カスタマー クライアント -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 17 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
はじめに 先日出張でデンマークのニューハウンに行ってきました。 運河沿いにカラフルな建物が並び、 日が暮れると明かりが灯って とても綺麗で感動しました。 Facebookに投稿したら「いいね」 何件くらい貰えそうですか?
18 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
写真と合わせて見てみる 19 (C) Recruit Technologies Co.,Ltd. All rights reserved. 先日出張でデンマークのニューハウンに行ってきました。
運河沿いにカラフルな建物が並び、日が暮れると明かりが灯ってとても綺麗で感動しました。 -
どんな印象を受けましたか? 20 (C) Recruit Technologies Co.,Ltd. All rights reserved. 彼女(彼氏)と行
きたいな〜!! こんなところで ゆっくりしたい わ・・・ これは確かに 綺麗!! デンマークっ てこんなとこ ろなんだ! おしゃれで かわいい!! 直感的で 分かりや すい! 情報量が 多い! -
画像の効果 画像は人にとって分かり やすい、直感的な情報 写真は得られる情報量が とても多く、詳細に状況 を把握できる まさに
「百聞は一見にしかず」 直感的で分かりやすいこ とは検索においてとても 重要な要素 21 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
最近のトレンド〜インスタ映え 若い人を中心に「インスタ映え」しそうな料理、場所が 好まれるようになってきた ※インスタ映え: 写真投稿型のSNSサービスの「インスタグラム」に写真を上げた時に 見栄えがよく、「いいね」が多くもらえる状態。 22 (C) Recruit
Technologies Co.,Ltd. All rights reserved. -
「インスタ映え」のトレンド 23 (C) Recruit Technologies Co.,Ltd. All rights reserved. Google
Trendsでの「インスタ映え」の結果 今年の流行語になるか? -
画像はシステムにとっては扱いづらい 画像は人にとって直感的でも、システムにとっては 色情報のピクセルごとの並びでしかなく、 ほかのデータとの関連付けができない情報 24 (C) Recruit Technologies Co.,Ltd.
All rights reserved. システム データ -
画像認識技術の役割 画像認識技術は画像とデータを橋渡しする 25 (C) Recruit Technologies Co.,Ltd. All rights
reserved. システム 画像認識 データ -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 27 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
リクルートにおける検索のパターン分解 28 (C) Recruit Technologies Co.,Ltd. All rights reserved. 検索
検索結果一覧 サイト /アプリ にアクセス そもそも 探し方が 分からず 探せない うまく目的のもの にたどり着けない、 探しにくい 出ているものは 正しいのだが、 結果に納得感が ない コンバー ジョン -
検索における様々なタイプ タイプ1: 「探しにくい」を解決する仕組み タイプ2: 「そもそも探せない」を解決する仕組み タイプ3: 「探したけれど結果に納得感がない」を解決する仕組み
29 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 30 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
タイプ1:「探しにくい」 検索してもうまく結果を絞れず、 目的のものにたどり着けない状態 検索ロジックを改善することにより解決 31 (C) Recruit Technologies
Co.,Ltd. All rights reserved. 期待しているものが出 てこない・・・ 原因: 精度が低い 表示順番が悪い 絞りたい軸で探す機能がない etc. -
Hotpepper Beauty 美容院や美容室、ネイルサロン、エステサロン、 リラクゼーションサロンを検索・予約できるWebサイト 32 (C) Recruit Technologies Co.,Ltd.
All rights reserved. Webサイト フリーマガジン版 アプリ -
Hotpepper Beautyにおける課題 カスタマーがネイルをもっとうまく探せるようにしたい。 雑誌のネイルカタログをめくるように、楽しく次へ次へ と見ることのできる仕組みが作りたい。 33 (C) Recruit
Technologies Co.,Ltd. All rights reserved. 紙媒体 Webサイト 〜 ネイルの発見機会の向上 回遊率の向上 -
解決策:類似ネイルレコメンデーション 閲覧しているネイルに類似した画像特徴を持つ ネイルを推薦する 34 (C) Recruit Technologies Co.,Ltd. All
rights reserved. 発見した 良さそうな ネイル写真 似ている ネイルを 提示する 機能 次へ次へ と遷移 できる -
ネイルレコメンデーションの仕組み 爪部分を切り取り、その部分に対してデザイン判別 デザインと色が似ているものをレコメンド 35 (C) Recruit Technologies Co.,Ltd.
All rights reserved. HOG特徴量 + AdaBoost CNN ①爪箇所判別 ②デザイン抽出 ③カラー抽出 ④類似度計算 Aデザイン X本 Bデザイン Y本 ・・・ 白 X ピンク Y ・・・ RGB値 デザイン頻度vec カラー頻度vec cos類似度 ネイル DB ネイル画 像A ネイル画 像B ネイル画 像C 検索元画像 -
ネイルレコメンデーションを導入して 難しかった点 爪以外の背景部分をいかに除外するか、という点 爪のデータセットを自前で作成しなければいけなかった点 効果
これまでよりもネイルを閲覧しやすくなった クライアントがデザインに関するタグをつけなくても 画像から予測できるようになった 36 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
カーセンサー 日本最大級の 中古車情報サービス 37 (C) Recruit Technologies Co.,Ltd. All
rights reserved. Webサイト アプリ 情報誌 -
カーセンサーにおける課題 「カスタマーは内装色を重視する」ということが判明 カーセンサーに内装 (シート)色で検索する機能は なかった 38 (C) Recruit
Technologies Co.,Ltd. All rights reserved. -
解決策:内装色判別機能 検索時に内装色で検索できるような機能を追加 39 (C) Recruit Technologies Co.,Ltd. All rights
reserved. 茶色 黒 内装色で絞り込み検索が可能 -
内装色判別のロジック 40 (C) Recruit Technologies Co.,Ltd. All rights reserved. 内装画像探索
50%画像切取 代表色抽出 1 2 3 CNNにより内装の確率 が一番高い画像を探索 ・・・ 25%削除 削除 削除 削除 K-means 切取 画像の中心の部分を 切り取り 代表色抽出 4 グループ 番号 R G B 1 0 0 0 2 225 0 3 ︙ ︙ ︙ ︙ グループ ごとの平均 ・・・ ・・・ 0, 64, 64 others 160, 0, 0 red 128, 0, 32 red 128, 32, 0 brown 96, 0, 64 others 96, 64, 0 camel 96, 32, 32 brown 64, 0, 96 others ・・・ ・・・ グループ 番号 色 1 black 2 red ・・・ ・・・ 対応表を使って 色を割り当てる K-meansを使って 色グループを抽出 これらの色を 内装色とする 内装の画像に絞り、色の分析を行う -
見た目に関する新たな軸で探せるように ネイルレコメンデーション: 「閲覧中のネイルに類似する」という軸 カーセンサーの内装色判別: 「車の内装色」を軸 41 (C) Recruit
Technologies Co.,Ltd. All rights reserved. -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 42 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
タイプ2:「そもそも探せない」 探そうと思っても検索クエリに起こせないため探せず、 機会損失を起こしている状態 43 (C) Recruit Technologies Co.,Ltd. All
rights reserved. UIを含めてシステムに ふわっとした情報を伝える仕組みが必要 -
カーセンサー:目で見たものを検索できない 44 (C) Recruit Technologies Co.,Ltd. All rights reserved. こういう車に
乗りたいな どう検索したら 見つかる?? 道端や雑誌でかっこいい車を見つけても、車種名がわか らないと検索できず、機会損失となってしまう 機会損失をなくし、検索への流入にしたい -
車種判別ロジック 2段階のCNNを用いて車種を分類 外装を判別してから2674車種を分類 46 (C) Recruit Technologies Co.,Ltd.
All rights reserved. 外装画像探索 CNNによる車種判別 1 ・・・ 2 CNNにより外装の確率 が一番高い画像を探索 CNNにより車種を判別 する ・ワゴンR ・プリウス ・フィット ・フェラーリ ・エスティマ ・ミニバン ︙ 認識結果 -
車種判別を導入して 難しかった点 車種が多く画像を集めることが大変 あらゆる方向から撮られる可能性を考慮 してデータを収集する必要があった 効果
Twitterで「カーセンサーチャレンジ」 がトレンド入り App Storeでもトレンドに 47 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
ゼクシィ 結婚準備のウェディング情報を提供 48 (C) Recruit Technologies Co.,Ltd. All rights
reserved. 情報誌 Webサイト アプリ -
ゼクシィにおける従来の絞込機能 結婚に対するイメージが 漠然としている場合に ユーザーが探し方がわか らず離脱してしまう 49 (C) Recruit Technologies
Co.,Ltd. All rights reserved. すてきな 結婚式に したいな うまく見つけ られない よ・・・ 検索クエリを 入力するのは 意外と難しい。 前提知識も必要。 -
解決策:画像を選ぶだけなら簡単 直感に従い好みの画像を選ぶだけであれば簡単 選んだ画像に対して診断を行い、 自分の欲しいキーワードを検索することができる 50 (C) Recruit Technologies
Co.,Ltd. All rights reserved. イメージを言語化(診断機能) 「あなたにあったテーマは ◦◦です」 -
ウェディングフォトサーチ 51 (C) Recruit Technologies Co.,Ltd. All rights reserved. 画像選択
タグ選択 テーマ 選択 Seagull Hotel かもめホテル 二人で幸せなひとときを 緑の映えるガーデンでゲストの方との 時間が思い出になります かもめホテル 二人で幸せなひとときを 画像を選ぶと自分のイメージに 合うテーマを教えてくれる テーマ推薦 テーマに沿った 式場一覧 画像一覧 -
結合空間へのデータのマッピング • マルチモーダル学習は結合空間に複数の情報が関連性が高 いものを近くにマッピングするように学習する 距離が近ければ関連性が高い ・画像a x4 x1 ・画像b x2
x3 xd ︙ ・テキストc ・テキストd 結合空間 x4 x1 x2 x3 xd ︙ ・画像b ・画像a 画像空間 x4 x1 x2 x3 xd ︙ ・テキストd ・テキストc テキスト空間 -
Visual Semantic Embedding 内部状態 Vh をこのキャプションの表現とする。 損失関数 "Unifying Visual-Semantic Embeddings
with Multimodal Neura Language Models" (Kiros, Salakhutdinov, Zemel. 2014). 文章情報 画像情報 -
ふわっとした探し方ができること どちらの事例も頭のなかでふわっとイメージしていた 情報を検索クエリに起こせないことによる 機会損失がおきていた システムに自分のほしいものを伝える手段として 画像認識が活用されている カーセンサーの場合は写真を撮ることによって
ゼクシィの場合は写真を選択することによって 55 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 56 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
タイプ3:「探したけれど結果に納得感がない」 検索結果は正しいにも関わらず、 表示されている情報から納得してもらえない状況 表示する情報を画像認識により制御することにより改善 57 (C) Recruit Technologies
Co.,Ltd. All rights reserved. -
ホットペッパーグルメにおける課題1 焼肉と検索して焼肉店の店が検索一覧に出てきても 焼肉と関係の薄い画像が表示てしまい 納得感が低くなってしまう 結果お店のページを見てもらえない 59 (C) Recruit
Technologies Co.,Ltd. All rights reserved. 焼肉 焼肉A店 検索結果 焼肉 焼肉A店 検索結果 納得感低 納得感高 -
事前調査 事前に検索されやすいキーワードを調査 61 (C) Recruit Technologies Co.,Ltd. All rights
reserved. 焼肉 チーズフォンデュ サラダ しゃぶしゃぶ もつ鍋 ステーキ カラオケ 焼き鳥 個室 頻出キーワードだけで 検索の大半を網羅できることが判明 これらを画像認識でタグ付けを行う タグとして採用することに決定 -
画像選別ロジック 62 (C) Recruit Technologies Co.,Ltd. All rights reserved. 事前タグ付け
店舗検索 店舗画像リスト 1 2 3 CNNにより画像に タグを付ける 店舗をキーワードに よって検索 画像選別 4 タグとクエリキーワード を比較し、マッチするも のを優先的に表示 店舗に対してタグの 付いた画像のリスト を取得 焼肉 その他 焼肉 店舗リスト 焼肉 その他 焼肉A店 焼肉 その他 焼肉 比較 一致 不一致 この画像を優先的に表示 バッチ処理 検索時 -
ホットペッパーグルメにおける課題2 検索結果に複数の同じ画像(かぶり画像)が表示されて しまう場合がある かぶっていると見られる情報量が減ってしまう 63 (C) Recruit Technologies
Co.,Ltd. All rights reserved. 焼肉A店 同じ画像が並 んでしまって もったいない -
aHashアルゴリズム 65 (C) Recruit Technologies Co.,Ltd. All rights reserved. 8x8ピクセルに変換
ピクセルの輝度の 平均値を計算 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 グレースケール化 [0,0,0,…,1,1,0] ハッシュ値 ピクセル毎に平均値より 大きい場合は1 小さい場合は0 ハッシュに対して ハミング距離で近いもの 同士はかぶり画像と判定 aHashは高速に、ある程度のノイズにも耐えられる -
表示結果を視覚的に制御できること 検索結果は良くても、 ユーザーにとって適切な形で表示されているかは別 画像認識技術はそうした表示する情報を 適切に制御することができる 66 (C) Recruit
Technologies Co.,Ltd. All rights reserved. これを 表示しよう どの画像を表示するか 自動で選択してくれる -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 67 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
施策適用から得た学び 技術をやっているだけでは思いつかない課題がある シーズベースだけだと限界がある ニーズに対してヒアリングすることが非常に大事 68 (C) Recruit
Technologies Co.,Ltd. All rights reserved. -
ニーズベースとシーズベース 69 (C) Recruit Technologies Co.,Ltd. All rights reserved. シーズ
仮説 ヒ アリ ング ニーズ 技術 仮説検証 この技術はこうした 用途に使えそう!! ヒアリングは仮説がないと 「何かやりたいことないですか」 と投げやりになり話が広がらない DEMO開発 DEMOがないと イメージが伝わらない -
アウトライン リクルートについて A3RTについて 検索と画像情報の結びつき 検索における画像認識適用事例
タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 施策適用から得た学び まとめ 70 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
まとめ 画像は人にとって直感的な情報であり、 検索と非常に親和性が高い 検索と一言で言っても様々な課題・改善方法がある タイプ1:「探しにくい」を解決する仕組み タイプ2:「そもそも探せない」を解決する仕組み
タイプ3:「探したけれど結果に納得感がない」を 解決する仕組み 画像認識技術はカスタマーの課題を解決し 検索の世界を変える非常にパワフルなもの! 71 (C) Recruit Technologies Co.,Ltd. All rights reserved. -
私達は一緒に働く人を求めています 72 (C) Recruit Technologies Co.,Ltd. All rights reserved. 新しいテクノロジーを利用して
役に立つものを作りたい人は 是非、一緒に働きましょう!!